본문 바로가기

Data/논문 & 모델 정리

[Model] SqueezeNet
Data/논문 & 모델 정리 2022. 7. 10. [Model] SqueezeNet 참고 자료 https://velog.io/@woojinn8/LightWeight-Deep-Learning-4.-SqueezeNet 논문 컨셉 기존에 나왔던 Image관련 모델들은 매우 무거움. 여기서 “무거움”이란 연산량이 매우많고, 학습시 모델에 사용되는 메모리 사용량이 많음 위와같은 단점들은 제한된 기기(ex. Mobile)에서 모델을 돌리기에는 매우 어려움(거의 불가능함). 따라서, 경량화된 모델이 필요함을 주장 논문 제목은 “SquuzeNet: AlexNet-level accuracy with 50x fewer parameters and
[Model] GoogLeNet
Data/논문 & 모델 정리 2022. 7. 10. [Model] GoogLeNet GoogLeNet 참고 자료 https://deep-learning-study.tistory.com/389 https://blog.naver.com/qbxlvnf11/221429203293 https://velog.io/@whgurwns2003/Going-deeper-with-convolutionsGoogLeNet-%EB%85%BC%EB%AC%B8-%EC%A0%95%EB%A6%AC 모델 컨셉 GoogLeNet은 22층을 가진 모델. 깊이가 증가할수록 높은 정확도를 얻을 수 있지만, 기하급수적으로 증가하는 parameter, overfitting의 가능성이 올라감. 또한 학습하는데 사용되는 메모리 사용량도 증가하는 문제가 존재 해당 논문은 “Going Deeper with Convolutions' ..
[Model] InceptionV3
Data/논문 & 모델 정리 2022. 7. 10. [Model] InceptionV3 Inception v3 참고 자료 https://deep-learning-study.tistory.com/517 https://norman3.github.io/papers/docs/google_inception.html https://oi.readthedocs.io/en/latest/computer_vision/cnn/inception-v2,v3.html 모델 컨셉 모델 크기를 증가시키면 정확도와 연산량이 증가함. 하지만 작은 기기(ex. Mobile)나 제한된 메모리에서 활용해야할때는 모델 크기증가는 단점으로 작용됨 따라서, 해당 모델은 Convolution 분해를 활용해서 연산량을 최소화 되는 방향으로 모델의 크기를 키우는데 집중함. Inception-v3는 적은 파라미터를 가진 42-Layer의 깊..
[Model] VGGNet
Data/논문 & 모델 정리 2022. 7. 10. [Model] VGGNet VGGNet 참고 자료 https://bskyvision.com/504 VGGNet의 구조 VGGNet도 ILSVRC 대회에 참여했지만 “준우승”을 한 모델임 준우승인데 왜 주목을 받는지? 그 당시 대회에서 우승을 한 모델은 GoogLeNet인데, 우승모델보다 구조적으로 간단하고 낮지않은 성능으로 주목을 받게되었음 VGGNet부터 Layer들이 점점 깊어지기 시작함. 논문의 제목은 “Very Deep Convolutional Networks for Large-Scale Image Recognition” 논문제목에서도 알수있듯이, 네트워크의 “깊이”에 초점이 맞춰진 논문이여서, Convolution 필터 커널 사이즈를 제일작은 3*3으로 고정했다. 논문에서는 총 6개의 구조로 실험을 진행 Model D →..
[Model] ResNet
Data/논문 & 모델 정리 2022. 7. 10. [Model] ResNet ResNet 참고 페이지 https://velog.io/@lighthouse97/ResNet%EC%9D%98-%EC%9D%B4%ED%95%B4 2015년 ILSVRC(Image Large Scale Visual Recognition Challenge)에서 우승을 차지한 모델 Microsoft에서 개발한 모델이며, 논문명은 “Deep Residual Learning for Image Recognition” 하지만 그렇다고 무조건 Layer가 깊어질수록 성능은 좋은건아님. fully-connection으로 56층과 20층을 비교해보았더니 20층이 더 좋은 성능을 나타냈음 ResNet의 핵심은 “Residual Block”이라는것에 있음 기존 방식과 다른점이 있다면, “입력값에 출력값을 더해주는 점” 기존방식..
[Model] SSD (Single Shot Detection)
Data/논문 & 모델 정리 2022. 7. 10. [Model] SSD (Single Shot Detection) 참고 자료 https://techblog-history-younghunjo1.tistory.com/185 https://gaussian37.github.io/math-algorithm-iou/ → IoU란? https://techblog-history-younghunjo1.tistory.com/178?category=863123 → NMS란? 논문 컨셉 처음 알게된 모델이다… Object Detection에서 활용되고있는 모델이다. One-Stage 모델중 하나이다. 여기서 One-Stage란? One-Stage말고도 Two-Stage도 있는데. 여기서 Two는 위 그림처럼 “Region Proposal” & “Object Detection” 단계를 분리해 전개되는 모델이다. 즉, One같은 경우에는 이..
[Model] AlexNet 정리요약
Data/논문 & 모델 정리 2022. 7. 10. [Model] AlexNet 정리요약 공부를 위한 요약입니다. 다양한 사이트에서 적힌 내용을 취합한거라 틀린게 있을수도 있습니다 :) 참고 자료 https://velog.io/@bumkyu00/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-1.AlexNet https://data-newbie.tistory.com/121 논문 컨셉 논문제목은 “ImageNet Classification with Deep Convolution Neural Networks” 이미지 관련 모델로서, 2012년 ILSVRC에서 큰 격차로 1등을 기록. AlexNet은 Alex Krizhevsky라는 1저자가 논문을 써서 그렇게 붙힌듯 모델 특징 당시 주로 Activation function으로 ..
[arxiv]Automated Vulnerability Detection in Source Code Using Deep Representation Learning
Data/논문 & 모델 정리 2018. 9. 17. [arxiv]Automated Vulnerability Detection in Source Code Using Deep Representation Learning 정적분석 도구 예시로 Clang 도구를 말하고, 동적분석 도구로는 Symbolic Execution을 예로 듬. 하지만 정적분석은 모든 코드를 커버하지 못한다는 단점이 있고. Symbolic Execution은 path-explosion의 이유로 큰 프로그램을 분석하기에는 적합하지않다는 단점이 있음.Source lexing유의미한 소스코드만 남기기위해서 lexing이라는 과정을 거치는데, 사실 이부분이 제일중요한거 같아서 읽을려고했지만 자세한 내용은 안들어있었다. 쓰여져있는건 주석부분 삭제... 최종적으로 소스코드를 156개의 토큰으로 표현 했다고 하는데, 그렇게 많은 C++ API들이 어떻게 이렇게 되는건지 별로 신뢰가 안간다. 또한 u32, uint32_t, UINT32, uint32, DWORD 같..
[arxiv]Automated software vulnerability detection with machine learning
Data/논문 & 모델 정리 2018. 9. 17. [arxiv]Automated software vulnerability detection with machine learning 자동취약점 탐지 관련 논문이전에도 설명했지만 자동화 취약점 탐지에 제일 장점은 크게 세가지임 1. 사람의 노동이 필요하지않다2. 값이 싸다3. 취약점 탐지가 빠르다 본 논문에서는 두가지 방법으로 접근함 1. IR(Intermediate Representation)코드를 가지고 실험 [Build-based]2. 소스코드를 가지고 실험 [Source-based] 소스코드를 컴파일하면[소스코드] - [중간표현] - [기계어] 라는 과정이 있다.첫번째 방법은 여기서 *중간표현 코드를 사용을 하였다고한다. (사실 컴파일러쪽 공부를안했다면 알아보기 힘듬)*Clang의 LLVM 도구를 사용 1. Build-based build-based에서는 두가지 feature를 사용하였음. 첫번째는 CFG(Control-Flow..
[NDSS 2018] VulDeePecker: A Deep Learning-Based System for Vulnerability Detection
Data/논문 & 모델 정리 2018. 8. 29. [NDSS 2018] VulDeePecker: A Deep Learning-Based System for Vulnerability Detection 요약: 본 논문은 소스코드 기반 딥러닝을 활용한 자동 취약점 탐지 시스템을 제안함. 또한 소스코드를 나타낼수있는 새로운 개념인 Code Gadget을 만들어내며 딥러닝을 위한 데이터셋을 가공해서 제공. 딥러닝 알고리즘은 Bidirection Long Short Term Memory(BLSTM)을 사용하여 학습및 탐지를 함.기존의 제안된 기술보다 낮은 False Positive(FP), False Negative(FN)이 측정됨. 딥러닝 답게 두가지 단계로 나뉘어짐: Learning Phase, Detection Phase 사실상 본 논문에 가장 중요한 점은 : "어떻게 소스코드를 벡터화를 하여서 표현할것인가?" 라는게 제일 중요하다고 생각함.이 질문에 대해서는 저자들은 Code-gadget이라는걸 활용해..

티스토리툴바