[Model] SqueezeNet

• 참고 자료
  • https://velog.io/@woojinn8/LightWeight-Deep-Learning-4.-SqueezeNet
• 논문 컨셉
  • 기존에 나왔던 Image관련 모델들은 매우 무거움. 여기서 “무거움”이란 연산량이 매우많고, 학습시 모델에 사용되는 메모리 사용량이 많음
  • 위와같은 단점들은 제한된 기기(ex. Mobile)에서 모델을 돌리기에는 매우 어려움(거의 불가능함). 따라서, 경량화된 모델이 필요함을 주장
  • 논문 제목은 “SquuzeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size”이며, 네트워크로 Fire 모듈이란 구조를 활용해 경량화된 구조를 갖는 CNN Network이다.
  • 해당 논문에서 말하는 CNN 모델 경량화시 나오는 장점
    • 작은 네트워크는 분산 학습 때 통신과 덜 통신한다
    • 클라우드에서 동작할 때 통신 대역폭을 덜 요구한다
    • FPGA와 같은 한정된 하드웨어에서 동작할 수 있다
  • SqueezeNet은 AlexNet과 비교하여 50배 적은 파라미터 수를 가지고, 유사한 성능을 보여주었음. 또한 모델 축소로 인해 AlexNet보다 510배 작은 크기인 0.5MB로 압축함
• 모델 특징
  • 3*3 필터를 1*1 필터로 대체
    • 파라미터 수를 9배 절약
  • 3*3 필더의 input channel수 줄임
    • 3*3 필터 갯수뿐만이 아닌 input channel도 줄여 파라미터 수를 줄임
    • Convolution layer 파라미터 수 계산 공식
      • (Kernel) * (Kernel) * (Number of input Channel) * (Number of Filter)
  • Convolution Layer가 큰 넓이의 Activation Map을 갖도록 DownSampling을 늦게 수행
    • 일반적인 CNN Network는 Pooling으로 Downsampling을 하면서 이미지의 정보를 압축해 나감
    • 큰 Activation Map을 갖고있을수록 ㅈ어보 압축에 의한 손실이 적어 성능이 높음
    • 정보 손실을 줄이기 위해 네트워크 후반부에 DownSampling(Pooling을 말하는것같다)을 수행
  • SqueezeNet에서는 Fire Module이라는것이 사용됨

    • 

    • Fire Module은 두단계로 나뉘는데, 1*1 Convolution을 활용하는 Squeeze Convolution Layer와 1*1/3*3 Convolution을 함께 사용하는 Expand Convolution Layer로 구성되어있음.
    • 세 개의 하이퍼 파라미터를 제안
      • (A)Squeeze에서 1*1 Convolution filter의 개수
      • (B)Expand에서 1*1 Convolution filter의 개수
      • (C)Expand에서 3*3 Convolution filter의 개수
      • 그리고 다음과 같은 수식을 적용 A < (B+C)
• 모델 구조

  • 

• 부가 설명
  • Channel
    • RGB는 3개의 채널로 구성되어있음 (Red Channel, Green Channel, Blue Channel)
  • Filter & Stride
    • Convolution을 진행할때 Input에 곱해주는 창을 Filter라고함, 그리고 이 Filter를 곱할때마다 얼마나 이동시키는지를 Stride로 표현
  • Convolution

    • 

    • 위 그림에서 노랑색 창은 Filter이고, 초록색 창은 Input이며, 노란색 창이 곱할때마다 한칸씩 옮긴다면 Stride는 1이라고 표현. 그리고 Input과 Filter의 곱이 바로 Convolution(합성곱)이라고 말함