[Model] AlexNet 정리요약

공부를 위한 요약입니다. 다양한 사이트에서 적힌 내용을 취합한거라 틀린게 있을수도 있습니다 :)

• 참고 자료
  • https://velog.io/@bumkyu00/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-1.AlexNet
  • https://data-newbie.tistory.com/121
• 논문 컨셉
  • 논문제목은 “ImageNet Classification with Deep Convolution Neural Networks”
  • 이미지 관련 모델로서, 2012년 ILSVRC에서 큰 격차로 1등을 기록. AlexNet은 Alex Krizhevsky라는 1저자가 논문을 써서 그렇게 붙힌듯
• 모델 특징
  • 당시 주로 Activation function으로 Sigmoid, tanh를 주로 사용하던 기존 모델과 달리 AlexNet에서는 ReLU함수를 사용
    • ReLU의 비용이 다른 Activation Function보다 비교적 적은데, CIFAR-10을 가지고 비교한 결과 25% training error rate에 도달하는 시간이 6배 빠르다고함
  • Local Response Normalization
    • ReLU는 Sigmoid형 함수와는 달리 input normalization이 필수는 아님. AlexNet에서는 local response normalization을 적용해 오차를 약 1~2% 줄였다고 밝힘
    • 최근에는 잘 쓰이지 않는 방법
  • Overlapping Pooling
    • 보통 CNN같은 이미지 모델에서는 pooling unit의 크기와 stride의 크기가 같이 설정. 하지만 AlexNet에서는 Pooling unit이 더큰 Overlapping Pooling기법을 사용하여 0.4% 오차감소를 얻음.
  • Data Augmentation
    • “이미지-라벨”이라는 1가지 학습데이터로 이미지에 다양한 변화(사진 뒤집기, 사진 각도 전환 등등…)을 줘서 다양한 데이터셋을 생성하는 방법. 과적합 해소를 위한 방법.
    • 논문에서는 두가지 방법을 이용하여 변형을 적용
      • 첫번째
        • 원본을 먼저 자른 이후
        • 이미지를 반전 시킴
      • 두번째
        • PCA를 통해 RGB값을 변형함
  • Dropout
    • 히든 레이어의 특정 뉴런의 출력을 일정 확률로 0으로 만드는것을 의미. 이는 뉴런들의 co-adaption을 줄인다. 즉, 불확실성을 부여해 특정 뉴런에 의존하지 못하도록 하는것. 이 또한 과적합 해소를 위한 방법이다
     

• 모델 구조
  • AlexNet은 Multiple GPU에서 학습을 진행함. 3번째 Convolution Layer와 Fully Connected layer를 제외하면 독립적으로 훈련을 진행함모델 구조
  •