[deeplearning.ai] Coursera 필기정리 4

Hyperparameter

여태까지 배운내용을 종합하여 다양한 하이퍼파라미터가 있다는걸 보았다. 정리해보자면

• Alpha - learning rate
• Beta - Momentum 관련
• Layers - 얼마나 깊은 네트워크를 만들것인지
• Hidden Units - Hidden layers에 얼마만큼의 Unit을 넣을것인지
• Learning rate decay
• mini-batch size

앤드류쌤은 빨간색 > 노랑색 > 보라색 순으로 중요한 하이퍼파라미터라고 말함 (뭐... 물론 다른사람도 있겠지만!)

또한 하이퍼파라미터 값은 격자형태(Grid, 왼쪽 네모칸)의 값을 선택하는것이 아닌 오른쪽 칸처럼 무작위로 선택하는걸 추천, 이유는 어느 하이퍼 파라미터가 중요한지는 누구도 모르기때문.