Data/Data Science
2021. 1. 13.
[Gradient Descent] 경사하강법
경사하강법 사용 이유 - 함수(딥러닝에서는 Cost Function)의 최소값을 찾는 문제에서 이용 바로 미분 계수가 0인 지점을 찾으면 되지않을까? - 함수가 닫힌 형태가 아닌 경우 - 함수가 너무 복잡해서 미분 계수가 어려운경우엔 경사하강법이 구하기가 더쉬울떄가 있음 - 데이터 양이 너무 많은 경우 효율적으로 계산하기 위해 * 닫힌 형태(closed form)란 방정식(equation)의 해(solution)를 해석적(analytic)으로 표현할 수 있는 종류의 문제를 말한다. 닫힌 형태(closed form)의 반대 개념으로 열린 형태(open form)라는 것도 있다. 열린 형태란 유한 개(finite)의 수학적 표현을 사용해서 정확하게 해를 표현할 수 없는 문제를 말한다. 정리하면 닫힌 형태의 ..
![[Gradient Descent] 경사하강법](http://i1.daumcdn.net/thumb/C480x320/?fname=https://blog.kakaocdn.net/dn/s9YLE/btqTp2K9Kfm/o7Ztux8HKIa46x3QXP9odk/img.png)