본문 바로가기

rnn

[deeplearning.ai] Sequence Models
Data/Data Science 2020. 10. 30. [deeplearning.ai] Sequence Models Recurrent Neural Network(RNN) Model 왜 RNN을 사용해야하는건지? - Inputs, Outputs can be different lengths in different examples. (데이터의 고정적이지않은 길이에도 학습이 가능함) - Doesn't share features learned across different positions of text. (특정위치에 특징점을 잡지않고 유동적이게 특징점을 잡아줌. 이건 CNN에도 동일하다) Forward Propagation forward propagation의 과정은 위와같고, 공식은 아래와같다. 기본적으로 제일처음의 activation함수값(a)은 0으로 설정한다고한다. 그럼 들어있는 파라미터는 Wa,, ba, by인것같다..
[LSTM] 단계별 수식 정리
Data/Data Science 2019. 9. 23. [LSTM] 단계별 수식 정리 인터뷰중 LSTM에 관련하여 단계별로 물어보는질문이 있어서 좋은 사이트를 발견하여 정리 [출저]: https://dgkim5360.tistory.com/entry/understanding-long-short-term-memory-lstm-kr Long Short-Term Memory (LSTM) 이해하기 이 글은 Christopher Olah가 2015년 8월에 쓴 글을 우리 말로 번역한 것이다. Recurrent neural network의 개념을 쉽게 설명했고, 그 중 획기적인 모델인 LSTM을 이론적으로 이해할 수 있도록 좋은 그림과 함께 한.. dgkim5360.tistory.com 사실 난 AI를 전공한게 아니라서 개념자체를 공부하기가 매우 어려웠다. 현재 많은 딥러닝 라이브러리가 편의성을 제공..
[RNN]Recurrent Neural Networks
Data/Data Science 2018. 3. 8. [RNN]Recurrent Neural Networks 자연 언어 처리(Natural Language Processing)을 공부하다보니 자연스럽게 RNN(Recurrent Neural Networks)를 접하게 됐다, 이 알고리즘 말고도 LSTM(Long Short-Term Memory Models)도 접하긴했지만, 다음 포스팅에서 정리를 해봐야겠다. 제일먼저 RNN을 이해하기전에 일반적인 인공 신경망을 이해해야함. 일반적인 인공 신경망이란 영어로 FFNets이라고도 하는데 이는 Feed-Forward Neural Networks의 준말. 영어에서도 보이다시피 "Forward"란 단어가 있고, 신경망에는 Input Layer, Hidden Layer, Output Layer가 있고, 데이터를 입력하면 입력층에서 은닉층을 거치며 최종적으로 출력층으로 전해진다..

티스토리툴바