Data/Data Science (46) 썸네일형 리스트형 [deeplearning.ai] Coursera 필기정리 3 Train/dev/test Train - 뜻 그대로 특정모델을 학습시키는데 사용되는 데이터 셋 Dev - Cross Validation와 같이 검증에 사용되는 데이터 셋 Test - 학습된 모델의 성능을 측정하기위한 데이터 셋 Test 데이터셋은 꼭없어도 된다. Dev 데이터셋으로도 성능평가가 가능함 Bias / Variance 딥러닝이 발전하므로 편향과 편차의 문제가 많이 줄었다고함 밑의 그림처럼. 4가지 경우가 있는데. 만일 어떤 classification문제에서 판단을 잘 못 내리는 확률이 0%에 가까울 때 Train Set에서의 에러는 낮고, Dev Set에서는 높을때 -> High Variance Train Set에서의 에러가 높고, Dev Set 도 높지만 둘이 유사한 에러 비율을 가질 때 -.. [deeplearning.ai] Coursera 필기정리 2 Computing a Neural Network's Output 이미 딥러닝에 대해서 공부하신분들이라면 지겹게 들으셨겠지만 복습차원에서... 한개의 neural에는 한개의 로지스틱 회귀분석과 activation 값을계산하는 과정이 포함되어있다(밑 그림의 원안에 좌우함수). x는 특성 값이다. activation function의 역할은 현재 들어있는 노드의 정보를 다음 노드에 넘겨줄지 말지를 결정하는 함수이다. 그리고 hidden layer가 한개가있을때 밑에 그림과 같은 구조로 나타나게 되고. 이전에 배웠던 vectorizaton을 이용하여 결과 값 z, a을 도출한다. Vectorizing across multiple examples 트레이닝 샘플에서 벡터화시키는 방법 사실 되게 부끄러운 얘기지만 요.. [deeplearning.ai] Coursera 필기정리 1 Logistic Regression cost function 로지스틱 회귀란 binarary classification을 위한 알고리즘이라고하는데. 회귀분석 모델에서 W와 b파라미터를 트레이닝시키기 위해서는 cost function을 정의해야함 한가지 방법은 L = 1/2(y' - y) 인데 로지스틱 회귀분석법에서는 이렇게 잘하지않는다고함. 이유는 이러한 공식으로 하게된다면 local optimization 문제를 갖게되고 global optimization을 못찾게된다고함. 즉, Gradient Descent가 잘안나온다는 단점이있음. 따라서 로지스틱 회귀분석법에는 다른 방식의 cost function을 이용하게됨. regression loss함수를 사용한다고 나옴(빨간 밑줄 공식). J(w,b)=m1.. [ML] Coursera 필기 정리 영상을 보면서 내 나름대로 얻은 정보를 필기로 정리. 꼭... 끝을 보겠노라 불끈 Cost Function 손실함수, 어떤 특정 예측 알고리즘이 얼마나 잘 동작하고있는지 확인하는 지표 값. 실제값과 예측값이 얼마나 차이가 나는지 알수가있는 함수임. (MSE 알고리즘등) Gradient Descent 위에서 말한 손실함수를 최소한의 값으로 줄이는게 목적인데. 이를 사람손으로 일일히 작업할수가없어서 자동으로 최소값을 찾아주는 알고리즘. 제일 처음으로 접하는 알고리즘 SGD가 그 예시이다. 세타는 예측 알고리즘의 파라미터 값이고. 알파는 우리가 딥러닝모델을 작업할때 흔히 말하는 Learning Rate이다. 예측 알고리즘의 파라미터는 동시에 업데이트가 되어야한다. 이 Learning rate가 너무 높아서도,.. [Coursera IBM] Data Science 필기2 도움이됐던 내용만 기록중... - API? REST API? API란 Application Programming Interfaces의 약자 Coursera에서는 예제로 Pandas 의 함수들을 API로 예를 들어서 설명함, 추가로 파이썬을 이용한 코드에서 전처리 된 데이터를 tensorflow api를 통해서 결과를 얻을수가있다라는 예로 설명함. REST API란 REpresentational State Transfer APIs의 약자로 http를 통해서 데이터를 이용하여 웹 서비스에서 post/get을 하는 방식으로 처리된 결과값을 얻는방법을 REST API라고 설명. 현재 상용화되는 예제로 Watson Speech Model을 예로들고, 클라이언트에서 음성파일을 Watson Speech to Text.. [Coursera IBM] Data Science 필기 - The V's of Big Data Velocity, Volume, Variety, Veracity, Value - Data mining Data mining is the process of automatically searching and analyzing data, discovering previously unrevealed patterns. It involves preprocessing the data to prepare it and transforming it into an appropriate format. Insights and patters are mined and extracted using various tools and techniques ranging from simple data.. [Sklearn] PCA 차원축소 데이터 차원축소가 필요해서 sklearn에서 제공하는 PCA를 사용. sklearn에서 제공하는건 사용법이 간단해서 자주쓰인다. # sklearn의 PCA함수 import from sklearn.decomposition import PCA # pca 함수 호출 # n_components는 변환후의 차원 수 pca = PCA(n_components = 1) x = [[1,2,3]] # pca도 데이터의 유형에따라서 학습이 필요 pca.fit(x) print(pca.transform(x)) # 3차원에서 1차원으로 바뀐 array 반환 [딥러닝] LSTM & Anomaly Detection https://jaehyeongan.github.io/2020/02/29/LSTM-Autoencoder-for-Anomaly-Detection/ LSTM Autoencoder for Anomaly Detection · jaehyeong's ds jaehyeongan.github.io https://machinelearningmastery.com/lstm-autoencoders/ A Gentle Introduction to LSTM Autoencoders An LSTM Autoencoder is an implementation of an autoencoder for sequence data using an Encoder-Decoder LSTM architecture. Once fit, the encoder.. 이전 1 2 3 4 5 6 다음
