Data/Data Science
2021. 2. 3.
[머신러닝] LGBM, XGBoost, GBM
LGBM(Light GBM) 데이터셋 작으면 과적합하기 쉽다. 문서상 10,000개 데이터 이상인 데이터셋에 적합 하지만 많은 데이터셋에서는 XGBoost보다 빠른 학습속도, 적은 메모리사용량 카테고리형 데이터에 대해서 원핫인코딩이 필요없이 알아서 인식 기존 GBM과 다른점은 GBM은 균형 트리분할(Level Wise) 방식, LGBM은 리프중심 트리분할(Leaf Wise) 방식 균형 트리분할 : 최대한 균형 잡힌 트리를 유지하며 분할하여 트리의 깊이를 최소화하여 오버피팅에 강한구조이지만 균형을 맞추기 위한 시간이 필요 리프중심 트리분할 : 최대 손실 값을 가지는 리프노드를 지속적으로 분할하면서 트리가 깊어지고 비대칭적으로 생성하며 이로써 예측 오류 손실을 최소화. XGBoost(eXtra Gradien..
![[머신러닝] LGBM, XGBoost, GBM](http://i1.daumcdn.net/thumb/C480x320/?fname=https://blog.kakaocdn.net/dn/dtw47t/btqVJR7JaR3/5hNmhKNHP1FboKzvT1PqB1/img.jpg)