co-code 님의 블로그

SVM(서포트 벡터 머신)패턴 인식, 자료 분석들을 위한 지도 학습 모델회귀, 분류 모두 존재회귀선에서 일정 양만큼 떨어진 부분에 영역을 생성하여 영역 안과 밖에 있는 데이터들의 가중치를 변화parameter(매개변수)C기본값 : 1.0규제 강도의 역수마진(margin) 영역의 크기kernel(커널 함수의 종류)기본값 : 'ref'실제의 데이터가 선형이 아닌 경우 커널 함수를 이용하여 데이터를 고차원 공간으로 배열하여 직선으로 구분'linear' : 선형 SVM'poly' : 다항식 커널'rbl' : 가우시안 커널 (가장 많이 사용)gamma커널의 개수kernel이 linear가 아니면 사용gamma가 크다면 경계가 복잡해짐 (과적합 위험)gamma가 작다면 경계가 유얀해짐 (일반화 위험 : 과소적합 ..

부스팅(Boosting)모델을 순차적으로 학습이전 모델이 잘못 맞추거나 확률이 애매한 경우 데이터에 가중치를 증가시켜 다음 모델에서 집중 학습단순 모델들을 결합하여 강력한 모델로 생성장점편향이 감소해 예측의 확률이 올라감단순한 모델들을 이어서 학습하기 때문에 성능이 많이 올라감단점순차적으로 학습하므로 병렬화가 어려움 -> 학습 속도가 느려짐학습의 횟수가 너무 많은 경우 과적합 위험파라미터 튜닝이 중요함대표 알고리즘AdaBoost오차가 더 큰 샘플에 더 높은 가중치를 부여각각의 모델들은 가중치가 조정이 된 데이터 셋을 이용하여 학습최종 모델에서는 가중치의 합산으로 변경GradientBoost(GBM)이전 모델의 잔차를 예측하는 새로운 모델을 새롭게 추가함손실 함수 직접 최적화계산량이 많음XGBoostGB..