SVM

Support Vector Machine

분류 오차를 줄이면서 여백을 최대로 하는 결정 경계:decision boundary를 찾는 이진 분류기

 

margin : 여백으로 결정 경계와 가장 가까이 있는 학습 데이터까지의 거리

 

support vector : 결정 경계로부터 가장 가까이에 있는 학습 데이터들

 

 

 

 

 

초평면 기하학 : hyperplane

 

 

SVM 최적화

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

시험 출제 100 %

 

 

 

 

 

---

선형 분리불가 문제 : SVM

 

 

 

=> 슬랙 변수 사용

학습 데이터 별로 하나씩 생성함

svm 분할 초평면에서 서포트벡터보다 멀리 위치하면 슬랙 변수 = 0

 

 

 

 

 

선형 SVM 

선형인 초평면으로 공간을 분할한다

슬랙 변수를 도입하더라도 한계가 있음

 

데이터의 고차원 사상

데이터를 고차원으로 사상하게 되면 선형 분리가 가능해진다.

=> 하지만 차원의 저주 문제 : 학습 데이터에 과적합, 테스트 데이터에 대해 일반화 능력 저하와 계산 비용 증가 문제 발생

 

 

 

 

비선형 svm의 경우, 데이터를 고차원으로 사상하지 않아도 해결할 수 있는 방법이 있음

=> 커널 트릭 : kernel trick

커널 트릭은 SVM(Support Vector Machine)과 같은 알고리즘에서 고차원 공간으로 데이터를 변환하지 않고,

원래의 저차원 공간에서 계산을 수행하여 비선형 분류 문제를 해결하는 방법

    커널 트릭을 사용하면 고차원 변환을 명시적으로 계산하지 않아도 고차원 공간에서의 내적 결과를 얻을 수 있음

    ex) 다항식 커널, RBF 커널, 쌍곡탄젠트 커널