AI Odyssey

SVM 이란?분류기다 분류가 불가능한 데이터도 차원을 확장하여 분류 가능하게 함이후 확장한 차원 공간에서 두 데이터를 분류할 초평면을 찾는 것이 목표다.(초평면이란 차원이 확장되면 3차원에서 정의한 평면은 사용할 수 없으므로 고차원에서의 평면과 같은 역할을 하는 것을 초평면이라 한다) 이때 차원을 확장하면 연산이 복잡해지는데그 연산을 kernel method를 활용하여 가능하게 함(kernel method 참고)2024.09.09 - [SVM(Support Vector Machine)] - Kernel Methods   SVM 학습방식 기존의 분류기와 학습 방식이 다른데.. 원래 cross entropy를 활용해 매핑한 확률을최대화하는 방식으로 분류기의 모수를 update 했었는데. svm에서는 마진을 ..

KKT condition 이란?목적함수를 최적화하는데부등식 제약조건을 만족시켜야 하는 경우반드시 성립해야 하는 몇 가지 조건들이 존재하는데..그 조건들을 kkt 조건이라 한다 이 조건들이 왜 필요한가? svm(support vector machine)에서 목적함수를 최적화하는 과정에부등식 제약조건이 발생한다.그때의 최적화 문제를 풀기 위한 수학적 방법 f(x)를 최적화하는데 다음과 같은 제약조건이 있다고 하자즉 부등식 제약조건과 방정식 제약조건이 같이 있는 상황 이렇게 제약조건이 주어진 함수는 최적화 함수를 아래와 같이 표현하고 원래의 f(x)를 최적화하는 문제를L(x,µ,λ) 함수가 최적이 되는 파라미터 x,µ,λ 를 찾는 문제로 바꿔서 풀 수 있다..즉 목적은 L(x,µ,λ) 함수를 최적화하는 것  ..

Kernel Methods란? 벡터의 내적 연산을 단순화 하기 위한 방법인데..  우선 basis function부터 알아야 한다. basis function 이란? 기존의 data에 새로운 연산을 추가해 데이터의 차원을 키우는 함수다.가령 다음과 같은 벡터가 존재한다고 한다면  아래와 같이 새로운 연산을 추가해 벡터의 차원을 키우는 것  그런데 이거 왜 하나 분류가 되지 않은 데이터의 차원을 키워 분류 가능한 차원으로 매핑하거나선형 관계가 관측되지 않는 데이터를 차원을 키워 선형성을 만족하게 하는데 목적.즉 모델 학습을 가능하게 하기 위함이다. 아래처럼 저 차원의 data를 basis function을 활용하여 고 차원으로 매핑하여 분류 가능하게 하는 것이 목적.   basis function을 활용한..