선형 분류(Linear classification)

분류란? 

어떤 값을 입력하면 어떤 카테고리에 속하는지 class를 출력하게 하는 것 

 

가장 쉬운 분류 방식은 클래스를 구분 지어줄 직선을 잘 형성하는 것 

 

 

 

그 직선을 다른 말로 선형 분류기라 한다.

이진 분류를 위한 경계 직선을 의미한다. 

 

이 선형 분류기는..

회귀분석에 사용하는 예측 함수와 동일함. (단순히 직선 함수니까)

 

목적은

이러한 분류 경계인 선형 분류기를 계산 or 학습하는 것..

선형 분류기 학습 방식은 회귀분석 방식과 동일하다

목적함수를 정의하고 목적함수를 최소화시키는 방향으로 선형 분류기를 학습한다. 

 

 

목적함수로는 무엇을 사용하는가

회귀분석에서는 mse rmse 와 같은 오차 함수를 목적 함수로...

 

즉, 단순히 정답 값과 예측치 간의 차이를 줄이는 방식으로 학습하였습니다만

분류에서는? 목적함수로 엔트로피를 사용한다.

 

 

 

---

 

 

엔트로피란?

정보이론에서 나오는 무작위성과 관련된 개념

 

간단하게 무작위성을 의미한다.

위 식에서 Y(i)를 주사위 눈 6이 나올 확률이라 해보자 

 

이때 이 확률 값이 0.999999라면?

log 계산에서 log()의 진수가 1로 가기에 전체 값은 0으로 간다.

 

이 확률 값이 0.0000001라면?

이번에는 log 앞에 Y(i)가 0으로 가기에 전체 값은 0으로 간다.

 

즉 확률이 0과 1처럼 극단적인 값을 갖는다면 무작위성은 낮아지게 되고 엔트로피 값은 0으로 간다.

 

결론은 

확률이 1과 0에 가깝다는 것은 무작위성이 낮다는 것인데 

그러면 이 엔트로피 함수값은 작아진다.

 

이번에는 주사위눈 6이 나올 확률을 0.5라 해보자 

엔트로피의 값은 -0.5log(0.5)로 그 값이 커진다.

 

즉 확률이 0.5로 무작위성이 크면 엔트로피 값은 커진다. 

 

 

---

 

 

 

다시 분류로 돌아와서

 

어떤 분류기가 특정 클래스의 속할 확률을 0.5로 예측한다면

그 분류기는 학습이 전혀 안된 분류기 일 것이며

그때 크로스 엔트로피 값은 크게 나온다.

 

반대로 특정 클래스의 속할 확률을 1에 가깝게 예측한다면

학습이 올바른 방향으로 됐다는 가정하에

학습이 잘 된 분류기 일 것이며 그때의 크로스 엔트로피 값은 작게 나온다.

 

따라서 분류 학습에 목적은 엔트로피를 목적함수로 해당 목적함수를 최소화하는 방식으로 분류기의 파라미터를 학습한다.

 

 

 

이제 이것을 목적함수로 사용하여 분류기를 어떻게 학습하는지 보자.

 

실제 분류에서는 목적 함수로 다음과 같은 크로스 엔트로피를 사용한다.

(올바른 방향으로 학습을 하기 위한 것이라 생각하고 넘어가면 된다.)

 

Y(i)는 정답 값을 Y(i)(hat)은 예측값을 의미함

 

이제 i개의 data들에 대해 0과 1로 이진 분류를 진행한다 가정해 보자 

 

만약 1번 data에 대해 정답 값이 1이었을 때 분류기에 의한 예측값이 1

2번 data에 대해 정답 값이 1이었을 때 분류기에 의한 예측값이 0이었다고 해보자.

 

즉 2번 data에 대해 분류기의 예측값이 틀린 상황이다!!

 

 

 

 

 

식 계산에서 알 수 있듯이 2번 경우처럼 한 번만 예측에 실패하면

그때의 목적함수인 크로스 엔트로피는 무한대로 가고

이러한 크로스 엔트로피를 최소화하는 학습을 유의미하게 진행할 수 없게 된다..

 

왜 이런 일이 발생하나 ?

 

애초에 엔트로피는 확률 개념이었다

단순히 이진 분류 0과 1을 예측 결과로 집어넣으면 안 된다.

 

따라서 이러한 분류기가 예측하는 값을 확률로 맵핑해주는 과정이 필요하다

 

 

이때 필요한 것이 로지스틱 함수이다.

 

따라서 로지스틱 회귀에 대해 알아볼 것이다.