로지스틱 회귀는
이진 "분류"를 위한 모델로
분류를 위한 경계선인 선형 분류기를 학습하는 것을 목표로 한다.
이진 분류에서 분류 선인 선형 분류기를 학습하기 위해서는
단순히 정답 값과 예측치의 차이인 오류를 줄이는 방법으로 학습할 수 없으며
목적함수로 오차가 아닌 크로스 엔트로피(cross entropy)를 사용했어야 했다.
이때 엔트로피는 확률 값을 필요로 하므로 선형 분류기에서 출력된 함숫 값을
확률 값으로 매핑해주는 과정이 필요하다.
이 매핑에 활용되는 함수가 로지스틱 함수
즉 로지스틱 회귀는 선형 분류기 + 로지스틱 함수라 할 수 있다!!!
확률 매핑 과정을 구체적으로 보면
회귀분석할 때 사용한 직선 즉 선형 분류기에 data를 입력한다.
그때 나온 값은 직선으로부터 멀리 떨어져 있는 data일수록 절댓값이 큰 값이 나오며
직선에 가까운 data일수록 0에 가까운 값이 나온다.
가령, 위의 이미지에서 선형 분류기에 ●(동그라미) data를 집어넣으면
직선에서 떨어진 거리만큼의 양수 값이 출력되고
X data를 집어넣으면 직선 위의 점이므로 0이 나올 것이다 .
이 값을 확률로 매핑해주기 위해 로지스틱 함수에 입력값으로 넣는다.
현재 ● data는 확률 값이 1에 가까이 매핑되어
특정 class에 속할 확률이 크게 나올 것이며
(X) data는 거리가 0이므로 확률이 0.5로 매핑되어
특정 클래스의 속할 확률이 0.5가 된다.
그래서 이 매핑된 확률 값을 로지스틱 회귀 학습 방식에 어떻게 활용?
학습방식에 대해..
선형회귀에서는 예측 직선을 학습하는데 오차를 최소화하는 방식인 LSM(least square method)을
분류에서는 주로 MLE(maximum likelihood estimation) 방식으로 학습한다.
maximum likelihood estimation 란
이름에서 알 수 있듯이 likelihood(확률)을 최대화 하는 학습 방법
likelihood란
(자세히 알고싶으면..)
2024.09.23 - [데이터 마이닝] - 사후 확률(posterior)과 가능도(likelihood)
bayesian rule 에서 나온개념
이식에서
이걸 likelihood라 한다.
그래서 분류에서 이 likelihood를 어떻게 활용하나?
다음과 같은 수식으로 likelihood를 표현한다.
(;w : 이식이 파라미터 w로 모수화 되어 있음을 의미)
우선 i번째 data가 class1에 속해
예측해야 할 정답이 class 1이라 하자!
이 식을 통해
현재 파라미터에 대해 매핑한 확률 값이
정답 class와 얼마나 유사한 확률을 출력하는 지 관측함으로써
파라미터의 설명력을 확인 할 수있음
즉 이 확률을 1에 가깝게 하는 방향으로 파라미터를 갱신하며 모델을 학습할 수 있게 된다.
이 가능도 함수를
이렇게 표현하고
이것을 시그모이드함수라한다
이제 이 시그모이드함수값을 키우는 방향으로 선형 분류기를 학습하면 되는데..
정답 class가 1이 아닌 0이라면?
식을 다음과 같이 쓰면
해당 식은 정답 class가 0일 때 예측하는 확률이 0에 가까워지면
전체 값은 1로 가까워진다.
따라서 여전히 이 값을 키우는 게 올바른 학습방향
이 두 개의 수식을 한 번에 고려하기 위해서 다음 수식을 사용한다
(i)번쨰 data 의 정답 값 y(i)가 1 이면 hw(x(i)) 만 키우면 되고
(i)번쨰 data 의 정답 값 y(i)가 0 이면 1- hw(x(i)) 만 키우면 된다.
이제 이식에 로그를 취하고 -1 을 곱하면 결국 크로스 엔트로피가 나온다!!
(-1을 곱하는 이유를 최대화 문제를 최소화 문제로 바꾸기 위함)
그래서 로지스틱회귀에서는 목적함수로 크로스 엔트로피를 사용하고
이 목적함수를 최소화 하는 방식으로 선형 분류기를 학습하게 된다..
즉 CE(cross entropy)를 LSM(least sqaure method) 하는 것이
MLE(maximum likelihood estimation) 하는 것
'선형 분류' 카테고리의 다른 글
| 선형 분류(Linear classification) (0) | 2024.08.02 |
|---|