기계학습 관점에서 사후 확률과 가능도를 비교해 보자.
기계학습에서 ..
모델 학습에는 사후 확률과 가능도의 개념이 많이 등장하는데
두 개의 차이점과 학습에는 어떤 걸 주로 사용하는지 알아보자.
우선 사후 확률은 무엇이었나.
사후 확률(posterior)
D:데이터
theta: 모델의 모수, 찾고자 하는 파라미터
사후 확률은 데이터가 주어졌을 때
모수 theta의 확률을 의미한다.
일반적으로 모델 학습은 주어진 데이터를 기반으로 모델을 구축하므로,
주어진 데이터에 기반하여 모델의 모수를 추정하는 사후 확률을 활용한 학습은
가장 이상적인 기계학습 방식이라 할 수 있다.
(물론 문제가 있다 뒤에서 언급)
가능도는 무엇인지..
가능도(likelihood)
D:데이터
theta: 모델의 모수, 찾고자 하는 파라미터
아래는 모두 의미가 같은 문장이다.
- 이미 구축한 모델에 기반하여 현재 존재하는 데이터에 대한 확률을 의미
- 현재의 모델이 기존의 데이터에 대한 설명력이 어떠한 지를 의미한다.
- 현재의 모수가 진짜 데이터를 얼마나 잘 설명하는 지를 나타낸다.
가령, 분류 문제에서 특정 데이터의 정답 class가 1인데
현재 모수의 기반해 나온 데이터의 확률 값이 0.8이라면 이게 liklihood이고
이 수치로 모수의 설명력을 추정할 수 있게 됨.
이 확률을 높이는 방향으로 모수를 update 하는 게 가능도를 활용한
모델학습 방식
이 likelihood와 사후 확률 중 모델학습에 무엇을 활용하는 게 좋을까?
이론적으로는 주어진 데이터에 기반하여 모수의 확률을 직접적으로 계산 한 후에
가장 optimal 한 theta를 찾는 사후 확률이 더 좋을 수 있다.
그런데 문제가 있다.
아래식은 bayesian rule을 이용해 사후 확률을 전개한 것이다.
(A:theta , B:D)
여기서 Evidence는 P(D) 즉 데이터의 확률로 데이터가 주어지면 상수 취급한다.
문제는 P(A) 즉 P(theta)인데 이걸 모른다. 모수에 대한 확률을 전혀 알 수 없다.
따라서 사후 확률은 모델학습에 활용할 수 없다.
(P(theta)의 분포를 가정하면 학습에 활용할 수 도 있다.)
그래서 일반적으로 가능도를 모델학습에 활용한다.
현재 모수에 기반하여 데이터에 대한 설명력을 관측하면서 모수를 update 할 수 있게 된다.