AI Odyssey

우선 릿지 회귀에 필요성을 이해하기 위해..일반적인 회귀분석의 목적함수에서 최적의 회귀계수를 찾는 과정을 수학적으로 접근해 봄으로써 릿지 회귀의 필요성을 확인해 보자.   그래서 일반적인 회귀 분석의 목적함수는 뭐였는지아래의 오차 제곱합이었음   이 목적함수를 최소화하는 모수(β)를  찾는 것이 목적 최적의 모수( β )를 찾기 위해 목적함수를 모수( β )에 대해 미분하여 0이 되는 부분을 찾으면 아래와 같고 여기서 (β)에 대해 정리하면 아래와 같이 최적의 모수를 찾을 수 있었다..  중요한 건 이러한 최적의 모수를 찾으려면 현재 x의 역행렬이 존재해야 한다는 것이다. (행렬 연산 결과가 보는 거와 같이 역행렬이 존재해야 최적의 (β) 를 계산할 수 있음..)  역행렬이 존재하는 행렬이란? 별거 없었..

다항함수회귀  선형회귀분석에서는 예측 함수로 단순히 선형직선을 사용한다. 그러나 변수사이의 관계는 단순히 선형적인 관계를 가지지 않을 수도 있다.      이처럼 두 변수사이의 관계가 비 선형적인 관계를 나타낼 수 있다. 이때 예측함수를 단순히 선형함수로 하면 당연히 함수는 예측력이 떨어진다. 따라서 예측함수를 다양한 다른 함수로 설정할 필요가 있다.  즉 함수를 다음과 같이 두고 모수를 추정할 것     왜 다항함수로 해야 하나?         모든 복잡한 함수 f(X)는 다항함수로 근사 할 수 있다... 테일러 급수를 사용하면 미분이 쉬운 다항함수 형태로 근사 할 수 있다  테일러 급수란?  적어도 x=a에서는 유사하게 기존의 함수를 위의식 처럼 다항함수로 근사할 수 있다.. (그냥 복잡한 함수도 다..

회귀분석에서 최종 목적은 목적함수를 최소화하는모수 파리미터를 추정하는 것이라 하였다. 이제 이 목적함수를 최소화하는 방식을 보자.최소제곱법 ( least square methods )최소제곱법에는 두가지 방식이 있다. 1. 아래로 볼록한 함수 (convex) 일 때 미분해서 0 되는 곳 찾기2. 경사하강법 (gradient descent)  1번 방식 (미분)의 경우 함수의 최솟값을 구하는 가장 기본적인 방식이다. 예시를 살펴보자.  다음과 같은 목적함수가 있다고 한다면, 주어진 함수는 convex(아래로볼록) 한 함수 이므로미분하여 0 되는 곳을 찾을 수 있다. 따라서 목적함수를 미분한식이 0 이 되려면 θ = 0이므로 최적의 파라미터는 0이다. 그러나 대부분의 목적함수는 위의 경우처럼 단순하지 않다...

회귀분석이란 목표변수를 잘 예측할 수 있는 모델을 찾는 것이다. 간단한 데이터를 보고 이해해보자    size가 2104인 이 집은 price가 400이다 . size가 2500인 이 집은 price가 900이다 . 그럼 size가 2300인 집은 price가 얼마인가? 라는 질문에 우리는 price가 400~ 900사이에 있을 것을 쉽게 예측할 수 있다.   이렇게 기존의 데이터(size:2014,2500)에 대한 정답 값(price:400,900)이 주어져 있는 학습 데이터를 통해 새로운 데이터(size:2300)에 대한 예측변수(price)를 계산하는 모델을 찾는 것을 회귀분석이라 한다.     이번에는 앞서봤던 데이터들과 유사한 데이터를 더 많이 가져오자이후에 size변수를 x축으로 price변수..