[기계학습]다항 회귀 분석 ( 비선형 회귀 분석 )

Machine Learning 기계학습 머신러닝

다항 회귀분석(비선형 회귀 분석)

정의 : 2차 3차 항을 추가로 해서 직선이 아닌 모델

 

잔차의 3가지 검정을 해보고 나서 안 맞을 경우 다항회귀분석을 진행한다.

처음부터 다항회귀분석을 진행하면 과적합(overfitting)의 문제가 발생할 수 있다.

 

다항 회귀분석이 필요한 경우

 

• 독립변수와 종속 변수 간의 비선형 관계를 가지는 경우

  독립변수와 종속변수의 plot을 통해 확인 가능

• 다중 회귀의 가정이 위배된 경우

  Residual Plot을 통해 확인 가능

 

다항 회귀 적합

회귀계수를 추정하는 방법은 선형 회귀분석과 동일하게 잔차 제곱합을 최소화시키도록 회귀계수 추정

 

기존의 변수에 2차항을 추가한 모델 vs 2차항 만을 사용한 모델을 비교했을 때.

X1와 Y 간의 관계가 2차식과 같은 비선형이라면 2차항만 고려하는 게 일반적임

 

주의사항

항이 추가될수록 과적합(overfitting)이 일어날 가능성이 크기 때문에 고차항을 추가 시에는 신중해야 함

 

3차항 이상은 잘 넣지 않는다.