Variance

[기계학습]과적합(overfitting)이란?

과적합(overfitting)이란? 너무 과도하게 데이터 모델을 학습(learning)을 한 경우를 의미 학습 데이터에는 잘 맞지만 검증 데이터(테스트 데이터)에 잘 맞지 않는 것 복잡한 모형일수록, 데이터가 적을수록 과적합이 일어나가 쉽다. 데이터가 많으면 복잡한 모형을 써도 과적합이 잘 발생하지 않음 분산(variance)와 편파성(bias)의 트레이드오프(Tradeoff) 딜레마 분산(var) : 전체 데이터의 집합 중 다른 학습 데이터를 이용했을 때, f^ 이 변하는 정도 * 복잡한 모형일 수록 분산이 높음 편파성(bias) : 학습 알고리즘에서 잘못된 가정을 했을 때 발생하는 오차 * 간단한 모형일 수록 편파성이 높음 용어 정리 : Tradeoff : 트레이드 오프 , 두 가지 중에 하나가 증가..