다항회귀

다항회귀는 독립변수의 거듭제곱 항을 추가해 비선형 관계를 선형 회귀 틀 안에서 모형화하는 기법입니다. 단순회귀의 자연스러운 확장이며, 경제 데이터에서 자주 나타나는 곡선형·U자형 패턴을 포착할 수 있습니다.

01모형 설정다항식 항 추가와 선형성 유지 원리

02차수 선택AIC·BIC·교차검증으로 최적 차수 결정

03과적합 진단편향-분산 트레이드오프와 정규화

	단순회귀	다항회귀
식	Y=β0+β1X+ε	Y=β0+β1X+β2X²+⋯+ε
포착하는 것	직선 형태만 포착. 비선형 관계를 놓침.	곡선·U자형 등 복잡한 패턴 포착 가능.

β=(X^⊤X)⁻¹X^⊤Y

가정

구독자 전용 콘텐츠입니다.

열람 권한을 확인하고 있습니다.

X², X³, … 항을 새로운 독립변수로 취급하면 다항회귀는 모수 β에 대해 선형인 일반 선형 회귀가 되어 OLS 추정이 가능합니다.

구독자 전용 콘텐츠입니다.

열람 권한을 확인하고 있습니다.

설계행렬 X의 열은 [1, X_i, X_i^2]이며, 단순회귀와 동일한 OLS 공식이 그대로 적용됩니다.

구독자 전용 콘텐츠입니다.

열람 권한을 확인하고 있습니다.

차수(k)가 높아질수록 훈련 데이터 적합도는 높아지나, 새로운 데이터 예측력은 오히려 떨어지는 과적합(overfitting)이 발생합니다.

구독자 전용 콘텐츠입니다.

열람 권한을 확인하고 있습니다.

구독자 전용 콘텐츠입니다.

열람 권한을 확인하고 있습니다.