Ordinary Least Sqaures 직관적으로 이해하기 - 4

 

 

최소제곱법(OLS) 추정량의 행렬 유도 과정 요약

1. 잔차 제곱합 (Sum of Squared Residuals, SSR) 정의
   • 최소제곱법에서는 잔차 $\hat{u}$ 를 다음과 같이 정의한다.$\hat{u} = Y - X\hat{\beta}$
   • 따라서 잔차 제곱합(SSR)은 다음과 같이 행렬식으로 표현된다.
   • $S = \sum_{i=1}^{N} \hat{u}_i^2 = \hat{u}^T \hat{u} = (Y - X\hat{\beta})^T (Y - X\hat{\beta})$
2. SSR의 전개 과정
   • 위 식을 전개하면 다음과 같은 4개의 항이 나타난다.$S = Y^T Y - Y^T X \hat{\beta} - \hat{\beta}^T X^T Y + \hat{\beta}^T X^T X \hat{\beta}$
   • 여기서, $Y^T Y$ 는 상수항이므로 미분 시 사라진다.
   • 두 번째 및 세 번째 항은 서로 전치(transpose) 관계이며, 최종적으로 $-2 X^T Y \hat{\beta}$  로 변환된다.
3. 최적화 문제 (미분 및 정규방정식 도출)
   • SSR을 최소화하기 위해 β^\hat{\beta} 에 대해 미분한다.$\frac{\partial S}{\partial \hat{\beta}} = -2 X^T Y + 2 X^T X \hat{\beta} = 0$
   • 이를 정리하면 OLS 추정량 (OLS Estimator)의 정규방정식 (Normal Equation) 유도$X^T X \hat{\beta} = X^T Y$
   • 최종적으로 OLS 추정량의 해는 다음과 같다.$\hat{\beta} = (X^T X)^{-1} X^T Y$
4. OLS의 기하학적 해석
   • 회귀 추정값 $\hat{Y}$ 는 X 의 컬럼 스페이스에 직교 투영된 값이다.$\hat{Y} = X\hat{\beta}$
   • 즉, 잔차 벡터 $\hat{u}$ 는 컬럼 스페이스와 직교해야 하므로 다음 관계를 만족한다.$X^T \hat{u} = 0$
   • 이는 OLS가 잔차 제곱합을 최소화하는 방식을 수학적으로 설명하는 과정이다.

 

 

 

출처: Ordinary Least Squares Estimators - derivation in matrix form - part 2