직교 사영으로서의 최대 우도
최대 우도 및 MAP 추정치를 유도하기 위해 대수적 연산을 수행했으므로, 이제 최대 우도 추정의 기하학적 해석을 제공한다. 다음과 같은 단순한 선형 회귀 설정을 고려한다.
여기서 원점을 지나는 선형 함수 $f : \mathbb{R} \rightarrow \mathbb{R}$ 를 고려한다(명확성을 위해 특징은 생략한다). 파라미터 $\theta$ 는 선의 기울기를 결정한다. 그림 9.12(a)는 1차원 데이터셋을 보여준다.
그림 9.12 최소 제곱의 기하학적 해석. (a) 데이터셋; (b) 사영으로 해석된 최대 우도 해.
(a) 입력 위치 $x_n$ 에서 함수 값 $f(x_n)$ 의 노이즈가 있는 관측치 $y_n$ (파란색)으로 구성된 회귀 데이터셋이다. (b) 주황색 점들은 노이즈가 있는 관측치(파란색 점들)를 선 $\theta_{\text{ML}}x$ 위로 사영한 것이다. 선형 회귀 문제에 대한 최대 우도 해는 관측치의 전체 사영 오차(주황색 선들)가 최소화되는 부분공간(선)을 찾는다.
$\to$ 그럼 9.12b를 자세히 보면 파란색 관측치에서 검은색 회귀선으로 내린 오차 선(주황색 선)들이 회귀선괴 90도로 직교하지 않고, y축과 평행한 수직 형태를 보인다. 이는 “입력 변수 $x$ 는 노이즈 없이 정확하게 측정되었고, 불확실성(노이즈 $\epsilon$ )은 오직 타깃 변수 $y$ 방향으로만 존재한다”는 가정을 기하학적으로 반영한 것이다. 따라서 최소화해야 할 기하학적 거리는 점과 직선 사이의 수직 최단 거리가 아니라, 고정된 $x$ 좌표 상에서의 $y$ 값의 차이이다.
$\quad$ 훈련 데이터셋 ${(x_1, y_1), \dots, (x_N, y_N)}$ 에 대해 9.2.1절의 결과를 상기하여 기울기 파라미터에 대한 최대 우도 추정치를 다음과 같이 얻는다.
여기서 $\boldsymbol{X} = [x_1, \dots, x_N]^\top \in \mathbb{R}^N$ , $\boldsymbol{y} = [y_1, \dots, y_N]^\top \in \mathbb{R}^N$ 이다.
$\quad$ 이는 훈련 입력 $\boldsymbol{X}$ 에 대해 다음과 같이 훈련 타깃의 최적(최대 우도) 재구성을 얻음을 의미한다.
즉, $\boldsymbol{y}$ 와 $\boldsymbol{X}\theta$ 사이의 최소 제곱 오차를 가지는 근사를 얻는다.
최대 우도 선형 회귀는 직교 사영을 수행한다.
$\quad$ $\boldsymbol{y} = \boldsymbol{X}\theta$ 의 해를 찾고 있으므로 선형 회귀를 선형 연립방정식을 푸는 문제로 생각할 수 있다(각 데이터와 $\theta$ 의 내적). 따라서 2장과 3장에서 논의한 선형대수학 및 해석기하학의 개념과 연결할 수 있다. 특히 (9.67)을 자세히 살펴보면 (9.65)의 예제에서 최대 우도 추정치 $\theta_{\text{ML}}$ 이 실질적으로 $\boldsymbol{y}$ 를 $\boldsymbol{X}$ 가 생성하는 1차원 부분공간으로 직교 사영함을 알 수 있다. [3.8절]의 직교 사영에 대한 결과를 상기하면, $\frac{\boldsymbol{X}\boldsymbol{X}^\top}{\boldsymbol{X}^\top\boldsymbol{X}}$ 를 사영 행렬로, $\theta_{\text{ML}}$ 을 $\boldsymbol{X}$ 가 생성하는 $\mathbb{R}^N$ 의 1차원 부분공간으로의 사영 좌표로, $\boldsymbol{X}\theta_{\text{ML}}$ 을 이 부분공간으로의 $\boldsymbol{y}$ 의 직교 사영으로 식별한다.
$\to$ ‘1차원 부분 공간’은 특징 변환( $\phi$ )이 적용되지 않은, 단일 입력 모델을 의미한다.
$\quad$ 따라서 최대 우도 해는 $\boldsymbol{X}$ 가 생성하는 부분공간에서 대응하는 관측치 $\boldsymbol{y}$ 에 가장 가까운 벡터를 찾음으로써 기하학적으로 최적의 해를 제공한다. 여기서 가장 가까운은 함수 값 $y_n$ 과 $x_n\theta$ 사이의 최소 (제곱) 거리를 의미한다. 이는 직교 사영에 의해 달성된다. 그림 9.12(b)는 노이즈가 있는 관측치를 원본 데이터셋과 그 사영 사이의 제곱 거리를 최소화하는 부분공간으로 사영한 것을 보여주며( $x$ 좌표가 고정되어 있음에 유의), 이는 최대 우도 해에 해당한다.
$\quad$ 일반적인 선형 회귀 경우, 즉
벡터 값 특징 $\boldsymbol{\phi}(\boldsymbol{x}) \in \mathbb{R}^K$ 를 가지는 경우, 최대 우도 결과를
특징 행렬 $\boldsymbol{\Phi}$ 의 열들에 의해 생성되는 $\mathbb{R}^N$ 의 $K$ 차원 부분공간으로의 사영으로 해석할 수 있다(3.8.2절 참조).
$\quad$ 특징 행렬 $\boldsymbol{\Phi}$ 를 구성하기 위해 사용하는 특징 함수 $\phi_k$ 가 정규 직교(orthonormal)라면(3.7절 참조), $\boldsymbol{\Phi}$ 의 열들이 정규 직교 기저를 형성하는(3.5절 참조) 특수한 경우를 얻게 되어 $\boldsymbol{\Phi}^\top\boldsymbol{\Phi} = \boldsymbol{I}$ 가 성립한다. 이는 다음의 사영으로 이어진다.
따라서 최대 우도 사영은 단순히 $\boldsymbol{y}$ 를 개별 기저 벡터 $\boldsymbol{\phi}_k$ , 즉 $\boldsymbol{\Phi}$ 의 열들에 사영한 것들의 합이 된다. 또한 기저의 직교성으로 인해 서로 다른 특징 간의 결합(coupling)이 사라진다. 웨이블릿(wavelets) 및 푸리에 기저(Fourier bases)와 같이 신호 처리에서 널리 사용되는 많은 기저 함수들은 직교 기저 함수이다.
기저가 직교하지 않는 경우, 그램-슈미트(Gram-Schmidt) 과정을 사용하여 선형 독립인 기저 함수 집합을 직교 기저로 변환할 수 있다(3.8.3절 및 Strang(2003) 참조).