매개변수 추정
선형 회귀 설정 (9.4)를 고려하고, N개의 입력 $x_n \in \mathbb{R}^D$ 와 그에 대응하는 관측치/타깃 $y_n \in \mathbb{R}, n=1,\dots,N$ 으로 구성된 훈련 세트 $\mathcal{D} := {(x_1, y_1), \dots, (x_N, y_N)}$ 이 주어졌다고 가정한다. 이에 대응하는 그래피컬 모델은 그림 9.3에 주어져 있다.
그림 9.3 선형 회귀를 위한 확률적 그래피컬 모델. 관측된 확률 변수는 음영 처리되어 있고, 결정론적/알려진 값은 원 없이 표시된다.
$y_i$ 와 $y_j$ 는 각각의 입력 $x_i, x_j$ 가 주어졌을 때 조건부 독립이므로, 우도는 다음과 같이 인수분해된다는 점에 유의한다.
여기서 $\mathcal{X} := {\boldsymbol{x}_1, \dots, \boldsymbol{x}_N}$ 와 $\mathcal{Y} := {y_1, \dots, y_N}$ 를 각각 훈련 입력과 그에 대응하는 타깃의 집합으로 정의했다. 노이즈 분포로 인해 우도와 인수 $p(y_n \mid \boldsymbol{x}_n, \boldsymbol{\theta})$ 는 가우시안이다; (9.3) 참조.
” $y_i$ 와 $y_j$ 는 각각의 입력 $x_i, x_j$ 가 주어졌을 때 조건부 독립이므로”라는 것은 $x$ 가 관측되지 않았다면, 서로 종속적이라는 뜻인가?
조건이 주어지지 않으면(관측되지 않으면) $y$ 들이 서로 종속이지만, 이때 종속성을 만드는 것은 개별 $x$ 가 아닌 매개변수 $\boldsymbol{\theta}$ 이다.
식 (9.5a)에서 우도 함수가 $\prod$ (곱셈)으로 쪼개질 수 있었던 전제 조건은 “ $\boldsymbol{x}$ 와 $\boldsymbol{\theta}$ 가 주어졌을 때”(Given)이다.
이는 $\boldsymbol{\theta}$ 와 $\boldsymbol{x}_1, \boldsymbol{x}_2$ 를 알고 있다면, $y_1$ 를 알게 된다고 해서 $y_2$ 의 값을 예측하는 데 어떤 정보도 얻을 수 없음을 의미한다. 왜냐하면, 남은 불확실성은 오직 $\epsilon_1$ 과 $\epsilon_2$ 라는 관측불가한 노이즈뿐이며, 이들은 상호 독립이기 때문이다.
만약 $\boldsymbol{\theta}$ 를 모른다면, 즉 $\boldsymbol{\theta}$ 가 관측되지 않은 확률 변수라면 어떨까?
이때 두 변수( $y_1, y_2$ )는 종속된다. 왜냐하면 어떤 함수 관계( $\boldsymbol{\theta}$ )를 모르는 상황에서 $y_1$ 의 값을 관측했다면, $\boldsymbol{x}_1$ 과 $y_1$ 의 관계를 통해 $\boldsymbol{\theta}$ 가 대략 어떻지 추정할 수 있다. $\boldsymbol{\theta}$ 에 대한 정보가 업데이트되었으므로, 자연스럽게 두 번째 데이터 $y_2$ 가 어떤 값일지에 대한 예측 확률도 변한다.
즉, $y_1$ 을 아는 것이 $y_2$ 를 예측하는데 영향을 미쳤으므로 두 변수는 종속적이다.
그림 9.3에서 $\boldsymbol{\theta}$ 와 $y$ 는 8.5절에서 다룬 tail to tail의 한 경우이다( $y_1 \leftarrow \boldsymbol{\theta} \rightarrow y_2$ ). 이때 $\boldsymbol{\theta}$ 가 관측되었다면(명제 1의 첫 번째 경우가 참), 두 변수는 독립이고, 관측되지 않았다면 서로 종속된다.
$\to$ 그럼 만약 $x$ 가 관측되지 않았다면 어떨까?
만약 $\boldsymbol{\theta}$ 를 알고 있는데 개별 입력 $\boldsymbol{x}_1, \boldsymbol{x}_2$ 를 모른다고 가정해보자. 이 경우 $y_1$ 을 관측하면 $\boldsymbol{x}_1$ 이 무엇이었는지 $\boldsymbol{\theta}$ 를 통해 역추적할 수 있다. 하지만 $\boldsymbol{x}_1$ 과 $\boldsymbol{x}_2$ 자체가 서로 아무런 관계가 없는 독립적인 데이터라면, $\boldsymbol{x}_1$ 을 안다고 해서 $\boldsymbol{x}_2$ 를 아는 데 도움이 되지 않으므로 $y_2$ 에도 영향을 주지 못한다.
따라서 데이터 사이 종속성은 $\boldsymbol{x}$ 가 아닌 매개변수 $\boldsymbol{\theta}$ 로써 결정된다.
$\quad$ 다음에서 우리는 선형 회귀 모델 (9.4)에 대한 최적의 매개변수 $\boldsymbol{\theta}^{*} \in \mathbb{R}^D$ 를 찾는 방법을 논의할 것이다. 매개변수 $\boldsymbol{\theta}^{*}$ 를 찾고 나면, (9.4)에서 이 매개변수 추정치를 사용하여 함수 값을 예측할 수 있으며, 따라서 임의의 테스트 입력 $\boldsymbol{x}_{*}$ 에서 대응하는 타깃 $y_{*}$ 의 분포는 다음과 같다.
다음에서 우리는 우도를 최대화하여 매개변수를 추정하는 방법을 살펴볼 것인데, 이는 8.3절에서 어느 정도 다루었던 주제이다.
$\to$ 예측한 분포의 불확실성( $\sigma^2$ )은 오직 데이터의 ‘노이즈’만 반영할 뿐, 우리가 찾은 $\boldsymbol{\theta}^*$ 가 틀렸을지도 모른다는 의심( $\boldsymbol{\theta}$ 의 불확실성)은 없다.
9.2.1 Maximum Likelihood Estimation
최대 우도 추정
원하는 매개변수 $\boldsymbol{\theta}_{\text{ML}}$ 을 찾는 데 널리 사용되는 접근법은 최대 우도 추정이며, 여기서 우리는 우도 (9.5b)를 최대화하는 매개변수 $\boldsymbol{\theta}_{\text{ML}}$ 을 찾는다. 직관적으로, 우도를 최대화한다는 것은 모델 매개변수가 주어졌을 때 훈련 데이터의 예측 분포를 최대화한다는 것을 의미한다. 우리는 최대 우도 매개변수를 다음과 같이 얻는다.
Remark. 우도 $p(\boldsymbol{y} \mid \boldsymbol{x}, \boldsymbol{\theta})$ 는 $\boldsymbol{\theta}$ 에 대한 확률 분포가 아니다: 이것은 단순히 매개변수 $\boldsymbol{\theta}$ 의 함수일 뿐이며 적분하여 1이 되지 않고 (즉, 정규화되지 않음), $\boldsymbol{\theta}$ 에 대해 적분 불가능할 수도 있다. 하지만 (9.7)의 우도는 $\boldsymbol{y}$ 에 대해서는 정규화된 확률 분포이다.
우도를 최대화한다는 것은 매개변수가 주어졌을 때 (훈련) 데이터의 예측 분포를 최대화한다는 것을 의미한다.
우도는 매개변수에 대한 확률 분포가 아니다.
$\to$ 우도함수를 적분값으로 나눠 확률 분포로 취급한다면( $\frac{p(\mathcal{D} \mid \boldsymbol{\theta})}{\int p(\mathcal{D} \mid \boldsymbol{\theta}) d\boldsymbol{\theta}}$ ), 이것은 무슨 의미를 가지는가?
베이즈 정리를 상기해보자.
만약 매개변수 $\boldsymbol{\theta}$ 에 대해 사전 지식이 없다는 것은, $\boldsymbol{\theta}$ 가 어떤 값을 가지든 상관없이 그럴듯하다는 것이다. 이는 사전 확률 $p(\boldsymbol{\theta})$ 이 어떤 변하지 않는 상수 $c$ 로 생각할 수 있다.
$c$ 는 상수이므로
우도함수를 그 자체의 적분값으로 나눈다는 것은, 매개변수가 균등분포를 따른다고(prior) 가정하는 것과 동일하다.
보통 prior과 우도를 곱하여 사전 지식과 데이터의 증거를 섞기(?) 위함인데, 사전확률을 어떤 상수로써 취급하면 사후확률은 우도 함수만으로 결정된다. 따라서 사후 확률이 가장 높은 곳(MAP 추정치)을 찾으나, 우도 함수가 가장 높은 곳(MLE 추정치)을 찾으나 결과가 같다.
그러나 이는 $\int p(\mathcal{D} \mid \boldsymbol{\theta}) d\boldsymbol{\theta}$ 를 계산할 수 없는데, $\boldsymbol{\theta}$ 의 정의역이 실수 전체라고 해보자. 이 공간에서 균등 분포(상수 $c$ )로써 보려면, 전체 면적이 1이 되어야 하므로 $c=0$ 이 되어야 하는 모순이 발생한다. 통계학에서 적분해서 1이 될 수 없는 사전 확률을 부적절한(improper) 사전 확률이라고 부른다.
$\quad$ 우도를 최대화하는 원하는 매개변수 $\boldsymbol{\theta}_{\text{ML}}$ 을 찾기 위해, 우리는 일반적으로 경사 상승법(또는 음의 우도에 대한 경사 하강법)을 수행한다. 하지만 우리가 여기서 고려하는 선형 회귀의 경우 닫힌 형태의 해가 존재하며, 이는 반복적인 경사 하강법을 불필요하게 만든다. 실제로는, 우도를 직접 최대화하는 대신 우도 함수에 로그 변환을 적용하고 음의 로그 우도를 최소화한다.
로그는 (강하게) 단조 증가하는 함수이므로, 함수 $f$ 의 최적점은 $\log f$ 의 최적점과 동일하다.
Remark. (로그 변환). 우도 (9.5b)는 $N$ 개의 가우시안 분포의 곱이므로, 로그 변환은 (a) 수치적 언더플로우를 겪지 않으며, (b) 미분 규칙이 더 간단해진다는 점에서 유용하다. 구체적으로, 데이터 포인트의 수인 $N$ 개의 확률을 곱할 때 수치적 언더플로우가 문제가 될 것인데, 이는 우리가 $10^{-256}$ 과 같은 매우 작은 숫자를 표현할 수 없기 때문이다. 더욱이, 로그 변환은 곱을 로그 확률의 합으로 바꾸어, $N$ 개 항의 곱의 그래디언트를 계산하기 위해 곱의 미분 법칙 (5.46)을 반복적으로 적용하는 대신 해당 그래디언트가 개별 그래디언트들의 합이 되도록 할 것이다.
$\quad$ 선형 회귀 문제의 최적 매개변수 $\boldsymbol{\theta}_{\text{ML}}$ 을 찾기 위해, 우리는 음의 로그 우도를 최소화한다.
여기서 우리는 훈련 세트에 대한 독립성 가정으로 인해 우도 (9.5b)가 데이터 포인트의 수에 걸쳐 인수분해된다는 점을 이용했다.
$\quad$ 선형 회귀 모델 (9.4)에서, 우도는 가우시안이므로 (가우시안 가산 노이즈 항으로 인해), 우리는 다음에 도달한다.
여기서 상수는 $\boldsymbol{\theta}$ 와 독립적인 모든 항을 포함한다. (9.9)를 음의 로그 우도 (9.8)에 사용하면, 우리는 다음을 얻는다 (상수 항 무시).
여기서 우리는 훈련 입력들의 모음으로서 계획 행렬(design matrix) $\boldsymbol{X} := [\boldsymbol{x}_1, \dots, \boldsymbol{x}_N]^\top \in \mathbb{R}^{N \times D}$ 를, 그리고 모든 훈련 타깃을 모은 벡터로서 $\boldsymbol{y} := [y_1, \dots, y_N]^\top \in \mathbb{R}^N$ 을 정의한다. 계획 행렬 $\boldsymbol{X}$ 의 $n$ 번째 행은 훈련 입력 $\boldsymbol{x}_n$ 에 해당한다는 점에 유의한다. (9.10b)에서, 우리는 관측치 $y_n$ 과 그에 대응하는 모델 예측치 $\boldsymbol{x}_n^\top \boldsymbol{\theta}$ 사이의 오차 제곱의 합이 $\boldsymbol{y}$ 와 $\boldsymbol{X}\boldsymbol{\theta}$ 사이의 제곱 거리와 같다는 사실을 사용했다.
음의 로그 우도 함수는 오차 함수(error function)라고도 불린다.
오차 제곱은 종종 거리의 척도로 사용된다. 내적으로 점곱을 선택하면 $\lVert \boldsymbol{x} \rVert^2 = \boldsymbol{x}^\top \boldsymbol{x}$ 가 된다는 점을 3.1절에서 상기하라.
$\quad$ (9.10b)를 통해, 우리는 이제 최적화해야 할 음의 로그 우도 함수의 구체적인 형태를 갖게 되었다. 우리는 즉시 (9.10b)가 $\boldsymbol{\theta}$ 에 대해 2차식임을 알 수 있다. 이는 음의 로그 우도 $\mathcal{L}$ 을 최소화하기 위한 유일한 전역 해 $\boldsymbol{\theta}_{\text{ML}}$ 을 찾을 수 있음을 의미한다. 우리는 $\mathcal{L}$ 의 그래디언트를 계산하고, 이를 $\boldsymbol{0}$ 으로 설정한 다음 $\boldsymbol{\theta}$ 에 대해 풂으로써 전역 최적점을 찾을 수 있다.
$\quad$ 5장의 결과를 사용하여, 매개변수에 대한 $\mathcal{L}$ 의 그래디언트를 다음과 같이 계산한다.
최대 우도 추정량 $\boldsymbol{\theta}_{\text{ML}}$ 은 $\frac{d\mathcal{L}}{d\boldsymbol{\theta}} = \boldsymbol{0}^\top$ (필요 최적성 조건)을 풀며, 우리는 다음을 얻는다.
우리는 첫 번째 방정식의 오른쪽에 $(\boldsymbol{X}^\top \boldsymbol{X})^{-1}$ 을 곱할 수 있었는데, 왜냐하면 $\text{rk}(\boldsymbol{X})$ 가 $\boldsymbol{X}$ 의 계수(rank)를 나타낼 때 $\text{rk}(\boldsymbol{X}) = D$ 이면 $\boldsymbol{X}^\top \boldsymbol{X}$ 가 양의 정부호(positive definite)이기 때문이다.
Remark. 그래디언트를 $\boldsymbol{0}^\top$ 으로 설정하는 것은 필요충분조건이며, 헤시안 $\nabla^2_{\boldsymbol{\theta}} \mathcal{L}(\boldsymbol{\theta}) = \boldsymbol{X}^\top \boldsymbol{X} \in \mathbb{R}^{D \times D}$ 가 양의 정부호이므로 우리는 전역 최솟값을 얻는다.
Remark. (9.12c)의 최대 우도 해는 $\boldsymbol{A} = (\boldsymbol{X}^\top \boldsymbol{X})$ 이고 $\boldsymbol{b} = \boldsymbol{X}^\top \boldsymbol{y}$ 인 $\boldsymbol{A}\boldsymbol{\theta} = \boldsymbol{b}$ 형태의 선형 방정식 계를 풀 것을 우리에게 요구한다.
중복된 데이터 포인트의 가능성을 무시하면, $N \ge D$ 일 때 $\text{rk}(\boldsymbol{X}) = D$ 이다. 즉, 우리는 데이터 포인트보다 더 많은 매개변수를 가지지 않는다.
$\to$ 만약 $\text{rk}(\boldsymbol{X}) < D$ 이어서 $\boldsymbol{X}^\top \boldsymbol{X}$ 가 비가역행렬일 경우(다중공선성)를 따로 정리했다.
$\quad$ $\boldsymbol{X}^\top\boldsymbol{X}$ 가 역행렬을 가지지 못한다는 것은 고윳값 중 일부가 0이 되었다는 것인데, 이때 각 고윳값에 아주 작은 임의의 양수를 강제로 더하여 양의 정부호로 만드는 방법이 있다.
참고로, 위처럼 대각 성분에 바로 어떤 작은 양수를 더하는 것과, $\boldsymbol{X}^\top\boldsymbol{X}$ 를 고윳값분해하여 얻은 고윳값행렬에 임의의 작은 양수를 더하는 연산은 동일하다.
어떤 가역행렬 $\boldsymbol{P}$ 에 대해서 $\boldsymbol{P}\boldsymbol{P}^{-1} = \boldsymbol{I}$ 가 성립하므로
이는 분배 법칙으로 다음과 같다.
따라서 고윳값분해를 하는 연산을 굳이 할 필요없이 $\boldsymbol{X}^\top\boldsymbol{X}$ 에 바로 $\lambda \boldsymbol{I}$ 를 더하면 된다.
이때 데이터의 특성이 약간 바뀌는 거는 감수해야하는가?
예제 9.2 (선 적합)
그림 9.2를 살펴보자. 여기서 우리는 최대 우도 추정을 사용하여 데이터셋에 $\theta$ 가 알려지지 않은 기울기인 직선 $f(x) = \theta x$ 를 적합시키는 것을 목표로 한다. 이 모델 클래스(직선)의 함수 예시들이 그림 9.2(a)에 나와 있다. 그림 9.2(b)에 나타난 데이터셋에 대해, 우리는 (9.12c)를 사용하여 기울기 매개변수 $\theta$ 의 최대 우도 추정치를 찾고 그림 9.2(c)의 최대 우도 선형 함수를 얻는다.
예제 9.2는 feature가 하나이고(볼드처리가 안되있으므로) 데이터들을 mean-centering하여 원점을 지나며 데이터를 잘 대변하는 직선을 찾는 문제이다.
따라서 계획 행렬 은 $N \times 1$ 인 열벡터이며, 매개변수 또한 단일 스칼라( $\theta$ )이다. 이를 정규방정식에 대입해보자.
$\boldsymbol{X}^\top \boldsymbol{X}$ : 스칼라
스칼라의 역행렬은 그저 역수를 취한 것과 같다.
$\boldsymbol{X}^\top \boldsymbol{y}$ :
두 항을 곱하면
이는 데이터의 중심을 지나는 추세선의 기울기이다. 분자는 $x$ 와 $y$ 가 함께 움직이는 방향(공분산의 느낌)을 나타내고, 분모는 $x$ 가 퍼져있는 정도(분산의 느낌)로 그 값을 정규화하여 기울기의 스케일을 조정한다.
추세선은 모든 훈련 데이터 포인트 $(x_n, y_n)$ 에서 직선 $\hat{y} = \boldsymbol{x}^\top \boldsymbol{\theta}$ 까지의 수직 거리(오차)를 제곱하여 모두 더한 값, 즉 오차 함수 $\mathcal{L}(\boldsymbol{\theta})$ 가 최소화되는 위치에 고정된 선이다. 위에 정규 방정식의 해를 기울기로 가지는 선이 추세선이다.
Maximum Likelihood Estimation with Features
특징을 사용한 최대 우도 추정
지금까지 우리는 최대 우도 추정을 사용하여 데이터에 직선을 적합시킬 수 있도록 하는 (9.4)에 설명된 선형 회귀 설정을 고려했다. 그러나 더 흥미로운 데이터를 적합시키는 데 있어 직선은 충분히 표현력이 높지 않다. 다행히도, 선형 회귀는 선형 회귀 프레임워크 내에서 비선형 함수를 적합시킬 수 있는 방법을 우리에게 제공한다. “선형 회귀”는 단지 “매개변수에 대해 선형적임”을 의미하기 때문에, 우리는 입력 $\boldsymbol{x}$ 에 대해 임의의 비선형 변환 $\boldsymbol{\phi}(\boldsymbol{x})$ 를 수행한 다음 이 변환의 구성 요소들을 선형적으로 결합할 수 있다. 이에 해당하는 선형 회귀 모델은 다음과 같다.
선형 회귀는 “매개변수에 대해 선형적인” 회귀 모델을 가리키지만, 입력은 임의의 비선형 변환을 거칠 수 있다.
여기서 $\boldsymbol{\phi} : \mathbb{R}^D \to \mathbb{R}^K$ 는 입력 $\boldsymbol{x}$ 의 (비선형) 변환이고 $\phi_k : \mathbb{R}^D \to \mathbb{R}$ 는 특성 벡터 $\boldsymbol{\phi}$ 의 $k$ 번째 구성 요소이다. 모델 매개변수 $\boldsymbol{\theta}$ 는 여전히 선형적으로만 나타난다는 점에 유의하라.
예제 9.3 (다항식 회귀)
우리는 $x \in \mathbb{R}$ 이고 $\boldsymbol{\theta} \in \mathbb{R}^K$ 인 회귀 문제 $y = \boldsymbol{\phi}^\top(x)\boldsymbol{\theta} + \epsilon$ 에 관심이 있다. 이 문맥에서 자주 사용되는 변환은 다음과 같다.
이는 우리가 원래의 1차원 입력 공간을 $k = 0, \dots, K-1$ 에 대한 모든 단항식 $x^k$ 로 구성된 $K$ 차원 특성 공간으로 “들어 올린다(lift)”는 것을 의미한다. 이러한 특성들을 사용하면, 선형 회귀 프레임워크 내에서 차수가 $K-1$ 이하인 다항식을 모델링할 수 있다. 차수가 $K-1$ 인 다항식은 다음과 같다.
여기서 $\boldsymbol{\phi}$ 는 (9.14)에 정의되어 있으며, $\boldsymbol{\theta} = [\theta_0, \dots, \theta_{K-1}]^\top \in \mathbb{R}^K$ 는 (선형) 매개변수 $\theta_k$ 를 포함한다.
$\quad$ 이제 선형 회귀 모델 (9.13)에서 매개변수 $\boldsymbol{\theta}$ 의 최대 우도 추정을 살펴보자. 훈련 입력 $\boldsymbol{x}_n \in \mathbb{R}^D$ 와 타깃 $y_n \in \mathbb{R}$ , $n = 1, \dots, N$ 을 고려하고, 특성 행렬(계획 행렬)을 다음과 같이 정의한다.
여기서 $\Phi_{ij} = \phi_j(\boldsymbol{x}_i)$ 이고 $\phi_j : \mathbb{R}^D \to \mathbb{R}$ 이다.
예제 9.4 (2차 다항식을 위한 특성 행렬)
2차 다항식과 $N$ 개의 훈련 포인트 $x_n \in \mathbb{R}, n = 1, \dots, N$ 에 대해, 특성 행렬은 다음과 같다.
다항 회귀의 한계는 데이터의 패턴을 알고 있어서 특성 벡터 $\boldsymbol{\phi}$ 를 정해야 한다는 것이다. 고차원 데이터가 기하학적으로 어떤 패턴을 가지는지 우리는 알지 못한다.
$\quad$ (9.16)에서 정의된 특성 행렬 $\boldsymbol{\Phi}$ 를 사용하면, 선형 회귀 모델 (9.13)에 대한 음의 로그 우도는 다음과 같이 쓸 수 있다.
(9.18)을 “특성이 없는” 모델에 대한 (9.10b)의 음의 로그 우도와 비교하면, 단지 $\boldsymbol{X}$ 를 $\boldsymbol{\Phi}$ 로 대체하기만 하면 된다는 것을 즉시 알 수 있다. $\boldsymbol{X}$ 와 $\boldsymbol{\Phi}$ 모두 우리가 최적화하고자 하는 매개변수 $\boldsymbol{\theta}$ 와 독립적이므로, 우리는 (9.13)에 정의된 비선형 특성을 가진 선형 회귀 문제에 대한 최대 우도 추정치에 즉시 도달한다.
Remark. 특성 없이 작업할 때, 우리는 $\boldsymbol{X}^\top \boldsymbol{X}$ 가 가역행렬일 것을 요구했는데, 이는 $\text{rk}(\boldsymbol{X}) = D$ 일 때, 즉 $\boldsymbol{X}$ 의 열들이 선형 독립일 때 성립한다. 따라서 (9.19)에서 우리는 $\boldsymbol{\Phi}^\top \boldsymbol{\Phi} \in \mathbb{R}^{K \times K}$ 가 가역행렬일 것을 요구한다. 이는 $\text{rk}(\boldsymbol{\Phi}) = K$ 일 때 필요충분조건으로 성립한다.
예제 9.5 (최대 우도 다항식 적합)
그림 9.4 다항식 회귀: (a) $n=1,\dots,10$ 인 $(x_n, y_n)$ 쌍으로 구성된 데이터셋; (b) 차수가 4인 최대 우도 다항식.
$\quad$ 그림 9.4(a)의 데이터셋을 고려하자. 이 데이터셋은 $N=10$ 개의 쌍 $(x_n, y_n)$ 으로 구성되며, 여기서 $x_n \sim U[-5, 5]$ 이고 $y_n = -\sin(x_n/5) + \cos(x_n) + \epsilon$ 이며, $\epsilon \sim \mathcal{N}(0, 0.2^2)$ 이다.
$\quad$ 우리는 최대 우도 추정을 사용하여 4차 다항식을 적합시킨다. 즉, 매개변수 $\boldsymbol{\theta}_{\text{ML}}$ 은 (9.19)에 주어져 있다. 최대 우도 추정은 임의의 테스트 위치 $x_{*}$ 에서 함수 값 $\boldsymbol{\phi}^\top(x_{*})\boldsymbol{\theta}_{\text{ML}}$ 을 산출한다. 그 결과는 그림 9.4(b)에 나타나 있다.
Estimating the Noise Variance
노이즈 분산 추정
지금까지 우리는 노이즈 분산 $\sigma^2$ 이 알려져 있다고 가정했다. 그러나 최대 우도 추정의 원리를 사용하여 노이즈 분산에 대한 최대 우도 추정량 $\sigma^2_{\text{ML}}$ 을 얻을 수도 있다. 이를 위해 표준 절차를 따른다. 로그 우도를 작성하고, $\sigma^2 > 0$ 에 대한 도함수를 계산한 후, 이를 0으로 설정하고 푼다. 로그 우도는 다음과 같이 주어진다.
$\sigma^2$ 에 대한 로그 우도의 편미분은 다음과 같다.
따라서 다음을 확인한다.
그러므로 노이즈 분산의 최대 우도 추정치는 입력 위치 $\boldsymbol{x}_n$ 에서 노이즈가 없는 함수 값 $\boldsymbol{\phi}^\top(\boldsymbol{x}_n)\boldsymbol{\theta}$ 와 이에 대응하는 노이즈가 있는 관측치 $y_n$ 사이의 제곱 거리의 경험적 평균이다.
$\to$ 선형 회귀의 생성 모델 가정은 $y_n = \boldsymbol{\phi}^\top(\boldsymbol{x}_n)\boldsymbol{\theta} + \epsilon_n$ 이며, 여기서 노이즈는 $\epsilon_n \sim \mathcal{N}(0, \sigma^2)$ 을 따른다. 현실에서 참값 $\boldsymbol{\theta}$ 와 실제 발생한 노이즈 $\epsilon_n$ 은 관측이 불가능하다. 그러나 $\boldsymbol{\theta}_{\text{ML}}$ 을 추정하여 예측값 $\hat{y}_n = \boldsymbol{\phi}^\top(\boldsymbol{x}_n)\boldsymbol{\theta}_{\text{ML}}$ 을 구하면, 실제 타깃 $y_n$ 과 예측값 $\hat{y}_n$ 의 차이인 잔차(Residual, $e_n = y_n - \hat{y}_n$ )를 계산할 수 있다. 이 잔차 $e_n$ 는 관측 불가능한 실제 노이즈 $\epsilon_n$ 의 경험적 표본이다.
노이즈 $\epsilon$ 의 기댓값은 $0$ 으로 가정되었으므로, 분산 $\sigma^2$ 은 분산의 정의에 의해 제곱의 기댓값으로 정의된다.
이를 잔차 $e_n$ 이라는 경험적 표본의 산술 평균으로 근사하면 다음과 같다.
이는 식 9.22와 동일하며, 훈련 데이터에 대해 발생한 평균적인 오차의 크기가 테스트 데이터에 대해 모델이 가져야할 불확실성(신뢰 구간)의 크기임을 뜻한다.
9.2.2 Overfitting in Linear Regression
선형 회귀에서의 과적합
우리는 방금 최대 우도 추정을 사용하여 데이터에 선형 모델(예: 다항식)을 적합시키는 방법을 논의했다. 우리는 발생한 오차/손실을 계산하여 모델의 품질을 평가할 수 있다. 이를 수행하는 한 가지 방법은 음의 로그 우도 (9.10b)를 계산하는 것인데, 우리는 최대 우도 추정량을 결정하기 위해 이를 최소화했다. 대안적으로, 노이즈 매개변수 $\sigma^2$ 가 자유 모델 매개변수가 아니라는 점을 감안할 때, $1/\sigma^2$ 에 의한 스케일링을 무시할 수 있으며, 그 결과 제곱 오차 손실 함수 $\lVert \boldsymbol{y} - \boldsymbol{\Phi}\boldsymbol{\theta} \rVert^2$ 을 얻게 된다. 이 제곱 손실을 사용하는 대신, 우리는 종종 평균 제곱근 오차(RMSE)를 사용한다.
이는 (a) 크기가 다른 데이터셋의 오차를 비교할 수 있게 해주며, (b) 관측된 함수 값 $y_n$ 과 동일한 스케일 및 동일한 단위를 갖는다. 예를 들어, 우편번호(위도, 경도로 주어진 $x$ )를 주택 가격( $y$ 값은 EUR)에 매핑하는 모델을 적합시킨다면, 제곱 오차는 EUR $^2$ 로 주어지는 반면 RMSE 역시 EUR로 측정된다. 원래의 음의 로그 우도 (9.10b)에서 $\sigma^2$ 인자를 포함하기로 선택한다면, 우리는 단위가 없는 목적 함수를 얻게 된다. 즉, 앞선 예제에서 목적 함수는 더 이상 EUR이나 EUR $^2$ 단위가 아닐 것이다.
무차원 물리 상수
$\quad$ 모델 선택(8.6절 참조)을 위해, 목적 함수를 최소화하는 다항식 차수 $M$ 을 찾음으로써 가장 좋은 다항식 차수를 결정하는 데 RMSE(또는 음의 로그 우도)를 사용할 수 있다. 다항식 차수가 자연수라는 점을 고려하면, 무차별 대입 탐색을 수행하여 합리적인 모든 $M$ 값을 열거할 수 있다. 크기가 $N$ 인 훈련 세트의 경우 $0 \le M \le N - 1$ 을 테스트하는 것으로 충분하다. $M < N$ 에 대해 최대 우도 추정량은 유일하다. $M \ge N$ 에 대해서는 데이터 포인트보다 더 많은 매개변수를 가지게 되며, 과소결정된 선형 방정식 계를 풀어야 하므로((9.19)의 $\boldsymbol{\Phi}^\top \boldsymbol{\Phi}$ 역시 더 이상 가역적이지 않을 것이다) 무한히 많은 가능한 최대 우도 추정량이 존재하게 된다.
그림 9.5 다양한 다항식 차수 $M$ 에 대한 최대 우도 적합.
$\quad$ 그림 9.5는 $N = 10$ 개의 관측치를 가진 그림 9.4(a)의 데이터셋에 대해 최대 우도로 결정된 여러 다항식 적합을 보여준다. 낮은 차수의 다항식(예: 상수( $M = 0$ ) 또는 선형( $M = 1$ ))은 데이터에 대한 적합도가 낮으며, 따라서 진정한 기저 함수를 제대로 표현하지 못한다는 것을 알 수 있다. 차수 $M = 3, \dots, 6$ 에 대해, 적합은 그럴듯해 보이며 데이터를 부드럽게 보간한다. 더 높은 차수의 다항식으로 갈 때, 데이터에 점점 더 잘 적합한다는 것을 알 수 있다. $M = N - 1 = 9$ 인 극단적인 경우, 함수는 모든 단일 데이터 포인트를 통과할 것이다. 그러나 이러한 고차 다항식은 거칠게 진동하며 데이터를 생성한 기저 함수를 제대로 표현하지 못하여, 우리는 과적합을 겪게 된다.
_ $M = N - 1$ 인 경우는, 그렇지 않으면 해당 선형 방정식 계의 영공간이 자명하지 않게 되고, 선형 회귀 문제에 대해 무한히 많은 최적해를 갖게 된다는 점에서 극단적이다._
$\quad$ 목표는 새롭고(본 적 없는) 데이터에 대해 정확한 예측을 수행하여 좋은 일반화를 달성하는 것임을 기억하라. 우리는 훈련 세트를 생성하는 데 사용된 것과 정확히 동일한 절차를 사용하여 생성된 200개의 데이터 포인트로 구성된 별도의 테스트 세트를 고려함으로써, 다항식 차수 $M$ 에 대한 일반화 성능의 의존성에 대한 정량적 통찰을 얻는다. 테스트 입력으로, 우리는 $[-5, 5]$ 구간에서 200개 포인트의 선형 그리드를 선택했다. 각각의 $M$ 선택에 대해, 훈련 데이터와 테스트 데이터 모두에 대한 RMSE (9.23)를 평가한다.
그림 9.6 훈련 및 테스트 오차.
$\quad$ 해당 다항식의 일반화 속성에 대한 정성적 척도인 테스트 오차를 살펴보면, 처음에는 테스트 오차가 감소하는 것을 알 수 있다. 그림 9.6(주황색)을 참조하라. 4차 다항식의 경우 테스트 오차가 상대적으로 낮고 차수 5까지 상대적으로 일정하게 유지된다. 그러나 차수 6부터는 테스트 오차가 크게 증가하며, 고차 다항식은 매우 나쁜 일반화 속성을 갖는다. 이 특정 예제에서 이는 그림 9.5의 최대 우도 적합에서도 명백하게 나타난다. 다항식의 차수가 증가할 때 훈련 오차(그림 9.6의 파란색 곡선)는 결코 증가하지 않는다는 점에 유의하라. 우리의 예제에서 가장 좋은 일반화(가장 작은 테스트 오차의 지점)는 차수 $M = 4$ 인 다항식에서 얻어진다.
노이즈 분산 $\sigma^2 > 0$ 임에 유의하라.
$\to$ 앞서 노이즈 분산의 최대 우도 추정치가 잔차 제곱의 평균임을 상기하자. 다항식의 차수를 높여 MSE가 0인 해를 찾는 것은 노이즈의 분산이 $\sigma^2 = 0$ 임을 뜻한다. 즉, 훈련 데이터와 아주 미세한 차이를 보이는 새로운 테스트 데이터에 대해 모델은 그 우도를 0으로 평가하는(모델의 불확실성이 사라짐) 일반화의 실패를 의미한다.
9.2.3 Maximum A Posteriori Estimation
최대 사후 확률 추정
방금 우리는 최대 우도 추정이 과적합에 취약함을 보았다. 과적합이 발생할 때 매개변수 값의 크기가 상대적으로 커지는 것을 종종 관찰할 수 있다 (Bishop, 2006).
$\quad$ 엄청나게 큰 매개변수 값의 영향을 완화하기 위해, 매개변수에 사전 분포 $p(\boldsymbol{\theta})$ 를 부여할 수 있다. 사전 분포는 (어떤 데이터도 보기 전에) 어떤 매개변수 값이 타당한지를 명시적으로 인코딩한다. 예를 들어, 단일 매개변수 $\theta$ 에 대한 가우시안 사전 분포 $p(\theta) = \mathcal{N}(0, 1)$ 은 매개변수 값이 구간 $[-2, 2]$ (평균값 주위의 2 표준 편차) 내에 있을 것으로 예상됨을 인코딩한다. 일단 데이터셋 $\mathcal{X}, \mathcal{Y}$ 를 사용할 수 있게 되면, 우도를 최대화하는 대신 사후 분포 $p(\boldsymbol{\theta} \mid \mathcal{X}, \mathcal{Y})$ 를 최대화하는 매개변수를 찾는다. 이 절차를 최대 사후 추정(MAP)이라고 부른다.
$\quad$ 훈련 데이터 $\mathcal{X}, \mathcal{Y}$ 가 주어졌을 때 매개변수 $\boldsymbol{\theta}$ 에 대한 사후 분포는 베이즈 정리(6.3절)를 적용하여 다음과 같이 얻어진다.
사후 분포는 매개변수 사전 분포 $p(\boldsymbol{\theta})$ 에 명시적으로 의존하므로, 사전 분포는 우리가 사후 분포의 최대점으로 찾는 매개변수 벡터에 영향을 미친다. 다음에서 이를 더 명확하게 볼 것이다. 사후 분포 (9.24)를 최대화하는 매개변수 벡터 $\boldsymbol{\theta}_{\text{MAP}}$ 가 MAP 추정치이다.
$\quad$ MAP 추정치를 찾기 위해, 최대 우도 추정과 비슷한 성격의 단계를 따른다. 로그 변환으로 시작하여 로그 사후 분포를 다음과 같이 계산한다.
여기서 상수는 $\boldsymbol{\theta}$ 와 독립적인 항들을 포함한다. (9.25)의 로그 사후 분포는 로그 우도 $p(\mathcal{Y} \mid \mathcal{X}, \boldsymbol{\theta})$ 와 로그 사전 분포 $\log p(\boldsymbol{\theta})$ 의 합임을 알 수 있으며, 따라서 MAP 추정치는 사전 분포(데이터를 관찰하기 전에 타당한 매개변수 값에 대한 우리의 제안)와 데이터 종속적인 우도 사이의 “타협”이 될 것이다.
$\quad$ MAP 추정치 $\boldsymbol{\theta}_{\text{MAP}}$ 를 찾기 위해, $\boldsymbol{\theta}$ 에 대해 음의 로그 사후 분포를 최소화한다. 즉, 다음을 푼다.
$\boldsymbol{\theta}$ 에 대한 음의 로그 사후 분포의 그래디언트는 다음과 같다.
여기서 우변의 첫 번째 항은 (9.11c)의 음의 로그 우도의 그래디언트임을 확인한다.
로그를 취한 우도함수와 사전확률의 합은 기하학적으로 어떤 의미인가?
$\quad$ 매개변수 $\boldsymbol{\theta}$ 에 대한 (켤레) 가우시안 사전 분포 $p(\boldsymbol{\theta}) = \mathcal{N}(\boldsymbol{0}, b^2\boldsymbol{I})$ 를 사용하면, 선형 회귀 설정 (9.13)에 대한 음의 로그 사후 분포는 다음과 같이 얻어진다.
여기서 첫 번째 항은 로그 우도의 기여에 해당하고, 두 번째 항은 로그 사전 분포에서 비롯된다. 그러면 매개변수 $\boldsymbol{\theta}$ 에 대한 로그 사후 분포의 그래디언트는 다음과 같다.
우리는 이 그래디언트를 $\boldsymbol{0}^\top$ 으로 설정하고 $\boldsymbol{\theta}_{\text{MAP}}$ 에 대해 풀어 MAP 추정치 $\boldsymbol{\theta}_{\text{MAP}}$ 를 찾을 것이다. 다음을 얻는다.
따라서 MAP 추정치는 다음과 같다 (마지막 등식의 양변을 전치하여).
_ $\boldsymbol{\Phi}^\top\boldsymbol{\Phi}$ 는 대칭행렬이며 양의 준정부호 행렬이다. (9.31)의 추가 항은 강한 양의 정부호 행렬이므로 역행렬이 존재한다._
(9.31)의 MAP 추정치를 (9.19)의 최대 우도 추정치와 비교해보면, 두 해의 유일한 차이점은 역행렬 안의 추가 항 $\frac{\sigma^2}{b^2}\boldsymbol{I}$ 임을 알 수 있다. 이 항은 $\boldsymbol{\Phi}^\top\boldsymbol{\Phi} + \frac{\sigma^2}{b^2}\boldsymbol{I}$ 가 대칭행렬이며 강한 양의 정부호 행렬(즉, 역행렬이 존재하고 MAP 추정치는 선형 방정식 계의 유일한 해이다)이 되도록 보장한다. 게다가, 이는 정규화기(regularizer)의 영향을 반영한다.
특성 행렬의 내적 $\boldsymbol{\Phi}^\top\boldsymbol{\Phi}$ 에 스칼라배가 된 단위 행렬 $\frac{\sigma^2}{b^2}\boldsymbol{I}$ 를 더하는 연산은 무엇을 의미할까?
특성 행렬의 내적 $\boldsymbol{\Phi}^\top\boldsymbol{\Phi}$ 는 대칭 행렬이며, $\frac{\sigma^2}{b^2}\boldsymbol{I}$ 를 더한다는 것은, 주대각선 원소들에만 $\frac{\sigma^2}{b^2}$ 만큼의 양수값을 더한다는 것이다. 이는 각 특성이 자기 자신과 가지는 내적 값(분산)을 증가시키고, 서로 다른 특성 간의 상관관계(공분산)는 보존하는 연산이다. 편의상 $\lambda = \frac{\sigma^2}{b^2}$ 로 치환한다.
이 연산의 목적은 양의 준정부호 행렬(0인 고유값이 존재) $\boldsymbol{\Phi}^\top\boldsymbol{\Phi}$ 가 역행렬을 가지도록(=0인 고유값을 양수로 만들기) 만들어 주는 것이다. 행렬 $\boldsymbol{\Phi}^\top\boldsymbol{\Phi}$ 가 $\boldsymbol{v}$ 라는 고유벡터와 $\gamma$ 라는 고윳값을 가진다고 가정하면 다음이 성립한다.
여기에 $\lambda\boldsymbol{I}$ 를 더한 새로운 행렬에 동일한 고유벡터 $\boldsymbol{v}$ 를 곱하면 다음과 같다.
$\lambda\boldsymbol{I}$ 를 더하는 연산은 행렬의 고유벡터(축의 방향)는 단 하나도 바꾸지 않으면서 모든 고유값의 크기만 $\lambda$ 만큼 키우는 것이다.
다항식 차수가 높거나 데이터 간에 다중공선성이 존재할 때, $\boldsymbol{\Phi}^\top\boldsymbol{\Phi}$ 의 고윳값 중 일부는 0이 되어 역행렬을 구할 수 없는 특이 행렬(=비가역행렬)이 된다. 이때 모든 고윳값에 $\lambda (>0)$ 를 더해주게 되면, 가장 작았던 고윳값조차 최소 $\lambda$ 이상의 값을 가지게 된다. 즉, 고윳값이 모두 0 이상이 되어 행렬 $\boldsymbol{\Phi}^\top\boldsymbol{\Phi} + \lambda\boldsymbol{I}$ 는 항상 역행렬을 가진다.
직관적으로 보기 위해 $\boldsymbol{\Phi}^\top\boldsymbol{\Phi}$ 를 $\boldsymbol{X}^\top\boldsymbol{X}$ 로 보자(의미는 같다). $\boldsymbol{X}^\top\boldsymbol{X}$ 의 대각 성분에 양수 $\lambda$ 를 더하는 연산은 원본 데이터 $\boldsymbol{X}$ 가 가진 고유한 통계적 특성(분산)을 인위적으로 변형하는 연산이다.
모든 변수의 분산에 동일한 상수를 더하여 데이터를 왜곡함에도 불구하고, 이 사후 추정 결과가 유의미한 이유가 있을까?
$\boldsymbol{X}^\top\boldsymbol{X}$ 는 각 특성(Feature) 간의 내적을 나타내며, 이는 데이터의 표본 공분산(Covariance) 구조에 비례한다. 주대각선 성분은 각 개별 특성의 분산(크기)을 나타내고, 비대각 성분은 특성 간의 상관관계(공분산)를 나타낸다. 이때 주대각선에만 $\lambda$ 를 더하는 $\boldsymbol{X}^\top\boldsymbol{X} + \lambda\boldsymbol{I}$ 연산은 공분산은 보존하되, 각 feature 자체의 분산만 $\lambda$ 만큼 증가시킨다. 즉, 기하학적으로 모든 축 방향으로 구형의 등방성 노이즈( $\lambda$ )를 추가하여 데이터의 분포를 원래의 형태보다 더 둥글고 넓게 부풀리는 연산이다.
데이터의 원본 특성을 변형했으므로, 이 모델이 도출한 매개변수 $\boldsymbol{\theta}_{\text{MAP}}$ 는 실제 훈련 데이터 $\boldsymbol{X}$ 의 패턴을 완벽하게 설명하지 못하는 편향 추정량이 된다. 그러나 현실에서 관측된 데이터( $\boldsymbol{X}$ 와 $\boldsymbol{y}$ )에는 관측 노이즈 $\epsilon$ 가 포함되어 있다. 이러한 관측 데이터에 MLE를 최대화하는 것은 노이즈의 패턴까지 반영한 매개변수를 추정하는 것과 같다.
따라서 분산에 상수를 더하는 것은 표본 데이터의 노이즈를 믿을바엔 매개변수가 0에 가깝다는 가정을 하여 모델을 둔감하게 만드는 것과 같다.
예제 9.6 (다항식 회귀를 위한 MAP 추정)
그림 9.7 다항식 회귀: 최대 우도 및 MAP 추정치. (a) 6차 다항식; (b) 8차 다항식.
9.2.1절의 다항식 회귀 예제에서, 우리는 매개변수 $\boldsymbol{\theta}$ 에 가우시안 사전 분포 $p(\boldsymbol{\theta}) = \mathcal{N}(\boldsymbol{0}, \boldsymbol{I})$ 를 부여하고 (9.31)에 따라 MAP 추정치를 결정한다. 그림 9.7에서는 차수 6(왼쪽)과 차수 8(오른쪽)의 다항식에 대한 최대 우도 및 MAP 추정치를 모두 보여준다. 사전 분포(정규화기)는 낮은 차수의 다항식에서는 중요한 역할을 하지 않지만, 더 높은 차수의 다항식에서는 함수를 상대적으로 매끄럽게 유지한다. MAP 추정치가 과적합의 경계를 밀어낼 수는 있지만, 이 문제에 대한 일반적인 해결책은 아니므로, 과적합을 다루기 위한 더 원칙적인 접근 방식이 필요하다.
9.2.4 MAP Estimation as Regularization
정규화로서의 MAP 추정
매개변수 $\boldsymbol{\theta}$ 에 사전 분포를 두는 대신, 정규화를 통해 매개변수의 진폭에 페널티를 부여하여 과적합의 영향을 완화하는 것도 가능하다. 정규화된 최소 제곱법에서는 다음 손실 함수를 고려하며,
이를 $\boldsymbol{\theta}$ 에 대해 최소화한다 (8.2.3절 참조). 여기서 첫 번째 항은 데이터 적합 항(또는 부적합 항이라고도 함)이며, 음의 로그 우도에 비례한다. (9.10b)를 참조하라. 두 번째 항은 정규화기라고 불리며, 정규화 매개변수 $\lambda \ge 0$ 은 정규화의 엄격함을 제어한다.
Remark. 유클리드 노름 $\lVert \cdot \rVert_2$ 대신, (9.32)에서 임의의 $p$ -노름 $\lVert \cdot \rVert_p$ 를 선택할 수 있다. 실제로는 $p$ 에 대해 더 작은 값을 사용할수록 더 희소한 해를 얻게 된다. 여기서 희소하다는 것은 많은 매개변수 값 $\theta_d = 0$ 임을 의미하며, 이는 변수 선택에도 유용하다. $p = 1$ 인 경우 정규화기는 LASSO(최소 절대 수축 및 선택 연산자)라고 불리며 Tibshirani(1996)에 의해 제안되었다.
$\to$ L1정규화는 라플라스 사전 분포를 가정한 MAP 추정과 같다.
$\quad$ (9.32)의 정규화기 $\lambda \lVert \boldsymbol{\theta} \rVert_2^2$ 는 음의 로그 가우시안 사전 분포로 해석될 수 있으며, 이는 MAP 추정에서 사용된다. (9.26)을 참조하라. 더 구체적으로, 가우시안 사전 분포 $p(\boldsymbol{\theta}) = \mathcal{N}(\boldsymbol{0}, b^2\boldsymbol{I})$ 를 사용하면, 다음의 음의 로그 가우시안 사전 분포를 얻는다.
따라서 $\lambda = \frac{1}{2b^2}$ 에 대해 정규화 항과 음의 로그 가우시안 사전 분포는 동일하다.
$\quad$ (9.32)의 정규화된 최소 제곱 손실 함수가 음의 로그 우도와 음의 로그 사전 분포의 합과 밀접하게 관련된 항들로 구성되어 있다는 점을 감안할 때, 이 손실을 최소화할 때 (9.31)의 MAP 추정치와 매우 유사한 해를 얻게 된다. 더 구체적으로, 정규화된 최소 제곱 손실 함수를 최소화하면 다음이 산출된다.
이는 $\lambda = \frac{\sigma^2}{b^2}$ 일 때 (9.31)의 MAP 추정치와 동일하며, 여기서 $\sigma^2$ 은 노이즈 분산이고 $b^2$ 은 (등방성) 가우시안 사전 분포 $p(\boldsymbol{\theta}) = \mathcal{N}(\boldsymbol{0}, b^2\boldsymbol{I})$ 의 분산이다.
$\quad$ 지금까지 목적 함수(우도 또는 사후 분포)를 최적화하는 점 추정치 $\boldsymbol{\theta}^*$ 를 찾는 최대 우도 추정 및 MAP 추정을 사용한 매개변수 추정을 다루었다. 최대 우도 추정과 MAP 추정 모두 과적합으로 이어질 수 있음을 확인했다. 다음 절에서는 베이지안 추론(8.4절)을 사용하여 미지의 매개변수에 대한 사후 분포를 찾고, 이를 후속적으로 예측에 사용하는 베이지안 선형 회귀에 대해 논의한다. 더 구체적으로, 예측을 위해 점 추정치에 집중하는 대신 타당한 모든 매개변수 집합에 대해 평균을 낼 것이다.
점 추정치는 타당한 매개변수 설정들에 대한 분포와 달리 단일한 특정 매개변수 값이다.