매개변수 추정
8.2절에서 우리는 확률 분포를 사용하여 문제를 명시적으로 모델링하지 않았다. 이 절에서는 관측 과정으로 인한 불확실성과 예측기의 매개변수에 대한 불확실성을 모델링하기 위해 확률 분포를 사용하는 방법을 살펴볼 것이다. 8.3.1절에서는 경험적 위험 최소화에서의 손실 함수(8.2.2절) 개념과 유사한 우도(likelihood)를 소개한다. 사전 확률(8.3.2절)의 개념은 정규화(8.2.3절) 개념과 유사하다.
8.3.1 Maximum Likelihood Estimation
최대 우도 추정
최대 우도 추정(MLE)의 기본 아이디어는 데이터를 잘 적합하는 모델을 찾을 수 있게 해주는 매개변수의 함수를 정의하는 것이다. 추정 문제는 우도 함수, 더 정확하게는 그것의 음의 로그에 초점을 맞춘다. 확률 변수 $x$ 로 표현되는 데이터와 $\theta$ 에 의해 매개변수화된 확률 밀도 계열 $p(x \vert \theta)$ 에 대해, 음의 로그 우도는 다음과 같이 주어진다.
표기법 $\mathcal{L}_x(\theta)$ 는 매개변수 $\theta$ 는 변하고 데이터 $x$ 는 고정되어 있다는 사실을 강조한다. 음의 로그 우도를 작성할 때 데이터의 불확실성을 나타내는 확률 변수가 문맥상 명확한 경우, 우리는 $\theta$ 만의 함수이므로 $x$ 에 대한 참조를 생략하고 $\mathcal{L}(\theta)$ 로 작성하는 경우가 아주 많다.
로그를 씌우고 마이너스를 취하는 이유는? 로그함수가 단조증가함수이기 때문에 최적점이 바뀌지 않는 이유가 뭐지?
마이너스를 취하는 이유는 최대화문제를 최소화문제로 바꾸기 위해, 이때는 최적점이 바뀌지 않음
$\quad$ 고정된 $\theta$ 값에 대해 확률 밀도 $p(x \vert \theta)$ 가 무엇을 모델링하는지 해석해 보자. 그것은 주어진 매개변수 설정에 대해 데이터의 불확실성을 모델링하는 분포이다. 주어진 데이터 세트 $x$ 에 대해, 우도는 매개변수 $\theta$ 의 다양한 설정에 대한 선호도를 표현할 수 있게 해주며, 우리는 데이터를 생성했을 가능성이 더 높은(likely) 설정을 선택할 수 있다.
$\quad$ 상호보완적인 관점에서, 데이터가 (관측되었기 때문에) 고정되어 있다고 간주하고 매개변수 $\theta$ 를 변화시킨다면, $\mathcal{L}(\theta)$ 는 우리에게 무엇을 말해주는가? 그것은 관측값 $x$ 에 대해 특정 $\theta$ 설정이 얼마나 가능성 있는지를 말해준다. 이 두 번째 관점에 기초하여, 최대 우도 추정량은 데이터 세트에 대해 가장 가능성 있는 매개변수 $\theta$ 를 우리에게 제공한다.
$\quad$ 우리는 $x_n \in \mathbb{R}^D$ 이고 레이블이 $y_n \in \mathbb{R}$ 인 쌍 $(x_1, y_1), \dots, (x_N, y_N)$ 을 얻는 지도 학습 환경을 고려한다. 우리는 특성 벡터 $x_n$ 을 입력으로 받아 예측값 $y_n$ (또는 그에 가까운 것)을 생성하는 예측기를 구성하는 데 관심이 있다. 즉, 벡터 $x_n$ 이 주어졌을 때 우리는 레이블 $y_n$ 의 확률 분포를 원한다. 다시 말해, 우리는 특정 매개변수 설정 $\theta$ 에 대해 예시가 주어졌을 때 레이블의 조건부 확률 분포를 지정한다.
예제 8.4
종종 사용되는 첫 번째 예제는 예시가 주어졌을 때 레이블의 조건부 확률이 가우시안 분포라고 지정하는 것이다. 다시 말해, 우리는 평균이 0인 독립적인 가우시안 노이즈 $\varepsilon_n \sim \mathcal{N}(0, \sigma^2)$ 로 우리의 관측 불확실성을 설명할 수 있다고 가정한다(6.5절 참조). 우리는 더 나아가 선형 모델 $x_n^\top \theta$ 가 예측에 사용된다고 가정한다. 이는 각각의 예시 레이블 쌍 $(x_n, y_n)$ 에 대해 가우시안 우도를 지정한다는 것을 의미한다.
주어진 매개변수 $\theta$ 에 대한 가우시안 우도의 그림은 그림 8.3에 나와 있다.
앞의 식을 가우시안 분포의 관점에서 명시적으로 전개하는 방법은 9.2절에서 살펴볼 것이다.
$\to$ 노이즈를 가우시안으로 가정함으로써 식 (8.15)가 유도된다. 선형 회귀에서 데이터 $y_n$ 가 만들어지는 참 과정은 다음과 같다.
여기서 $\varepsilon_n$ 은 평균이 $0$ 이고 분산이 $\sigma^2$ 인 정규 분포를 따르는 확률 변수이다.
$p(y_n \mid x_n, \theta)$ 에서 ( $\mid$ )는 오른쪽에 있는 값들이 주어졌을 때, 즉 이미 확정된 상수로 취급한다느 것이다. $x_n$ 은 관측된 훈련 데이터이므로 상수이며, $\theta$ 또한 어떤 특정 값으로 고정해놓고 최적하하므로 역시 상수이다. 상수와 상수를 곱한 $x_n^\top \theta$ 또한 상수가 되므로 위 식은 다음과 같이 변한다.
확률 변수의 변환을 생각해보자. 어떤 확률 변수 $X$ 가 정규 분포 $\mathcal{N}(\mu, \sigma^2)$ 를 따를 때, 여기에 상수 $C$ 를 더한 새로운 확률 변수 $Y = X + C$ 의 분포는 중심이 $\mu + C$ 이고 분산은 $\sigma^2$ 그대로인 정규 분포이다.
따라서 $y_n$ 이 따르는 분포 또한 어떤 정규분포이며 이것은 다음과 같다.
이를 pdf로 표기한 것이 식 (8.15)이다.
$\quad$ 우리는 예시들의 집합 $(x_1, y_1), \dots , (x_N, y_N)$ 이 독립 항등 분포(i.i.d.)를 따른다고 가정한다. “독립적인”이라는 단어(6.4.5절)는 전체 데이터 세트( $\mathcal{Y} = {y_1, \dots, y_N}$ 및 $\mathcal{X} = {x_1, \dots, x_N}$ )와 관련된 우도가 각각의 개별 예시의 우도들의 곱으로 인수분해됨을 암시한다.
여기서 $p(y_n \vert x_n, \theta)$ 는 특정한 분포이다(예제 8.4에서는 가우시안이었다). “항등 분포”라는 표현은 곱 (8.16)의 각 항이 동일한 분포를 가지며, 그들 모두가 동일한 매개변수를 공유한다는 것을 의미한다. 최적화 관점에서는 더 단순한 함수들의 합으로 분해될 수 있는 함수를 계산하는 것이 종종 더 쉽다. 따라서 기계 학습에서는 종종 음의 로그 우도를 고려한다.
식 (8.15)의 $p(y_n \vert x_n, \theta)$ 에서 $\theta$ 가 조건부 기호 오른쪽에 있다는 사실을 해석하여, 따라서 관측되고 고정된 것으로 해석하고 싶은 유혹이 들지만, 이 해석은 틀렸다. 음의 로그 우도 $\mathcal{L}(\theta)$ 는 $\theta$ 의 함수이다. 그러므로 데이터 $(x_1, y_1), \dots , (x_N, y_N)$ 을 잘 설명하는 좋은 매개변수 벡터 $\theta$ 를 찾으려면, $\theta$ 에 대해 음의 로그 우도 $\mathcal{L}(\theta)$ 를 최소화해야 한다.
Remark. (8.17)의 음수 기호는 우도를 최대화하고자 하는 관례에서 비롯된 역사적 산물이지만, 수치 최적화 문헌은 함수의 최소화를 연구하는 경향이 있다.
예제 8.5
가우시안 우도(8.15)에 대한 예제를 계속하면, 음의 로그 우도는 다음과 같이 다시 쓸 수 있다.
$\sigma$ 가 주어졌으므로, (8.18d)의 두 번째 항은 상수이며, $\mathcal{L}(\theta)$ 를 최소화하는 것은 첫 번째 항에 표현된 최소 제곱 문제(8.8과 비교)를 푸는 것에 해당한다.
$\quad$ 가우시안 우도에 대해 최대 우도 추정에 해당하는 결과적인 최적화 문제는 닫힌 형태의 해를 가진다는 것이 밝혀졌다. 이에 대한 자세한 내용은 9장에서 살펴볼 것이다.
그림 8.5 주어진 데이터에 대해, 매개변수의 최대 우도 추정값은 검은색 대각선으로 나타난다. 주황색 사각형은 $x = 60$ 일 때 최대 우도 예측값을 보여준다.
그림 8.5는 회귀 데이터 세트와 최대 우도 매개변수에 의해 유도된 함수를 보여준다. 정규화되지 않은 경험적 위험 최소화(8.2.3절)와 유사하게, 최대 우도 추정은 과적합(8.3.3절)을 겪을 수 있다. 다른 우도 함수의 경우, 즉 노이즈를 비가우시안 분포로 모델링하는 경우, 최대 우도 추정은 닫힌 형태의 분석적 해를 가지지 않을 수 있다. 이 경우 우리는 7장에서 논의된 수치적 최적화 방법에 의존한다.
$\to$ 식 (8.18d)에서 도출한 음의 로그 우도에서 상수를 제외하고, 데이터 행렬 $X$ 와 정답 벡터 $y$ , 그리고 매개변수 벡터 $\theta$ 로 표현하면 다음과 같다.
$y^\top X\theta$ 와 $(X\theta)^\top y$ 의 결과는 어떤 스칼라이므로 $(y^\top X\theta)^{\top} = (X\theta)^\top y$ 이 성립한다.
이 함수의 최솟값을 찾기 위해 $\theta$ 에 대해 편미분하면 다음과 같다.
기울기가 0이 되는 지점을 찾기 위해 연립 방정식을 세우면, 변수와 방정식이 하나이므로 해를 구할 수 있다.
훈련 데이터 $X$ 와 $y$ 는 알고 있으므로, $(X^\top X)^{-1}$ 이 존재한다면, 해석적 해를 구할 수 있다.
8.3.2 Maximum A Posteriori Extimation
최대 사후 확률 추정
매개변수 $\theta$ 의 분포에 대한 사전 지식이 있다면, 우리는 우도에 추가적인 항을 곱할 수 있다. 이 추가적인 항은 매개변수에 대한 사전 확률 분포 $p(\theta)$ 이다. 주어진 사전 확률에 대해, 어떤 데이터 $x$ 를 관측한 후 $\theta$ 의 분포를 어떻게 업데이트해야 하는가? 다시 말해, 데이터 $x$ 를 관측한 후 $\theta$ 에 대한 더 구체적인 지식을 갖게 되었다는 사실을 어떻게 표현해야 하는가? 6.3절에서 논의된 베이즈 정리는 확률 변수의 확률 분포를 업데이트하는 원칙적인 도구를 제공한다. 이것은 일반적인 사전 진술(사전 분포) $p(\theta)$ 와 매개변수 $\theta$ 및 관측된 데이터 $x$ 를 연결하는 함수 $p(x \vert \theta)$ (우도라고 불림)로부터 매개변수 $\theta$ 에 대한 사후 분포 $p(\theta \vert x)$ (더 구체적인 지식)를 계산할 수 있게 해준다.
우리가 사후 확률을 최대화하는 매개변수 $\theta$ 를 찾는 데 관심이 있음을 상기하자. 분포 $p(x)$ 는 $\theta$ 에 의존하지 않으므로 최적화를 위해 분모의 값을 무시하고 다음을 얻을 수 있다.
앞의 비례 관계는 추정하기 어려울 수 있는 데이터의 밀도 $p(x)$ 를 숨긴다. 이제 우리는 음의 로그 우도의 최솟값을 추정하는 대신, 음의 로그 사후 확률의 최솟값을 추정하며, 이를 최대 사후 확률 추정(MAP 추정)이라고 부른다. 평균이 0인 가우시안 사전 확률을 추가한 효과에 대한 그림이 그림 8.6에 나와 있다.
그림 8.6 $x = 60$ 일 때 최대 우도 추정값과 MAP 추정값을 사용한 예측 비교. 사전 확률은 기울기가 덜 가파르고 절편이 0에 더 가까워지도록 편향을 준다. 이 예제에서 절편을 0에 더 가깝게 이동시키는 편향은 실제로는 기울기를 증가시킨다.
예제 8.6
이전 예제의 가우시안 우도 가정에 더하여, 우리는 매개변수 벡터가 평균이 0인 다변량 가우시안으로 분포되어 있다고 가정한다. 즉, $p(\theta) = \mathcal{N}(0, \Sigma)$ 이며, 여기서 $\Sigma$ 는 공분산 행렬이다(6.5절). 가우시안의 켤레 사전 확률 또한 가우시안이며(6.6.1절), 따라서 우리는 사후 분포 역시 가우시안일 것으로 예상한다는 점에 유의하자. 최대 사후 확률 추정에 대한 자세한 내용은 9장에서 살펴볼 것이다.
$\to$ 매개변수 벡터 $\theta$ 가 평균이 $0$ 이고 공분산 행렬이 $\Sigma$ 인 다변량 가우시안 분포는 다음과 같다(여기서 $\theta$ 의 차원을 $D$ 라고 하자).
여기에 음의 로그를 씌우고, 상수항을 $C$ 로 둔다(어차피 최적화에는 $\theta$ 로 미분하므로 관심대상이 아님).
이때 $\theta$ 의 각 원소들( $\theta_1, \theta_2 \dots$ )은 상호 독립이며, 모두 같은 유한한 분산 $\tau^2$ 을 가짐을 가정한다. 이것에 대하여 밑에서 설명할 것이다.
이 가정으로써 공분산 행렬 $\Sigma$ 는 대각선에만 $\tau^2$ 이 있는 단위 행렬의 배수 형태( $\Sigma = \tau^2 I$ )가 되며, $\Sigma^{-1} = \frac{1}{\tau^2} I$ 이다.
따라서 최적화해야할 식은 다음과 같이 매개변수의 L2노름과 상수의 곱으로 표현된다.
여기서 $\frac{1}{2\tau^2}$ 역시 우리가 조절할 수 있는 어떤 상수이므로 이를 람다 $\lambda$ 로 치환하면 다음과 같다.
결론적으로, 식 (8.20)을 단순하게 표현하면 다음과 같이 유도할 수 있다.
사전 확률과 노이즈를 가우시안으로 가정하고 음의 로그를 취하는 것은, 결국 MSE + L2정규화(Ridge)와 동치이다.
$\to$ 보통 i.i.d를 가정한다고 할 때, 관측된 훈련데이터(의 노이즈)에 대한 가정이지만, MAP 추정에서는 i.i.d.가정을 데이터가 아닌 매개변수( $\theta$ )에 적용한다.
공분산 행렬을 $\Sigma = \tau^2 I$ (대각선만 $\tau^2$ 이고 나머지는 0인 행렬)로 두는 것은, 매개변수 벡터 $\theta$ 의 각 원소들( $\theta_1, \theta_2, \dots, \theta_D$ )이 서로 독립적이고 동일한 분포를 따른다(i.i.d.)고 가정하는 것과 같다. 매개변수 벡터의 각 원소들이 상호 독립이므로, 모든 매개변수의 결합확률은 주변확률의 곱과 같다.
매개변수 $\theta_1, \theta_2, \dots, \theta_D$ 가 평균이 0이고 분산이 $\tau^2$ 인 1차원 가우시안 분포를 따를때, 위 식은 다음과 같다.
지수 법칙( $\exp(A) \times \exp(B) = \exp(A+B)$ )에 의해 지수들이 모두 덧셈으로 합쳐진다.
$\sum_{j=1}^D \theta_j^2$ 는 벡터 내적 $\theta^\top\theta$ (또는 $\Vert \theta\Vert ^2$ )이므로
즉, “다변량 가우시안에서 공분산 행렬을 대각 행렬로 둔다”는 말은 “각 가중치 $\theta$ 들이 i.i.d.를 따른다”는 것과 같다.
$\to$ 그럼 논리적으로 데이터가 아닌 가중치에 i.i.d.를 가정한다는 것은 무엇을 의미할까?
모델은 아직 데이터의 특성 중 어떤 것이 중요할지 알 수 없으므로, “첫 번째 가중치 $\theta_1$ 이나, 열 번째 가중치 $\theta_{10}$ 이나 커질 수 있는 허용 범위(분산)는 모두 평등하게 동일하다”, 즉 각 매개변수가 등분산성을 가지고 학습을 시작하는 것과 같다(모든 가중치에 똑같은 $\lambda$ 페널티를 매기는 이유).
또한 특정 가중치가 커졌다고 해서, 다른 가중치에 영향을 미쳐야 하는 선험적인 이유가 없으므로, 각 가중치는 오직 데이터에 의해서만 결정된다.
$\to$ 만약 i.i.d.가정이 성립하지 않는다면 어떨까?
만약 모델에게 $\theta_1$ 의 분산은 크고 $\theta_2$ 의 분산은 작다고 사전 지식을 주면 $\lambda_1 \theta_1^2 + \lambda_2 \theta_2^2$ 처럼 변수에 따라 다른 페널티를 부여해야 한다.
또한 공분산이 0이 아니라면, 페널티 항에 $\theta_1^2$ 뿐만 아니라 $\theta_1 \theta_2$ 같은 두 가중치의 곱이 생겨 가중치끼리 관계가 있는 복잡한 제약을 거는 것과 같다(이를 마할라노비스 거리 패널티라고 하는데 여기까지는 잘 모르겠다).
$\quad$ 좋은 매개변수가 어디에 있는지에 대한 사전 지식을 포함한다는 아이디어는 기계 학습에 널리 퍼져 있다. 8.2.3절에서 본 대안적인 관점은 정규화의 아이디어인데, 이는 결과 매개변수가 원점에 가까워지도록 편향시키는 추가적인 항을 도입한다. 최대 사후 확률 추정은 사전 분포의 필요성을 명시적으로 인정하지만 여전히 매개변수에 대한 점 추정(Point estimate)값만을 산출하므로 비확률적 세계와 확률적 세계를 연결하는 것으로 간주할 수 있다.
Remark. 최대 우도 추정값 $\theta_{\text{ML}}$ 은 다음과 같은 특성을 가진다 (Lehmann and Casella, 1998; Efron and Hastie, 2016):
- 점근적 일치성(Asymptotic consistency): 무한히 많은 관측값의 한계에서 MLE는 참값에 대략적으로 정규 분포를 따르는 무작위 오차를 더한 값으로 수렴한다.
- 이러한 특성을 달성하는 데 필요한 샘플의 크기는 꽤 클 수 있다.
- 오차의 분산은 $1/N$ 로 감소하며, 여기서 $N$ 은 데이터 포인트의 수이다.
- 특히 “작은” 데이터 영역에서 최대 우도 추정은 과적합으로 이어질 수 있다.
$\to$ 관측된 데이터가 무한하다면, 추정한 매개변수는 True 정답과 일치하게 된다. 또한 데이터 수 $N$ 가 커짐에 따라 추정값의 불확실성(오차의 분산)은 반비례하여 작아진다(이는 CLT와 피셔 정보에 의해 증명된다고 한다).
데이터가 적다면, 오차 분산은 커질것이며, 훈련 데이터의 노이즈패턴까지 매개변수가 학습하여 과적합을 발생시킬것이다.
$\quad$ 최대 우도 추정(및 최대 사후 확률 추정)의 원리는 확률론적 모델링을 사용하여 데이터 및 모델 매개변수의 불확실성에 대해 추론한다. 그러나 우리는 아직 확률론적 모델링을 최대한 활용하지 않았다. 이 절에서 결과적인 훈련 절차는 여전히 예측기에 대한 점 추정을 산출한다. 즉, 훈련은 가장 좋은 예측기를 나타내는 단일 매개변수 값 집합을 반환한다. 8.4절에서는 매개변수 값도 확률 변수로 취급해야 한다는 관점을 취할 것이며, 해당 분포의 “가장 좋은” 값을 추정하는 대신 예측을 수행할 때 전체 매개변수 분포를 사용할 것이다.
$\to$ 지금까지 추정한 매개변수는 모두 어떤 실수( $\theta = [1.5, -0.2]$ )이다. 매개변수를 확률 변수로 취급한다는 것은, “ $\theta$ 가 $1.5$ 일 확률은 30%, $1.4$ 일 확률은 20%…“와 같이 생각하며, 최적의 $\theta$ 를 쓰는 것이 아니라, $\theta$ 가 가질 수 있는 모든 가능성에 대해 확률을 가중치로 곱하여 적분한다.
8.3.3 Model Fitting
모델 적합
데이터 세트가 주어지고 매개변수화된 모델을 데이터에 적합시키는 데 관심이 있는 환경을 고려해 보자. 우리가 “적합”에 대해 이야기할 때, 우리는 일반적으로 음의 로그 우도와 같은 어떤 손실 함수를 최소화하도록 모델 매개변수를 최적화하거나 학습하는 것을 의미한다. 최대 우도(8.3.1절) 및 최대 사후 확률 추정(8.3.2절)을 통해, 우리는 이미 모델 적합에 흔히 사용되는 두 가지 알고리즘에 대해 논의했다.
$\quad$ 모델의 매개변수화는 우리가 연산할 수 있는 모델 클래스 $\mathcal{M}_\theta$ 를 정의한다. 예를 들어, 선형 회귀 환경에서 우리는 입력 $x$ 와 (노이즈가 없는) 관측값 $y$ 사이의 관계를 $y = ax + b$ 로 정의할 수 있으며, 여기서 $\theta := {a, b}$ 는 모델 매개변수이다. 이 경우, 모델 매개변수 $\theta$ 는 아핀 함수의 계열, 즉 기울기가 $a$ 이고 $0$ 에서 $b$ 만큼 떨어져 있는 직선들을 설명한다. 데이터가 우리에게 알려지지 않은 모델 $\mathcal{M}^{*}$ 에서 왔다고 가정해 보자. 주어진 훈련 데이터 세트에 대해, 우리는 $\mathcal{M}_\theta$ 가 $\mathcal{M}^{*}$ 에 가능한 한 가까워지도록 $\theta$ 를 최적화하며, 여기서 “가까움”은 우리가 최적화하는 목적 함수(예: 훈련 데이터에 대한 제곱 손실)에 의해 정의된다.
그림 8.7 모델 적합. 매개변수화된 모델 클래스 $\mathcal{M}_\theta$ 에서, 우리는 참인(알려지지 않은) 모델 $\mathcal{M}^*$ 와의 거리를 최소화하기 위해 모델 매개변수 $\theta$ 를 최적화한다.
그림 8.7은 작은 모델 클래스(원 $\mathcal{M}_\theta$ 로 표시됨)를 가지고 있고 데이터 생성 모델 $\mathcal{M}^{*}$ 가 고려된 모델들의 집합 밖에 있는 환경을 보여준다. 우리는 $\mathcal{M}_{\theta_0}$ 에서 매개변수 탐색을 시작한다. 최적화 후, 즉 가능한 최고의 매개변수 $\theta^{*}$ 를 얻었을 때, 우리는 세 가지 다른 경우를 구별한다: (i) 과적합, (ii) 과소적합, 그리고 (iii) 잘 적합됨. 우리는 이 세 가지 개념이 무엇을 의미하는지에 대한 높은 수준의 직관을 제공할 것이다.
$\quad$ 대략적으로 말해서, 과적합은 매개변수화된 모델 클래스가 $\mathcal{M}^*$ 에 의해 생성된 데이터 세트를 모델링하기에 너무 풍부한 상황, 즉 $\mathcal{M}_\theta$ 가 훨씬 더 복잡한 데이터 세트를 모델링할 수 있는 상황을 의미한다. 예를 들어, 데이터 세트가 선형 함수에 의해 생성되었고 우리가 $\mathcal{M}_\theta$ 를 7차 다항식의 클래스로 정의한다면, 우리는 선형 함수뿐만 아니라 2차, 3차 등의 다항식도 모델링할 수 있다. 과적합되는 모델은 일반적으로 많은 수의 매개변수를 가진다. 우리가 종종 관찰하는 바는 과도하게 유연한 모델 클래스 $\mathcal{M}_\theta$ 가 훈련 오차를 줄이기 위해 자신의 모든 모델링 능력을 사용한다는 것이다. 만약 훈련 데이터에 노이즈가 있다면, 그것은 결과적으로 노이즈 자체에서 어떤 유용한 신호를 찾을 것이다. 이것은 우리가 훈련 데이터에서 벗어나 예측을 수행할 때 엄청난 문제를 야기할 것이다.
그림 8.8 회귀 데이터 세트에 대한 다양한 모델 클래스의 적합(최대 우도에 의함). (a) 과적합 (b) 과소적합. (c) 잘 적합됨.
그림 8.8(a)는 모델 매개변수가 최대 우도(8.3.1절 참조)에 의해 학습되는 회귀의 맥락에서 과적합의 예를 보여준다. 회귀에서의 과적합에 대해서는 9.2.2절에서 더 자세히 논의할 것이다.
실제로 과적합을 감지하는 한 가지 방법은 교차 검증(8.2.4절) 동안 모델이 훈련 위험은 낮지만 테스트 위험은 높다는 것을 관찰하는 것이다.
$\quad$ 우리가 과소적합에 부딪힐 때, 우리는 모델 클래스 $\mathcal{M}_\theta$ 가 충분히 풍부하지 않은 반대의 문제에 직면한다. 예를 들어, 만약 우리의 데이터 세트가 사인형(sinusoidal) 함수에 의해 생성되었지만 $\theta$ 가 오직 직선만을 매개변수화한다면, 최고의 최적화 절차라 할지라도 우리를 참인 모델에 가깝게 데려다주지 못할 것이다. 그러나 우리는 여전히 매개변수를 최적화하고 데이터 세트를 모델링하는 가장 좋은 직선을 찾는다. 그림 8.8(b)는 불충분하게 유연하기 때문에 과소적합된 모델의 예를 보여준다. 과소적합되는 모델은 일반적으로 적은 수의 매개변수를 가진다.
$\quad$ 세 번째 경우는 매개변수화된 모델 클래스가 대략 적절할 때이다. 그러면 우리의 모델은 잘 적합된다, 즉 과적합되지도 과소적합되지도 않는다. 이는 우리의 모델 클래스가 우리에게 주어진 데이터 세트를 설명하기에 딱 충분할 만큼 풍부하다는 것을 의미한다. 그림 8.8(c)는 주어진 데이터 세트에 꽤 잘 적합된 모델을 보여준다. 이상적으로, 이것은 좋은 일반화 특성을 가지기 때문에 우리가 작업하고자 하는 모델 클래스이다.
$\quad$ 실제로, 우리는 종종 심층 신경망과 같이 많은 매개변수를 가진 매우 풍부한 모델 클래스 $\mathcal{M}_\theta$ 를 정의한다. 과적합 문제를 완화하기 위해, 우리는 정규화(8.2.3절) 또는 사전 확률(8.3.2절)을 사용할 수 있다. 8.6절에서 모델 클래스를 선택하는 방법에 대해 논의할 것이다.
8.3.4 Further Reading
확률론적 모델을 고려할 때, 최대 우도 추정의 원리는 선형 모델에 대한 최소 제곱 회귀의 아이디어를 일반화하며, 이에 대해서는 9장에서 자세히 논의할 것이다. 예측기가 선형 형태를 가지도록 제한하고 출력에 추가적인 비선형 함수 $\varphi$ 를 적용할 때, 즉,
우리는 이진 분류나 카운트 데이터 모델링과 같은 다른 예측 작업을 위해 다른 모델들을 고려할 수 있다 (McCullagh and Nelder, 1989). 이에 대한 대안적인 관점은 지수족(6.6절)에 속하는 우도를 고려하는 것이다. 매개변수와 데이터 사이에 선형 종속성을 가지고, 잠재적으로 비선형 변환 $\varphi$ (연결 함수라고 불림)를 가지는 모델 클래스를 일반화 선형 모델이라고 부른다 (Agresti, 2002, chapter 4).
$\to$ 선형 결합( $x^\top\theta$ ) $\rightarrow$ 비선형 연결 함수( $\varphi$ ) $\rightarrow$ 지수족 확률 분포(가우시안, 베르누이, 푸아송 등의 파이프라인을 따르는 모든 모델을 통틀어 일반화 선형 모델(Generalized Linear Models, GLM)이라고 부른다.
$\quad$ 최대 우도 추정은 풍부한 역사를 가지고 있으며, 1930년대에 로널드 피셔 경에 의해 처음 제안되었다. 우리는 8.4절에서 확률론적 모델의 아이디어를 확장할 것이다. 확률론적 모델을 사용하는 연구자들 사이의 한 가지 논쟁은 베이지안 통계학과 빈도주의 통계학 간의 토론이다. 6.1.1절에서 언급했듯이, 이는 결국 확률의 정의로 귀결된다. 6.1절을 상기해보면, 확률을 (불확실성을 허용함으로써) 논리적 추론의 일반화로 간주할 수 있다 (Cheeseman, 1985; Jaynes, 2003). 최대 우도 추정 방법은 본질적으로 빈도주의적이며, 관심 있는 독자는 베이지안 통계학과 빈도주의 통계학 모두에 대한 균형 잡힌 시각을 위해 Efron과 Hastie(2016)를 참조하기 바란다.
$\quad$ 최대 우도 추정이 불가능할 수 있는 일부 확률론적 모델이 존재한다. 적률법, M-추정, 추정 방정식과 같은 접근법에 대해서는 Casella와 Berger(2002)와 같은 더 고급 통계학 교재를 참조하기 바란다.