이 장에서는 가우시안 우도와 모델 파라미터에 대한 켤레 가우시안 사전 분포를 사용하는 선형 회귀에 대해 논의했다. 이는 닫힌 형태의 베이지안 추론을 가능하게 했다. 그러나 일부 응용 분야에서는 다른 우도 함수를 선택해야 할 수 있다. 예를 들어, 이진 분류 설정에서는 오직 두 가지 가능한(범주형) 결과만 관측되며, 이 설정에서 가우시안 우도는 부적절하다. 대신, 예측된 레이블이 1(또는 0)일 확률을 반환하는 베르누이 우도를 선택할 수 있다. 분류 문제에 대한 심층적인 소개는 Barber(2012), Bishop(2006), Murphy(2012)를 참조한다. 비가우시안 우도가 중요한 또 다른 예는 카운트 데이터이다. 카운트는 음이 아닌 정수이며, 이 경우 이항 또는 푸아송 우도가 가우시안보다 더 나은 선택이 된다.

이러한 모든 예는 가우시안 분포 이외의 오차 분포를 가지는 반응 변수를 허용하는 선형 회귀의 유연한 일반화인 일반화 선형 모델(GLM) 범주에 속한다. GLM은 선형 모델이 관측값과 매끄럽고 가역적인 함수 $\sigma(\cdot)$ 를 통해 연결되도록 허용하여 선형 회귀를 일반화하며, 이 함수는 비선형일 수 있으므로 $y = \sigma(f(\boldsymbol{x}))$ 가 된다. 여기서 $f(\boldsymbol{x}) = \boldsymbol{\theta}^\top\boldsymbol{\phi}(\boldsymbol{x})$ 는 (9.13)의 선형 회귀 모델이다. 따라서 일반화 선형 모델을 함수 합성 $y = \sigma \circ f$ 의 관점에서 생각할 수 있으며, 여기서 $f$ 는 선형 회귀 모델이고 $\sigma$ 는 활성화 함수이다. “일반화 선형 모델”이라고 부르지만, 출력 $y$ 는 파라미터 $\boldsymbol{\theta}$ 에 대해 더 이상 선형이 아님에 유의한다. 로지스틱 회귀에서는 로지스틱 시그모이드 $\sigma(f) = \frac{1}{1+\exp(-f)} \in [0, 1]$ 를 선택하며, 이는 베르누이 확률 변수 $y \in {0, 1}$ 에서 $y=1$ 을 관측할 확률로 해석할 수 있다.

함수 $\sigma(\cdot)$ 를 전달 함수 또는 활성화 함수라고 하며, 그 역함수를 정준 연결 함수라고 한다. (일반 선형 회귀의 경우 활성화 함수는 단순히 항등 함수가 된다.) 이 관점에서 일반화 선형 모델이 (심층) 순방향 신경망의 구성 요소임이 명확해진다. 일반화 선형 모델 $\boldsymbol{y} = \sigma(\boldsymbol{A}\boldsymbol{x} + \boldsymbol{b})$ (여기서 $\boldsymbol{A}$ 는 가중치 행렬, $\boldsymbol{b}$ 는 편향 벡터)를 고려하면, 이 일반화 선형 모델을 활성화 함수 $\sigma(\cdot)$ 를 가지는 단일 계층 신경망으로 식별할 수 있다. 이제 다음을 통해 이러한 함수들을 재귀적으로 합성할 수 있다.

$k = 0, \dots, K - 1$ 에 대해, $\boldsymbol{x}_0$ 는 입력 특징이고 $\boldsymbol{x}_K = \boldsymbol{y}$ 는 관측된 출력이며, $f_{K-1} \circ \dots \circ f_0$ 는 $K$ -계층 심층 신경망이 된다. 따라서 이 심층 신경망의 구성 요소는 (9.72)에서 정의된 일반화 선형 모델이다. 신경망은 선형 회귀 모델보다 표현력과 유연성이 현저히 높다. 그러나 최대 우도 파라미터 추정은 비볼록 최적화 문제이며, 완전한 베이지안 설정에서 파라미터의 주변화(Marginalization)는 해석적으로 다루기 어렵다.

$\quad$ 파라미터에 대한 분포가 회귀 함수에 대한 분포를 유도한다는 사실을 간략히 언급했다. 가우시안 프로세스는 함수에 대한 분포 개념이 중심이 되는 회귀 모델이다. 파라미터에 분포를 부여하는 대신, 가우시안 프로세스는 파라미터를 경유하는 우회 없이 함수 공간에 직접 분포를 부여한다. 이를 위해 가우시안 프로세스는 커널 트릭을 활용하며, 이는 대응하는 입력 $\boldsymbol{x}_i, \boldsymbol{x}_j$ 만을 관찰하여 두 함숫값 $f(\boldsymbol{x}_i), f(\boldsymbol{x}_j)$ 사이의 내적을 계산할 수 있게 한다. 가우시안 프로세스는 베이지안 선형 회귀 및 서포트 벡터 회귀와 밀접한 관련이 있지만, 유닛 수가 무한대로 수렴하는 단일 은닉층을 가진 베이지안 신경망으로도 해석될 수 있다.

$\quad$ 이 장의 논의에서는 가우시안 파라미터 사전 분포에 초점을 맞추었는데, 이는 선형 회귀 모델에서 닫힌 형태의 추론을 허용하기 때문이다. 그러나 가우시안 우도를 가지는 회귀 설정에서도 비가우시안 사전 분포를 선택할 수 있다. 입력이 $\boldsymbol{x} \in \mathbb{R}^D$ 이고 훈련 세트가 작으며 크기가 $N \ll D$ 인 설정을 고려해 보자. 이는 회귀 문제가 과소결정됨을 의미한다. 이 경우, 희소성을 강제하는 파라미터 사전 분포, 즉 가능한 한 많은 파라미터를 0으로 설정하려는 사전 분포를 선택할 수 있다(변수 선택). 이 사전 분포는 가우시안 사전 분포보다 더 강력한 정규화기를 제공하며, 이는 종종 모델의 예측 정확도와 해석 가능성 증가로 이어진다. 라플라스 사전 분포는 이러한 목적에 자주 사용되는 한 예이다. 파라미터에 라플라스 사전 분포를 적용한 선형 회귀 모델은 L1 정규화(LASSO)를 적용한 선형 회귀와 동치이다. 라플라스 분포는 0에서 뾰족한 정점을 가지며 (1차 도함수가 불연속임), 가우시안 분포보다 0에 더 가깝게 확률 질량을 집중시켜 파라미터가 0이 되도록 유도한다. 따라서 0이 아닌 파라미터들은 회귀 문제와 관련성이 있으며, 이것이 “변수 선택”이라고 부르는 이유이다.