예제 6.8 (베르누이 분포)

베르누이 분포(Bernoulli distribution)는 상태가 $x \in {0, 1}$ 인 단일 이진 확률 변수 $X$ 를 위한 분포이다. 이는 $X = 1$ 일 확률을 나타내는 단일 연속 파라미터 $\mu \in [0, 1]$ 에 의해 지배된다. 베르누이 분포 $\text{Ber}(\mu)$ 는 다음과 같이 정의된다.

여기서 $\mathbb{E}[x]$ 와 $\mathbb{V}[x]$ 는 이진 확률 변수 $X$ 의 평균과 분산이다.

$\to$ 베르누이 분포를 코드로 짠다면 if (x == 1) return mu; else return 1 - mu; 처럼 조건문을 사용할 것이다. 하지만 머신러닝에서 이러한 거듭제곱 형태로 쓰는 이유는 모델을 학습시키기 위해 확률 분포를 $\mu$ 에 대해 미분해야 하기 때문이다. 조건문은 미분할 수 없다.

여기서 왜 베르누이 분포를 입력 $x$ 가 아닌 통계량 $\mu$ 에 대해 미분할까에 대해 의문이 들 수 있다. 학습의 목표를 생각해보면 명확한데, $x$ 는 이미 일어난 확정적인 데이터(상수)이고, $\mu$ 는 찾아내야 할 파라미터(분포의 형태를 결정하는 모수)이다. 또한 변수 $x$ 는 discrete하므로 미분 자체가 불가능하다.

$\to$ $\mu$ 라는 기호는 보통 평균으로 사용되는데, 교재에서는 왜 베르누이 분포의 성공 확률을 $\mu$ 로 표기하였을까? 베르누이 분포에서는 어떤 경우에서도 성공 확률이 확률 변수 X의 기댓값과 항상 일치한다. 가령, ‘주사위를 던졌는데 6이 나오는 것’을 ‘성공’, 나머지를 ‘실패’라고 해보자. 이때 확률 변수 $X$ 는 표본 공간 $\Omega = {1, 2, 3, 4, 5, 6}$ 의 원소들을 다음과 같이 매핑한다.

$p(X=1) = p({6}) = \frac{1}{6}$

$p(X=0) = p({1, 2, 3, 4, 5}) = \frac{5}{6}$

이때 베르누이 변수 $X$ 의 기댓값(평균)을 구하면 다음과 같다.

결론적으로 기댓값 계산에서 ‘실패’에 대응되는 확률은 무조건 0이 된다. 머신러닝에서 0과 1로 이루어진 이진 분류 문제에서, 모델이 예측하는 성공 확률 그 자체가 평균(기댓값)이다.

예제 6.9 (이항 분포)

(그림 6.10 설명) $\mu \in {0.1, 0.4, 0.75}$ 이고 $N = 15$ 인 이항 분포의 예시. 가로축은 $N=15$ 번의 실험 중 관찰된 $x=1$ 의 횟수 $m$ 이다.

이항 분포(Binomial distribution)는 베르누이 분포를 정수 범위의 분포로 일반화한 것이다 (그림 6.10에 묘사됨). 특히, 이항 분포는 $p(X = 1) = \mu \in [0, 1]$ 인 베르누이 분포로부터 추출된 $N$ 개의 샘플 집합에서 $X = 1$ 이 $m$ 번 발생한 것을 관찰할 확률을 설명하는 데 사용될 수 있다. 이항 분포 $\text{Bin}(N, \mu)$ 는 다음과 같이 정의된다.

여기서 $\mathbb{E}[m]$ 과 $\mathbb{V}[m]$ 은 각각 $m$ 의 평균과 분산이다.

$\to$ 이항 분포의 총합 $m$ 은 독립적은 베르누이 확률 변수 $x_i$ 들의 단순 덧셈( $x_1+x_2+\dots+x_N$ )으로 정의된다. 이때 $N$ 이 충분히 크다면, 그 합의 분포는 가우시안에 수렴한다(중심 극한 정리). 이것을 드 무아브르-라플라스 정리라고 부른다. 특정 조건 하에서 정규분포가 이항분포의 근사치로 사용될 수 있음을 나타낸다. 이항 분포 $\text{Bin}(N, \mu)$ 가 $N$ 이 충분히 클 때 평균이 $N\mu$ 이고 분산이 $N\mu(1-\mu)$ 인 가우시안 분포 $\mathcal{N}(N\mu, N\mu(1-\mu))$ 로 근사된다는 것을 나타낸다.

예제 6.10 (베타 분포)

우리는 유한한 구간(finite interval) 위에서 연속 확률 변수를 모델링하기를 원할 수 있다. 베타 분포(Beta distribution)는 연속 확률 변수 $\mu \in [0, 1]$ 에 대한 분포이며, 이는 종종 어떤 이진 사건에 대한 확률(예: 베르누이 분포를 지배하는 파라미터)을 나타내는 데 사용된다.

베타 분포 $\text{Beta}(\alpha, \beta)$ (그림 6.11에 묘사됨) 자체는 두 개의 파라미터 $\alpha > 0, \beta > 0$ 에 의해 지배되며 다음과 같이 정의된다.

여기서 $\Gamma(\cdot)$ 은 다음과 같이 정의되는 감마 함수(Gamma function)이다.

식 (6.98)의 감마 함수들의 분수 형태는 베타 분포를 정규화(normalize)한다는 점에 주목하라.

$\to$ 베타 분포의 지수가 $\alpha-1, \beta-1$ 인 이유에 대해 생각해보자. 확률 밀도 함수는 전구간에서 적분 결과가 1이 되어야 한다. 만약 지수가 $\alpha, \beta$ 이면 어떨까.

이 적분값이 유한한 값을 가지려면 지수인 $\alpha$ 와 $\beta$ 가 반드시 -1보다 커야 한다. 즉, 파라미터의 제약 조건이 $\alpha > -1, \beta > -1$ 이 된다.

‘파라미터’는 보통 ‘횟수’나 ‘강도’를 의미하는데, 이것이 음수부터 시작한다는 것은 직관에 맞지 않기 때문에 수식을 $\mu^{\alpha-1} (1-\mu)^{\beta-1}$ 로 바꿔서 각 파라미터의 조건을 $\alpha > 0, \beta > 0$ 로 바뀌었다.

$\to$ 베르누이 분포와 이항 분포에서 우리는 시행 결과가 ‘성공’일 확률을 이미 알고 있는 상태이다. “성공 확률 $\mu$ 가 $0.5$ 로 고정되어 있을 때, $10$ 번 중 $7$ 번 성공할 확률은 얼마인가?”는 결과 $m$ 의 불확실성을 측정하는 것이다.

하지만 현실적에서, 보통 그 ‘성공’일 확률은 모른 채, 데이터만 주어진다. 이때 우리는 “ $10$ 번 중 $7$ 번 성공한 결과를 보았을 때, 이 시행의 진짜 성공 확률 $\mu$ 가 $0.7$ 일 확률(가능성)은 얼마인가?”에 대한 의문에 답을 해야 한다. 즉, 원인 $\mu$ 자체의 불확실성을 측정하는 것이다. 우리가 알고 싶은 $\mu$ 는 $0$ 과 $1$ 사이의 값을 가져야 하므로, 정의역이 $[0, 1]$ 인 연속 확률 밀도 함수가 필요하며, 베타 분포가 이를 충족한다.

$\to$ 복소수 $a + bi$ 의 켤레는 $a - bi$ 이다. 이 두 복소수의 곱은 $(a+bi)(a-bi) = a^2 + b^2$ 이 되어 허수 $i$ 가 소거된다. 즉, ‘켤레’란 연산의 복잡성을 소거하는 짝이라고 해석할 수 있겠다.

정의 6.13 (켤레 사전 확률). 만약 사후 확률이 사전 확률과 동일한 형태/유형(form/type)을 가진다면, 그 사전 확률은 해당 우도 함수에 대해 켤레(conjugate)이다.

$\to$ 우리가 추정하고 싶은 사후 확률은 우도 함수와 사전 확률에 비례한다.

이때 우도 함수로 이항 분포( $\mu^m (1-\mu)^{N-m}$ )를 선택했다고 가정했을 때, 사전확률에 이항 분포가 아닌 다른 함수를 넣으면 분자(정규화 상수)를 구하기 매우 어렵다.

하지만 만약 사전 확률이 베타 분포 $\mu^{\alpha-1} (1-\mu)^{\beta-1}$ 라면 어떨까. 두 함수는 밑(Base)이 $\mu$ 와 $(1-\mu)$ 로 완벽하게 동일하므로, 두 함수의 곱은 단순 지수끼리 덧셈으로 계산된다. 때문에 그 결과(사후 확률) 역시 베타 분포의 형태를 유지할 수 있다.

예제 6.11 (베타-이항 켤레성, Beta-Binomial Conjugacy)

이항 확률 변수 $x \sim \text{Bin}(N, \mu)$ 를 고려해 보자. 여기서

는 $N$ 번의 동전 던지기에서 “앞면”이라는 결과를 $x$ 번 찾을 확률이며, $\mu$ 는 “앞면”이 나올 확률이다. 우리는 파라미터 $\mu$ 에 대해 베타 사전 확률(Beta prior)을 부여한다. 즉, $\mu \sim \text{Beta}(\alpha, \beta)$ 이며, 여기서

만약 우리가 이제 어떤 결과 $x = h$ 를 관찰한다면, 즉 $N$ 번의 동전 던지기에서 $h$ 개의 앞면을 본다면, 우리는 $\mu$ 에 대한 사후 분포(posterior distribution)를 다음과 같이 계산한다.

즉, 사후 분포는 사전 확률과 마찬가지로 베타 분포이다. 다시 말해, 베타 사전 확률은 이항 우도 함수(Binomial likelihood function)의 파라미터 $\mu$ 에 대해 켤레(conjugate)이다.

$\to$ 식 (6.104b)에서 (6.104c)로 넘어가는 과정이 모델이 데이터를 통해 학습하는 과정이다. 사전 지식 (Prior)은 $\mu^{\alpha - 1} (1 - \mu)^{\beta - 1}$ 이고, 관측된 데이터(likeligood)는 총 $N$ 번 중 $h$ 번 성공, $(N-h)$ 번 실패 $\rightarrow \mu^h (1 - \mu)^{N - h}$ 이다. 이때 posterior은 다음과 같다.

$\quad$ 다음 예제에서는 베타-이항 켤레성 결과와 유사한 결과를 도출할 것이다. 여기서는 베타 분포가 베르누이 분포에 대한 켤레 사전 확률임을 보여줄 것이다.

마지막 줄은 파라미터가 $(\alpha + x, \beta + (1 - x))$ 인 베타 분포이다.

$\to$ 이항 분포가 $N$ 개의 데이터를 한 번에(Batch) 처리하는 것이라면, 베르누이 분포는 데이터가 한번에 한개씩 들어오는 상황을 묘사한다. 식 (6.105c)를 보자.

데이터가 성공( $x=1$ )이면: $\alpha$ 에 $1$ 을 더하고, $\beta$ 에는 $0$ 을 더한다.

데이터가 실패( $x=0$ )이면: $\alpha$ 에 $0$ 을 더하고, $\beta$ 에 $1$ 을 더한다.

이는 실시간으로 데이터가 하나씩 들어올 때마다 모델을 업데이트하는 과정이다. 사전 확률의 형태(베타 분포)가 바뀌지 않기 때문에, 이전에 계산한 사후 확률을 현재 사전 확률로 재사용하여 무한히 업데이트를 반복할 수 있다.

$\to$ 우도 함수와 사전 확률의 켤레성은 분모의 evidence를 수치적으로 계산할 수 있게 해준다.

정리 6.14 (피셔-네이만, Fisher-Neyman). [Lehmann and Casella (1998)의 정리 6.5] $X$ 가 확률 밀도 함수 $p(x \mid \theta)$ 를 가진다고 하자. 그러면 통계량 $\phi(x)$ 가 $\theta$ 에 대해 충분할(sufficient) 필요충분조건은 $p(x \mid \theta)$ 가 다음의 형태로 쓰일 수 있는 경우이다.

여기서 $h(x)$ 는 $\theta$ 와 무관한 분포이며, $g_{\theta}$ 는 충분 통계량 $\phi(x)$ 를 통해 $\theta$ 에 대한 모든 의존성을 포착한다.

$\to$ “만약 $p(x \mid \theta)$ 가 $\theta$ 에 의존하지 않는다면, $\phi(x)$ 는 임의의 함수 $\phi$ 에 대해 자명하게 충분 통계량이다.” 이 문장은 데이터가 파라미터에 대해 아무런 정보도 주지 않는 상황을 말한다. 확률 분포 $p(x \mid \theta)$ 에 $\theta$ 가 없다는 것은, $\theta$ 가 무슨 값이든 데이터가 발생할 확률이 똑같다는 뜻이다. 즉, $p(x \mid \theta) = p(x)$ 가 된다. 이는 다음 등식이 성립하는 것과 같다.

$g_{\theta}$ 함수가 그냥 상수 $1$ 이 되어버리는데, 이 말은 통계량 함수 $\phi(x)$ 자리에 아무 함수나 집어넣어도(예: 무조건 0을 반환하는 함수 $\phi(x) = 0$ 등) 등식이 성립한다는 뜻이다. 애초에 데이터 $x$ 안에 $\theta$ 에 대한 정보가 0이므로 어떤 통계량을 써도 정보 손실이 없다(충분하다)는 말이다.

$\to$ “더 흥미로운 경우는 $p(x \mid \theta)$ 가 오직 $\phi(x)$ 에만 의존하고 $x$ 자체에는 의존하지 않는 경우이다.” 이 문장은 정반대로, 데이터의 모든 확률적 구조가 통계량 하나로 100% 설명되는 가장 이상적인 상황을 서술한 것이다. 앞서 다룬 베르누이, 이항 분포가 이 케이스에 해당한다. 우도 함수의 확률값이 날것의 데이터 $x$ 의 순서나 형태에는 전혀 영향을 받지 않고, 오직 압축된 값 $\phi(x)$ 에 의해서만 결정된다는 뜻이다.

$\theta$ 와 무관한 데이터의 껍데기 항인 $h(x)$ 가 상수 $1$ 이 되어, 우도함수 자체가 $g_{\theta}(\phi(x))$ 와 동일해진다. 데이터 $x$ 안에 불필요한 노이즈나 $\theta$ 와 무관한 정보가 단 하나도 없다는 뜻이다. 즉, $\theta$ 를 추정하는데 있어 원본 데이터x를 사용하든, 통계량 $\phi(x)$ 를 사용하든 결과는 같다는 의미이다.

데이터 $x$ 를 통계량 $\phi(x)$ 로 압축하는 순간, 원본 데이터와 압축된 통계량이 $\theta$ 를 추정하는 데 있어 동치인 것이다.

Q. “통계량 $\phi(x)$ 도 데이터 $x$ 로부터 계산된 것인데, $p(x \mid \theta)$ 가 오직 $\phi(x)$ 에만 의존하고 $x$ 자체에는 의존하지 않는 경우”라고 말할 수 있는가?

$p(x \mid \theta) = h(x)g_{\theta}(\phi(x))$ 를 보면 우도함수 전체 값은 원본 데이터 $x$ 에 따라 변한다. 하지만 함수 $g$ 는 파라미터 $\theta$ 에 대한 함수이며, $g$ 의 입력은 데이터 $x$ 가 아닌 스칼라 값 $\phi(x)$ 이다.

가령, 동전을 던지는 시행에서 앞면이 나오는 경우를 ‘성공’이라고 하자. 확률 변수 $X$ 가 ‘앞’은 1로, ‘뒤’는 0으로 매핑하고, 100번의 독립적인 시행으로 샘플 앞:70, 뒤:30을 얻었다. 이 경우, 파라미터 $\theta$ (앞면이 나올 진짜 true 확률)를 추정하기 위한 충분 통계량 $\phi(x)$ 는 앞면이 나온 횟수의 총합 $\sum x_i = 70$ 이다. 이때 우도 함수는 다음과 같다.

각 $x_i$ 에 베르누이 공식 $\theta^{x_i}(1-\theta)^{1-x_i}$ 를 대입하면,

이 값에 데이터의 순서나 개별 값( $x_i$ )에 대한 정보는 없다. 이 예시에서 도출된 최종 수식 앞에는 $x$ 에 의존하는 항 $h(x)$ 가 존재하지 않는다(즉, $h(x)=1$ ). 이것이 ‘우도 함수 전체가 오직 $\phi(x)$ 에만 의존하는 경우’를 의미한다.

$\to$ 우리가 베르누이 분포나 가우시안 분포를 가정하고 데이터를 관측한다면, 데이터가 10개든 1억개든 찾아야 할 파라미터는 1개( $\mu$ ) 또는 2개( $\mu, \sigma^2$ )로 고정된다. 하지만 데이터가 어떤 분포로부터 샘플링되었는지 모르는 상태에서, 데이터를 관측한다면, 그 데이터들이 관측되었을 가능성이 높은 분포의 파라미터는 데이터가 증가함에 따라 파라미터 또한 증가해야 한다.

$\to$ 선형대수학에서 두 벡터의 내적(dot product)은 가중 선형 결합을 의미한다. 그렇다면 파라미터 $\theta$ 와 통계량 $\phi_i(x)$ 의 내적은 무엇을 의미하는지 생각해보자.

데이터가 가진 고유한 특징들인 통계량 $\phi_i(x)$ 가 각각 얼마만큼의 중요도(Weight)를 가지는지를 파라미터 $\theta_i$ 가 결정하여 모두 더하는 선형 방정식이다.

이는 딥러닝에서 흔히 보는 $\mathbf{W}^\top \mathbf{x}$ 연산과 동일하다. 즉, 지수족 분포는 데이터의 비선형적 특징( $x, x^2, \log x$ 등 통계량)을 계산한 뒤, 파라미터 공간( $\boldsymbol{\theta}$ )에서 이를 선형 함수로 취급하겠다는 뜻이다.

확률에 로그를 취하면 내적 구조가 드러나며, 추후 최적화 과정에서 목적 함수를 볼록하게 만들어주는 요인이 된다?

$\to$ 원본 데이터와 파라미터가 직접 만나지 않는다는 사실이 유한 차원의 충분 통계량을 보장하는 것인가?

이는 지수 함수끼리의 곱이 지수의 덧셈으로 연산되기 때문이다.

독립적인 $N$ 개의 표본에 대해 우도 함수를 곱하면 다음과 같다.

$\exp(a)\exp(b) = \exp(a+b)$ 이 성립하므로,

파라미터 $\boldsymbol{\theta}$ 가 데이터 $x$ 와 내적( $\times$ ) 이외의 복잡한 비선형 연산(예: $\sin(\theta x), x^\theta$ )으로 묶여 있었다면, 합의 기호 $\sum$ 를 밖으로 빼낼 수 없으므로 데이터가 늘어날 때마다 차원이 커진다. 하지만 오직 내적 형태로만 분리되어 있기 때문에, $\boldsymbol{\theta}^\top$ 를 분배 법칙으로 묶어낼 수 있다.

결과적으로 $\sum_{n=1}^N \boldsymbol{\phi}(x_n)$ 라는 기존 $\boldsymbol{\phi}(x)$ 와 완전히 동일한 $K$ 차원의 벡터 하나만 남게 되어 유한 차원이 보장된다.

$\to$ 인수 $h(x)$ 가 점곱 항 안으로 흡수된다는 것이 무슨 의미인가?

원래 수식 $h(x) \exp(\boldsymbol{\theta}^\top \boldsymbol{\phi}(x))$ 을 자연로그의 성질 $h(x) = \exp(\log h(x))$ 를 이용하여 변형한다.

지수 내부의 덧셈을 내적으로 정의할 수 있다. 새로운 통계량 벡터를 $\tilde{\boldsymbol{\phi}}(x) = \begin{bmatrix} \log h(x) \ \boldsymbol{\phi}(x) \end{bmatrix}$ 라 하고, 새로운 파라미터 벡터를 $\tilde{\boldsymbol{\theta}} = \begin{bmatrix} 1 \ \boldsymbol{\theta} \end{bmatrix}$ 라 하자. 그러면 두 벡터의 내적 $\tilde{\boldsymbol{\theta}}^\top \tilde{\boldsymbol{\phi}}(x)$ 은 위 수식과 동일하게 된다.

$\to$ 식 6.108의 형태로 나타냈을 때 지수족에 대한 좋은 직관을 알아보자.

양번에 로그를 취하면 다음과 같다.

이처럼 지수족 분포는 확률에 (자연)로그를 취했을 때 파라미터 $\theta$ 에 대한 일차 함수가 되는 모든 확률 분포들의 집합이다.

이번엔 식 (6.107)에 로그를 취해보자.

여기서 $\boldsymbol{\theta}^\top \boldsymbol{\phi}(\boldsymbol{x})$ 항은 완벽한 일차 함수가 맞지만, 뒤에 정규화 상수 $A(\boldsymbol{\theta})$ 도 파라미터 $\boldsymbol{\theta}$ 에 대한 함수이다.

머신러닝에서 파라미터 $\boldsymbol{\theta}$ 를 찾는 과정은 보통 음의 로그 우도(Negative Log-Likelihood, NLL)를 목적 함수(손실 함수)로 삼아 이를 최소화하는 방식으로 진행된다.

목적 함수 $J(\boldsymbol{\theta})$ 를 수식으로 적으면 다음과 같다.

이 함수가 볼록 함수가 되려면, 이 함수를 $\boldsymbol{\theta}$ 에 대해 두 번 미분한 헤시안 행렬( $\nabla^2 J$ )이 모든 방향에서 양수(Positive Semi-Definite)여야 한다.

$A(\boldsymbol{\theta})$ 를 파라미터 $\boldsymbol{\theta}$ 에 대해 두 번 미분(헤시안)하면 충분 통계량 $\boldsymbol{\phi}(\boldsymbol{x})$ 의 공분산 행렬과 같다(증명은 아직 이해할 수 없으니 지금은 ‘분배 함수를 두 번 미분하면 공분산이 유도된다’만 기억하자).

모든 공분산 행렬은 양의 준정부호이므로(분산은 음수가 될 수 없다) 공분한 행렬의 기하학적 곡률은 무조건 아래로 볼록(또는 평평)하다.

$- \boldsymbol{\theta}^\top \boldsymbol{\phi}(\boldsymbol{x})$ 를 $\boldsymbol{\theta}$ 에 대해 한번 미분하면 상수벡터 $-\boldsymbol{\phi}(\boldsymbol{x})$ , 두번 미분하면 0이 된다.

$- \log h(\boldsymbol{x})$ 항을 $\boldsymbol{\theta}$ 에 대해 한번 미분하면 0이 된다.

따라서 목적함수 $J(\theta)$ 를 $\boldsymbol{\theta}$ 에 대해 두번 미분하여 헤시안을 구해보면 다음과 같다.

이는 우리가 확률 모델을 지수족으로 설계하고 데이터를 학습시킬 때, 그 목적함수는 단 하나의 최적해를 가짐을 보장한다.

$A(\boldsymbol{\theta})$ 를 파라미터 $\boldsymbol{\theta}$ 에 대해 두 번 미분(헤시안)하면 충분 통계량 $\boldsymbol{\phi}(\boldsymbol{x})$ 의 공분산과 어떻게 같은가?

(예제 6.13 가우시안 분포를 지수족으로 표현하기)

일변량 가우시안 분포 $\mathcal{N}(\mu, \sigma^2)$ 를 고려하자. $\boldsymbol{\phi}(x) = \begin{bmatrix} x \ x^2 \end{bmatrix}$ 라고 하자. 그러면 지수족의 정의를 사용하여 다음을 얻는다.

다음을 설정하고

(6.109)에 대입하면, 우리는 다음을 얻는다.

따라서, 일변량 가우시안 분포는 충분 통계량 $\boldsymbol{\phi}(x) = \begin{bmatrix} x \ x^2 \end{bmatrix}$ 과 (6.110)의 $\boldsymbol{\theta}$ 로 주어지는 자연 파라미터를 가지는 지수족의 멤버이다.

$\to$ 예제 6.13 풀이

일변량 가우시안 분포의 정규화 상수는 무시하고, 지수함수 부분만 보자.

괄호 안의 완전제곱식을 풀면

위 식에서 데이터 $x$ 를 포함하고 있는 부분과, $x$ 가 없는 상수 부분을 분리하면

뒤의 상수 부분은 로그 분배 함수 $A(\boldsymbol{\theta})$ 의 일부가 되며, 우리는 $x$ 를 포함하는 부분에 관심이 있다. $\frac{\mu}{\sigma^2}x - \frac{1}{2\sigma^2}x^2$ 을 벡터의 내적의 형태로 쪼개보자.

통계량 벡터 $\boldsymbol{\phi}(x)$ 는 다음과 같이 2차원 벡터로 고정된다.

그리고 각 통계량 앞에 곱해진 계수를 가져와 벡터로 묶어주어 자연 파라미터 벡터 $\boldsymbol{\theta}$ 를 만들고,

이 두 벡터를 내적( $\boldsymbol{\theta}^\top \boldsymbol{\phi}(x)$ )하면 위 수식이 복원됨을 알 수 있다.

이는 가우시안 함수가 $x$ 와 $x^2$ 이라는 두 개의 통계량에 선형적인 가중치( $\theta_1, \theta_2$ )를 곱한 단순한 지수 함수 구조임을 뜻한다. 가우시안 모델을 학습(최적화)할 때, 인간이 보기 편한 $\mu, \sigma^2$ 공간에서 학습하는 것보다, 이와 동치인 자연 파라미터 공간 $\boldsymbol{\theta} = [\theta_1, \theta_2]^\top$ 에서 학습을 수행하는 것이 모델 관점에서 보다 쉽게 최적해를 찾을 수 있다.

$\to$ 우리가 최적화해야 할 대상은 음의 로그 우도 함수이다. 가우시안의 수식에 음의 로그를 취한 $- \log p(x \mid \mu, \sigma^2)$ 에는 $\log(\sigma^2)$ 항과 $\frac{1}{\sigma^2}(x-\mu)^2$ 항이 섞여있다. 이 함수를 $\mu$ 와 $\sigma^2$ 이라는 두 축을 가진 3차원 공간에 그려보면 convex 형태가 아니기 때문에 최적해를 찾기 힘들다.

위에서 유도하였듯이, $J(\boldsymbol{\theta}) = A(\boldsymbol{\theta}) - \boldsymbol{\theta}^\top \boldsymbol{\phi}(x)$ 의 헤시안은 공분산 행렬이므로 이 지형에서 모델은 경사하강법을 통해 최적해를 구하기 쉽다.

예제 6.14 (지수족으로서의 베르누이 분포)

예제 6.8의 베르누이 분포를 상기하자.

이것은 지수족 형태로 쓰일 수 있다.

마지막 줄 (6.113d)는 다음을 관찰함으로써 지수족 형태 (6.107)에 있음을 식별할 수 있다.

$\theta$ 와 $\mu$ 사이의 관계는 역연산이 가능하며(invertible), 따라서 다음과 같다.

관계식 (6.118)은 (6.117)의 오른쪽 등식을 얻는 데 사용된다.

$\to$ 지수 함수 $f(x) = e^x$ 와 자연로그 함수 $g(x) = \ln x$ 는 서로가 서로의 역함수이다. 역함수의 공리에 의해, $f(g(y)) = y$ 이고 $g(f(y)) = y$ 이다. 즉, $y = \exp(\log(y))$ 도 참이고, $y = \log(\exp(y))$ 도 참이다. 단, 로그의 진수 조건에 의해 $y > 0$ 이어야만 $\exp(\log(y))$ 가 성립하는데, 앞서 우리가 다루는 $y$ 는 ‘확률( $p(x \mid \mu)$ )’이므로 무조건 0보다 크거나 같다. 교재에서 전자로 표기한 이유는, 지수족의 형태가 $p(x \mid \theta) \propto \exp(\theta^\top \phi(x))$ 이기 때문에 바깥쪽을 자연 상수로 감싸야 한다.

$\to$ 식 (6.117)을 유도하기 위해 식 (6.115)에 밑이 $e$ 인 지수 함수를 취하고, 구해야 하는 $(1-\mu)= ?$ 형태로 유도해야 한다.

$\to$ 베이즈 추론의 핵심은 사후 확률( $\text{Posterior}$ ) $\propto$ 우도( $\text{Likelihood}$ ) $\times$ 사전 확률( $\text{Prior}$ )이다. 우도 함수(6.119)의 지수 안에 $\boldsymbol{\theta}$ 와 $-A(\boldsymbol{\theta})$ 가 있는데, 이 우도 함수를 곱했을 때 지수 법칙의 덧셈으로 풀기 위해 사전 확률 또한 지수 안에 $\boldsymbol{\theta}$ 와 $-A(\boldsymbol{\theta})$ 를 변수로 가지고 있어야 한다. 그 결과, 우도의 지수( $\boldsymbol{\phi}(\boldsymbol{x})^\top \boldsymbol{\theta} - 1 \cdot A(\boldsymbol{\theta})$ )와 prior의 지수( $\boldsymbol{\gamma}_1^\top \boldsymbol{\theta} - \gamma_2 A(\boldsymbol{\theta})$ ) 부분의 덧셈 결과는 $(\boldsymbol{\gamma}_1 + \boldsymbol{\phi}(\boldsymbol{x}))^\top \boldsymbol{\theta} - (\gamma_2 + 1) A(\boldsymbol{\theta})$ 로써 사전 확률과 동일한 구조를 유지할 수 있고, 파라미터만 $\boldsymbol{\gamma}_1 \leftarrow \boldsymbol{\gamma}_1 + \boldsymbol{\phi}(\boldsymbol{x})$ , $\gamma_2 \leftarrow \gamma_2 + 1$ 로 업데이트 된다.

$\to$ 우도 함수가 지수족이면, 그것의 켤레 사전 확률 역시 반드시 지수족의 형태를 띈다. 우도 함수 $p(\boldsymbol{x} \mid \boldsymbol{\theta}) = h(\boldsymbol{x}) \exp \left( \boldsymbol{\theta}^\top \boldsymbol{\phi}(\boldsymbol{x}) - A(\boldsymbol{\theta}) \right)$ 에서서 확률 변수(데이터)는 $\boldsymbol{x}$ , 파라미터 $\boldsymbol{\theta}$ , 충분 통계량 $\boldsymbol{\phi}(\boldsymbol{x})$ 이다. 사전 확률 $p(\boldsymbol{\theta} \mid \boldsymbol{\gamma}) = h_c(\boldsymbol{\theta}) \exp \left( \boldsymbol{\gamma}_1^\top \boldsymbol{\theta} + \gamma_2 (-A(\boldsymbol{\theta})) - A_c(\boldsymbol{\gamma}) \right)$ 에서 확률 변수(데이터)는 $\boldsymbol{\theta}$ 이며(베이지아 ㄴ관점에서 파라미터가 확률 변수 취급을 받는다), 파라미터(하이퍼파라미터)는 $\boldsymbol{\gamma}$ , 충분 통계량은 $\begin{bmatrix} \boldsymbol{\theta} \ -A(\boldsymbol{\theta}) \end{bmatrix}$ 이다. 즉, 켤레 사전 확률은 확률 변수가 $\boldsymbol{\theta}$ 로 바뀌었을 뿐, 지수족 형태임을 확인할 수 있다.

$\to$ 하이퍼파라미터 $\boldsymbol{\gamma}$ 의 차원은 왜 $\text{dim}(\boldsymbol{\theta}) + 1$ 인가.

N개의 데이터 $\boldsymbol{x}_1, \dots, \boldsymbol{x}_N$ 에 대한 우도 함수 전체를 곱해보면 지수 부분은 다음과 같이 전개된다.

확률 변수 $\boldsymbol{\theta}$ 와 관련된 항이 $\text{dim}(\boldsymbol{\theta})$ 차원을 가지는 $\boldsymbol{\theta}^\top$ , 1차원 스칼라 $-A(\boldsymbol{\theta})$ 이다. 이 우도함수와 사전활률이 곱해질 때 지수 법칙에 의해 묶이려면, 사전 확률 역시 우도 함수의 두 가지 $\boldsymbol{\theta}$ 에 각각 가중치(파라미터)를 똑같이 가지고 있어야 한다. $D$ 차원의 $\boldsymbol{\gamma}_1$ 는 $\boldsymbol{\theta}$ (차원 $D$ )의 가중치 벡터이며, 1차원 스칼라 $\gamma_2$ 는 $-A(\boldsymbol{\theta})$ 의 가중치 스칼라이다. 따라서 사전 확률의 전체 하이퍼파라미터 $\boldsymbol{\gamma}$ 는 $\boldsymbol{\gamma}_1$ 과 $\gamma_2$ 를 열로 붙인 벡터가 되며, 그 전체 차원은 $\text{dim}(\boldsymbol{\theta}) + 1$ 이 되어야 한다.

예제 6.15

베르누이 분포의 지수족 형태 (6.113d)를 상기하자.

표준 켤레 사전 확률(canonical conjugate prior)은 다음의 형태를 가진다.

여기서 우리는 $\boldsymbol{\gamma} := [\alpha, \beta + \alpha]^\top$ 와 $h_c(\mu) := \mu / (1 - \mu)$ 로 정의했다. 그러면 식 (6.122)는 다음과 같이 단순화된다.

이것을 비-지수족(non-exponential family) 형태로 놓으면 다음을 산출한다.

우리는 이를 베타 분포(Beta distribution) (6.98)로 식별한다. 예제 6.12에서 우리는 베타 분포가 베르누이 분포의 켤레 사전 확률이라고 가정했고, 그것이 실제로 켤레 사전 확률임을 보여주었다. 이 예제에서 우리는 베르누이 분포의 표준 켤레 사전 확률을 지수족 형태로 살펴봄으로써 베타 분포의 형태를 도출해 냈다.

$\to$ 예제 6.15 풀이

식 6.121에서 베르누이 분포의 지수족 형태에서 $\theta = \log \left( \frac{\mu}{1-\mu} \right)$ , $-A(\theta) = \log(1 - \mu)$ 임을 알 수 있다. 켤레 사전 확률의 일반적인 형태 $p(\mu) = h_c(\mu) \exp \left( \gamma_1 \theta + \gamma_2 (-A(\theta)) - A_c \right)$ 에 자연파라미터의 분배 함수를 대입하면

이때 사후 분포가 베타 분포가 되도록 하이퍼파라미터 $\gamma_1, \gamma_2$ 를 임의의 변수 $\alpha, \beta$ 로 정의한다.

이때 교재에서 $h_c(\mu) := \mu / (1 - \mu)$ 라고 정의하였는데, 식 (6.124)를 유도하려면 $h_c(\mu) = \frac{1}{\mu(1-\mu)}$ 여야 한다.

지수 항은 다음과 같이 전개된다.

지수 함수 바깥에 $h_c(\mu) = \frac{1}{\mu(1-\mu)}$ 을 지수함수로 표현하면 다음과 같다.

따라서 다음이 성립한다.

$-A_c$ 는 정규화 상수이므로 비례 기호로 표현하면,

이는 베타 분포의 정의와 같다(유도 중간에 분배 함수 $A_c$ 의 입력이 벡터 $\boldsymbol{\gamma}$ 에서 두 스칼라 $\alpha$ 와 $\beta$ 로 바뀌었다).

$\to$ 만약 $h_c(\mu) = \frac{\mu}{1-\mu}$ 를 대입했으면 $\mu$ 가 $\alpha+1$ 승이 되어 파라미터가 $\alpha+2, \beta$ 인 베타 분포가 된다. 베이지안 프레임워크에서 중요한 것은 지수족 우도 함수(베르누이)에 지수족 켤레 형태를 곱하면 닫힌 형태의 분포(베타)가 유도됨을 보이는 것이다.