가우시안 혼합 모델
가우시안 혼합 모델(GMM)은 유한한 $K$ 개의 가우시안 분포 $\mathcal{N}(\boldsymbol{x} \vert \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)$ 를 결합한 밀도 모델로, 다음과 같이 정의된다.
$$
p(\boldsymbol{x} \vert \boldsymbol{\theta}) = \sum_{k=1}^K \pi_k \mathcal{N}(\boldsymbol{x} \vert \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k) \tag{11.3}
$$
$$
0 \le \pi_k \le 1, \quad \sum_{k=1}^K \pi_k = 1 \tag{11.4}
$$
여기서 우리는 모델의 모든 파라미터 집합을 $\boldsymbol{\theta} := {\boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k, \pi_k : k = 1, \dots, K}$ 로 정의했다. 가우시안 분포들의 이러한 볼록 결합은 단순한 가우시안 분포( $K=1$ 인 경우)보다 복잡한 밀도를 모델링하는 데 훨씬 더 큰 유연성을 제공한다.
(그림 11.2: 가우시안 혼합 모델. 가우시안 혼합 분포(검은색 실선)는 가우시안 분포들의 볼록 결합(convex combination)으로 구성되며, 개별 성분보다 훨씬 더 풍부한 표현력을 가진다. 점선들은 가중치가 적용된 개별 가우시안 성분들을 나타낸다.)
그림 11.2는 가중치가 적용된 성분들과 혼합 밀도를 보여주는 삽화로, 다음과 같이 주어진다.
$$
p(x \vert \boldsymbol{\theta}) = {\color{blue}0.5\mathcal{N}(x \vert -2, 1/2)} + {\color{orange}0.2\mathcal{N}(x \vert 1, 2)} + {\color{green}0.3\mathcal{N}(x \vert 4, 1)} \tag{11.5}
$$
$\to$ 그림 11.2에 보이는 점섬들은 원래 가우시안 분포 $p_k(x)$ 자체가 아니라, 여기에 가중치 $\pi_k$ 가 이미 곱해진 $\pi_k p_k(x)$ 를 나타낸다.