증명은 기댓값 연산자의 선형성과 행렬의 전치 성질을 이용하여 증명한다.
증명 1. 기댓값의 덧셈/뺄셈 변환(식 6.46, 6.47)
이 증명은 다중 적분의 선형성에 의존한다. 두 다변량 확률 변수 $\boldsymbol{x}, \boldsymbol{y}$ 의 결합 확률 밀도 함수를 $p(\boldsymbol{x}, \boldsymbol{y})$ 라고 할 때, 기댓값의 정의에 의해 다음이 성립한다. \(\mathbb{E}[\boldsymbol{x} \pm \boldsymbol{y}] = \iint (\boldsymbol{x} \pm \boldsymbol{y}) p(\boldsymbol{x}, \boldsymbol{y}) d\boldsymbol{x} d\boldsymbol{y}\) 적분은 덧셈과 뺄셈에 대해 분배되므로 식을 분리할 수 있다. \(= \iint \boldsymbol{x} p(\boldsymbol{x}, \boldsymbol{y}) d\boldsymbol{x} d\boldsymbol{y} \pm \iint \boldsymbol{y} p(\boldsymbol{x}, \boldsymbol{y}) d\boldsymbol{x} d\boldsymbol{y}\) 여기서 주변 확률 밀도 함수의 정의( $\int p(\boldsymbol{x}, \boldsymbol{y}) d\boldsymbol{y} = p(\boldsymbol{x})$ 등)를 적용하여 하나의 변수를 적분해 내면,
이는 각각 $\boldsymbol{x}$ 와 $\boldsymbol{y}$ 의 기댓값 정의와 정확히 일치한다.
$\to$ $\boldsymbol{x}$ 와 $\boldsymbol{y}$ 가 서로 강하게 종속되어 있든 완전히 독립이든 관계없이, 두 확률 변수를 더한 새로운 시스템의 무게 중심은 그저 각 시스템의 무게 중심 벡터를 더한 것과 같다. 이는 1차 적률(평균)이 공간의 선형성을 보존하는 1차원적 위치 벡터임을 뜻한다.
$\to$ 이때 두 확률 변수의 합이 결합 확률 분포가 됨에 있어서 혼란이 있을 수 있다. 두 확률 변수 $X$ 와 $Y$ 가 함께 정의되어 상호작용하는 공간은 $(X, Y)$ 라는 순서쌍으로 이루어진 실수 평면 $\mathbb{R}^2$ 이다. 이 2차원 공간 안에서 $X$ 축과 $Y$ 축이 동시에 존재하며, 두 변수가 독립인지 혹은 상관관계(공분산)가 있는지에 대한 모든 ‘상호작용’ 정보가 이 2차원 결합 확률 밀도 함수 $f(x, y)$ 의 형태(예: 원형, 타원형)로 담겨 있다. 따라서 이 공간은 분명한 다변수 공간이다.
덧셈 기호 $+$ 는 이 2차원 공간에 있는 점을 1차원 공간으로 대응시키는 이변량 함수(mapping, $g$ )로 생각할 수 있다.
이 함수 $g$ 는 2차원 벡터 $(x, y)$ 를 입력으로 받는다.
함수 $g$ 를 통과해 나온 결과값 $Z = x + y$ 는 오직 단일 실수값만을 가진다. 즉, $Z$ 가 존재하는 공간은 $\mathbb{R}^1$ 인 1차원 수직선이다. 따라서 확률 변수 $Z$ 는 일변량 확률 변수가 된다.
증명 2. 분산의 덧셈/뺄셈 변환 (식 6.48, 6.49)
다변량 확률 변수의 분산(공분산 행렬) 정의 $\mathbb{V}[\boldsymbol{z}] = \mathbb{E}[(\boldsymbol{z} - \mathbb{E}[\boldsymbol{z}])(\boldsymbol{z} - \mathbb{E}[\boldsymbol{z}])^\top]$ 를 사용한다.
편의상 평균 중심화(Mean-centering)된 변수를 $\tilde{\boldsymbol{x}} = \boldsymbol{x} - \mathbb{E}[\boldsymbol{x}]$ , $\tilde{\boldsymbol{y}} = \boldsymbol{y} - \mathbb{E}[\boldsymbol{y}]$ 라고 정의하고, 식 6.46/6.47에 의해 $\mathbb{E}[\boldsymbol{x} \pm \boldsymbol{y}] = \mathbb{E}[\boldsymbol{x}] \pm \mathbb{E}[\boldsymbol{y}]$ 이므로, 편차 벡터는 $(\tilde{\boldsymbol{x}} \pm \tilde{\boldsymbol{y}})$ 가 된다.
행렬의 전치 성질 $(A \pm B)^\top = A^\top \pm B^\top$ 을 적용하여 괄호를 전개(외적)한다.
기댓값의 선형성을 적용하여 $\mathbb{E}$ 를 4개의 항으로 분배한다.
이제 각 항을 원래의 정의로 되돌리면:
$\to$ $\text{Cov}[\boldsymbol{x}, \boldsymbol{y}]$ 와 $\text{Cov}[\boldsymbol{y}, \boldsymbol{x}]$ 는 서로 전치의 관계이다. 스칼라(1차원)에서는 두 항을 더해 $2\text{Cov}(x, y)$ 로 적어도 되지만, 다변량 벡터에서는 $\text{Cov}[\boldsymbol{x}, \boldsymbol{y}]$ 는 $D \times E$ 직사각형 행렬이고 $\text{Cov}[\boldsymbol{y}, \boldsymbol{x}]$ 는 $E \times D$ 행렬이다. 식 (6.37)에서 보았듯 $\text{Cov}[\boldsymbol{x}, \boldsymbol{y}] = \text{Cov}[\boldsymbol{y}, \boldsymbol{x}]^\top$ 의 관계일 뿐, 두 행렬 자체가 같지 않으므로 두 공분산 행렬을 더하는 연산은 불가능하다.
$\to$ 평균과 달리, ‘불확실성(분산)’은 단순하게 덧셈이나 뺄셈으로 결합되지 않으며, 두 변수간의 관계(공분산)에 따라 불확실성이 증폭되거나 상쇄될 수 있다.
증명 3. 아핀 변환의 기댓값 (식 6.50)
결정론적 행렬 $\boldsymbol{A}$ 와 벡터 $\boldsymbol{b}$ 는 무작위성이 없는 상수(Constant)이다. 기댓값 연산자 $\mathbb{E}$ 는 적분 연산이므로 상수는 앞으로 빠져나온다.
$\mathbb{E}[\boldsymbol{x}] = \boldsymbol{\mu}$ 이므로,
$\to$ 행렬 $\boldsymbol{A}$ 와 벡터 $\boldsymbol{b}$ 를 통한 아핀 변환시, 위치 정보(평균)는 공간 변환을 그대로 추적하지만, 형태 정보(분산)는 평행 이동( $\boldsymbol{b}$ )을 무시하고 오직 선형 변환( $\boldsymbol{A}$ )에 의해서 도출된다.
$\to$ 만약 $\boldsymbol{A}$ 와 $\boldsymbol{b}$ 자체가 무작위성을 가지는 확률 변수라면 어떨까. 먼저 $\boldsymbol{b}$ 는 다른 변수와 독립이든 종속이든 상관없이 덧셈에 대해 분배될 것이다.
또한 이는 $\boldsymbol{b}$ 의 평균값인 $\boldsymbol{\mu}_b$ 로 유도된다.
확률 변수 행렬 $\boldsymbol{A}$ 에 대해서는 어떨까. $\mathbb{E}[\boldsymbol{Ax}]$ 는 이제 ‘상수 $\times$ 변수’가 아니라 ‘변수 $\times$ 변수’의 기댓값으로 두 변수의 통계적인 관계에 따라 결과가 뒤바뀐다.
만약 행렬 $\boldsymbol{A}$ 의 무작위성이 데이터 $\boldsymbol{x}$ 의 무작위성과 아무런 연관이 없다면, 기댓값은 다음과 같이 분리된다.
만약 $\boldsymbol{A}$ 의 변화가 $\boldsymbol{x}$ 의 변화가 서로 얽혀 있다면, 두 확률 변수의 곱의 기댓값은 각 기댓값의 곱에 공분산을 더해야 한다.
$\to$ 그렇다면 $\boldsymbol{A}$ 와 $\boldsymbol{b}$ 가 확률 변수인 상황은 언제 생기는가?
베이지안 신경망(bayesian neural networks): 일반 딥러닝은 학습이 끝나면 가중치 $\boldsymbol{W}$ (수식의 $\boldsymbol{A}$ )가 고정된 숫자(결정론적)가 된다. 하지만 베이지안 신경망은 가중치 $\boldsymbol{A}$ 자체를 하나의 거대한 확률 분포로 만든다. 즉, 예측할 때마다 $\boldsymbol{A}$ 행렬이 무작위로 미세하게 흔들리며, 이를 통해 모델이 자신의 예측에 대해 “얼마나 확신하는가”를 계산한다.
Dropout: 모델의 과적합을 막는 요소로 알려졌는데, 이는 학습 과정에서 노드들을 무작위로 껏다 켰다 한다. 이는 데이터 $\boldsymbol{x}$ 에 곱해지는 행렬 $\boldsymbol{A}$ 의 원소들이 0 또는 1의 값을 무작위로 가지는 베르누이 확률 변수로 작동하는 것과 동일하다.
증명 4. 아핀 변환의 공분산 행렬 (식 6.51)
먼저 변환된 확률 변수 $\boldsymbol{y} = \boldsymbol{Ax} + \boldsymbol{b}$ 의 편차(Deviation)를 구한다.
벡터 $\boldsymbol{b}$ 가 상쇄되어 사라진다.
이제 분산의 정의(편차 외적의 기댓값)에 대입한다.
행렬 곱의 전치 성질 $(AB)^\top = B^\top A^\top$ 을 적용한다( $(\boldsymbol{A}(\boldsymbol{x} - \boldsymbol{\mu}))^\top = (\boldsymbol{x} - \boldsymbol{\mu})^\top \boldsymbol{A}^\top$ ).
$\boldsymbol{A}$ 와 $\boldsymbol{A}^\top$ 는 상수 행렬이므로 기댓값 연산자 $\mathbb{E}$ 밖으로 빠져나올 수 있다.
괄호 안의 식이 정확히 기존 확률 변수 $\boldsymbol{x}$ 의 공분산 행렬 $\boldsymbol{\Sigma}$ 의 정의이다.
$\to$ $\boldsymbol{\Sigma}$ 는 단순한 벡터가 아니라 행과 열 방향의 퍼짐을 모두 가지는 $D \times D$ 텐서이다. 따라서 공간을 $\boldsymbol{A}$ 배만큼 늘리거나 회전시킬 때, 그 기하학적 형태 변화를 행렬의 양방향(행과 열)에 모두 적용하기 위해 $\boldsymbol{A}$ 와 $\boldsymbol{A}^\top$ 가 샌드위치처럼 $\boldsymbol{\Sigma}$ 의 좌우를 감싸는 이차 형식(Quadratic Form) 구조가 필연적으로 발생한다.
$\to$ $\boldsymbol{A}$ 와 $\boldsymbol{b}$ 가 확률 변수라면 증명 4도 성립하지 않는다.
증명 5. 아핀 변환과의 교차 공분산 (식 6.52a ~ 6.52d)
증명 목표: $\boldsymbol{y} = \boldsymbol{Ax} + \boldsymbol{b}$ 일 때, $\text{Cov}[\boldsymbol{x}, \boldsymbol{y}] = \boldsymbol{\Sigma}\boldsymbol{A}^\top$
다변량 교차 공분산의 대수적 전개식(식 6.37)에서부터 유도한다.
$\boldsymbol{y} = \boldsymbol{Ax} + \boldsymbol{b}$ 와 $\mathbb{E}[\boldsymbol{y}] = \boldsymbol{A\mu} + \boldsymbol{b}$ 를 대입한다. (식 6.52a)
전치 연산을 괄호 안으로 분배한다( $(\boldsymbol{Ax} + \boldsymbol{b})^\top = \boldsymbol{x}^\top \boldsymbol{A}^\top + \boldsymbol{b}^\top$ ).
기댓값 괄호 안의 $\boldsymbol{x}$ 를 분배하고, 뒤쪽의 $\boldsymbol{\mu}$ 를 분배한다.
기댓값의 선형성을 이용하여 $\mathbb{E}$ 를 쪼개고, 상수 $\boldsymbol{A}^\top$ 와 $\boldsymbol{b}^\top$ 를 밖으로 뺀다. (식 6.52b)
여기서 $\mathbb{E}[\boldsymbol{x}] = \boldsymbol{\mu}$ 이므로, $\mathbb{E}[\boldsymbol{x}]\boldsymbol{b}^\top$ 는 $\boldsymbol{\mu}\boldsymbol{b}^\top$ 와 같다. 따라서 두 번째 항과 네 번째 항이 상쇄된다. (식 6.52c)
남은 두 항을 공통 인수인 상수 행렬 $\boldsymbol{A}^\top$ 로 묶어준다.
괄호 안의 식은 분산의 원점수 공식(식 6.38b)에 의해 정확히 $\boldsymbol{x}$ 의 공분산 행렬 $\boldsymbol{\Sigma}$ 와 동일합니다. (식 6.52d)
$\to$ 원본 데이터 $\boldsymbol{x}$ 와, 이를 선형 변환한 결과물 $\boldsymbol{y}$ 사이의 관계성(교차 공분산)은, 오직 원본 데이터가 가지고 있던 내재적 불확실성( $\boldsymbol{\Sigma}$ ))이 변환 행렬( $\boldsymbol{A}$ )의 공간으로 투영된 결과물임을 뜻한다.