$\to$ 데카르트 곱은 각 집합의 원소를 각 성분으로 하는 튜플들의 집합이다. 다시 말해, 두 집합의 원소들을 짝지어 만들 수 있는 모든 가능한 순서쌍의 집합을 의미한다. 예를 들어, 두 집합 $A, B$ 의 곱집합 $A \times B$ 는 $\set{(a,b) \vert a \in A, b \in B}$ 이다.

두 확률 변수 $X$ 와 $Y$ 의 목표 공간이 각각 $\mathcal{T}_X = \set{x_1, x_2}$ 이고 $\mathcal{T}_Y = \set{y_1, y_2, y_3}$ 라고 가정해보자. 이 두 공간의 데카르트 곱 $\mathcal{T}_X \times \mathcal{T}_Y$ 는 다음과 같이 전개된다.

“결합 확률의 목표 공간은 각 확률 변수의 목표 공간들의 데카르트 곱이다”라는 뜻은 다변수 확률 모델이 고려해야 하는 전체 표본 공간의 크기가 각 확률 변수의 목표 공간들의 모든 조합인 다차원 텐서임을 말한다.

$\to$ “변수 $Y$ 의 값과 무관하게”라는 표현은, 오직 특정 열 $X = x_3$ 의 확률만 구하고 싶을 때, 그 열에 있는 모든 $Y$ 의 확률들을 세로로 다 더하면 된다.

$\to$ “오직 $X=x$ 인 경우들만 고려한다면”이라는 문장은 확률 연산의 기준이 되는 전체 표본 공간 $\Omega$ 가 축소됨을 뜻한다. 그럼 6.2에서 $X = x_3$ 인 경우들만 고려한다면, 전체 데이터는 전체 사각형 $N$ 이 아니라, 이 $x_3$ 열 안에 있는 데이터 뿐이다. 이 열 안에서 특정 $Y = y_2$ 가 차지하는 비율을 구하는 것이 조건부 확률이다(결합 확률과 조건부 확률은 예제 6.2에서 다룬다).

$\to$ ‘lazily’는 직역하면 ‘게으른’인데 이 표현이 쓰여진 이유는 다음과 같다. 원래 특정 사건이 발생할 확률은 $P(X=x)$ 로 적어야 하며 여기서 대문자 $X$ 는 함수(확률 변수)이고 소문자 $x$ 는 대입할 숫자(상태)이다. 이를 단순 $p(x)$ 라고 적는다면 식에 $p(x)$ 와 $p(y)$ 가 등장했을 때, 같은 함수 $p$ 에 입력값만 다르게 넣은 것처럼 보인다. 하지만 실제 $X$ 의 확률 질량 함수와 $Y$ 의 확률 질량 함수는 완전히 별개의 다항식이나 룩업 테이블을 가진 다른 함수일 수 있다.

예제 6.2

그림 6.2에 나타난 바와 같이, $X$ 는 5개의 가능한 상태를 가지고 $Y$ 는 3개의 가능한 상태를 가지는 두 확률 변수 $X$ 와 $Y$ 를 고려해 보자. 상태가 $X = x_i$ 이고 $Y = y_j$ 인 사건의 수를 $n_{ij}$ 로 표기하고, 전체 사건의 수를 $N$ 으로 표기한다. 값 $c_i$ 는 $i$ 번째 열(column)에 대한 개별 빈도들의 합이다. 즉, $c_i = \sum_{j=1}^3 n_{ij}$ 이다. 유사하게, 값 $r_j$ 는 행(row)의 합이다. 즉, $r_j = \sum_{i=1}^5 n_{ij}$ 이다. 이러한 정의들을 사용하여, 우리는 $X$ 와 $Y$ 의 분포를 간결하게 표현할 수 있다.

$\quad$ 각 확률 변수의 확률 분포인 주변 확률(marginal probability)은 행 또는 열에 대한 합으로 볼 수 있다.

그리고

여기서 $c_i$ 와 $r_j$ 는 각각 확률 표의 $i$ 번째 열과 $j$ 번째 행이다. 관례적으로, 유한한 수의 사건을 가지는 이산 확률 변수에 대해 우리는 확률들의 합이 $1$ 이 된다고 가정한다. 즉,

$\quad$ 조건부 확률(conditional probability)은 특정 셀이 행 또는 열에서 차지하는 비율이다. 예를 들어, $X$ 가 주어졌을 때 $Y$ 의 조건부 확률은 다음과 같다.

그리고 $Y$ 가 주어졌을 때 $X$ 의 조건부 확률은 다음과 같다.

$\to$ 주변 확률의 덧셈 연산이 확률 변수의 영향력을 소거한다는 것이 무슨 의미인가. 결합 확률 $P(X=x, Y=y)$ 는 $X$ 와 $Y$ 의 상태가 동시에 고정된 교집합을 의미한다. 만약 우리가 오직 ‘ $X=x_i$ 일 확률’만을 묻는다면, 변수 $Y$ 는 $y_1$ 이 되든 $y_2$ 가 되든 $y_3$ 이 되든 전혀 상관이 없기 때문에, 이는 ‘서로 배반인 사건들의 합집합’으로 정의되며 교집합이 없는 배반 사건들의 합집합 확률은 단순 덧셈으로 전개된다.

때문에 최종 결과 값에는 확률 변수 $Y$ 의 영향력이 소거된다. 이는 변수 $X$ 와 $Y$ 의 상관관계를 다룬게 아닌 우리가 관찰하고자 하는 관심 대상에서 $Y$ 의 구체적인 상태를 배제한다는 뜻이다.

$\to$ 특정 조건 $X=x_i$ 가 주어졌을 때, 모든 가능한 $Y$ 에 대한 조건부 확률을 더해보자.

여기서 앞서 정의한 $c_i = \sum_{j=1}^3 n_{ij}$ 를 대입하면 $\frac{c_i}{c_i} = 1$ 이 된다. 즉, 조건부 확률 역시 그 자체로 확률의 총합이 $1$ 이 되는 완벽하게 독립적이고 콜모고로프 3공리를 만족하는 1차원 확률 분포 함수임을 보장한다.

$\to$ 어떤 집합이 위상을 가진다는 것은, 그 집합 내의 원소들 사이에 서로 ‘가깝다’, 또는 ‘연속적으로 이어져 있다’라는 성질을 대수적으로 정의할 수 있는 수학적 구조가 부여되어 있음을 의미한다.

실수 공간 $\mathbb{R}$ 에서는 개구간(Open interval) $(a, b)$ 들이 이 위상을 형성한다. 이 개구간들이 존재해야만, 우리는 극한(Limit, $\lim_{x \to a} f(x)$ )과 미분 가능성이라는 연산을 모순 없이 전개할 수 있다.

반대로 위상이 부여되지 않은 집합은 오직 원소의 포함 여부( $\in$ )만을 다룰 뿐이다. 이 공간에는 원소 간의 거리, 경계, 극한점이라는 개념이 부재하므로 극한 연산이나 미분 연산을 전개할 수 없다.

정의 6.1 (확률 밀도 함수, Probability Density Function). 함수 $f : \mathbb{R}^D \to \mathbb{R}$ 가 다음을 만족하면 확률 밀도 함수(pdf)라고 불린다.

1. $\forall x \in \mathbb{R}^D : f(x) \ge 0$

2. 적분이 존재하며, 다음 식을 만족한다.

정의 6.2 (누적 분포 함수, Cumulative Distribution Function, CDF). 상태 $\boldsymbol{x} \in \mathbb{R}^D$ 를 가지는 다변량 실수형 확률 변수 $X$ 의 누적 분포 함수(cdf)는 다음과 같이 주어진다.

여기서 $X = [X_1, \dots, X_D]^\top$ , $\boldsymbol{x} = [x_1, \dots, x_D]^\top$ 이며, 우변은 확률 변수 $X_i$ 가 $x_i$ 보다 작거나 같은 값을 가질 확률을 나타낸다.

$\to$ 정의 6.2에 따르면, 2차원 결합 CDF는 다음과 같이 두 사건의 교집합으로 정의된다.

여기서 변수 $x_2$ 에 극한을 취해 양의 무한대( $\infty$ )로 보낸다고 가정해보자.

수학적으로 확률 변수 $X_2$ 가 ‘무한대보다 작거나 같다( $X_2 \le \infty$ )’는 조건은 실수 공간 전체를 포괄하므로, 확률 공간 $\Omega$ 에서 반드시 일어나는 전사건(certain event)이 된다. 전사건과의 교집합 연산( $A \cap \Omega = A$ )은 대수적으로 자기 자신을 반환한다. 따라서 $X_2$ 에 대한 제약 조건이 소거되어, 오직 $X_1$ 에 대한 제약만 남게 된다.

이를 미적분의 관점에서 보자. 2차원 결함 CDF는 다음과 같이 pdf의 적분 꼴로 정의할 수 있다.

이 식에서 상한선 $x_2$ 를 $\infty$ 로 극한을 취하면 다음과 같다.

여기서 안쪽 괄호의 적분 $\int_{-\infty}^{\infty} f(z_1, z_2) dz_2$ 를 보자. 이전 6.2.1절에서 이산 공간의 주변 확률을 구할 때, 필요 없는 변수에 대해 $\sum$ 로 특정 확률 변수의 모든 가능한 상태를 전부 더해서 소거했다. 연속 공간에서는 그 $\sum$ 연산이 $\int_{-\infty}^{\infty}$ 연산으로 대치된다.

즉, 결합 밀도 함수 $f(z_1, z_2)$ 를 $z_2$ 의 전체 공간( $-\infty$ 부터 $\infty$ 까지)에 대해 적분(합산)해 버리면, 변수 $z_2$ 의 차원은 완전히 소거되고 오직 $z_1$ 만의 1차원 주변 확률 밀도 함수인 $f_{X_1}(z_1)$ 이 도출된다.

$\to$ 적분이 변수를 소거하는지 확인하기 위해, 적분의 두 가지 형태를 구분해야 한다. 다변수 함수 $f(x, y) = xy^2$ 을 예로 들어보자.

부정적분(indefinite integral): 구간이 정해지지 않은 역도함수 연산이다.

부정적분에서는 상한선과 하한선이 없으므로(indefinite) 변수 $y$ 가 그대로 남아있다. 즉, 변수가 소거되지 않는다.

정적분(definite integral): 특정 구간 $[a,b]$ 에 대한 적분이다.

이때 변수 $y$ 의 자리에 상수인 상한선 $b$ 와 하한선 $a$ 가 대입되면서, 결과식에는 오직 변수 $x$ 만 남게 된다. 함수 $f(x, y)$ 가 $g(x)$ 라는 1변수 함수로 붕괴(또는 축소)된다.

정적분이 변수를 소거한다는 것은 기하학적으로 해당 변수의 축을 따라 존재하는 모든 함숫값을 합산하여 한 차원 낮은 공간으로 투영시키는 행위이다. 이를 확률 밀도 함수 $f(x, y)$ 에 가져와 적분 구간을 $(-\infty, \infty)$ 로 설정한 것이 바로 주변 확률 밀도 함수 $f_X(x) = \int_{-\infty}^{\infty} f(x, y)dy$ 이다.

예제 6.3

각 상태가 발생할 가능성이 동일한 균등 분포의 두 가지 예를 고려해 보자. 이 예제는 이산 확률 분포와 연속 확률 분포 사이의 몇 가지 차이점을 보여준다.

$\quad$ $Z$ 를 세 가지 상태 ${z = -1.1, z = 0.3, z = 1.5}$ 를 가지는 이산 균등 확률 변수라고 하자. 확률 질량 함수는 확률값들의 표로 나타낼 수 있다:

대안적으로, 우리는 이를 그래프(그림 6.3(a))로 생각할 수 있으며, 여기서 우리는 상태들이 $x$ 축에 위치할 수 있고 $y$ 축이 특정 상태의 확률을 나타낸다는 사실을 사용한다. 그림 6.3(a)의 $y$ 축은 그림 6.3(b)와 동일하게 보이도록 의도적으로 연장되었다.

$\quad$ $X$ 를 그림 6.3(b)에 표현된 바와 같이 $0.9 \le X \le 1.6$ 범위의 값을 가지는 연속 확률 변수라고 하자. 밀도의 높이가 $1$ 보다 클 수 있음을 관찰하라. 하지만 다음 식은 반드시 성립해야 한다:

$\to$ 범주형 데이터를 숫자로 매핑할 때, 임의로 할당된 숫자의 크기가 분포의 의미를 왜곡하는지 확인해야 한다. 가령 직업군을 모델링할 때 $1=\text{교사}, 2=\text{의사}, 3=\text{개발자}$ 로 숫자를 매핑하고 평균(기댓값)을 구하면 $2.5$ 와 같은 무의미한 숫자가 도출된다. 의사가 개발자보다 대수적으로 ‘크다’는 구조는 존재하지 않는다. 위에서 $z_1 = -1.1, z_2 = 0.3$ 과 같이 숫자로 표현되어 대소 비교가 가능해야 유용하다고 한 것은, 그 변수 자체가 애초에 온도나 주식 수익률처럼 수학적 서열과 간격을 본질적으로 가지고 있는 이산 데이터일 경우에만 기댓값 연산이 수학적으로 타당성을 지닌다는 점을 전제하고 있는 것이다.

$\to$ 표 6.1을 보면 이산 변수는 구간 확률 연산을 정의하지 않는다. “주사위를 던졌을 때 2 이상 4 이하가 나올 구간 확률 $P(2 \le X \le 4)$ 를 구할 수 있지 않은가?”라고 생각할 수 있다.

해당 이산 공간에서 위 질문에 대한 구간 확률은 $P(2 \le X \le 4) = P(X=2) + P(X=3) + P(X=4)$ 이다. 즉, 새로운 ‘누적 구간 함수’를 정의할 필요 없이, 단순히 ‘점 확률(PMF)’들의 덧셈 연산( $\sum$ )만으로 구간 확률 연산을 정의할 수 있기 때문이다.

$\to$ 분포, 질량, 밀도, 누적은 위상과 차원이 완전히 다른 별개의 함수들이지만, 머신러닝에서 이를 단순히 $p(x)$ 또는 ‘분포’라고 통일해서 부르는 이유로 음의 로그 우도(negative log-likelihood)를 꼽을 수 있다.

이 최적화 파이프라인 안에서 데이터가 이산적이어서 $p(x)$ 가 PMF이든, 연속적인 센서 데이터여서 $p(x)$ 가 PDF이든 텐서 연산은 동일하게 작용된다. 컴퓨터 메모리 위에서는 어차피 둘 다 스칼라 실수값을 반환하는 목적 함수일 뿐이므로, 실무적으로 이 둘의 차이를 매번 구분하는 것이 불필요하다고 판단한 것이다.