확률 공간의 구성
확률론은 실험의 무작위적인 결과들을 설명하기 위한 수학적 구조를 정의하는 것을 목표로 한다. 예를 들어, 단일 동전을 던질 때 우리는 그 결과를 확정할 수 없지만, 많은 횟수의 동전 던지기를 수행함으로써 평균적인 결과에서 규칙성(regularity)을 관찰할 수 있다. 이러한 확률의 수학적 구조를 사용하여 자동화된 추론(automated reasoning)을 수행하는 것이 목표이며, 이런 의미에서 확률은 논리적 추론의 일반화이다 (Jaynes, 2003).
6.1.1 철학적 문제들
자동화된 추론 시스템을 구축할 때, 고전적인 불리언 논리(Boolean logic)는 우리가 그럴듯한 추론(plausible reasoning)의 특정 형태들을 표현하도록 허용하지 않는다. 다음 시나리오를 고려해 보자: 우리는 $A$ 가 거짓임을 관찰한다. 고전 논리에서는 어떠한 결론도 도출될 수 없지만, 우리는 $B$ 가 덜 그럴듯해진다는 것을 발견한다. 우리는 $B$ 가 참임을 관찰한다. $A$ 는 더 그럴듯해지는 것 같다. 우리는 매일 이러한 형태의 추론을 사용한다. 우리가 친구를 기다리고 있고 세 가지 가능성을 고려한다고 해보자:
- H1, 그녀는 제시간에 온다.
- H2, 그녀는 교통 체증으로 지연되었다.
- H3, 그녀는 외계인에게 납치되었다.
우리가 친구가 늦는 것을 관찰할 때, 우리는 논리적으로 H1을 배제해야 한다. 우리는 또한 논리적으로 그렇게 하도록 요구받지는 않지만, H2가 더 가능성 있다고 간주하는 경향이 있다. 마지막으로, 우리는 H3가 가능하다고 여길 수는 있지만, 여전히 그것이 매우 희박하다고 계속 생각한다. 우리는 어떻게 H2가 가장 그럴듯한 답이라고 결론짓는가? 이런 식으로 볼 때, 확률론은 불리언 논리의 일반화로 간주될 수 있다. 머신러닝의 맥락에서, 확률론은 자동화된 추론 시스템의 설계를 공식화하기 위해 이러한 방식으로 자주 적용된다. 확률론이 어떻게 추론 시스템의 기반이 되는지에 대한 더 자세한 논의는 Pearl (1988)에서 찾을 수 있다.
$\quad$ 확률의 철학적 기반, 그리고 그것이 어떻게든 우리가 (논리적 의미에서) 참이어야 한다고 생각하는 것과 어떻게 연관되어야 하는지는 콕스(Cox)에 의해 연구되었다 (Jaynes, 2003). 이에 대해 생각하는 또 다른 방법은, 만약 우리가 우리의 상식(common sense)에 대해 엄밀해진다면 결국 확률을 구성하게 된다는 것이다. E. T. 제인스(E. T. Jaynes, 1922–1998)는 모든 그럴듯함(plausibilities)에 반드시 적용되어야 하는 세 가지 수학적 기준을 확인했다:- 그럴듯함의 정도(degrees of plausibility)는 실수(real numbers)로 표현된다.
- 이 숫자들은 상식의 규칙들에 기반해야 한다.
- 결과적인 추론은 반드시 일관성(consistent)을 가져야 하며, 여기서 “일관성”이라는 단어는 다음 세 가지 의미를 갖는다:
(a) 일관성 또는 모순 없음(non-contradiction): 다른 수단들을 통해 동일한 결과에 도달할 수 있을 때, 모든 경우에서 동일한 그럴듯함의 값이 발견되어야 한다.
(b) 정직성(Honesty): 이용 가능한 모든 데이터가 고려되어야 한다.
(c) 재현성(Reproducibility): 만약 두 문제에 대한 우리의 지식 상태가 동일하다면, 우리는 그 둘 모두에 동일한 그럴듯함의 정도를 할당해야 한다.
$\quad$ 콕스-제인스 정리(Cox-Jaynes theorem)는 임의의 단조 함수(monotonic function)에 의한 변환을 제외하면, 이러한 그럴듯함의 기준들이 그럴듯함 $p$ 에 적용되는 보편적인 수학적 규칙들을 정의하기에 충분하다는 것을 증명한다. 결정적으로, 이 규칙들은 바로 확률의 규칙(rules of probability)이다.
(Remark). 머신러닝과 통계학에는 확률에 대한 두 가지 주요 해석, 즉 베이지안(Bayesian) 해석과 빈도주의(frequentist) 해석이 존재한다 (Bishop, 2006; Efron and Hastie, 2016). 베이지안 해석은 사용자가 어떤 사건에 대해 가지는 불확실성의 정도를 명시하기 위해 확률을 사용한다. 이는 때때로 “주관적 확률(subjective probability)” 또는 “믿음의 정도(degree of belief)”로 불린다. 빈도주의 해석은 발생한 사건들의 총 횟수 대비 관심 있는 사건들의 상대 빈도(relative frequencies)를 고려한다. 어떤 사건의 확률은 무한한 데이터를 가졌을 때의 극한(limit)에서 해당 사건의 상대 빈도로 정의된다.
$\quad$ 확률적 모델들을 다루는 일부 머신러닝 교재들은 게으른 표기법(lazy notation)과 은어들을 사용하며, 이는 혼란을 야기한다. 이 교재 역시 예외는 아니다. 여러 구별되는 개념들이 모두 “확률 분포(probability distribution)”로 지칭되며, 독자는 종종 문맥으로부터 그 의미를 얽힌 실타래 풀듯 파악해야 한다. 확률 분포를 이해하는 데 도움이 되는 한 가지 요령은 우리가 범주형(이산 확률 변수)을 모델링하려는지, 아니면 연속적인 무언가(연속 확률 변수)를 모델링하려는지 확인하는 것이다. 머신러닝에서 우리가 다루는 질문의 종류들은 우리가 범주형 모델을 고려하는지 아니면 연속형 모델을 고려하는지와 밀접한 관련이 있다.
6.1.2 확률과 확률 변수
확률을 논할 때 종종 혼동되는 세 가지 구별되는 개념이 있다. 첫 번째는 확률의 개념을 정량화할 수 있게 해주는 확률 공간(probability space)의 개념이다. 하지만 우리는 대개 이 기본적인 확률 공간을 직접 다루지는 않는다. 대신, 우리는 확률을 더 편리한 (종종 수치적인) 공간으로 옮겨주는 확률 변수(random variable, 두 번째 개념)를 다룬다. 세 번째 개념은 확률 변수와 연관된 분포(distribution) 또는 법칙(law)의 개념이다. 우리는 이 절에서 처음 두 개념을 소개하고, [6.2절]에서 세 번째 개념에 대해 자세히 설명할 것이다.
$\quad$ 현대 확률론은 콜모고로프(Kolmogorov)가 제안한 일련의 공리(axioms)에 기반을 두고 있으며, 이는 표본 공간(sample space), 사건 공간(event space), 확률 측도(probability measure)라는 세 가지 개념을 도입한다 (Grinstead and Snell, 1997; Jaynes, 2003). 확률 공간은 무작위 결과를 가지는 현실 세계의 과정(실험(experiment)이라고 불림)을 모델링한다.
**표본 공간 (The sample space) $\Omega$ **
표본 공간은 실험에서 가능한 모든 결과들의 집합이며, 일반적으로 $\Omega$ 로 표기한다. 예를 들어, 동전을 연속으로 두 번 던지는 실험의 표본 공간은 $\set{hh, tt, ht, th}$ 이며, 여기서 “h”는 “앞면(heads)”을, “t”는 “뒷면(tails)”을 나타낸다.
**사건 공간 (The event space) $\mathcal{A}$ **
사건 공간은 실험의 잠재적인 결과들의 공간이다. 표본 공간 $\Omega$ 의 부분집합 $A$ 는 실험이 끝났을 때 특정 결과 $\omega \in \Omega$ 가 $A$ 에 속하는지 여부를 관찰할 수 있다면 사건 공간 $\mathcal{A}$ 에 포함된다. 사건 공간 $\mathcal{A}$ 는 $\Omega$ 의 부분집합들의 모임을 고려하여 얻어지며, 이산 확률 분포([6.2.1절])의 경우 $\mathcal{A}$ 는 종종 $\Omega$ 의 멱집합(power set)이 된다.
**확률 (The probability) $P$ **
우리는 각 사건 $A \in \mathcal{A}$ 에 대해 해당 사건이 발생할 확률 또는 믿음의 정도를 측정하는 숫자 $P(A)$ 를 연관시킨다. $P(A)$ 를 $A$ 의 확률이라고 부른다.
$\quad$ 단일 사건의 확률은 반드시 $[0, 1]$ 구간에 있어야 하며, 표본 공간 $\Omega$ 내의 모든 결과들에 대한 전체 확률의 합은 반드시 $1$ 이어야 한다. 즉, $P(\Omega) = 1$ 이다. 확률 공간 $(\Omega, \mathcal{A}, P)$ 가 주어졌을 때, 우리는 이를 사용하여 어떤 현실 세계의 현상을 모델링하고자 한다. 머신러닝에서 우리는 종종 확률 공간을 명시적으로 언급하는 것을 피하고, 대신 우리가 관심 있는 양(quantities of interest)에 대한 확률을 언급하며, 이를 $\mathcal{T}$ 로 표기한다. 이 책에서 우리는 $\mathcal{T}$ 를 목표 공간(target space)이라고 부르고, $\mathcal{T}$ 의 원소들을 상태(states)라고 부른다. 우리는 $\Omega$ 의 원소(결과)를 받아 $\mathcal{T}$ 의 값인 특정 관심 양 $x$ 를 반환하는 함수 $X : \Omega \to \mathcal{T}$ 를 도입한다. $\Omega$ 에서 $\mathcal{T}$ 로의 이러한 연관/매핑을 확률 변수(random variable)라고 부른다. 예를 들어 두 개의 동전을 던져서 앞면의 개수를 세는 경우, 확률 변수 $X$ 는 세 가지 가능한 결과로 매핑된다: $X(\text{hh}) = 2$ , $X(\text{ht}) = 1$ , $X(\text{th}) = 1$ , 그리고 $X(\text{tt}) = 0$ . 이 특정 사례에서 $\mathcal{T} = \set{0, 1, 2}$ 이며, 우리가 관심 있는 것은 바로 이 $\mathcal{T}$ 의 원소들에 대한 확률들이다. 유한한 표본 공간 $\Omega$ 와 유한한 $\mathcal{T}$ 에 대하여, 확률 변수에 대응하는 함수는 본질적으로 룩업 테이블(lookup table)이다. 임의의 부분집합 $S \subseteq \mathcal{T}$ 에 대해, 우리는 확률 변수 $X$ 에 대응하여 특정 사건이 발생할 확률 $P_X(S) \in [0, 1]$ 을 연관시킨다. 예제 6.1은 이 용어에 대한 구체적인 설명을 제공한다.
주목 (Remark). 앞서 언급한 표본 공간 $\Omega$ 는 안타깝게도 책들마다 각기 다른 이름으로 불린다. $\Omega$ 의 또 다른 일반적인 이름은 “상태 공간(state space)”이지만, 상태 공간은 때때로 동적 시스템(dynamical system)에서의 상태들을 지칭하기 위해 예약되어 쓰이기도 한다. $\Omega$ 를 설명하기 위해 가끔 사용되는 다른 이름들로는 “표본 기술 공간(sample description space)”, “가능성 공간(possibility space)”, “사건 공간(event space)”이 있다.
예제 6.1
우리는 독자가 이미 사건 집합들의 교집합과 합집합의 확률을 계산하는 데 익숙하다고 가정한다. 수많은 예제들과 함께 확률에 대한 더 부드러운 소개는 Walpole et al. (2011)의 2장에서 찾을 수 있다.
$\quad$ 가방에서 두 개의 동전을 뽑는(복원 추출, with replacement) 유원지 게임을 모델링하는 통계적 실험을 고려해 보자. 가방 안에는 미국 동전(\ $로 표기)과 영국 동전(£로 표기)이 있으며, 가방에서 두 개의 동전을 뽑기 때문에 총 4개의 결과가 존재한다. 이 실험의 상태 공간 또는 표본 공간$ \Omega $는$ (\ $, $ ), (\ $, £), (£, $ ), (£, £) $이다. 동전 가방의 구성 비율이 무작위로 뽑았을 때 $ 가 나올 확률이 $0.3$ 이 되게끔 되어 있다고 가정하자.
$\quad$ 우리가 관심 있는 사건은 반복 추출에서 \ $가 반환된 총 횟수이다. 가방에서 $ 를 뽑은 횟수를 나타내는, 표본 공간 $\Omega$ 를 $\mathcal{T}$ 로 매핑하는 확률 변수 $X$ 를 정의해 보자. 앞선 표본 공간을 보면 우리가 $0$ 개, $1$ 개, 또는 $2$ 개의 $를 얻을 수 있음을 알 수 있으며, 따라서$ \mathcal{T} = \set{0, 1, 2} $이다. 확률 변수$ X$ (함수 또는 룩업 테이블)는 다음과 같은 표로 나타낼 수 있다:
두 번째 동전을 뽑기 전에 우리가 뽑은 첫 번째 동전을 가방에 다시 돌려놓기 때문에, 이는 두 번의 추출이 서로 독립(independent)임을 암시하며, 이에 대해서는 [6.4.5절]에서 논의할 것이다. 오직 한 번의 추출에서만 \ $가 반환되는 두 개의 실험 결과가 동일한 사건으로 매핑된다는 점에 유의하라. 따라서$ X$의 확률 질량 함수(probability mass function, [6.2.1절])는 다음과 같이 주어진다:
$\to$ (6.5), (6.6), (6.7)에서 두 동전의 결과를 $P($ ) \cdot P(\ $)$ 와 같이 쪼개어 곱셈으로 계산할 수 있는 이유는 두 번의 추출이 서로 독립적이라는 물리적인 전제(복원 추출)를 대수적으로 모델링했기 때문이다. 독립 사건들의 교집합 확률은 개별 확률들의 단순 곱셈으로 분리된다는 대수적 성질이 여기서 증명된다.
$\quad$ 이전 계산 과정에서, 우리는 $X$ 의 출력에 대한 확률과 $\Omega$ 내의 표본들에 대한 확률이라는 두 가지 다른 개념을 동일시했다. 예를 들어, 식 (6.7)에서 우리는 $P(X = 0) = P((£, £))$ 라고 말한다. 확률 변수 $X : \Omega \to \mathcal{T}$ 와 부분집합 $S \subseteq \mathcal{T}$ (예를 들어, 두 개의 동전을 던질 때 앞면이 한 번 나오는 결과와 같은 $\mathcal{T}$ 의 단일 원소)를 고려해 보자. $X^{-1}(S)$ 를 $X$ 에 의한 $S$ 의 역상(pre-image), 즉 $X$ 하에서 $S$ 로 매핑되는 $\Omega$ 의 원소들의 집합이라고 하자; ${\omega \in \Omega : X(\omega) \in S}$ . 확률 변수 $X$ 를 통해 $\Omega$ 안의 사건들로부터 확률이 변환되는 과정을 이해하는 한 가지 방법은, 이를 $S$ 의 역상에 대한 확률과 연관 짓는 것이다 (Jacod and Protter, 2004). $S \subseteq \mathcal{T}$ 에 대해 우리는 다음과 같은 표기법을 갖는다:
식 (6.8)의 좌변은 우리가 관심 있는 가능한 결과들의 집합(예: \ $의 개수 = 1)에 대한 확률이다. 상태들을 결과들로 매핑하는 확률 변수$ X $를 통해, 우리는 식 (6.8)의 우변에서 이것이 해당 속성을 가지는 (예:$ $£, £$$) ( $\Omega$ 내의) 상태들의 집합에 대한 확률임을 알 수 있다. 우리는 확률 변수 $X$ 가 특정한 확률 분포(probability distribution) $P_X$ 에 따라 분포되어 있다고 말하며, 이는 사건과 확률 변수 결과의 확률 사이의 확률 매핑을 정의한다. 다시 말해, 함수 $P_X$ , 또는 이와 동치인 $P \circ X^{-1}$ 는 확률 변수 $X$ 의 법칙(law) 또는 분포(distribution)이다.
주목 (Remark). 목표 공간, 즉 확률 변수 $X$ 의 치역(range) $\mathcal{T}$ 는 확률 공간의 종류를 나타내는 데 사용된다 (즉, $\mathcal{T}$ 확률 변수). $\mathcal{T}$ 가 유한하거나 자연수와 일대일 대응이 가능할 정도로 무한한(countably infinite) 경우, 이를 이산 확률 변수(discrete random variable) (6.2.1절)라고 부른다. 연속 확률 변수(continuous random variables) ([6.2.2절])의 경우, 우리는 오직 $\mathcal{T} = \mathbb{R}$ 또는 $\mathcal{T} = \mathbb{R}^D$ 만을 고려한다.
6.1.3 통계
확률론(probability theory)과 통계학(statistics)은 종종 함께 제시되지만, 이들은 불확실성의 서로 다른 측면들을 다룬다. 이들을 대조하는 한 가지 방법은 다루어지는 문제의 종류를 살펴보는 것이다. 확률론을 사용할 때, 우리는 어떤 과정(process)에 대한 모델을 고려할 수 있으며, 여기서 근본적인 불확실성은 확률 변수들에 의해 포착되고, 우리는 무슨 일이 일어날지 도출하기 위해 확률의 규칙들을 사용한다. 통계학에서는 무언가가 발생했다는 것을 관찰하고, 그 관찰 결과들을 설명하는 근본적인 과정을 알아내려고 시도한다. 이런 의미에서 머신러닝은 데이터를 생성한 과정을 적절하게 표현하는 모델을 구성한다는 목표를 가진다는 점에서 통계학과 가깝다. 우리는 일부 데이터에 대한 “가장 잘 맞는(best-fitting)” 모델을 얻기 위해 확률의 규칙들을 사용할 수 있다.
$\to$ 덧붙여 설명하자면, 확률론은 모델의 파라미터(규칙)가 주어졌을 때, 앞으로 어떤 데이터(결과)가 생성될지 연역적으로 예측한다. 분포의 평균과 분산을 알 때, 특정 값이 나올 확률을 계산하는 과정이다. 반면, 통계학은 이미 관측된 데이터(결과)들을 바탕으로, 이 데이터를 생성했을 가장 그럴듯한 모델의 파라미터(규칙)를 귀납적으로 역추적한다.
때문에 딥러닝 모델을 학습하는 과정은 철처히 통계학의 영역이라고 볼 수 있다. 입력 데이터와 라벨이라는 관측된 데이터를 가지고, 역전파를 통해 최적의 가중치 파라미터를 추정하기 때문이다. 하지만 이 역추적 연산을 수행하기 위한 최적화의 목적 함수를 설계할 때는, 반드시 확률 공리들이 밑바닥에 깔려 있어야 한다.
$\quad$ 머신러닝 시스템의 또 다른 측면은 우리가 일반화 오차(generalization error)에 관심이 있다는 것이다 (8장 참조). 이는 우리가 지금까지 보아온 인스턴스들과 동일하지 않은, 미래에 관찰하게 될 인스턴스들에 대한 우리 시스템의 성능에 실제로 관심이 있음을 의미한다. 미래 성능에 대한 이러한 분석은 확률론과 통계학에 의존하며, 그중 대부분은 이 장에서 제시될 내용의 범위를 넘어선다. 관심 있는 독자는 Boucheron et al. (2013)과 Shalev-Shwartz and Ben-David (2014)의 책을 참고하기 바란다. 우리는 8장에서 통계학에 대해 더 많이 보게 될 것이다.