이 장은 때때로 다소 간결하다. Grinstead and Snell (1997)과 Walpole et al. (2011)은 독학에 적합한 더 편안한 설명을 제공한다. 확률의 더 철학적인 측면에 관심이 있는 독자는 Hacking (2001)을 고려해야 하며, 소프트웨어 공학과 더 관련된 접근 방식은 Downey (2014)가 제시한다. 지수 족(exponential families)에 대한 개요는 Barndorff-Nielsen (2014)에서 찾을 수 있다. 우리는 8장에서 기계 학습 작업을 모델링하기 위해 확률 분포를 사용하는 방법에 대해 더 많이 보게 될 것이다. 아이러니하게도, 최근 신경망에 대한 관심의 급증은 확률적 모델(probabilistic models)에 대한 더 넓은 인식으로 이어졌다. 예를 들어, 정규화 흐름(normalizing flows, Jimenez Rezende and Mohamed, 2015)의 아이디어는 확률 변수를 변환하기 위한 변수 변환(change of variables)에 의존한다. 신경망에 적용된 변분 추론(variational inference) 방법의 개요는 Goodfellow et al. (2016)의 16장부터 20장에 설명되어 있다.

$\quad$ 우리는 측도론적 문제(measure theoretic questions; Billingsley, 1995; Pollard, 2002)를 피하고, 실수(real numbers)와 실수 상의 집합 및 그에 적절한 발생 빈도를 정의하는 방법이 구성(construction) 없이 존재한다고 가정함으로써 연속 확률 변수에서의 어려움의 상당 부분을 우회(side stepped)했다. 이러한 세부 사항들은 예를 들어, 연속 확률 변수 $x, y$ 에 대한 조건부 확률 $p(y \mid x)$ 를 명시할 때 실제로 중요하다 (Proschan and Presnell, 1998). 이 게으른 표기법(lazy notation)은 우리가 $X = x$ (측도가 영인 집합, a set of measure zero)를 명시하고자 한다는 사실을 숨긴다. 나아가, 우리는 $y$ 의 확률 밀도 함수에 관심이 있다. 더 엄밀한 표기법은 $\mathbb{E}_y[f(y) \mid \sigma(x)]$ 라고 해야 할 것이며, 여기서 우리는 $x$ 의 $\sigma$ -대수( $\sigma$ -algebra)에 조건부로 부여된 시험 함수(test function) $f$ 의 $y$ 에 대한 기댓값을 취한다. 확률 이론의 세부 사항에 관심이 있는 더 기술적인 독자들은 몇몇 매우 기술적인 논의를 포함하여 많은 선택지를 가지고 있다. 확률에 접근하는 대안적인 방법은 기댓값(expectation)의 개념에서 출발하여 확률 공간의 필수적인 속성들을 유도하기 위해 “거꾸로 작업(work backward)”하는 것이다 (Whittle, 2000). 기계 학습이 점점 더 복잡한 유형의 데이터에 대해 더 복잡한 분포를 모델링할 수 있게 해줌에 따라, 확률적 기계 학습 모델의 개발자는 이러한 더 기술적인 측면들을 이해해야 할 것이다. 확률적 모델링에 초점을 맞춘 기계 학습 텍스트에는 MacKay (2003); Bishop (2006); Rasmussen and Williams (2006); Barber (2012); Murphy (2012)의 책들이 포함된다.