행렬 미분에 대한 더 자세한 내용과 필수적인 선형대수학에 대한 짧은 복습은 Magnus and Neudecker (2007)에서 찾아볼 수 있다. 자동 미분은 긴 역사를 가지고 있으며, 이에 대해서는 Griewank and Walther (2003), Griewank and Walther (2008), Elliott (2009) 및 해당 문헌 내의 참고문헌들을 참조하기 바란다.
$\quad$ 머신러닝(그리고 다른 학문 분야들)에서, 우리는 종종 기댓값(expectations)을 계산해야 할 필요가 있다. 즉, 다음과 같은 형태의 적분을 풀어야 한다.

비록 $p(x)$ 가 다루기 편리한 형태(예컨대 가우시안)일지라도, 이 적분은 일반적으로 해석적(analytically)으로 풀릴 수 없다. $f$ 의 테일러 급수 전개는 근사해를 찾는 한 가지 방법이다. 만약 $p(x) = \mathcal{N}(\mu, \Sigma)$ 가 가우시안이라고 가정하면, 평균 $\mu$ 주변에서의 1차 테일러 급수 전개는 비선형 함수 $f$ 를 국소적으로 선형화(linearize)한다. 선형 함수들의 경우, 만약 $p(x)$ 가 가우시안 분포를 따른다면 우리는 그 기댓값인 평균(그리고 공분산)을 정확하게 계산해 낼 수 있다 (섹션 6.5 참조). 이러한 대수적 성질은 비선형 동적 시스템(또는 “상태 공간 모델”)에서 실시간 상태 추정을 수행하는 확장 칼만 필터(extended Kalman filter) (Maybeck, 1979)에서 극도로 중요하게 활용된다.
식 (5.181)의 적분을 근사하는 또 다른 결정론적(deterministic) 방법들로는 그래디언트 계산을 아예 요구하지 않는 무향 변환(unscented transform) (Julier and Uhlmann, 1997)이나, 최빈값(mode) 주변에서 $p(x)$ 를 국소적인 가우시안으로 근사하기 위해 (헤시안 행렬을 요구하는) 2차 테일러 급수 전개를 사용하는 라플라스 근사(Laplace approximation) (MacKay, 2003; Bishop, 2006; Murphy, 2012)가 있다.