벡터 미적분

머신러닝의 많은 알고리즘은 모델이 데이터를 얼마나 잘 설명하는지를 제어하는 원하는 모델 파라미터 집합에 대해 목적 함수(objective function)를 최적화한다. 좋은 파라미터를 찾는 것은 최적화 문제로 표현될 수 있다(8.2절과 8.3절 참조). 예시로는 다음이 있다: (i) 선형 회귀(9장 참조), 여기서 우리는 곡선 적합(curve-fitting) 문제를 살펴보고 가능도(likelihood)를 최대화하기 위해 선형 가중치 파라미터를 최적화한다. (ii) 차원 축소와 데이터 압축을 위한 신경망 오토인코더, 여기서 파라미터는 각 층의 가중치와 편향이며, 연쇄 법칙(chain rule)의 반복 적용을 통해 재구성 오차를 최소화한다. 그리고 (iii) 데이터 분포 모델링을 위한 가우시안 혼합 모델(11장 참조), 여기서 우리는 모델의 가능도를 최대화하기 위해 각 혼합 구성 요소의 위치와 모양 파라미터를 최적화한다. 그림 5.1은 이러한 문제들 중 일부를 보여주는데, 우리는 보통 그라디언트(gradient) 정보를 활용하는 최적화 알고리즘([7.1절])을 사용하여 이를 푼다.

$\to$ 그림 5.1 회귀 문제: 곡선이 관측값을 잘 설명할 수 있도록 매개변수 조정(a), 가우시안 혼합 모델을 사용한 밀도 추정: 데이터를 잘 설명하는 평균과 분산 추정(b).
그림 5.2는 이 장의 개념들이 어떻게 서로 관련되어 있고 책의 다른 장들과 어떻게 연결되는지에 대한 개요를 제공한다.

$\to$ 그림 5.2 이 장에서 소개된 개념들과 책의 다른 부분에서 사용될 것들.
$\quad$ 이 장의 핵심은 함수의 개념이다. 함수 $f$ 는 두 양을 서로 연관시키는 양이다. 이 책에서, 이러한 양들은 전형적으로 입력 $x \in \mathbb{R}^D$ 와 타겟(함수 값) $f(x)$ 이며, 별도의 언급이 없으면 실수 값이라고 가정한다. 여기서 $\mathbb{R}^D$ 는 $f$ 의 정의역(domain)이고, 함수 값 $f(x)$ 는 $f$ 의 상(image)/공역(codomain)이다.
2.7.3절은 선형 함수의 맥락에서 훨씬 더 자세한 논의를 제공한다. 우리는 종종 함수를 명시하기 위해 다음과 같이 쓴다.

여기서 (5.1a)는 $f$ 가 $\mathbb{R}^D$ 에서 $\mathbb{R}$ 로의 사상(mapping)임을 명시하고, (5.1b)는 입력 $x$ 가 함수 값 $f(x)$ 로 명시적으로 할당됨을 나타낸다. 함수 $f$ 는 모든 입력 $x$ 에 대해 정확히 하나의 함수 값 $f(x)$ 를 할당한다.

$\quad$ 이 장에서는 함수의 그라디언트(gradient)를 계산하는 방법을 논의할 것이다. 그라디언트는 가장 가파른 상승(steepest ascent) 방향을 가리키므로, 이는 종종 머신러닝 모델의 학습을 촉진하는 데 필수적이다. 따라서 벡터 미적분학은 우리가 머신러닝에서 필요로 하는 근본적인 수학적 도구 중 하나이다.
이 책 전반에 걸쳐, 우리는 함수가 미분 가능(differentiable)하다고 가정한다. 여기서 다루지는 않지만 몇 가지 기술적인 정의를 추가하면, 제시된 접근 방식 중 다수는 하위 미분(sub-differentials, 연속이지만 특정 지점에서 미분 가능하지 않은 함수)으로 확장될 수 있다. 제약 조건이 있는 함수의 경우에 대한 확장은 7장에서 살펴볼 것이다.