선형화와 다변수 테일러 급수

함수 $f$ 의 그래디언트 $\nabla f$ 는 종종 $x_0$ 주변에서 $f$ 의 국소적인 선형 근사(locally linear approximation)를 수행하는 데 사용된다.

여기서 $(\nabla_x f)(x_0)$ 는 $x_0$ 에서 평가된 $x$ 에 대한 $f$ 의 그래디언트이다. 그림 5.12는 입력 $x_0$ 에서 함수 $f$ 의 선형 근사를 시각적으로 보여준다.

$\to$ 그림 5.12 함수의 선형 근사. 원래의 함수 $f$ 는 1차 테일러 급수 전개를 사용하여 $x_0 = -2$ 지점에서 선형화되었다.
원래의 함수가 하나의 직선으로 근사되었다. 이 근사는 $x_0$ 주변의 국소적인 영역에서는 정확하지만, 기준점 $x_0$ 에서 멀어질수록 근사의 오차는 더 커진다. 식 (5.148)은 $x_0$ 를 기준으로 한 $f$ 의 다변수 테일러 급수 전개 중에서 처음 두 개의 항(상수항과 1차항)만을 고려한 특수한 경우이다. 다음에서는 오차를 줄이고 더 나은 근사를 가능하게 해 줄 일반화된 경우를 논의한다.

$\quad$ 이전 식 (5.151)과 (5.152)에서 우리는 $\delta^k$ 라는 약간 엉성한(sloppy) 표기법을 사용했는데, 이는 다변수 벡터 $x \in \mathbb{R}^D$ ( $D > 1$ ) 및 $k > 1$ 에 대해서는 수학적으로 정의되지 않는다. $D_x^k f$ 와 $\delta^k$ 는 단순한 벡터의 거듭제곱이 아니라 모두 $k$ 차 텐서(k-th order tensors), 즉 $k$ 차원 배열이라는 점에 유의하라. $k$ 차 텐서 $\delta^k \in \mathbb{R}^{D \times D \times \dots \times D}$ ( $k$ 번 곱해짐)는 벡터 $\delta \in \mathbb{R}^D$ 를 $k$ 번 중첩하여 외적(Outer product, 기호 $\otimes$ )한 결과로 얻어진다. 예를 들어 다음과 같다.

그림 5.13은 이러한 외적 과정을 시각적으로 보여준다. 일반적으로 다변수 테일러 급수에서 우리는 다음과 같은 항들을 얻게 된다.

여기서 $D_x^k f(x_0) \delta^k$ 는 $k$ 차 다항식을 구성한다.
$\quad$ 이제 벡터장을 위한 테일러 급수를 명확히 정의했으므로, $k=0, \dots, 3$ 과 $\delta := x - x_0$ 에 대한 테일러 급수 전개의 처음 몇 개 항 $D_x^k f(x_0) \delta^k$ 를 명시적으로 수식으로 적어보자.
$k = 0 : D_x^0 f(x_0) \delta^0 = f(x_0) \in \mathbb{R} \quad (5.156)$
$k = 1 : D_x^1 f(x_0) \delta^1 = \underbrace{\nabla_x f(x_0)}_{1 \times D} \underbrace{\delta}_{D \times 1} = \sum_{i=1}^D \nabla_x f(x_0)[i]\delta[i] \in \mathbb{R} \quad (5.157)$
$k = 2 : D_x^2 f(x_0) \delta^2 = \text{tr}(\underbrace{H(x_0)}_{D \times D} \underbrace{\delta \delta^\top}_{D \times D}) = \underbrace{\delta^\top}_{1 \times D} \underbrace{H(x_0)}_{D \times D} \underbrace{\delta}_{D \times 1} \quad (5.158)$
$= \sum_{i=1}^D \sum_{j=1}^D H[i,j]\delta[i]\delta[j] \in \mathbb{R} \quad (5.159)$
$k = 3 : D_x^3 f(x_0) \delta^3 = \sum_{i=1}^D \sum_{j=1}^D \sum_{k=1}^D D_x^3 f(x_0)[i,j,k]\delta[i]\delta[j]\delta[k] \in \mathbb{R} \quad (5.160)$
여기서 $H(x_0)$ 는 기준점 $x_0$ 에서 평가된 $f$ 의 헤시안(Hessian) 행렬이다.