고계 도함수

지금까지 우리는 1차 도함수인 그래디언트에 대해 논의했다. 하지만 최적화를 위해 2차 도함수를 요구하는 뉴턴 방법(Newton’s Method)을 사용할 때처럼, 때로는 2차 이상의 고계 도함수가 필요할 때가 있다 (Nocedal and Wright, 2006). 5.1.1절에서는 다항식을 이용해 함수를 근사하는 테일러 급수(Taylor series)를 다루었다. 다변수 함수에서도 이와 완전히 동일한 원리를 적용할 수 있으며, 이어지는 내용에서 이를 구체적으로 살펴볼 것이다. 그에 앞서 몇 가지 표기법을 먼저 정리하고 넘어가겠다.
$\quad$ 두 변수 $x, y$ 를 가지는 함수 $f : \mathbb{R}^2 \to \mathbb{R}$ 가 있다고 가정해 보자. 고계 편도함수와 그래디언트를 나타낼 때는 다음과 같은 표기법을 사용한다.

• $\frac{\partial^2 f}{\partial x^2}$ 는 $x$ 에 대한 $f$ 의 2차 편도함수이다.
• $\frac{\partial^n f}{\partial x^n}$ 는 $x$ 에 대한 $f$ 의 $n$ 차 편도함수이다.
• $\frac{\partial^2 f}{\partial y \partial x} = \frac{\partial}{\partial y}(\frac{\partial f}{\partial x})$ 는 $x$ 에 대해 먼저 편미분한 뒤, 그 결과를 다시 $y$ 에 대해 편미분하여 얻은 편도함수이다.
• $\frac{\partial^2 f}{\partial x \partial y}$ 는 반대로 $y$ 에 대해 먼저 편미분한 뒤 $x$ 에 대해 편미분하여 얻은 편도함수이다.

헤시안(Hessian) 행렬은 이러한 모든 2차 편도함수들을 한데 모아놓은 행렬이다.
$\quad$ 만약 $f(x, y)$ 가 두 번 연속으로 미분 가능한 함수라면 다음 등식이 성립한다.

다시 말해, 편미분의 순서는 결과에 영향을 미치지 않으며, 이를 모아 만든 헤시안 행렬은 다음과 같이 정의된다.

식 (5.146)의 성질로 인해 이 헤시안 행렬은 항상 대칭행렬이 된다. 헤시안 행렬은 기호 $\nabla^2_{x,y} f(x,y)$ 로 표기한다. 더 일반화하여 입력 변수가 $x \in \mathbb{R}^n$ 이고 스칼라를 출력하는 함수 $f : \mathbb{R}^n \to \mathbb{R}$ 라면, 헤시안은 $n \times n$ 차원의 대칭행렬이 된다. 기하학적으로 헤시안 행렬은 주어진 좌표 $(x, y)$ 주변에서 함수의 국소적인 곡률(Curvature)을 측정하는 역할을 한다.헤시안 행렬의 기하학적 의미
Remark (벡터장의 헤시안). 만약 스칼라가 아닌 벡터를 출력하는 벡터장 $f : \mathbb{R}^n \to \mathbb{R}^m$ 이 주어졌다면, 이 함수의 헤시안은 $m \times n \times n$ 차원의 3차원 텐서가 된다.