길이와 거리

3.1절에서, 우리는 벡터의 길이를 계산하는 데 사용할 수 있는 노름(norms)에 대해 이미 논의했다. 내적과 노름은 모든 내적이 자연스럽게 노름을 유도한다(induce)는 의미에서 밀접하게 관련되어 있다:

$$ \Vert x\Vert := \sqrt{\langle x, x \rangle} \quad (3.16) $$

즉, 우리는 내적을 사용하여 벡터의 길이를 계산할 수 있다. 하지만, 모든 노름이 내적에 의해 유도되는 것은 아니다. 맨해튼 노름 (3.3)은 대응하는 내적이 없는 노름의 예시이다. 앞으로 우리는 내적에 의해 유도된 노름에 초점을 맞추고 길이, 거리, 각도와 같은 기하학적 개념들을 소개할 것이다.

참고 (코시-슈바르츠 부등식, Cauchy-Schwarz Inequality). 내적 공간 $(V, \langle \cdot, \cdot \rangle)$ 에 대하여, 유도된 노름 $\vert \cdot\vert$ 은 코시-슈바르츠 부등식을 만족한다:

$$ \vert \langle x, y \rangle\vert \le \Vert x\Vert \Vert y\Vert . \quad (3.17) $$

예제 3.5 (내적을 이용한 벡터의 길이)

기하학에서, 우리는 종종 벡터의 길이에 관심을 가진다. 우리는 이제 식 (3.16)을 사용하여 길이를 계산하기 위해 내적을 사용할 수 있다. $x = [1, 1]^\top \in \mathbb{R}^2$ 라고 하자. 만약 우리가 내적으로 점곱(dot product)을 사용한다면, 식 (3.16)을 통해 다음을 $x$ 의 길이로 얻는다:

$$ \Vert x\Vert = \sqrt{x^\top x} = \sqrt{1^2 + 1^2} = \sqrt{2} \quad (3.18) $$

이제 다른 내적을 선택해 보자:

$$ \langle x, y \rangle := x^\top \begin{bmatrix} 1 & -\frac{1}{2} \\ -\frac{1}{2} & 1 \end{bmatrix} y = x_1 y_1 - \frac{1}{2}(x_1 y_2 + x_2 y_1) + x_2 y_2 \quad (3.19) $$

만약 우리가 벡터의 노름을 계산할 때, $x_1$ 과 $x_2$ 가 같은 부호를 가진다면(즉 $x_1 x_2 > 0$ ), 이 내적은 점곱보다 더 작은 값을 반환한다. 그렇지 않다면, 점곱보다 더 큰 값을 반환한다. 이 내적을 사용하면, 우리는 다음을 얻는다:

$$ \langle x, x \rangle = x_1^2 - x_1 x_2 + x_2^2 = 1 - 1 + 1 = 1 \implies \Vert x\Vert = \sqrt{1} = 1 \quad (3.20) $$

따라서 $x$ 는 점곱을 사용할 때보다 이 내적을 사용할 때 더 ‘짧다’.

$\to$ 데이터의 관계를 반영하여 내적을 하는 방법은 크게 두 가지가 있다. 첫 번째로 데이터의 공분산 행렬의 역행렬을 $A$ 로 쓰는 것과 두 번째로 행렬 자체를 학습하는 방법이 있다. 하지만 두 방법 모두 $x^\top A y$ 꼴이기 때문에 데이터의 선형적인 관계밖에 반영하지 못한다. 이를 해결하기 위해 커널 트릭을 사용하여 고차원으로 보내거나, 딥러닝 모델을 사용하여 데이터가 존재하는 비선형적인 공간을 피는 과정을 거친다.

정의 3.6 (거리와 메트릭). 내적 공간 $(V, \langle \cdot, \cdot \rangle)$ 을 고려하자. 그러면

$$ d(x, y) := \Vert x - y\Vert = \sqrt{\langle x - y, x - y \rangle} \quad (3.21) $$

는 $x, y \in V$ 에 대하여 $x$ 와 $y$ 사이의 거리(distance)라고 불린다. 만약 우리가 내적으로 점곱을 사용한다면, 그 거리는 유클리드 거리(Euclidean distance)라고 불린다.

사상(mapping)

$$ d : V \times V \to \mathbb{R} \quad (3.22) $$
$$ (x, y) \mapsto d(x, y) \quad (3.23) $$

은 메트릭(metric)이라고 불린다.

참고 (Remark). 벡터의 길이와 비슷하게, 벡터 간의 거리는 내적을 필요로 하지 않는다; 노름만 있어도 충분하다. 만약 우리가 내적에 의해 유도된 노름을 가지고 있다면, 거리는 내적의 선택에 따라 달라질 수 있다.
$\quad$ 메트릭 $d$ 는 다음을 만족한다:

  1. $d$ 는 양의 정부호이다. 즉, 모든 $x, y \in V$ 에 대하여 $d(x, y) \ge 0$ 이며, $d(x, y) = 0 \iff x = y$ 이다.
  2. $d$ 는 대칭이다. 즉, 모든 $x, y \in V$ 에 대하여 $d(x, y) = d(y, x)$ 이다.
  3. 삼각 부등식(Triangle inequality): 모든 $x, y, z \in V$ 에 대하여 $d(x, z) \le d(x, y) + d(y, z)$ 이다.
    참고 (Remark). 언뜻 보기에, 내적의 성질 목록과 메트릭의 성질 목록은 매우 비슷해 보인다. 하지만 정의 3.3과 정의 3.6을 비교해보면 우리는 $\langle x, y \rangle$ 와 $d(x, y)$ 가 반대 방향으로 행동한다는 것을 관찰할 수 있다. 매우 비슷한 $x$ 와 $y$ 는 내적 값은 크게 나오지만, 메트릭(거리) 값은 작게 나올 것이다.