정규 직교 기저

2.6.1절에서, 우리는 기저 벡터들의 성질을 특징지었고, $n$ 차원 벡터 공간에서는 $n$ 개의 기저 벡터, 즉 $n$ 개의 선형 독립인 벡터가 필요하다는 것을 알았다. 3.3절과 3.4절에서, 우리는 벡터의 길이와 벡터 사이의 각도를 계산하기 위해 내적을 사용했다. 이제부터 우리는 기저 벡터들이 서로 직교(orthogonal)하고 각 기저 벡터의 길이가 1인 특수한 경우를 논의할 것이다. 우리는 이 기저를 정규 직교 기저(orthonormal basis)라고 부를 것이다.
$\quad$ 이것을 좀 더 형식적으로 소개해보자.

정의 3.9 (정규 직교 기저). $n$ 차원 벡터 공간 $V$ 와 $V$ 의 기저 ${b_1, \dots, b_n}$ 을 고려하자. 만약 모든 $i, j = 1, \dots, n$ 에 대하여 다음이 성립한다면:

$$ \begin{aligned} \langle b_i, b_j \rangle &= 0 \quad \text{for } i \neq j \quad (3.33) \\ \langle b_i, b_i \rangle &= 1 \quad \quad \quad \quad \quad \quad (3.34) \end{aligned} $$

그 기저는 정규 직교 기저(ONB)라고 불린다. 만약 (3.33)만이 만족된다면, 그 기저는 직교 기저(orthogonal basis)라고 불린다. 식 (3.34)는 모든 기저 벡터가 길이/노름 1을 가진다는 것을 내포함에 주목하라.

$\quad$ 2.6.1절에서 우리는 벡터들의 집합에 의해 생성(span)되는 벡터 공간의 기저를 찾기 위해 가우스 소거법을 사용할 수 있음을 상기하라. 우리에게 직교하지 않고 정규화되지 않은 기저 벡터들의 집합 ${\tilde{b}_1, \dots, \tilde{b}_n}$ 이 주어졌다고 가정하자. 우리는 이들을 행렬 $\tilde{B} = [\tilde{b}_1, \dots, \tilde{b}_n]$ 으로 연결하고 확장 행렬 $[\tilde{B}\tilde{B}^\top \vert \tilde{B}]$ 에 가우스 소거법을 적용하여 정규 직교 기저를 얻을 수 있다. 정규 직교 기저 ${b_1, \dots, b_n}$ 을 반복적으로 구축하는 이 건설적인 방법은 그람-슈미트 과정(Gram-Schmidt process)이라고 불린다.

$\to$ 어떤 연립방정식 $Ax=b$ 의 해를 구하기 위해 $A^{-1}$ 가 필요했다( $x = A^{-1}b$ ). 그러나 $A$ 가 정규 직교 행렬일 경우, $A^{-1} = A^\top$ 이므로 이 시스템의 해는 $\mathbf{x = A^\top b}$ 이다.

기하학적으로 보자. $A$ 의 열 벡터들을 $c_1, c_2, \dots, c_n$ 이라고 할 때, 보통 $Ax=b$ 를 만족하는 벡터 $b$ 는 $c_1, c_2, \dots, c_n$ 들의 선형결합이다.

$$ x_1 c_1 + x_2 c_2 + \dots + x_n c_n = b $$

이때 $x_k$ 를 알고 싶다면 $b$ 와 $c_k$ 를 내적하면 쉽게 구할 수 있다.

$$ \begin{aligned} \langle b, c_k \rangle &= \langle (x_1 c_1 + \dots + x_k c_k + \dots + x_n c_n), c_k \rangle \\ &= x_1 \langle c_1, c_k \rangle + \dots + x_k \langle c_k, c_k \rangle + \dots + x_n \langle c_n, c_k \rangle \end{aligned} $$

이때 $\langle c_i, c_k \rangle = 0$ , $i \neq k$ 이므로 위 식은 다음과 같이 정리된다.

$$ \langle b, c_k \rangle = 0 + \dots + x_k \langle c_k, c_k \rangle + \dots + 0 $$

또한 $\langle c_k, c_k \rangle = 1$ 이므로 다음이 성립한다.

$$ \langle b, c_k \rangle = x_k \cdot 1$$$$x_k = \langle b, c_k \rangle $$

따라서 “벡터 $b$ 가 $i$ 번째 기저 $c_i$ 방향으로 얼마나 갔는가?”를 알고 싶을 때 단순히 두 벡터의 내적 $\langle b, c_i \rangle$ 를 구하면 된다. 즉, 다음이 성립한다.

$$ x_i = \text{row}_i(A^\top) \cdot b = c_i^\top b = \langle c_i, b \rangle $$

예제 3.8 (정규 직교 기저)

유클리드 벡터 공간 $\mathbb{R}^n$ 의 표준 기저(canonical/standard basis)는 정규 직교 기저이며, 여기서 내적은 벡터의 점곱이다.

$\mathbb{R}^2$ 에서, 다음 벡터들은

$$ b_1 = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix}, \quad b_2 = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ -1 \end{bmatrix} \quad (3.35) $$

$b_1^\top b_2 = 0$ 이고 $\vert b_1\vert = 1 = \vert b_2\vert$ 이므로 정규 직교 기저를 형성한다.

$\to$ 두 정규 직교 기저는 표준 기저에 오른쪽으로 45도 회전하는 행렬을 곱한 것과 같다.

$\quad$ 우리는 12장과 10장에서 서포트 벡터 머신(support vector machines)과 주성분 분석(principal component analysis)을 논의할 때 정규 직교 기저의 개념을 활용할 것이다.