직교 여공간

직교성을 정의했으므로, 이제 우리는 서로 직교하는 벡터 공간들을 살펴볼 것이다. 이것은 10장에서 우리가 기하학적 관점에서 선형 차원 축소를 논의할 때 중요한 역할을 할 것이다.
$\quad$$D $차원 벡터 공간$ V $와$ M $차원 부분 공간$ U \subseteq V $를 고려하자. 그러면$ U $의 직교 여공간(orthogonal complement)$ U^\perp $는$ V $의$ (D-M) $차원 부분 공간이며,$ U $에 있는 모든 벡터와 직교하는$ V $의 모든 벡터를 포함한다. 게다가,$ U \cap U^\perp = {0} $이므로$ V $에 속한 임의의 벡터$ x$는 다음과 같이 유일하게 분해(uniquely decomposed)될 수 있다:

$$ x = \sum_{m=1}^M \lambda_m b_m + \sum_{j=1}^{D-M} \psi_j b_j^\perp, \quad \lambda_m, \psi_j \in \mathbb{R}, \quad (3.36) $$

여기서 $(b_1, \dots, b_M)$ 은 $U$ 의 기저이고, $(b_1^\perp, \dots, b_{D-M}^\perp)$ 은 $U^\perp$ 의 기저이다.

$\to$ 예를 들어 2차원 벡터 공간 $V$ 의 직선 $y=x$ 는 $V$ 의 부분공간이며, 이 부분공간의 직교 여공간은 $y=-x$ 이다. 두 직선은 2차원의 부분 공간이며, $y=x$ 에 있는 모든 벡터와 $y=-x$ 에 있는 모든 벡터는 서로 직교한다. 또한 임의의 벡터 $x= (0, 2)$ 는 두 공간의 기저로 표현하면 $(0, 2) = \alpha(1, 1) + \beta(1, -1)$ 과 같고, 이 방정식의 해는 $\alpha = 1, \beta = -1$ 이 유일하다.

$\quad$ 따라서, 직교 여공간은 3차원 벡터 공간에서 평면 $U$ (2차원 부분 공간)를 기술하는 데 사용될 수도 있다. 더 구체적으로, 평면 $U$ 와 직교하며 길이가 $\Vert w\Vert =1$ 인 벡터 $w$ 는 $U^\perp$ 의 기저 벡터이다. 그림 3.7은 이 설정을 묘사한다. $w$ 와 직교하는 모든 벡터는 (구조적으로) 평면 $U$ 안에 놓여야 한다. 벡터 $w$ 는 $U$ 의 법선 벡터(normal vector)라고 불린다.
figure 3.7.png
그림 3.7 3차원 벡터 공간 내의 평면 $U$ 는 그것의 법선 벡터(normal vector)에 의해 기술될 수 있으며, 이 법선 벡터는 직교 여공간 $U^\perp$ 를 생성(span)한다.
$\quad$ 일반적으로, 직교 여공간은 $n$ 차원 벡터 공간과 아핀 공간에서 초평면(hyperplanes)을 기술하는 데 사용될 수 있다.

$\to$ $n$ 차원 공간에서 초평면이란 차원이 하나 낮은 $(n-1)$ 차원 공간을 말한다. 예를 들어 3차원 공간에서 2차원 면을 가리킨다. 그림 3.7의 초평면 $U$ 는 다음과 같은 조건을 가진다.

$$ U = \{ x \in \mathbb{R}^n \mid \langle w, x \rangle = 0 \} $$

초평면을 설명하기 위해 직교 여공간을 사용한다는 것은, $(n-1)$ 개의 기저를 일일이 표기하는 대신, 법선 벡터 $w$ 에 수직인 그 공간이 초평면이라고 정의하는 것과 같다.