추기 읽기

이 장에서, 우리는 이 책의 뒷부분에서 사용할 해석기하학의 몇 가지 중요한 개념들에 대한 간략한 개요를 제공했다. 우리가 제시한 개념들에 대한 더 폭넓고 깊이 있는 개요를 위해서는, 다음의 훌륭한 책들을 참조하라: Axler (2015) 및 Boyd and Vandenberghe (2018).
$\quad$ 내적은 그람-슈미트 방법을 사용하여 각 벡터가 다른 모든 벡터와 직교하는 특정 기저(직교 기저)를 결정할 수 있게 해 준다. 이러한 기저들은 선형 방정식 시스템을 풀기 위한 최적화 및 수치 알고리즘에서 중요하다. 예를 들어, 켤레 기울기(conjugate gradients) 또는 일반화된 최소 잔여 방법(GMRES)과 같은 크릴로프 부분 공간(Krylov subspace) 방법들은 서로 직교하는 잔여 오차(residual errors)를 최소화한다 (Stoer and Burlirsch, 2002).
$\quad$ 머신러닝에서, 내적은 커널 방법(kernel methods)의 맥락에서 중요하다 (Scholkopf and Smola, 2002). 커널 방법은 많은 선형 알고리즘이 순수하게 내적 계산만으로 표현될 수 있다는 사실을 이용한다. 그러면 “커널 트릭(kernel trick)”은 우리가 (잠재적으로 무한 차원인) 특징 공간(feature space)을 명시적으로 알 필요도 없이, 그 공간에서의 내적을 암묵적으로 계산할 수 있게 해 준다. 이것은 차원 축소를 위한 커널-PCA (Scholkopf et al., 1997)와 같이, 머신러닝에서 사용되는 많은 알고리즘의 “비선형화(non-linearization)”를 가능하게 했다. 가우시안 프로세스(Rasmussen and Williams, 2006) 또한 커널 방법의 범주에 속하며 확률론적 회귀(데이터 포인트에 곡선을 피팅하는 것) 분야의 최신 기술이다. 커널에 대한 아이디어는 12장에서 더 탐구된다.
$\quad$ 투영은 그림자 생성과 같이 컴퓨터 그래픽스에서 자주 사용된다. 최적화에서, 직교 투영은 잔여 오차를 (반복적으로) 최소화하기 위해 자주 사용된다. 이것은 또한 머신러닝, 예를 들어 선형 회귀(linear regression)에 응용되는데, 여기서는 잔여 오차, 즉 데이터의 선형 함수로의 직교 투영의 길이를 최소화하는 (선형) 함수를 찾고자 한다 (Bishop, 2006). 우리는 이것을 9장에서 더 자세히 조사할 것이다. PCA (Pearson, 1901; Hotelling, 1933) 또한 고차원 데이터의 차원을 줄이기 위해 투영을 사용한다. 우리는 이것을 10장에서 더 자세히 논의할 것이다.