주성분 분석을 이용한 차원 축소

이미지와 같은 고차원 데이터를 직접 다루는 것은 여러 어려움을 수반한다. 분석이 어렵고, 해석이 난해하며, 시각화가 거의 불가능하고, 실용적인 관점에서 데이터 벡터의 저장 비용이 높을 수 있다. 그러나 고차원 데이터는 종종 활용 가능한 수학적 특성을 지닌다. 예를 들어, 고차원 데이터는 자주 과완전(overcomplete)하다. 즉, 다수의 차원이 중복(redundant)되며 다른 차원들의 선형 결합으로 설명될 수 있다. 나아가 고차원 데이터의 차원들은 종종 상관관계(correlated)를 가지므로, 데이터는 내재적인 저차원 구조(intrinsic lower-dimensional structure)를 형성한다. 차원 축소는 이러한 구조와 상관관계를 활용하여 정보 손실을 최소화하면서 데이터의 압축된 표현을 연산할 수 있게 한다. 이는 이미지나 오디오의 압축 알고리즘(jpeg, mp3)과 동일한 원리이다.
640 x 480 픽셀 컬러 이미지는 100만 차원 공간의 데이터 포인트이며, 각 픽셀은 RGB 색상 채널에 대해 각각 하나씩 3개의 차원에 대응한다.

$\quad$ 이 장에서는 선형 차원 축소 알고리즘인 주성분 분석(PCA)을 다룬다. Pearson(1901)과 Hotelling(1933)에 의해 제안된 PCA는 데이터 압축 및 시각화를 위해 가장 널리 사용되는 선형 변환 기법이다. 이는 고차원 데이터의 단순 패턴, 잠재 요인(latent factors), 그리고 구조를 식별하는 데 사용된다. 신호 처리 분야에서 PCA는 카루넨-뢰베 변환(Karhunen-Loève transform)으로 지칭된다. 이 장에서는 기저 및 기저 변환(2.6.1, 2.7.2절), 직교 사영(3.8절), 고윳값 분해(4.2절), 가우시안 분포(6.5절), 그리고 제약 조건이 있는 최적화(7.2절)의 수학적 원리를 통합하여 PCA를 제1원리(first principles)로부터 연역적으로 도출한다.

그림 10.1 차원 축소. (a) 원본 데이터셋은 $x_2$ 방향을 따라 유의미한 변동을 보이지 않는다. (b) (a)의 관측 데이터는 정보 손실을 최소화하면서 $x_1$ 좌표계만으로 표현될 수 있다.

$\quad$ 차원 축소는 고차원 관측 데이터가 실질적으로 저차원 부분공간(subspace)에 분포한다는 기하학적 성질을 활용한다. 그림 10.1은 2차원 공간에서의 기하학적 예시를 제공한다. 그림 10.1(a)의 데이터가 단일 직선 위에 완벽하게 정렬되어 있지는 않으나, $x_2$ 축 방향의 분산이 극히 미미하므로 데이터를 1차원 선형 부분공간에 사영(projection)하여도 정보 손실이 거의 발생하지 않는다(그림 10.1(b) 참조). 그림 10.1(b)의 사영된 데이터를 명시하기 위해서는 직교 기저 상의 1차원 좌표계만 요구되며, 해당 데이터는 $\mathbb{R}^2$ 공간 내의 1차원 부분공간에 존재하게 된다.