정의 4.6. $A \in \mathbb{R}^{n \times n}$ 를 정사각 행렬이라 하자. 그러면 만약 다음이 성립하면 $\lambda \in \mathbb{R}$ 은 $A$ 의 고유값(eigenvalue)이고 $x \in \mathbb{R}^n \setminus {0}$ 은 $A$ 의 대응하는 고유벡터(eigenvector)이다.

$\to$ 동차 방정식 $(A - \lambda I)x = 0$ 이 $0$ 이 아닌 해를 가진다는 것은 해가 무수히 많다는 것이며, 필연적으로 행렬 $(A - \lambda I)$ 의 열 벡터들이 선형 종속임을 의미한다. 따라서 행렬 $(A - \lambda I)$ 의 랭크는 전체 차원 $n$ 보다 작으며, 이때 영공간이 $0$ 보다 크기 때문에 역행렬이 존재하지 않으며, 때문에 행렬식이 $0$ 이다.

정의 4.7 (공선성과 동일 방향성). 같은 방향을 가리키는 두 벡터를 동일 방향(codirected)이라고 한다. 만약 두 벡터가 같거나 반대 방향을 가리킨다면 공선적(collinear, 동일 직선상에 있음)이라고 한다.

$\to$ 정의 4.7은 방향과 선을 구분하였다. 동일 방향은 두 벡터가 완전히 같은 방향을 가리키는 경우( $v = c x, c > 0$ )를 말하며, 공선적은 두 벡터가 같은 직선 위에 있는 경우( $v = c x, c \in \mathbb{R} \setminus 0$ )를 말한다.

정리 4.8. $\lambda \in \mathbb{R}$ 이 $A \in \mathbb{R}^{n \times n}$ 의 고유값일 필요충분조건은 $\lambda$ 가 $A$ 의 특성 다항식 $p_A(\lambda)$ 의 근(root)이 되는 것이다.

정의 4.9. 정사각 행렬 $A$ 가 고유값 $\lambda_i$ 를 갖는다고 하자. $\lambda_i$ 의 대수적 중복도(algebraic multiplicity)는 특성 다항식에서 그 근이 나타나는 횟수이다.( $\to$ 특성다항식을 인수분해했더니 $p_A(\lambda) = (\lambda - 1)(\lambda - 3)^2 = 0$ 처럼 나왔다고 가정하자. 여기서 해는 $\lambda = 1$ 과 $\lambda = 3$ 이며 $\lambda = 1$ 의 대수적 중복도는 1, $\lambda = 3$ 의 대수적 중복도는 2이다. 이는 나중에 행렬을 대각화할 때 중복된 만큼 (독립적인)고유벡터도 충분히 많이 나와줘야 분해할 수 있다.)

정의 4.10 (고유 공간과 고유 스펙트럼). $A \in \mathbb{R}^{n \times n}$ 에 대하여, 고유값 $\lambda$ 와 연관된 $A$ 의 모든 고유벡터들의 집합은 $\mathbb{R}^n$ 의 부분 공간(subspace)을 생성하며, 이를 $\lambda$ 에 대한 $A$ 의 고유 공간(eigenspace)이라 하고 $E_\lambda$ 로 표기한다. $A$ 의 모든 고유값들의 집합을 고유 스펙트럼(eigenspectrum) 혹은 줄여서 스펙트럼이라고 부른다.

$\to$ 물리학에서 빛을 프리즘에 통과시키면 파장별로 빛이 분해되어 스펙트럼이 나오듯, 행렬을 고유값별로 분해해서 본다는 의미에서 스펙트럼이라는 용어를 쓴다.

예제 4.4 (단위 행렬의 경우)

단위 행렬 $I \in \mathbb{R}^{n \times n}$ 은 특성 다항식 $p_I(\lambda) = \det(I - \lambda I) = (1 - \lambda)^n = 0$ 을 가지며, 이는 $n$ 번 나타나는 오직 하나의 고유값 $\lambda = 1$ 을 갖는다. 게다가, 모든 벡터 $x \in \mathbb{R}^n \setminus {0}$ 에 대해 $Ix = \lambda x = 1x$ 가 성립한다. 이 때문에, 단위 행렬의 유일한 고유 공간 $E_1$ 은 $n$ 차원을 생성하며, $\mathbb{R}^n$ 의 모든 표준 기저 벡터는 $I$ 의 고유벡터이다.

$\to$ 고유값 $\lambda = 1$ 의 대수적 중복도는 $n$ 이다. 또한 실제로 고유벡터를 구해보니 $n$ 차원 공간 전체가 다 고유벡터이며, 이때 서로 독립인 고유벡터를 최대 $n$ 개까지 뽑을 수 있다. 기하학적 중복도(Geometric Multiplicity)가 대수적 중복도와 같기 때문에 단위 행렬은 완벽하게 대각화 할 수 있다(사실 이미 대각 행렬이다).

예제 4.5 (고유값, 고유벡터, 그리고 고유 공간 계산하기)

다음 $2 \times 2$ 행렬의 고유값과 고유벡터를 찾아보자.

1단계: 특성 다항식. 우리의 정의로부터 고유벡터 $x \neq 0$ 와 $A$ 의 고유값 $\lambda$ 에 대해, $Ax = \lambda x$ , 즉 $(A - \lambda I)x = 0$ 이 되는 벡터가 존재할 것이다. $x \neq 0$ 이므로, 이는 $A - \lambda I$ 의 커널(영 공간)이 단순히 $0$ 보다 많은 원소를 포함해야 함을 요구한다. 이는 $A - \lambda I$ 가 가역적이지 않아야 하며, 따라서 $\det(A - \lambda I) = 0$ 이어야 함을 의미한다. 그러므로 우리는 고유값을 찾기 위해 특성 다항식(4.22a)의 근을 계산해야 한다.

2단계: 고유값. 특성 다항식은 다음과 같다.

우리는 특성 다항식을 인수분해하여 다음을 얻는다.

이는 근 $\lambda_1 = 2$ 와 $\lambda_2 = 5$ 를 준다.

3단계: 고유벡터와 고유 공간. 우리는 다음을 만족하는 벡터 $x$ 를 찾음으로써 이 고유값들에 대응하는 고유벡터를 찾는다.

$\lambda = 5$ 에 대하여 우리는 다음을 얻는다.

우리는 이 동차 시스템을 풀고 해 공간을 얻는다.

이 고유 공간은 단일 기저 벡터를 가지므로 1차원이다. 유사하게, 우리는 다음 동차 연립방정식을 풀어서 $\lambda = 2$ 에 대한 고유벡터를 찾는다.

이것은 $x_2 = -x_1$ 인 모든 벡터 $x = [x_1, x_2]^\top$ , 예를 들어 $[1, -1]^\top$ 이 고유값 2를 갖는 고유벡터임을 의미한다. 대응하는 고유 공간은 다음과 같이 주어진다.

정의 4.11. $\lambda_i$ 를 정사각 행렬 $A$ 의 고유값이라 하자. $\lambda_i$ 의 기하학적 중복도(geometric multiplicity)는 $\lambda_i$ 와 연관된 선형 독립인 고유벡터들의 개수이다. 달리 말해, 이는 $\lambda_i$ 와 연관된 고유벡터들에 의해 생성된 고유 공간의 차원이다.

예제 4.6

행렬 $A = \begin{bmatrix} 2 & 1 \ 0 & 2 \end{bmatrix}$ 는 두 개의 반복된 고유값 $\lambda_1 = \lambda_2 = 2$ 를 가지며 대수적 중복도는 2이다. 그러나 이 고유값은 오직 하나의 구별되는 단위 고유벡터 $x_1 = \begin{bmatrix} 1 \ 0 \end{bmatrix}$ 만을 가지며, 따라서 기하학적 중복도는 1이다.

예제 4.7 (생물학적 신경망의 고유 스펙트럼)

네트워크 데이터로부터 분석하고 학습하는 방법은 머신러닝 방법론의 필수적인 구성 요소이다. 네트워크를 이해하는 열쇠는 네트워크 노드(node)들 간의 연결성(connectivity)이며, 특히 두 노드가 서로 연결되어 있는지 아닌지가 중요하다. 데이터 과학 응용 분야에서, 이러한 연결성 데이터를 포착하는 행렬을 연구하는 것은 종종 유용하다.

$\quad$ 우리는 꼬마선충(C. Elegans)이라는 벌레의 완전한 신경망에 대한 연결 행렬(또는 인접 행렬) $A \in \mathbb{R}^{277 \times 277}$ 를 구축한다. 각 행/열은 이 벌레의 뇌에 있는 277개의 뉴런 중 하나를 나타낸다. 연결 행렬 $A$ 는 만약 뉴런 $i$ 가 시냅스를 통해 뉴런 $j$ 에게 신호를 보내면(talks to) $a_{ij} = 1$ 의 값을 갖고, 그렇지 않으면 0을 갖는다. 연결 행렬은 대칭이 아닌데, 이는 고유값들이 실수 값이 아닐 수도 있음을 암시한다. 따라서, 우리는 연결 행렬의 대칭화된 버전인 $A_{sym} := A + A^\top$ 를 계산한다. 이 새로운 행렬 $A_{sym}$ 은 그림 4.5(a)에 나와 있으며, 두 뉴런이 연결되어 있을 때만(연결의 방향과 관계없이) 0이 아닌 값 $a_{ij}$ 를 갖는다(흰색 픽셀). 그림 4.5(b)에서, 우리는 $A_{sym}$ 의 대응하는 고유 스펙트럼을 보여준다. 수평 축은 내림차순으로 정렬된 고유값들의 인덱스를 보여준다. 수직 축은 대응하는 고유값을 보여준다. 이 고유 스펙트럼의 S자 형태는 많은 생물학적 신경망에서 전형적으로 나타난다. 이러한 현상을 담당하는 기저 메커니즘은 활발한 뇌과학 연구 분야 중 하나이다.

정리 4.12. $n$ 개의 서로 다른(distinct) 고유값 $\lambda_1, \dots, \lambda_n$ 을 갖는 행렬 $A \in \mathbb{R}^{n \times n}$ 의 고유벡터 $x_1, \dots, x_n$ 은 선형 독립이다.

정의 4.13. 정사각 행렬 $A \in \mathbb{R}^{n \times n}$ 이 $n$ 개보다 적은 선형 독립인 고유벡터를 가질 때, 이를 결함이 있다(defective)고 한다.

정리 4.14. 행렬 $A \in \mathbb{R}^{m \times n}$ 이 주어졌을 때, 우리는 항상 다음과 같이 정의하여 대칭이고 양의 준정부호(positive semidefinite)인 행렬 $S \in \mathbb{R}^{n \times n}$ 를 얻을 수 있다.

참고. 만약 $\text{rk}(A) = n$ 이라면, $S := A^\top A$ 는 대칭이며 양의 정부호(positive definite)이다.

정리 4.15 (스펙트럴 정리). 만약 $A \in \mathbb{R}^{n \times n}$ 이 대칭이라면, 대응하는 벡터 공간 $V$ 의 정규 직교 기저(orthonormal basis)로서 $A$ 의 고유벡터들로 구성된 기저가 존재하며, 각 고유값은 실수이다.

$\to$ $P$ 는 정규 직교 고유벡터들을 열로 가진 행렬이고( $P = \begin{bmatrix} u_1 & u_2 & \dots & u_n \end{bmatrix}$ (각 $u_i$ 는 열벡터)), $D$ 는 고유값들을 대각선에 가진 행렬일 때( $D = \text{diag}(\lambda_1, \lambda_2, \dots, \lambda_n)$ ) 대칭 행렬 A의 고유값 분해는 다음과 같이 정의될 수 있다.

이 외적 행렬 $u_i u_i^\top$ 는 기하학적으로 $u_i$ 방향으로의 투영행렬 역할을 한다(단, $\Vert u_i\Vert =1$ 일 때).

어떤 벡터 $x$ 에 이 외적 행렬을 곱하면 행렬의 결합법칙으로 $(u_i u_i^\top)x = u_i (u_i^\top x)$ 가 성립하고, $u_i^\top x$ 를 스칼라 $c$ 라고 할 때 이 연산의 결과는 $u_i \cdot c$ 이다. 이는 방향은 $u_i$ 그대로이고 길이만 $c$ 배로 스케일된 벡터가 나온다. 아래 예시를 들어 설명하겠다.

내적의 기하학적 정의는 다음과 같다:

이때 $\Vert u_i\Vert = 1$ 라면 위 식은 다음과 같아진다:

이는 벡터 $x$ 를 $u_i$ 축 위로 projection한 벡터이다.

2차원 공간에서 $u_i$ 축 위로 투영해보자. $u = \begin{bmatrix} 1 \ 0 \end{bmatrix}$ 이고 임의의 벡터 $x = \begin{bmatrix} 3 \ 4 \end{bmatrix}$ 라고 할 때 외적 행렬은:

이고 벡터 $x$ 를 투영하면:

결과적으로 $y$ 성분 4가 사라지고 $x$ 성분 3만 남았다. 만약 $\Vert u_i\Vert \ne 1$ 라면 어떨까.

이는 투영 후 $\Vert u_i\Vert ^2$ 배 만큼 길이가 늘어나거나 줄어든다. $u = \begin{bmatrix} 2 \ 0 \end{bmatrix}$ 이고 $x$ 는 이전과 같을 때:

$x$ 를 $u_i$ 축으로 projection한 벡터의 $x$ 성분(3)은 정확히 $4(=2^2)$ 만큼 스케일링 되었다.

예제 4.8 (대칭 행렬의 고유벡터 계산)

행렬 $A$ 를 고려하자.

$A$ 의 특성 다항식은 다음과 같다.

따라서 우리는 고유값 $\lambda_1 = 1$ 과 $\lambda_2 = 7$ 을 얻으며, 여기서 $\lambda_1$ 은 중복된 고유값이다. 고유벡터를 계산하는 우리의 표준 절차를 따르면, 우리는 다음과 같은 고유 공간을 얻는다.

우리는 $x_3$ 가 $x_1$ 과 $x_2$ 둘 다에게 직교함을 알 수 있다. 그러나 $x_1^\top x_2 = 1 \neq 0$ 이므로, 그들끼리는 직교하지 않는다. 스펙트럴 정리(정리 4.15)는 직교 기저가 존재한다고 명시했으나, 우리가 가진 것은 직교하지 않는다. 하지만 우리는 하나를 구성할 수 있다.

그러한 기저를 구성하기 위해, 우리는 $x_1, x_2$ 가 같은 고유값 $\lambda$ 에 연관된 고유벡터라는 사실을 이용한다. 따라서 임의의 $\alpha, \beta \in \mathbb{R}$ 에 대해 다음이 성립한다.

즉, $x_1$ 과 $x_2$ 의 임의의 선형 결합 또한 $\lambda$ 에 연관된 $A$ 의 고유벡터이다. 그람-슈미트 알고리즘(3.8.3절)은 선형 결합을 사용하여 기저 벡터 집합으로부터 직교/정규 직교 기저를 반복적으로 구성하는 방법이다. 따라서 $x_1$ 과 $x_2$ 가 직교하지 않더라도, 우리는 그람-슈미트 알고리즘을 적용하여 서로에게(그리고 $x_3$ 에게도) 직교하는 $\lambda_1 = 1$ 에 연관된 고유벡터들을 찾을 수 있다. 우리 예제에서, 우리는 다음을 얻을 것이다.

이들은 서로 직교하며, $x_3$ 와도 직교하고, $\lambda_1 = 1$ 에 연관된 $A$ 의 고유벡터들이다.

$\to$ $x_1, x_2$ 가 span하는 평면이 $x_3$ 과 직교함을 보이기 위해 $x_1$ 와 $x_2$ 의 외적 결과가 $x_3$ 의 스칼라배인지 확인하면 된다. 두 벡터의 외적 결과는 두 벡터가 span하는 평면의 법선 벡터이다. 평면의 법선 벡터는 평면과 수직이며, 법선 벡터와 $x_3$ 가 비례 관계라면 $x_3$ 은 $x_1, x_2$ 가 생성하는 평면과 직교하다. 법선 벡터를 $n$ 이라 했을 때 $x_1, x_2$ 의 외적을 구하면 다음과 같다.

$n$ 은 $x_3$ 과 비례 관계이며 완벽하게 일치한다. 따라서 $x_3$ 은 $x_1, x_2$ 가 span하는 평면의 직교한다.

정리 4.16. 행렬 $A \in \mathbb{R}^{n \times n}$ 의 행렬식은 그 고유값들의 곱이다. 즉,

여기서 $\lambda_i \in \mathbb{C}$ 는 $A$ 의 (중복을 포함한) 고유값들이다.

정리 4.17. 행렬 $A \in \mathbb{R}^{n \times n}$ 의 대각합(trace)은 그 고유값들의 합이다. 즉,

여기서 $\lambda_i \in \mathbb{C}$ 는 $A$ 의 (중복을 포함한) 고유값들이다.

예제 4.9 (구글의 페이지랭크 – 고유벡터로서의 웹페이지)

구글은 검색 페이지의 순위를 결정하기 위해 행렬 $A$ 의 최대 고유값(maximal eigenvalue)에 대응하는 고유벡터를 사용한다. 1996년 스탠포드 대학의 래리 페이지와 세르게이 브린이 개발한 페이지랭크 알고리즘의 아이디어는, 어떤 웹페이지의 중요도는 그 페이지로 링크를 건 다른 페이지들의 중요도에 의해 근사될 수 있다는 것이었다. 이를 위해, 그들은 모든 웹사이트를 어떤 페이지가 어떤 페이지로 링크되는지를 보여주는 거대한 유향 그래프(directed graph)로 기술했다.

페이지랭크는 웹사이트 $a_i$ 를 가리키는 페이지들의 수를 세어 웹사이트 $a_i$ 의 가중치(중요도) $x_i \ge 0$ 를 계산한다. 나아가, 페이지랭크는 $a_i$ 로 링크를 건 웹사이트들의 중요도까지 고려한다. 사용자의 내비게이션 행동은 이 그래프의 전이 행렬(transition matrix) $A$ 로 모델링되는데, 이는 누군가가 다른 웹사이트로 이동할 (클릭) 확률이 얼마인지를 말해준다.

행렬 $A$ 는 웹사이트의 어떤 초기 순위/중요도 벡터 $x$ 에 대해서도, 수열 $x, Ax, A^2x, \dots$ 가 벡터 $x^*$ 로 수렴하는 성질을 갖는다. 이 벡터를 페이지랭크라고 부르며 다음을 만족한다.

즉, 이것은 $A$ 의 (고유값 1에 대응하는) 고유벡터이다. $x^*$ 를 정규화하여 $\Vert x^*\Vert = 1$ 이 되도록 하면, 우리는 그 성분들을 확률로 해석할 수 있다. 페이지랭크에 대한 더 자세한 내용과 다양한 관점은 원본 기술 보고서(Page et al., 1999)에서 찾을 수 있다.