행렬 A가 대칭이라면 고유값이 실수이며 고유벡터들이 서로 직교한다. 또한 대각화 가능하다. 이때 변환된 기저는 정규 직교 기저이다.
왜 행렬 A가 대칭이면 고유값이 실수가 나올까?
왜 행렬 A가 대칭이면 고유벡터들이 서로 직교하는가?
회전행렬로 어떤 벡터와 변환된 벡터의 곱이 0이므로 수식적으로만 보면 양의 준정부호 부등식 조건을 만족하는 것처럼 보인다. 하지만 이는 대칭이 아니며 고유값이 허수일 수 있다.

고유값 분해와 행렬식의 의미
동차방정식 $(A-\lambda I)x = 0$ 의 해 중 관심있는 솔루션은 $x$ 가 비자명한 해이다. 동차방정식이 비자명한 해를 가지기 위한 필요충분 조건은 $\det(A-\lambda I)=0$ 을 만족해야 한다. $\det(A-\lambda I) \ne 0$ 이면 행렬 $A-\lambda I$ 의 역행렬이 존재하고, 이 방정식의 해는 $x = (A-\lambda I)^{-1}0 = 0$ 을 만족하는 해인 자명한 해가 유일한 해이다. $\det(A-\lambda I)=0$ 이 방정식을 A의 특성 방정식이라 한다. 즉, 고유값은 특성 방정식의 근이다. $\det(A-\lambda I)$ 는 $\lambda$ 에 대한 n차 다항식 꼴이므로, 이 행렬식을 특성 다항식이라 한다. 우리는 특성 다항식을 0으로 만드는 $\lambda$ 를 찾아서 이를 동차방정식에 대입해서 비자명한 해를 찾으면 그것이 고유벡터이고, 고유값방정식을 푸는 것이다.
동차방정식 $(A-\lambda I)x = 0$ 을 만족하는 해들의 집합은 행렬 $(A-\lambda I)$ 의 영공간이며, 이를 $\lambda$ 의 고유공간이라 한다. 이때 영공간에 속하는 벡터 중 영 벡터가 아닌 모든 벡터를 고유벡터라 정의한다. 보통 고유벡터를 구할 때 이 공간을 span하는 기저를 찾아 표현한다.

행렬식 0의 기하학적 및 선형대수학적 함의
n차원 정방행렬 $A$ 에 대해 $\det(A)=0$ 이라는 사실은 다음과 같은 의미를 함의한다.

• 기하학적 부피와 차원의 붕괴: 변환 $A$ 를 거치면 공간의 부피(Volume)가 0이 된다. 이는 단순히 크기가 작아지는 것이 아니라, $n$ 차원 공간이 $n-1$ 차원 이하로 납작하게 찌그러져 차원의 축소가 일어남을 의미한다.
• 영공간(Null Space)의 존재: 변환 $A$ 를 적용했을 때 $0$ 으로 매핑되는 비자명한(0이 아닌) 벡터가 존재한다. 이는 영공간의 차원(Nullity)이 1차원 이상임을 뜻한다. (원점은 선형 변환에서 항상 원점으로 가지만, 비자명한 벡터가 원점으로 겹쳐진다는 것이 핵심이다.)
• 역변환 불가능: $0$ 이 아닌 벡터들이 $0$ 으로 찌그러지면(정보 손실), 결과값인 $0$ 만 보고 원래 어떤 벡터였는지 복원하는 것이 불가능하다. 즉, 일대일 대응(전단사 함수)이 아니므로 역행렬이 존재하지 않는다. 이를 특이 행렬(Singular Matrix)이라 한다.

고유값분해해서 좋은점은 여러 연산들이 손쉽게 가능하다는 점이다. 이는 연속적인 연산(e.g. 차분 방정식, 마르코프 체인)에서 큰 효율을 보인다.

• 어떤 변환 $\mathbb{R}^n \to \mathbb{R}^n$ 을 만족하는 행렬 A가 있을 때 $A=PDP^{-1}$ 로 대각화 가능하다면
• 거듭제곱이 계산이 쉬워진다: $A^k = PD^kP^{-1}$
• $A$ 의 역행렬을 구하기 쉽다: $A^{-1} = (PDP^{-1})^{-1} = PD^{-1}P^{-1}$ 이때 $D^{-1}$ 은 $D$ 의 각 대각원소들의 역수를 취하면 구할 수 있다.
• $A$ 의 행렬식은 $D$ 의 대각원소들의 곱이다: $\det(A) = \det(PDP^{-1}) = \det(P)\det(D)\det(P^{-1}) = \det(D) = \Pi_{i=1}^{n}\lambda_i$
• $\text{tr}(A) = \text{tr}(PDP^{-1}) = \text{tr}(DP^{-1}P) = \text{tr}(D) = \sum_{i=1}^{n}\lambda_i$
• 결함 행렬은 $\det(A)=0$ 과 동치이다. 이때 $\det(A) = \Pi_{i=1}^{n}\lambda_i=0$ 이므로 0인 고유값이 하나 이상 존재한다.

A가 positive semi-definite라면, 모든 고유값은 0보다 크거나 같다(non-negative).