선형 독립
다음 내용에서, 우리는 벡터(벡터 공간의 원소)들을 가지고 무엇을 할 수 있는지 자세히 살펴볼 것이다. 특히, 우리는 벡터들을 서로 더할 수 있고 스칼라로 곱할 수 있다. 앞서 배운 폐쇄성(closure property)은 우리가 이렇게 연산한 결과가 여전히 같은 벡터 공간 안에 머무른다는 것을 보장해 준다. 우리가 벡터들을 더하고 스케일링함으로써 벡터 공간 내의 ‘모든’ 벡터를 표현할 수 있게 해주는 ‘벡터들의 집합(set of vectors)’을 찾는 것이 가능하다. 이러한 벡터들의 집합을 기저(basis)라고 하며, 우리는 이를 2.6.1절에서 논의할 것이다. 하지만 그곳에 도달하기 전에, 우리는 먼저 선형 결합(linear combinations)과 선형 독립(linear independence)의 개념을 도입해야 한다.
정의 2.11 (선형 결합, Linear Combination).
벡터 공간 $V$ 와 유한한 개수의 벡터 $x_1, \dots, x_k \in V$ 를 고려하자. 이때, 다음 형태의 모든 $v \in V$ 를 벡터 $x_1, \dots, x_k$ 의 선형 결합(linear combination)이라고 한다:
여기서 $\lambda_1, \dots, \lambda_k \in \mathbb{R}$ 이다.
$\quad$ 영벡터(0-vector)는 언제나 $k$ 개의 벡터 $x_1, \dots, x_k$ 의 선형 결합으로 표현될 수 있다. 왜냐하면 $\mathbf{0} = \sum_{i=1}^k 0 x_i$ 는 항상 참이기 때문이다. 다음 내용에서, 우리는 영벡터 $\mathbf{0}$ 을 표현하는 벡터들의 집합의 비자명한 선형 결합(non-trivial linear combinations), 즉 (2.65)의 계수 $\lambda_i$ 들이 모두 0은 아닌 경우에 관심을 가질 것이다.
정의 2.12 (선형 독립/종속, Linear (In)dependence).
벡터 공간 $V$ 와 $k \in \mathbb{N}$ 개의 벡터 $x_1, \dots, x_k \in V$ 를 고려하자.
만약 적어도 하나의 $\lambda_i \neq 0$ 인 비자명한 선형 결합(non-trivial linear combination)이 존재하여 다음을 만족한다면:
벡터 $x_1, \dots, x_k$ 는 선형 종속(linearly dependent)이다.
반대로, 오직 자명한 해(trivial solution)만이 존재한다면, 즉 $\lambda_1 = \dots = \lambda_k = 0$ 일 때만 위 식이 성립한다면, 벡터 $x_1, \dots, x_k$ 는 선형 독립(linearly independent)이다.
선형 독립은 선형대수학에서 가장 중요한 개념 중 하나다. 직관적으로 말하면, 선형 독립인 벡터들의 집합은 중복(redundancy)이 없는 벡터들로 구성되어 있다. 즉, 만약 우리가 그 집합에서 벡터 하나를 제거한다면, 우리는 무언가(정보나 표현할 수 있는 공간의 크기)를 잃게 될 것이다. 다음 섹션들에서 우리는 이 직관을 더 공식화할 것이다.
예제 2.13 (선형 종속인 벡터들, Linearly Dependent Vectors) 지리적인 예시가 선형 독립의 개념을 명확히 하는 데 도움이 될 수 있다. 케냐의 나이로비(Nairobi)에 있는 사람이 르완다의 키갈리(Kigali)가 어디에 있는지 설명하면서 다음과 같이 말할 수 있다: “우간다의 캄팔라(Kampala) 쪽으로 북서쪽으로 506km를 먼저 가고, 그 다음 남서쪽으로 374km를 가면 키갈리에 도착합니다.”. 이 정보는 키갈리의 위치를 설명하기에 충분하다. 왜냐하면 (고도와 지구의 곡면을 무시한다면) 지리적 좌표계는 2차원 벡터 공간으로 간주될 수 있기 때문이다. 그런데 그 사람이 덧붙여 말하기를, “키갈리는 여기서 서쪽으로 약 751km 떨어진 곳에 있습니다.”라고 했다고 치자. 비록 이 마지막 진술은 ‘참(true)’이지만, 앞선 정보가 주어졌다면 키갈리를 찾기 위해 반드시 필요한 정보는 아니다 (그림 2.7 참조). 이 예시에서, “북서쪽 506km” 벡터(파란색)와 “남서쪽 374km” 벡터(보라색)는 선형 독립(linearly independent)이다. 즉, 남서쪽 벡터는 북서쪽 벡터만으로는 설명될 수 없고, 그 반대도 마찬가지다. 하지만, 세 번째 “서쪽 751km” 벡터(검은색)는 다른 두 벡터의 선형 결합(linear combination)이며, 이 세 번째 벡터가 추가됨으로써 이 벡터들의 집합(3개)은 선형 종속(linearly dependent)이 된다. 동등하게 말해서, “서쪽 751km”와 “남서쪽 374km”가 주어지면, 이들을 선형 결합하여 “북서쪽 506km”를 얻어낼 수도 있다.
참고 (Remark). 다음 성질들은 벡터들이 선형 독립인지 알아내는 데 유용하다:
- $k$ 개의 벡터는 선형 종속이거나 선형 독립이다. 제3의 선택지는 없다.
- 만약 벡터 $x_1, \dots, x_k$ 중 적어도 하나가 $\mathbf{0}$ (영벡터)라면, 그들은 선형 종속이다. 두 벡터가 동일한 경우에도 마찬가지다.
- 벡터들의 집합 ${x_1, \dots, x_k : x_i \neq \mathbf{0}}$ ( $k \ge 2$ )이 선형 종속일 필요충분조건은, 그들 중 (적어도) 하나가 다른 벡터들의 선형 결합으로 표현되는 것이다. 특히, 만약 한 벡터가 다른 벡터의 실수배(multiple)라면, 즉 $x_i = \lambda x_j$ 라면 그 집합은 선형 종속이다.
- 실용적인 확인 방법 (가우스 소거법):
벡터 $x_1, \dots, x_k \in V$ 가 선형 독립인지 확인하는 가장 실용적인 방법은 가우스 소거법을 사용하는 것이다.
모든 벡터를 행렬 $A$ 의 열(columns)로 작성하고, 행렬이 행 사다리꼴(row echelon form)이 될 때까지 가우스 소거법을 수행한다 (여기서 기약 행 사다리꼴까지 갈 필요는 없다).- 피벗 열(Pivot columns): 이 열들은 그 왼쪽의 벡터들에 대해 선형 독립인 벡터들을 나타낸다. (행렬을 만들 때 벡터들의 순서가 있다는 점에 유의하라).
- 비-피벗 열(Non-pivot columns): 이 열들은 그 왼쪽에 있는 피벗 열들의 선형 결합으로 표현될 수 있다.
예를 들어, 다음과 같은 행 사다리꼴 형태를 보자:
이 식은 첫 번째와 세 번째 열이 피벗 열임을 말해준다. 두 번째 열은 비-피벗 열인데, 이는 첫 번째 열의 3배이기 때문이다. 결론: 모든 열이 피벗 열일 때, 그리고 오직 그때만 모든 열 벡터는 선형 독립이다. 만약 하나라도 비-피벗 열이 존재한다면, 그 열들(에 해당하는 벡터들)은 선형 종속이다.
예제 2.14
다음과 같은 벡터들이 있는 $\mathbb{R}^4$ 공간을 고려하자:
이들이 선형 종속인지 확인하기 위해, 우리는 일반적인 접근법을 따라 다음 식을 $\lambda_1, \dots, \lambda_3$ 에 대해 푼다:
우리는 벡터 $x_i, i=1, 2, 3$ 을 행렬의 열로 작성하고 피벗 열을 식별할 수 있을 때까지 기본 행 연산을 적용한다:
여기서, 행렬의 모든 열은 피벗 열이다. 따라서 비자명한 해는 존재하지 않으며, 이 연립방정식을 풀기 위해서는 $\lambda_1 = 0, \lambda_2 = 0, \lambda_3 = 0$ 이어야 한다. 그러므로, 벡터 $x_1, x_2, x_3$ 는 선형 독립이다.
참고 (Remark). $k$ 개의 선형 독립인 벡터 $\boldsymbol{b}_1, \dots, \boldsymbol{b}_k$ 와 $m$ 개의 선형 결합을 가진 벡터 공간 $V$ 를 고려하자:
선형 독립인 벡터 $\boldsymbol{b}_1, \dots, \boldsymbol{b}_k$ 를 열(columns)로 하는 행렬을 $\boldsymbol{B} = [\boldsymbol{b}_1, \dots, \boldsymbol{b}_k]$ 라고 정의하면, 우리는 위 식을 더 간결한 형태로 쓸 수 있다:
$\quad$ 우리는 $\boldsymbol{x}_1, \dots, \boldsymbol{x}_m$ 이 선형 독립인지 확인하고 싶다. 이를 위해, 우리는 $\sum_{j=1}^m \psi_j \boldsymbol{x}_j = \boldsymbol{0}$ 일 때를 테스트하는 일반적인 접근법을 따른다. 식 (2.71)을 이용하면, 우리는 다음을 얻는다:
이것은 벡터 집합 $\set{\boldsymbol{x}_1, \dots, \boldsymbol{x}_m}$ 이 선형 독립일 필요충분조건이 열 벡터들 $\set{\boldsymbol{\lambda}_1, \dots, \boldsymbol{\lambda}_m}$ 이 선형 독립인 것임을 의미한다.
$\to$ 선형 독립인 벡터들의 결합이 영벡터( $\mathbf{0}$ )가 되려면, 그 계수들은 무조건 모두 0이어야 한다. 벡터 집합 $\set{\mathbf{x}_1, \dots, \mathbf{x}_m}$ 이 선형 독립인지 확인하려면 다음을 만족하는 계수 $\psi_j$ 가 모두 $0$ 이어야 한다.
이를 행렬 $\boldsymbol{B}$ 와 가중치 벡터 $\boldsymbol{\lambda}_j$ 로 표현하면 다음과 같다(식 2.72).
이때 앞서 $\boldsymbol{B}$ 의 열들이 선형 독립임을 가정했으므로, 위 식이 참이 되기 위해선 $\boldsymbol{B}$ 에 곱해지는 괄호 안의 벡터 자체가 영벡터여야 한다. 즉, 다음이 성립해야 한다.
이 식을 행렬-벡터 곱 형태( $A\mathbf{x}=\mathbf{0}$ )로 변환하기 위해, 계수들을 모은 벡터를 $\mathbf{p} = [\psi_1, \dots, \psi_m]^T$ , $\boldsymbol{\lambda}$ 벡터들을 열(column)로 나열한 행렬을 $\boldsymbol{\Lambda} = [\boldsymbol{\lambda}_1, \dots, \boldsymbol{\lambda}_m]$ 라고 정의하면, 위 식은 다음과 같이 쓸 수 있다:
이를 만족하는 $\mathbf{p}$ 가 오직 영벡터( $\mathbf{0}$ )뿐이라면 벡터 $\boldsymbol{\lambda}_j$ 들이 선형 독립이므로, 결과적으로 원래의 $\mathbf{x}_j$ 들도 선형 독립이다. 반대로 $\mathbf{0}$ 이 아닌 해 $\mathbf{p}$ 가 존재한다면 선형 종속이다.
참고 (Remark). 벡터 공간 $V$ 에서, $k$ 개의 벡터 $\boldsymbol{x}_1, \dots, \boldsymbol{x}_k$ 로 이루어진 $m$ 개의 선형 결합은 만약 $m > k$ 라면 선형 종속이다.
예제 2.15
$\mathbb{R}^n$ 공간에 있는 선형 독립인 벡터들의 집합 $\boldsymbol{b}_1, \boldsymbol{b}_2, \boldsymbol{b}_3, \boldsymbol{b}_4$ 를 고려하고 다음과 같이 정의된 벡터들을 보자:
벡터 $\boldsymbol{x}_1, \dots, \boldsymbol{x}_4 \in \mathbb{R}^n$ 은 선형 독립인가? 이 질문에 답하기 위해, 우리는 다음 열 벡터들이 선형 독립인지 조사한다:
이에 대응하는 계수 행렬 $\boldsymbol{A}$ 의 기약 행 사다리꼴(reduced row-echelon form)은 다음과 같다:
우리는 대응하는 선형 연립방정식이 비자명하게(non-trivially) 풀릴 수 있음을 알 수 있다: 마지막 열은 피벗 열이 아니며, $\boldsymbol{x}_4 = -7\boldsymbol{x}_1 - 15\boldsymbol{x}_2 - 18\boldsymbol{x}_3$ 이다. 따라서, $\boldsymbol{x}_4$ 가 $\boldsymbol{x}_1, \dots, \boldsymbol{x}_3$ 의 선형 결합으로 표현될 수 있으므로 벡터 집합 $\set{\boldsymbol{x}_1, \dots, \boldsymbol{x}_4}$ 는 선형 종속이다.
$\to$ 위 예제 2.15의 행렬 $\boldsymbol{A}$ 는 각 벡터 $\boldsymbol{x_i}$ 의 계수를 열로 쌓은 열벡터의 나열이다. 따라서 $\boldsymbol{A}$ 를 기약 사다리꼴로 만들어 피벗이 있는지 확인하면 벡터 집합 $\set{\boldsymbol{x}_1, \dots, \boldsymbol{x}_4}$ 가 선형 독립인지 판별할 수 있다.