선형 방정식 시스템

선형 연립방정식은 선형대수에서 중심적인 역할을 차지한다. 수많은 문제들이 선형 연립방정식의 형태로 공식화될 수 있으며, 선형대수는 우리에게 그 문제들을 해결할 수 있는 도구를 제공해 준다.

예제 2.1

어떤 회사가 제품 $N_1, \dots, N_n$ 을 생산하며, 이를 위해서는 자원 $R_1, \dots, R_m$ 이 필요하다고 가정해 보자. 제품 $N_j$ 를 한 단위 생산하기 위해서는 자원 $R_i$ 가 $a_{ij}$ 단위만큼 필요하다. 여기서 $i = 1, \dots, m$ 이고 $j = 1, \dots, n$ 이다.

우리의 목표는 최적의 생산 계획(optimal production plan)을 찾는 것이다. 즉, 자원 $R_i$ 가 총 $b_i$ 단위만큼 사용 가능할 때, 이 자원을 남김없이 모두 사용하여 제품 $N_j$ 를 각각 $x_j$ 단위만큼 생산하려면 $x_j$ 를 얼마로 정해야 하는지를 찾는 것이다.

만약 우리가 각 제품을 $x_1, \dots, x_n$ 단위만큼 생산한다면, 자원 $R_i$ 는 총

$$ a_{i1}x_1 + \dots + a_{in}x_n \quad (2.2) $$

만큼 필요하게 된다. 따라서 최적의 생산 계획 $(x_1, \dots, x_n) \in \mathbb{R}^n$ 은 다음의 연립방정식을 만족해야 한다:

$$ \begin{matrix} a_{11}x_1 + \dots + a_{1n}x_n = b_1 \\ \vdots \\ a_{m1}x_1 + \dots + a_{mn}x_n = b_m \end{matrix} \quad (2.3) $$

여기서 $a_{ij} \in \mathbb{R}$ 이고 $b_i \in \mathbb{R}$ 이다.

$\quad$ 식 (2.3)은 선형 연립방정식(system of linear equations)의 일반적인 형태이며, $x_1, \dots, x_n$ 은 이 시스템의 미지수(unknowns)이다. 이 식 (2.3)을 만족하는 모든 $n$ -튜플 $(x_1, \dots, x_n) \in \mathbb{R}^n$ 을 선형 연립방정식의 해(solution)라고 한다.

예제 2.2

다음의 선형 연립방정식을 살펴보자.

$$ \begin{aligned} x_1 + x_2 + x_3 &= 3 \quad (1) \\ x_1 - x_2 + 2x_3 &= 2 \quad (2) \\ 2x_1 \phantom{{}- x_2} + 3x_3 &= 1 \quad (3) \end{aligned} \quad (2.4) $$

이 식은 해가 없다 (has no solution). 처음 두 식을 더하면 $2x_1 + 3x_3 = 5$ 가 되는데, 이는 세 번째 식인 $2x_1 + 3x_3 = 1$ 과 모순되기 때문이다.

이번에는 다음의 선형 연립방정식을 보자.

$$ \begin{aligned} x_1 + x_2 + x_3 &= 3 \quad (1) \\ x_1 - x_2 + 2x_3 &= 2 \quad (2) \\ \phantom{x_1 +} x_2 + x_3 &= 2 \quad (3) \end{aligned} \quad (2.5) $$

첫 번째와 세 번째 식으로부터 $x_1 = 1$ 임이 바로 도출된다(식 (1)의 $x_2+x_3$ 자리에 식 (3)의 값 2를 대입).

식 (1)과 (2)를 더하면 $2x_1 + 3x_3 = 5$ 가 되고, 여기에 $x_1=1$ 을 넣으면 $x_3 = 1$ 을 얻는다. 마지막으로 식 (3)을 통해 $x_2 = 1$ 을 얻는다.

따라서 $(1, 1, 1)$ 은 유일하게 가능한 유일 해(unique solution)이다 (직접 대입하여 검증해 보라).

세 번째 예시로 다음을 고려해 보자.

$$ \begin{aligned} x_1 + x_2 + x_3 &= 3 \quad (1) \\ x_1 - x_2 + 2x_3 &= 2 \quad (2) \\ 2x_1 \phantom{{}- x_2} + 3x_3 &= 5 \quad (3) \end{aligned} \quad (2.6) $$

여기서는 식 (1)+(2)를 하면 식 (3)이 나오므로, 세 번째 식은 생략해도 된다(중복, redundancy). 식 (1)과 (2)만 가지고 정리하면 $2x_1 = 5 - 3x_3$ 그리고 $2x_2 = 1 + x_3$ 를 얻게 된다.

이제 $x_3 = a \in \mathbb{R}$ 를 자유 변수(free variable)로 정의하면, 다음과 같은 형태의 모든 튜플이 해가 된다.

$$ \left( \frac{5}{2} - \frac{3}{2}a, \ \frac{1}{2} + \frac{1}{2}a, \ a \right), \quad a \in \mathbb{R} \quad (2.7) $$

이는 해당 선형 방정식계의 해이며, 무한한 해를 가지는 해집합을 얻는다.

$\quad$ 일반적으로, 실수 값을 가지는 선형 연립방정식에 대해서 우리는 해가 없거나, 정확히 하나이거나, 혹은 무수히 많은 해를 얻게 된다. 선형 회귀(9장)는 우리가 선형 연립방정식을 (정확하게) 풀 수 없을 때, 예제 2.1과 같은 문제의 변형된 버전을 해결하는 방법이다.
참고 (선형 연립방정식의 기하학적 해석). 두 개의 변수 $x_1, x_2$ 를 가진 선형 연립방정식에서, 각 선형 방정식은 $x_1x_2$ 평면 위의 선(line)을 정의한다. 연립방정식의 해는 모든 방정식을 동시에 만족해야 하므로, 해 집합(solution set)은 이 선들의 교집합(intersection)이 된다. 이 교집합은 선이 될 수도 있고(두 방정식이 같은 선을 묘사할 때), 점이 될 수도 있으며, 혹은 공집합(empty)이 될 수도 있다(선들이 평행할 때). 이에 대한 예시 그림이 다음 시스템에 대해 그림 2.3에 주어져 있다.
figure2.3.png
$\to$ 그림 2.3 변수가 2개인 선형 연립방정식의 해 공간(solution space)은 기하학적으로 두 직선의 교점(intersection)으로 해석할 수 있다. 모든 선형 방정식은 하나의 선(line)을 나타낸다.

$$ \begin{aligned}4x_1+4x_2&=5 \\ 2x_1-4x_2&=1 \end{aligned} \quad (2.8) $$

식 (2.8)의 경우 해 공간은 점 $(x_1, x_2) = (1, \frac{1}{4})$ 이다. 마찬가지로 변수가 3개인 경우, 각 선형 방정식은 3차원 공간상의 평면(plane)을 결정한다. 이 평면들의 교집합을 구할 때, 즉 모든 선형 방정식을 동시에 만족시킬 때, 우리는 평면, 선, 점, 혹은 공집합(평면들이 공통으로 만나는 곳이 없을 때) 형태의 해 집합을 얻을 수 있다.
$\quad$ 선형 연립방정식을 푸는 체계적인 접근을 위해, 우리는 유용한 간소화 표기법(compact notation)을 도입할 것이다. 우리는 계수(coefficients) $a_{ij}$ 들을 모아 벡터로 만들고, 이 벡터들을 모아 행렬(matrices)로 만든다. 다시 말해, 식 (2.3)의 시스템을 다음과 같은 형태로 쓴다:

$$ \begin{bmatrix} a_{11} \\ \vdots \\ a_{m1} \end{bmatrix} x_1 + \begin{bmatrix} a_{12} \\ \vdots \\ a_{m2} \end{bmatrix} x_2 + \cdots + \begin{bmatrix} a_{1n} \\ \vdots \\ a_{mn} \end{bmatrix} x_n = \begin{bmatrix} b_1 \\ \vdots \\ b_m \end{bmatrix} \quad (2.9) $$
$$ \iff \begin{bmatrix} a_{11} & \cdots & a_{1n} \\ \vdots & & \vdots \\ a_{m1} & \cdots & a_{mn} \end{bmatrix} \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix} = \begin{bmatrix} b_1 \\ \vdots \\ b_m \end{bmatrix} . \quad (2.10) $$

이어지는 내용에서는 이러한 행렬(matrices)을 자세히 살펴보고 계산 규칙들을 정의할 것이다. 그리고 2.3절에서 다시 선형 방정식의 풀이로 돌아올 것이다.