행렬

행렬은 선형대수에서 중심적인 역할을 한다. 행렬은 선형 연립방정식을 간결하게 표현하는 데 사용될 수 있을 뿐만 아니라, 2.7절에서 보게 될 선형 함수(선형 사상, linear mapping)를 나타내는 데에도 사용된다. 이러한 흥미로운 주제들을 논의하기 전에, 먼저 행렬이 무엇인지 정의하고 행렬로 어떤 종류의 연산을 할 수 있는지 살펴보자. 행렬의 더 많은 성질들은 4장에서 다루게 될 것이다.

정의 2.1 (행렬).

$m, n \in \mathbb{N}$ 에 대하여, 실수값(real-valued)을 가지는 $(m, n)$ 행렬 $A$ 는 $m$ 개의 행(rows)과 $n$ 개의 열(columns)로 구성된 직사각형 체계에 따라 배열된 $m \cdot n$ 개의 원소 $a_{ij}$ ( $i = 1, \dots, m, \ j = 1, \dots, n$ )들의 튜플이다:

$$ A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}, \quad a_{ij} \in \mathbb{R}. \tag{2.11} $$

관례적으로 $(1, n)$ -행렬은 행(rows)이라 부르고, $(m, 1)$ -행렬은 열(columns)이라 부른다. 이 특별한 행렬들은 또한 행 벡터(row vectors) / 열 벡터(column vectors)라고도 불린다.

$\mathbb{R}^{m \times n}$ 은 모든 실수 $(m, n)$ -행렬들의 집합이다. $A \in \mathbb{R}^{m \times n}$ 은 행렬의 모든 $n$ 개의 열을 하나의 긴 벡터로 쌓아 올림(stacking)으로써 $a \in \mathbb{R}^{mn}$ 으로 등가 표현될 수 있다. 이에 대해서는 그림 2.4를 참조하라.
figure2.4.png
그림 2.4 행렬의 열(columns)들을 쌓아 올림으로써, 행렬 $A$ 는 긴 벡터 $a$ 로 표현될 수 있다. $A \in \mathbb{R}^{4 \times 2}$ 행렬이 재형성(re-shape) 과정을 거쳐 $a \in \mathbb{R}^8$ 벡터가 되는 과정을 보여준다.

$\to$ 행렬의 크기(size)에 주의하라. 코드 팁 C = np.einsum('il, lj', A, B)

2.2.1 행렬 덧셈과 곱셈

두 행렬 $A \in \mathbb{R}^{m \times n}, B \in \mathbb{R}^{m \times n}$ 의 합은 원소별 합(element-wise sum)으로 정의된다. 즉,

$$ A + B := \begin{bmatrix} a_{11} + b_{11} & \cdots & a_{1n} + b_{1n} \\ \vdots & & \vdots \\ a_{m1} + b_{m1} & \cdots & a_{mn} + b_{mn} \end{bmatrix} \in \mathbb{R}^{m \times n} \quad (2.12) $$

$\quad$ 행렬 $A \in \mathbb{R}^{m \times n}, B \in \mathbb{R}^{n \times k}$ 에 대하여, 곱 $C = AB \in \mathbb{R}^{m \times k}$ 의 원소 $c_{ij}$ 는 다음과 같이 계산된다.

$$ c_{ij} = \sum_{l=1}^{n} a_{il}b_{lj}, \quad i = 1, \dots, m, \ j = 1, \dots, k. \quad (2.13) $$

이것은 원소 $c_{ij}$ 를 계산하기 위해 $A$ 의 $i$ 번째 행(row)의 원소들과 $B$ 의 $j$ 번째 열(column)의 원소들을 곱하고 그것들을 모두 더한다는 것을 의미한다. 나중에 3.2절에서 우리는 이것을 해당 행과 열의 내적(dot product)이라고 부를 것이다.
우리가 곱셈을 수행하고 있음을 명시해야 할 경우, $A \cdot B$ 와 같은 표기법을 사용하여 곱셈을 나타내기도 한다(명시적으로 “ $\cdot$ “을 보여줌).
참고. 행렬은 서로 “이웃하는(neighboring)” 차원이 일치할 때만 곱할 수 있다. 예를 들어, $n \times k$ 행렬 $A$ 는 $k \times m$ 행렬 $B$ 와 곱해질 수 있지만, 오직 왼쪽에서만 가능하다(순서가 중요하다):

$$ \underbrace{A}_{n \times k} \underbrace{B}_{k \times m} = \underbrace{C}_{n \times m} \quad (2.14) $$

$\to$ 행렬 $A$ 에는 $n$ 개의 열(columns)이 있고 행렬 $B$ 에는 $n$ 개의 행(rows)이 있기 때문에, 우리는 $l=1, \dots, n$ 에 대해 $a_{il}b_{lj}$ 를 계산할 수 있다.

$\to$ 일반적으로 두 벡터 $\boldsymbol{a}, \boldsymbol{b}$ 사이의 내적(dot product)은 $\boldsymbol{a}^\top \boldsymbol{b}$ 또는 $\langle \boldsymbol{a}, \boldsymbol{b} \rangle$ 로 표기한다.

$m \neq n$ 일 경우, 이웃하는 차원이 일치하지 않으므로 곱 $BA$ 는 정의되지 않는다.
참고. 행렬 곱셈은 행렬 성분들 간의 원소별 연산(element-wise operation)으로 정의되지 않는다. 즉, $A, B$ 의 크기가 적절하게 선택되었다 하더라도 $c_{ij} \neq a_{ij}b_{ij}$ 이다. 이러한 종류의 원소별 곱셈은 프로그래밍 언어에서 (다차원) 배열끼리 곱할 때 자주 등장하며, 이를 아다마르 곱(Hadamard product)이라고 부른다.

예제 2.3

$A = \begin{bmatrix} 1 & 2 & 3 \ 3 & 2 & 1 \end{bmatrix} \in \mathbb{R}^{2 \times 3}$ 이고 $B = \begin{bmatrix} 0 & 2 \ 1 & -1 \ 0 & 1 \end{bmatrix} \in \mathbb{R}^{3 \times 2}$ 에 대하여, 우리는 다음을 얻는다.

$$ AB = \begin{bmatrix} 1 & 2 & 3 \\ 3 & 2 & 1 \end{bmatrix} \begin{bmatrix} 0 & 2 \\ 1 & -1 \\ 0 & 1 \end{bmatrix} = \begin{bmatrix} 2 & 3 \\ 2 & 5 \end{bmatrix} \in \mathbb{R}^{2 \times 2}, \quad (2.15) $$
$$ BA = \begin{bmatrix} 0 & 2 \\ 1 & -1 \\ 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & 2 & 3 \\ 3 & 2 & 1 \end{bmatrix} = \begin{bmatrix} 6 & 4 & 2 \\ -2 & 0 & 2 \\ 3 & 2 & 1 \end{bmatrix} \in \mathbb{R}^{3 \times 3}. \quad (2.16) $$

$\quad$ 이 예제로부터 우리는 이미 행렬 곱셈이 교환 가능하지 않다는 것(not commutative), 즉 $AB \neq BA$ 임을 확인할 수 있다. 이에 대한 그림 설명은 그림 2.5를 참조하라.

그림 2.5
figure2.5.png
설령 행렬 곱셈 $AB$ 와 $BA$ 가 둘 다 정의된다고 하더라도, 그 결과물의 차원(dimensions)은 서로 다를 수 있다.

정의 2.2 (단위행렬, Identity Matrix).

$\mathbb{R}^{n \times n}$ 공간에서, 우리는 단위행렬을 다음과 같이 정의한다:

$$ \boldsymbol{I}_n := \begin{bmatrix} 1 & 0 & \cdots & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 0 & \cdots & 1 \end{bmatrix} \in \mathbb{R}^{n \times n} \quad (2.17) $$

이것은 대각선 성분은 모두 1이고 그 외의 성분은 모두 0인 $n \times n$ 행렬이다.

$\quad$ 이제 행렬 곱셈, 행렬 덧셈, 그리고 단위행렬을 정의했으므로, 행렬의 몇 가지 성질들을 살펴보자:

  • 결합법칙 (Associativity):
    $\forall \boldsymbol{A} \in \mathbb{R}^{m \times n}, \boldsymbol{B} \in \mathbb{R}^{n \times p}, \boldsymbol{C} \in \mathbb{R}^{p \times q} : (\boldsymbol{AB})\boldsymbol{C} = \boldsymbol{A}(\boldsymbol{BC}) \quad (2.18)$
  • 분배법칙 (Distributivity):
    $\forall \boldsymbol{A}, \boldsymbol{B} \in \mathbb{R}^{m \times n}, \boldsymbol{C}, \boldsymbol{D} \in \mathbb{R}^{n \times p} :$
    $(\boldsymbol{A} + \boldsymbol{B})\boldsymbol{C} = \boldsymbol{AC} + \boldsymbol{BC} \quad (2.19a)$
    $\boldsymbol{A}(\boldsymbol{C} + \boldsymbol{D}) = \boldsymbol{AC} + \boldsymbol{AD} \quad (2.19b)$
  • 단위행렬과의 곱셈:
    $\forall \boldsymbol{A} \in \mathbb{R}^{m \times n} : \boldsymbol{I}_m \boldsymbol{A} = \boldsymbol{A}\boldsymbol{I}_n = \boldsymbol{A} \quad (2.20)$
    참고로 $m \neq n$ 일 경우 $\boldsymbol{I}_m \neq \boldsymbol{I}_n$ 이다.

2.2.2 역행렬과 전치행렬

정의 2.3 (역행렬, Inverse). 정사각 행렬 $A \in \mathbb{R}^{n \times n}$ 을 고려하자. 만약 행렬 $B \in \mathbb{R}^{n \times n}$ 가 $AB = I_n = BA$ 라는 성질을 만족한다면, $B$ 를 $A$ 의 역행렬(inverse)이라고 부르며 $A^{-1}$ 로 표기한다.

$\to$ 정사각 행렬은 동일한 수의 열과 행을 가진다.
$\quad$ 불행히도, 모든 (정사각)행렬 $A$ 가 역행렬 $A^{-1}$ 을 소유하는 것은 아니다. 만약 역행렬이 존재한다면, $A$ 를 정칙(regular) / 가역(invertible) / 비특이(nonsingular) 행렬이라 부르고, 그렇지 않다면 특이(singular) / 비가역(noninvertible) 행렬이라 부른다. 역행렬이 존재할 경우, 그 역행렬은 유일하다(unique). 2.3절에서 우리는 선형 연립방정식을 풂으로써 행렬의 역행렬을 계산하는 일반적인 방법을 논의할 것이다.

$\to$ 위에서 ‘역행렬이 있다/없다’로 한 행렬이 다양하게 불리는데, 그 뉘앙스에 대해 생각해보자.

‘가역’은 어떤 행렬 $\boldsymbol{A}$ 로 공간을 변환했을 때, 그 변환을 완벽하게 되돌리는 역연산 $\boldsymbol{A}^{-1}$ 가 존재하여 원래 상태로 돌아갈 수 있음을 의미한다. 선형 사상의 관점에서는 이 변환이 전단사 함수임을 뜻한다. 반대로 ‘비가역’은 변환을 되돌릴 수 없다. $\boldsymbol{Ax} = \boldsymbol{b}$ 를 만족하는 유일한 해 $\boldsymbol{x}$ 를 역산( $\boldsymbol{x} = \boldsymbol{A}^{-1}\boldsymbol{b}$ )해낼 수 없음을 의미한다.

‘특이’ 라는 말은 블랙홀의 특이점(singularity, 블랙홀 중심의 무한한 밀도와 중력을 가진 한 점)과 같은 뉘앙스를 가진다. 특이 행렬은 n차원 공간의 부피를 붕괴시키는 행렬이다. 예를 들어 3차원 입체 공간을 2차원 평면이나 1차원 선으로 납작하게 찌그러뜨리는 행렬이 있다. 차원이 붕괴하면 무수히 많은 점들이 하나의 점으로 겹쳐버리므로(정보의 소실), 당연히 원래 차원으로 복구할 수 없다. 4.1절에서 다룰 행렬식이 0이되는 경우가 이 ‘특이’의 경우이다. 행렬식은 ‘부피의 변화율’로 해석되며, 이 값이 0이라는 것은 부피가 소멸했다는 뜻이다. 반대로 ‘비특이’ 행렬은 부피가 찌그러지거나 회전할지언정, 차원 자체가 붕괴하지는 않는 상태를 말한다. 행렬식이 정확히 $0$ 이 되는 경우는 무한한 실수 공간에서 매우 ‘이례적이고 특수한(Singular)’ 경우이므로, 역행렬이 존재하는 대부분의 정상적인 행렬을 ‘특이하지 않다(Non-singular)’고 부르는 것이다.

‘정칙’은 ‘바른 규칙이나 법칙’이라는 뜻인데, 현재 맥락에서는 행렬이 자신이 가진 $n \times n$ 차원의 크기만큼 온전하게 제 역할을 다하고 있다는 뜻이다. 이후 2.6.2절에 언급되는 정사각 행렬의 ‘풀 랭크(Full Rank)’와 같은 의미이다. 행렬의 모든 열 벡터나 행 벡터가 서로 선형 독립이어서, 공간을 구성하는 뼈대(기저)가 온전히 존재하여 ‘정상적인(Regular) 규칙’을 잘 따르고 있다는 의미를 가진다.

$\to$ 위에서 “정사각 행렬의 ‘풀 랭크(Full Rank)’“라고 명시했는데, 풀 랭크는 직사각 행렬에 대해서도 정의되는 일반적인 개념이다. 2.6.2절에 명시된 대로 행렬의 랭크가 $\text{rk}(A) = \min(m, n)$ 을 만족하면 풀 랭크이다. 하지만 직사각 행렬은 풀 랭크를 만족하더라도(가령, 투영 행렬의 경우) ‘정칙’ 행렬이라고 부를 수 없다. 역연산이 불가능하기 때문이다.

2.3.4절에서 잠깐 언급되지만, 행렬 $A$ 가 $m \times n$ ( $m > n$ , 데이터가 변수보다 많은 상황) 직사각 행렬일 때, 이 행렬 $A$ 가 ‘풀 랭크’를 만족해야만 $(A^\top A)$ 가 정칙 행렬이 되어 의사 역행렬(pseudo-inverse) $(A^\top A)^{-1}$ 을 가진다. 이는 9장이나 회귀 부분에서 자세히 다룬다.

참고 ( $2 \times 2$ 행렬의 역행렬 존재성). 다음과 같은 행렬 $A$ 를 고려하자:

$$ A := \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} \in \mathbb{R}^{2 \times 2}. \quad (2.21) $$

만약 우리가 $A$ 에 다음과 같은 $A’$ 를 곱한다면:

$$ A' := \begin{bmatrix} a_{22} & -a_{12} \\ -a_{21} & a_{11} \end{bmatrix} \quad (2.22) $$

우리는 다음을 얻게 된다:

$$ AA' = \begin{bmatrix} a_{11}a_{22} - a_{12}a_{21} & 0 \\ 0 & a_{11}a_{22} - a_{12}a_{21} \end{bmatrix} = (a_{11}a_{22} - a_{12}a_{21})I. \quad (2.23) $$

따라서, $a_{11}a_{22} - a_{12}a_{21} \neq 0$ 인 경우에 한하여(if and only if), 역행렬은 다음과 같다:

$$ A^{-1} = \frac{1}{a_{11}a_{22} - a_{12}a_{21}} \begin{bmatrix} a_{22} & -a_{12} \\ -a_{21} & a_{11} \end{bmatrix} \quad (2.24) $$

여기서 $a_{11}a_{22} - a_{12}a_{21}$ 은 $2 \times 2$ 행렬의 행렬식(determinant)이다. 더 나아가, 우리는 일반적으로 행렬이 가역인지(역행렬이 있는지) 확인하기 위해 행렬식을 사용할 수 있다.

예제 2.4 (역행렬, Inverse Matrix)

다음의 두 행렬

$$ A = \begin{bmatrix} 1 & 2 & 1 \\ 4 & 4 & 5 \\ 6 & 7 & 7 \end{bmatrix}, \quad B = \begin{bmatrix} -7 & -7 & 6 \\ 2 & 1 & -1 \\ 4 & 5 & -4 \end{bmatrix} \quad (2.25) $$

은 서로 역행렬 관계이다. 왜냐하면 $AB = I = BA$ 이기 때문이다.

정의 2.4 (전치행렬, Transpose). $A \in \mathbb{R}^{m \times n}$ 에 대하여, $b_{ij} = a_{ji}$ 를 만족하는 행렬 $B \in \mathbb{R}^{n \times m}$ 을 $A$ 의 전치행렬(transpose)이라 부른다. 우리는 이를 $B = A^\top$ 라고 쓴다.

$\quad$ 일반적으로, $A^\top$ 는 $A$ 의 열(columns)들을 $A^\top$ 의 행(rows)들로 적음으로써 얻을 수 있다. 다음은 역행렬과 전치행렬의 중요한 성질들이다:

$$ AA^{-1} = I = A^{-1}A \quad (2.26) $$
$$ (AB)^{-1} = B^{-1}A^{-1} \quad (2.27) $$
$$ (A + B)^{-1} \neq A^{-1} + B^{-1} \quad (2.28) $$
$$ (A^\top)^\top = A \quad (2.29) $$
$$ (AB)^\top = B^\top A^\top \quad (2.30) $$
$$ (A + B)^\top = A^\top + B^\top \quad (2.31) $$

$\to$ 행렬 $A$ 의 주 대각선(main diagonal) (때로는 principal diagonal, primary diagonal, leading diagonal, 혹은 major diagonal이라고도 불림)은 $i = j$ 인 성분 $A_{ij}$ 들의 집합이다.
식 (2.28)의 스칼라 경우에 대한 예시는 다음과 같다:

$$ \frac{1}{2+4} = \frac{1}{6} \neq \frac{1}{2} + \frac{1}{4} = \frac{3}{4} $$

$\to$ 식 (2.28) 두 행렬을 더한 뒤 역행렬을 취하는 연산 $(A+B)^{-1}$ 은 ridge regression( $x = (A^\top A + \lambda I)^{-1} A^\top b$ )과 베이지안 머신러닝( $\Sigma_{post} = (\Sigma_{prior}^{-1} + A^\top \Sigma_{noise}^{-1} A)^{-1}$ )에서 쓰인다는데 이 부분은 아직 어렵다.

정의 2.5 (대칭행렬, Symmetric Matrix). 행렬 $A \in \mathbb{R}^{n \times n}$ 이 $A = A^\top$ 를 만족할 때, 이를 대칭(symmetric)이라고 한다.

$\quad$ 참고로, 오직 $(n, n)$ -행렬만이 대칭이 될 수 있다. 일반적으로 우리는 행과 열의 개수가 같은 $(n, n)$ -행렬을 정사각 행렬(square matrices)이라고 부른다. 더욱이, 만약 $A$ 가 가역(invertible)이라면 $A^\top$ 또한 가역이며, 다음이 성립한다:

$$ (A^{-1})^\top = (A^\top)^{-1} =: A^{-\top}. $$

$\to$ =:(또는 :=) 기호는 =(equality)가 아니라 “~으로 정의한다”라는 의미를 가진다. 콜론(:)의 위치는 ‘새롭게 정의되는 변수나 기호’ 쪽을 바라본다.

위 경우에서 어떤 행렬 $A$ 의 역행렬을 먼저 구하고 전치한 것( $(A^{-1})^\top$ )과, 전치부터 먼저 하고 역행렬을 구한 것( $(A^\top)^{-1}$ )은 동일하다. 그리고 매번 괄호를 쓰기 번거롭기 때문에 이를 $A^{-\top}$ 로 정의하였다.

참고 (대칭행렬의 합과 곱). 대칭행렬 $A, B \in \mathbb{R}^{n \times n}$ 의 합은 항상 대칭이다. 하지만, 그들의 곱은 (항상 정의되기는 하지만) 일반적으로 대칭이 아니다:

$$ \begin{bmatrix} 1 & 0 \\ 0 & 0 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix} = \begin{bmatrix} 1 & 1 \\ 0 & 0 \end{bmatrix}. \quad (2.32) $$

$\to (AB)^\top = B^\top A^\top$ 지만 $A, B$ 가 대칭이므로 $B^\top = B, A^\top = A$ 가 되어, 결국 $(AB)^\top = BA$ 가 된다. 원래 행렬인 $AB$ 와 같아지려면 $AB = BA$ 여야 하는데, 행렬 곱셈은 교환법칙이 성립하지 않기 때문에 결과적으로 대칭이 깨지게 된다.

2.2.3. 스칼라 곱

행렬에 스칼라(실수) $\lambda \in \mathbb{R}$ 가 곱해질 때 무슨 일이 일어나는지 살펴보자. $A \in \mathbb{R}^{m \times n}$ 이고 $\lambda \in \mathbb{R}$ 라고 하자. 그러면 $\lambda A = K$ 이고, 이때 $K$ 의 성분은 $K_{ij} = \lambda a_{ij}$ 이다.
실질적으로, $\lambda$ 는 $A$ 의 각각의 원소를 스케일링(크기 조절)한다. $\lambda, \psi \in \mathbb{R}$ 에 대하여 다음이 성립한다:

  • 결합법칙 (Associativity):
    $(\lambda \psi) C = \lambda (\psi C), \quad C \in \mathbb{R}^{m \times n}$
    $\lambda (BC) = (\lambda B)C = B(\lambda C) = (BC)\lambda, \quad B \in \mathbb{R}^{m \times n}, C \in \mathbb{R}^{n \times k}$ .
    이 성질은 우리가 스칼라 값을 자유롭게 이동시킬 수 있음을 의미한다.
  • 전치와의 관계:
    $(\lambda C)^\top = C^\top \lambda^\top = C^\top \lambda = \lambda C^\top$ . 이는 모든 $\lambda \in \mathbb{R}$ 에 대해 $\lambda = \lambda^\top$ 이기 때문이다.
  • 분배법칙 (Distributivity):
    $(\lambda + \psi)C = \lambda C + \psi C, \quad C \in \mathbb{R}^{m \times n}$
    $\lambda (B + C) = \lambda B + \lambda C, \quad B, C \in \mathbb{R}^{m \times n}$ .

예제 2.5 (분배법칙)

만약 우리가 다음과 같이 정의한다면

$$ C := \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}, \quad (2.33) $$

임의의 $\lambda, \psi \in \mathbb{R}$ 에 대하여 다음을 얻는다.

$$ (\lambda + \psi)C = \begin{bmatrix} (\lambda + \psi)1 & (\lambda + \psi)2 \\ (\lambda + \psi)3 & (\lambda + \psi)4 \end{bmatrix} = \begin{bmatrix} \lambda + \psi & 2\lambda + 2\psi \\ 3\lambda + 3\psi & 4\lambda + 4\psi \end{bmatrix} \quad (2.34a) $$
$$ = \begin{bmatrix} \lambda & 2\lambda \\ 3\lambda & 4\lambda \end{bmatrix} + \begin{bmatrix} \psi & 2\psi \\ 3\psi & 4\psi \end{bmatrix} = \lambda C + \psi C. \quad (2.34b) $$

2.2.4 선형 연립방정식의 간결한 표현

만약 우리가 다음의 선형 연립방정식을 고려하고

$$ \begin{aligned} 2x_1 + 3x_2 + 5x_3 &= 1 \\ 4x_1 - 2x_2 - 7x_3 &= 8 \\ 9x_1 + 5x_2 - 3x_3 &= 2 \end{aligned} \quad (2.35) $$

행렬 곱셈 규칙을 사용한다면, 우리는 이 방정식 시스템을 다음과 같이 더 간결한 형태로 쓸 수 있다.

$$ \begin{bmatrix} 2 & 3 & 5 \\ 4 & -2 & -7 \\ 9 & 5 & -3 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} 1 \\ 8 \\ 2 \end{bmatrix}. \quad (2.36) $$

여기서 $x_1$ 은 첫 번째 열을, $x_2$ 는 두 번째 열을, 그리고 $x_3$ 는 세 번째 열을 스케일링(scaling)한다는 점에 주목하라.
$\quad$ 일반적으로, 선형 연립방정식은 행렬 형태인 $\boldsymbol{Ax} = \boldsymbol{b}$ 로 간결하게 표현될 수 있으며 (식 (2.3) 참조), 곱 $\boldsymbol{Ax}$ 는 $\boldsymbol{A}$ 의 열(columns)들의 (선형) 결합이다. 우리는 2.5절에서 선형 결합(linear combinations)에 대해 더 자세히 논의할 것이다.