노름

우리가 기하학적 벡터, 즉 원점에서 시작하는 방향이 있는 선분을 생각할 때, 직관적으로 벡터의 길이는 원점에서 이 방향이 있는 선분의 “끝”까지의 거리이다. 다음에서, 우리는 노름(norm)이라는 개념을 사용하여 벡터의 길이 개념을 논의할 것이다.

정의 3.1 (노름, Norm). 벡터 공간 $V$ 위의 노름은 다음 함수이다:

$$ \Vert \cdot \Vert : V \to \mathbb{R}, \quad (3.1) $$
$$ x \mapsto \Vert x\Vert , \quad (3.2) $$

이 함수는 각 벡터 $x$ 에 길이 $\vert x\vert \in \mathbb{R}$ 를 할당하며, 모든 $\lambda \in \mathbb{R}$ 과 $x, y \in V$ 에 대하여 다음이 성립한다:

  • 절대 동차성 (Absolutely homogeneous): $\Vert \lambda x\Vert = \vert \lambda\vert \Vert x\Vert$

  • 삼각 부등식 (Triangle inequality): $\Vert x + y\Vert \le \Vert x\Vert + \Vert y\Vert$

  • 양의 정부호성 (Positive definite): $\Vert x\Vert \ge 0$ 이고, $\Vert x\Vert = 0 \iff x = 0$

$\quad$ 기하학적 관점에서, 삼각 부등식은 모든 삼각형에 대하여, 임의의 두 변의 길이의 합은 반드시 나머지 한 변의 길이보다 크거나 같아야 함을 말한다. 그림 3.2에 예시가 나와 있다. 정의 3.1은 일반적인 벡터 공간 $V$ 에 대한 것이지만(2.4절), 이 책에서 우리는 유한차원 벡터 공간 $\mathbb{R}^n$ 만을 고려할 것이다. 벡터 $x \in \mathbb{R}^n$ 에 대하여 우리는 아래첨자를 사용하여 벡터의 원소들을 표기한다는 점을 상기하라. 즉, $x_i$ 는 벡터 $x$ 의 $i$ 번째 원소이다.

$\to$ 삼각 부등식에서 등호(=)가 성립하는 경우는 두 벡터가 서로 같은 뱡향을 가리킬 때이다.

figure 3.2.png
그림 3.2. 삼각 부등식 $c \le a + b$ .

예제 3.1 (맨해튼 노름, Manhattan Norm)

$\mathbb{R}^n$ 위에서의 맨해튼 노름은 $x \in \mathbb{R}^n$ 에 대해 다음과 같이 정의된다:

$$ \Vert x\Vert _1 := \sum_{i=1}^n \vert x_i\vert , \quad (3.3) $$

여기서 $\vert \cdot\vert$ 는 절댓값이다. 그림 3.3의 왼쪽 패널은 $\Vert x\Vert _1 = 1$ 인 모든 벡터 $x \in \mathbb{R}^2$ 를 보여준다. 맨해튼 노름은 $\ell_1$ 노름( $\ell_1$ norm)이라고도 불린다.

figure 3.3.png
그림 3.3.서로 다른 노름에 대하여, 빨간 선들은 노름(크기)이 1인 벡터들의 집합을 나타낸다. 왼쪽: 맨해튼 노름 ( $\Vert x\Vert _1 = 1$ ), 오른쪽: 유클리드 거리 ( $\Vert x\Vert _2 = 1$ )

예제 3.2 (유클리드 노름, Euclidean Norm)

$\mathbb{R}^n$ 위에서의 유클리드 노름은 $x \in \mathbb{R}^n$ 에 대해 다음과 같이 정의된다:

$$ \Vert x\Vert _2 := \sqrt{\sum_{i=1}^n x_i^2} = \sqrt{x^\top x} \quad (3.4) $$

이것은 원점으로부터 $x$ 의 유클리드 거리(Euclidean distance)를 계산한다. 그림 3.3의 오른쪽 패널은 $\Vert x\Vert _2 = 1$ 인 모든 벡터 $x \in \mathbb{R}^2$ 를 보여준다. 유클리드 노름은 $\ell_2$ 노름( $\ell_2$ norm)이라고도 불린다.

참고 (Remark). 이 책 전체에서, 별도의 언급이 없다면 우리는 기본적으로 유클리드 노름 (3.4)를 사용할 것이다.