노이즈는 실제 데이터가 관측될 때 데이터 생성 시스템에 개입하는 통제 및 관측 불가능한 확률적 불확실성을 뜻한다.

현실의 다차원 공간에서 다수의 관측 불가능한 노이즈 요인들이 상호 독립적이라는 전제는 물리적 실재가 아닌, 해석학적 성립을 위한 수학적 가정이다. 실제 데이터 생성 과정에서는 외부 요인들이 서로 종속적인 관계를 가지는 경우가 다수 존재한다. 그럼에도 상호 독립성을 가정하는 이유는, 다변량 결합 확률 분포를 개별 주변 확률 분포의 곱으로 분해하여 선형 연산을 가능하게 하기 위함이다.

  • 등분산성(Homoscedasticity): 독립 변수의 공간적 위치 변화에 관계없이, 조건부 노이즈 분포가 동일한 유한 분산 상수를 가지는 성질을 가정한다.
  • 이분산성(Heteroscedasticity): 등분산성의 상보적 개념으로, 관측치마다 노이즈의 분산 척도가 변동하는 상태이다.

평균 제곱 오차(MSE)에서 오차의 제곱합을 샘플 데이터의 개수 $n$ 으로 나누어 산술 평균을 구하는 연산은 모든 관측치에 동일한 가중치( $\frac{1}{n}$ )를 부여함을 의미한다. 이는 각 관측치에 내재된 노이즈 분포의 척도가 모두 동일하다는 등분산성 조건이 성립할 때 수학적 타당성을 획득한다.

만약 샘플마다 노이즈의 분산이 다른 이분산성 상태라면, 분산이 큰(불확실성이 높은) 샘플의 오차가 손실 공간에 더 큰 영향을 미친다. 이를 교정하기 위해 최적화 연산에서는 개별 오차에 분산의 역수를 가중치로 곱하는 가중 최소제곱법(WLS) 목적 함수가 요구된다.

$$ Loss_{WLS} = \sum_{i=1}^{n} \frac{1}{\sigma_i^2} e_i^2 $$

이는 신뢰도가 낮은(분산이 큰) 데이터의 영향력을 축소하고, 신뢰도가 높은(분산이 작은) 데이터의 영향력을 확대하는 선형 변환 연산이다.

잔차(Residual)와 오차(Error)의 대수적 분리

잔차(Residual, $r$ )는 표본 데이터(관측된 데이터)를 기반으로 산출된 모델의 예측값 $\hat{y}$ 과 실제 관측치 $y$ 의 대수적 차이이다.

$$ r = y - \hat{y} $$

이는 기하학적으로 $n$ 차원 공간에서 관측 벡터 $\mathbf{y}$ 가 예측 벡터 $\mathbf{\hat{y}}$ (특성 공간의 투영 지점)와 형성하는 직교 거리를 의미한다.

오차(Error, $\epsilon$ )는 알지 못하는 기저의 참된 함수 $f(\mathbf{X})$ (또는 기댓값 $E(Y)$ )와 실제 관측치 $y$ 의 차이이다. (노이즈와 동치)

$$ \epsilon = y - f(\mathbf{X}) $$

관측치는 참된 함수와 오차의 합( $y = f(\mathbf{X}) + \epsilon$ )으로 정의되므로, 잔차의 방정식은 다음과 같이 전개된다.

$$ r = y - \hat{y} $$
$$ r = (f(\mathbf{X}) + \epsilon) - \hat{y} $$
$$ r = \epsilon + (f(\mathbf{X}) - \hat{y}) $$

여기서 $(f(\mathbf{X}) - \hat{y})$ 항은 기저의 참된 함수와 모델의 추정 함수 간의 대수적 차이, 즉 추정 편향(Estimation Bias) 상태를 나타낸다.

최적화 연산의 한계와 근사

관측자는 기저의 참된 함수 $f(\mathbf{X})$ 를 도출할 수 없으므로, 유한한 관측치를 기반으로 근사 함수(기계학습 모델)를 모델링해야 한다. 선형 회귀의 경우, 미지의 참된 파라미터 $\mathbf{\beta}$ 대신 추정 파라미터 $\mathbf{w}$ 를 사용하여 예측 벡터를 산출한다.

$$ \mathbf{\hat{y}} = \hat{f}(\mathbf{X}) = \mathbf{Xw} $$

참된 오차 $\epsilon$ 은 계산 불가능하여 손실 함수로 사용할 수 없다. 따라서 연산 가능한 예측 벡터 $\mathbf{\hat{y}}$ 와 실제 관측치 $\mathbf{y}$ 의 대수적 차이인 잔차 벡터 $\mathbf{r}$ 을 구하여, 이 벡터의 기하학적 크기를 최소화하는 목적 함수를 구성한다.

$$ \mathbf{r} = \mathbf{y} - \mathbf{\hat{y}} $$
$$ \min_{\mathbf{w}} \Vert \mathbf{y} - \mathbf{Xw}\Vert _2^2 $$

노이즈를 정규분포로 가정하는 이유

기댓값이 $0$ 이고 분산이 유한한 상수 $\sigma^2$ 이라는 조건 자체가 해당 분포를 정규 분포로 확정하는건 아니다. 1차 및 2차 모멘트는 같으나 n차 모멘트들이 다른 분포는 무수히 존재한다. 그럼에도 불구하고 기계학습과 통계학에서 이 두 조건이 주어졌을 때 노이즈를 정규 분포로 가정하는 이유로 세 가지를 들 수 있다.

1. 정보 이론적 측면: 최대 엔트로피

확률 분포의 섀넌 엔트로피(Shannon Entropy) $H(X)$ 는 분포의 불확실성 정보를 정량화한 수치이다.

$$ H(X) = -\int_{-\infty}^{\infty} f(x) \ln f(x) dx $$

관측자가 노이즈에 대해 알고 있는 대수적 제약 조건이 단 세 가지(확률의 합은 1, 기댓값은 0, 분산은 $\sigma^2$ )뿐일 때, 이 조건들을 만족하면서 엔트로피를 최대화하는 확률 밀도 함수 $f(x)$ 를 라그랑주 승수법(Lagrange Multiplier Method)으로 산출하면 가우스 함수(Gaussian Function)가 도출된다.

$$ f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{x^2}{2\sigma^2}\right) $$

우리가 데이터에 대해 알고 있는 정보는 기껏해야 노이즈의 ‘평균이 0’이라는 것과 ‘분산이 $\sigma^2$ 으로 유한하다’는 사실뿐이다. 그 외에 노이즈가 한쪽으로 치우쳐 있다거나(왜도) 뾰족하다거나(촘도) 하는 정보는 전혀 없다.
이처럼 1차 및 2차 모멘트만 알려진 상태에서, 입증되지 않은 추가적인 정보를 고의로 개입시키지 않는 편향이 가장 적은(Least biased) 확률 분포 상태가 수학적으로 정규 분포로 유일하게 한정됨을 의미한다.

2. 확률론적 측면: 중심극한정리

단일 오차 요인이 아닌 다수의 통제 불가능한 독립적 변수( $u_i$ )들이 덧셈 연산으로 결합되어 최종 노이즈 $\epsilon$ 을 형성할 때, 개별 요인 $u_i$ 의 형태가 이산형이든 비대칭형이든 관계없이, 무한한 합산 과정(합성곱 연산의 누적)을 거친 노이즈의 형태는 대수적으로 $\mathcal{N}(0, \sigma^2)$ 의 극한 상태에 점근적으로(Asymptotically) 수렴한다.

현실에서 관측되는 데이터의 ‘노이즈’는 보통 하나의 오류로 발생하는게 아닌, 수많은 미세하고 독립적인 원인들이 합쳐진 결과이다.

  • 측정 센서 내부의 미세한 열 변동
  • 주변의 미세한 공기 흐름이나 진동
  • 측정 장비의 기계적 마모
  • 측정자의 미세한 시야각 차이 등
    각각의 미세한 노이즈들이 어떤 확률 분포(이산형이든, 비대칭 분포이든)를 따르든 상관없이, 서로 독립적인 무작위 변수들이 모두 더해지면 그 합의 분포는 가우시안에 가까워진다.

3. 최적화 측면: 최소제곱법과 최대우도추정의 동치

정규 분포 가정은 기하학적 최소제곱법(OLS) 연산이 확률론적으로 정당성을 얻기 위함에 있다.

관측치 $y_i$ 의 기댓값이 $\hat{y}_i$ 이고 오차가 정규 분포를 따를 때, 전체 데이터 포인트에 대한 우도 함수(Likelihood Function, $L$ )는 다음과 같다.

$$ L(\mathbf{w}) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(y_i - \hat{y}_i)^2}{2\sigma^2}\right) $$

이 확률 곱셈 연산을 덧셈으로 치환하기 위해 자연로그를 취한 로그 우도(Log-Likelihood)를 전개한다.

$$ \ln L(\mathbf{w}) = -\frac{n}{2} \ln(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$

우도를 최대화(MLE)하는 연산은 상수를 소거하고 부호를 역전시킬 때, 잔차의 제곱합 $\sum (y_i - \hat{y}_i)^2$ 을 최소화하는 최소제곱법(OLS) 목적 함수와 대수적으로 동치임을 확인할 수 있다.

만약 노이즈가 정규 분포가 아닌 라플라스 분포(Laplace Distribution)를 따른다고 가정할 경우, 최대우도추정은 제곱합( $L_2$ 노름)이 아닌 오차의 절대값 합( $L_1$ 노름, MAE)을 최소화하는 연산으로 치환되어 OLS의 직교 투영 구조가 성립하지 않는다.

결론적으로 평균과 분산으로 정규 분포가 연역적으로 유도되는 것은 아니며, 노이즈를 정규 분포로 가정하는 것이