액체나 기체 속에서 미소입자들이 불규칙하게 운동하는 현상이다. 브라운 운동에 의한 물체의 움직임을 표류라고 한다.
수학적으로는 이를 위너 과정(wiener process) $W_t$ 라는 연속 시간 확률 과정으로 모델링한다.

위너 과정은 다음의 성질을 갖는다.

  1. 독립 증분(independent increments): 겹치지 않는 시간 구간에서의 변위는 서로 독립적이다.
  2. 정규 증분(stationary gaussian increments): 시간 $t$ 에서 $t+\Delta t$ 까지의 변위는 평균이 0이고 분산이 시간 차이 $\Delta t$ 에 비례하는 정규 분포를 따릅니다. 즉, $W_{t+\Delta t} - W_t \sim \mathcal{N}(0, \Delta t I)$ 이다.
    브라운 운동은 시간이 지날수록 분산이 무한대로 발산한다( $t \to \infty$ 일 때 $Var(W_t) \to \infty$ ). 데이터가 무한히 발산하는 것을 막기 위해 DDPM은 단순 브라운 운동에 평균 회귀(mean-reverting)항을 추가한 이산형 확률 과정을 사용한다. 이는 연속 시간 모델에서 랑주뱅 역학 중 하나인 Ornstein-Uhlecbeck 과정을 이산화한 형태와 같다.

독립 증분

연속 시간 확률 과정 $X_{t_{t \ge 0}}$ 가 주어졌을 때, 임의의 시간 $0 \le t_1 < t_2 < \dots < t_n$ 에 대하여 겹치지 않는 시간 구간의 변화량(증분)을 나타내는 다음 확률 변수들이 모두 상호 독립일 경우, 이 확률 과정은 ‘독립 증분을 갖는다’고 정의한다.

$$ (X_{t_2} - X_{t_1}), (X_{t_3} - X_{t_2}), \dots, (X_{t_n} - X_{t_{n-1}}) $$

이는 각 증분 확률 변수들의 결합 확률 밀도 함수가 각각의 주변 확률 밀도 함수의 곱으로 표현됨을 의미한다.

이 성질의 핵심은 특정 시간 구간 $[t_{i-1}, t_i]$ 동안 상태 값이 변하는 양이, 그 이전의 어떤 겹치지 않는 시간 구간에서의 변화량과도 확률적으로 아무런 상관관계가 없다는 점이다. 즉, 과거에 데이터나 입자가 어떤 궤적을 그리며 변화해왔든 간에, 현재 시점부터 미래 시점까지 발생할 변화량(증분)의 확률 분포에는 전혀 영향을 미치지 않는다.

독립 증분은 확률 과정이 마르코프 연쇄를 형성하게 만드는 전제 조건이다. 특정 시점 $t_n$ 에서의 상태 $X_{t_n}$ 은 다음과 같이 분해할 수 있다.

$$ X_{t_n} = X_{t_{n-1}} + (X_{t_n} - X_{t_{n-1}}) $$

미래의 상태 $X_{t_n}$ 은 ‘현재의 상태 $X_{t_{n-1}}$ ‘과 ‘앞으로 일어날 증분 $(X_{t_n} - X_{t_{n-1}})$ )’의 합으로 결정된다. 이때 독립 증분 성질에 의해 미래의 증분 $(X_{t_n} - X_{t_{n-1}})$ 은 과거의 모든 이력 ${X_{t_1}, \dots, X_{t_{n-2}}}$ 과 완벽하게 독립이다. 따라서 $X_{t_n}$ 의 조건부 확률은 과거의 전체 궤적이 아닌 오직 바로 직전의 상태인 $X_{t_{n-1}}$ 에만 의존하게 되며, 이는 다음의 마르코프 성질 수식을 도출한다.

$$ P(X_{t_n} \le x \vert X_{t_1}, \dots, X_{t_{n-1}}) = P(X_{t_n} \le x \vert X_{t_{n-1}}) $$

DDPM의 forward는 이 이산화된 브라운 운동의 성질을 따른다. 순방향 전이 $x_t$ 의 재매개변수화 트릭 수식을 보면 이를 확인할 수 있다.

$$ x_t = \sqrt{1-\beta_t}x_{t-1} + \sqrt{\beta_t}\epsilon_t $$

여기서 $\epsilon_t \sim \mathcal{N}(0, I)$ 항이 매 스텝마다 새롭게 샘플링되는 정규 노이즈이다. 시간 $t$ 에서 주입되는 노이즈 $\epsilon_t$ 는 이전 스텝들에서 주입된 노이즈 $\epsilon_1, \dots, \epsilon_{t-1}$ 와 완전히 독립이다. 이 서로 독립적인 가우스 노이즈 $\epsilon_t$ 가 브라운 운동의 ‘독립 증분’역할을 수행한다. 매 스텝 독립적인 노이즈가 더해지기 때문에, $x_t$ 의 시퀀스는 마르코프 연쇄 구조를 유지하며, 모델은 $x_t$ 에서 $x_{t-1}$ 을 추론하는 역방향 과정 역시 마르코프 연쇄로 모델링하여 학습할 수 있게 된다.

정규 증분

정규증분은 정상성(stationary: 평균, 분산, 공분산이 시간에 따라 변하지 않고 일정하게 유지되는 특성)과 정규 분포라는 두 가지 독립적인 성질이 결합된 개념이다.

연속 시간 확률 과정 $X_{t_{t \ge 0}}$ 에서 특정 시간 구간 $[t, t+\Delta t]$ 동안의 상태 변화량을 증분(Increment)인 $(X_{t+\Delta t} - X_t)$ 라고 할 때, 정규 증분은 다음 두 조건을 만족함을 의미한다.

가우스 성질: 임의의 시간 구간 $\Delta t$ 에 대한 증분 $(X_{t+\Delta t} - X_t)$ 이 항상 정규 분포를 따른다.

정상성: 증분의 확률 분포가 ‘시작 시점( $t$ )’에 의존하지 않고, 오직 ‘시간 간격( $\Delta t$ )’에만 의존한다. 즉, $t=1$ 에서 1초 동안 발생한 증분의 분포와, $t=100$ 에서 1초 동안 발생한 증분의 분포가 수학적으로 동일하다.

브라운 운동 $W_t$ 에서 정규 증분은 다음과 같다.

$$ W_{t+\Delta t} - W_t \sim \mathcal{N}(0, \Delta t I) $$

입자가 모든 방향으로 균등하게 무작위로 이동하므로, 특정 방향으로의 편향이 없다. 즉, 증분의 평균이 0이다.

입자의 위치가 불확실해지는 정도(분산)는 경과한 시간 간격 $\Delta t$ 에 선형적으로 비례( $\sigma^2 = \Delta t I$ )하여 커진다.

DDPM의 순방향 과정은 가우스 증분의 성질은 유지하지만, 정상성은 포기한 모델이다. DDPM은 시간에 따라 노이즈의 크기를 다르게 조절하기 위해 사전에 정의된 분산 스케줄 $\beta_1, \dots, \beta_T$ 을 도입한다. DDPM의 실험 설정에 따르면 $\beta_1 = 10^{-4}$ 에서 $\beta_T = 0.02$ 로 선형적으로 증가시킨다. 즉, 스텝 $t$ 가 커질수록 더 큰 분산을 가진 정규 노이즈를 주입합니다. 시작 시점 $t$ 에 따라 증분의 분산 분포가 달라지므로, DDPM의 확산 과정은 비정상 가우스 증분(non-stationary gaussian increments)을 가진 마르코프 연쇄로 보는 것이 타당하다.

논문 수식 (1)과 (2)에서 보듯, 순방향 전이 $q(x_t \vert x_{t-1})$ 는 가우스 분포를 따른다. 순방향으로 더해지는 증분(노이즈)이 가우스 분포이고 그 분산 $\beta_t$ 가 충분히 작다면, 이를 역으로 추론하는 사후 확률 $q(x_{t-1} \vert x_t)$ 역시 가우스 분포로 근사할 수 있다. 때문에 $p_\theta(x_{t-1} \vert x_t)$ 를 설계할 때 복잡한 신경망 구조를 사용하더라도, 최종 출력물은 가우스 분포의 평균( $\mu_\theta$ )과 분산( $\Sigma_\theta$ )을 예측하는 단순 회귀문제로 치환될 수 있다.

DDPM에서 이 확산 과정을 신호가 파괴될 때까지 샘플링의 반대 방향으로 점진적으로 가우스 노이즈를 추가하는 마르코프 연쇄로 정의한다.

$$ q(x_1, \dots, x_T \vert x_0) := \prod_{t=1}^T q(x_t \vert x_{t-1}), \quad q(x_t \vert x_{t-1}) := \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t I) \quad (2) $$

여기서 마르코프 연쇄의 각 전이 단계는 브라운 운동의 증분과 같은 역할을 한다.

  • $\beta_t I$ 는 브라운 운동에서 매 스텝마다 더해지는 무작위 충돌(가우스 노이즈)의 분산에 해당하며, $\beta_1, \dots, \beta_T$ 는 분산 스케줄을 의미한다.
  • $\sqrt{1-\beta_t}x_{t-1}$ 항이 바로 앞서 교정한 ‘평균 회귀’ 역할을 한다. 단순히 노이즈만 더하는 것이 아니라 이전 값의 크기를 미세하게 줄여줌으로써, $T$ 번의 스텝이 끝난 후 종착점인 $p(x_T)$ 가 완전한 표준 정규 분포 $\mathcal{N}(0, I)$ 에 수렴하도록 보장한다.

DDPM논문에 따르면, 확산 과정이 아주 미세한 양의 가우스 노이즈로 구성될 때( $\beta_t$ 가 충분히 작을 때), 이를 역으로 거슬러 올라가는 역방향 전이(sampling chain transitions) $p_\theta(x_{t-1}\vert x_t)$ 역시 조건부 가우스 분포로 모델링할 수 있다.
또한, 이렇게 설계된 모델의 역방향 과정 매개변수화는 다중 노이즈 스케일에 대한 Denoising Score Matching 및 어닐링된 랑주뱅 역학을 이용한 샘플링과 동치이다. 샘플링 과정(Algorithm 2) 자체가 $\epsilon_\theta$ 를 데이터 밀도의 학습된 그래디언트로 사용하는 랑주뱅 역학과 유사하게 작동한기 때문이다.

그래디언트에 브라운 운동을 결합하는 것은 무엇인가?

이게 랑주뱅 역학이며 DDPM의 역방향 샘플링이다. 어떤 데이터의 확률 밀도 함수를 $p(x)$ 라고 할 때, 밀도가 높아지는 방향(데이터가 더 진짜 같아지는 방향)을 가리키는 벡터를 그래디언트인 $\nabla_x \log p(x)$ (이를 스코어 함수라고 부름)로 정의할 수 있다.

일반적인 경사 상승법:

$$ x_{t+1} = x_t + \eta \nabla_x \log p(x) $$

이는 그래디언트 방향으로만 이동하며, 결정론적이다. 데이터 밀도가 가장 높은 단 하나의 꼭대기(mode)로 수렴하고 멈춘다.

랑주뱅 역학(그래디언트 + 브라운 운동):

$$ x_{t+1} = x_t + \frac{\eta}{2} \nabla_x \log p(x) + \sqrt{\eta} \epsilon_t \quad (\epsilon_t \sim \mathcal{N}(0, I)) $$

여기에 브라운 운동의 정규 증분 항인 $\epsilon_t$ 를 더합니다. $\eta$ 는 스텝 크기를 의미한다.

생성모델의 목표는 가장 완벽한 ‘단 하나의 가짜 이미지’를 만드는 것이 아니라, 데이터 분포 $p(x)$ 전체를 따르는 ‘다양한 이미지’를 샘플링하는 것이다. 그래디언트만 따라가면, 어떤 무작위 노이즈에서 출발하든 가장 가까운 로컬 미니멈(또는 맥시멈) 하나로 모이게 된다(mode collapse). 반면, 그래디언트가 밀집 지역으로 당기는 힘을 작용할 때, 브라운 운동 항이 끊임없이 입자를 무작위로 흔들어주면, 입자는 한 곳에 멈추지 않고 $p(x)$ 의 밀도에 비례하여 공간 전체를 배회하게 된다. 결과적으로 모델은 매번 다른 이미지를 생성할 수 있게 된다.

일반적인 랑주뱅 역학은 노이즈 수준이 고정되어 있어, 여러 개의 고립된 피크(다봉 분포)를 가진 복잡한 고차우너 데이터 공간에서는 피크 사이를 넘어다니지 못하는 문제가 있다. 이를 해결하기 위해 DDPM이나 SBM은 노이즈의 크기를 점진적으로 줄여가는 어닐링된 랑주뱅 역학을 사용한다. 큰 노이즈(강한 브라운 운동)로 넓은 공간을 탐색하게 한 뒤, 브라운 운동의 강도를 점점 줄이면서 세밀한 그래디언트를 따라가도록 스케줄링하는 것이다.