다변량 가우시안 분포의 연산
디퓨전의 forward(노이즈 주입), reverse(디노이징) 과정은 모두 가우시안 분포의 선형결합과 조건부 확률로 정의된다.. 여러 단계를 거치며 노이즈를 한 번에 계산할 수 있는 이유(marginalization)와, 베이즈 정리를 통해 유도되는 사후 분포가 다시 가우시안이 된다는 특성을 증명할 수 있어야 한다. 여기서 정밀도 행렬( $\boldsymbol{\Sigma}^{-1}$ )과 마할라노비스 거리가 기하학적 복원력을 정의하는 핵심이 된다.
고윳값 분해, 대칭 행렬, 이차 형식, 다변수 확률 함수

마르코프 연쇄
현재 상태가 오직 직전 상태에만 의존한다는 메모리리스(Memoryless) 특성이다. 퓨전 모델은 데이터 $\mathbf{x}_0$ 에서 완전한 노이즈 $\mathbf{x}_T$ 로 가는 과정을 $p(\mathbf{x}_{1:T} \mid \mathbf{x}_0) = \prod_{t=1}^T p(\mathbf{x}_t \mid \mathbf{x}_{t-1})$ 의 이산적 시간 궤적으로 모델링한다.
조건부 확률, 전이 확률 행렬

스코어 함수
확률 밀도 함수의 로그에 대한 데이터 공간에서의 그래디언트 $\nabla_{\mathbf{x}} \log p(\mathbf{x})$ 이다. 이는 데이터 분포의 지형(매니폴드)에서 밀도가 높아지는 방향으로 향하는 벡터 필드를 형성하며, 디퓨전 모델에서 U-Net이 실질적으로 학습하고 예측하는 대상(복원력)이다.
다변수 함수의 편미분, 그래디언트 연산자, 헤시안 행렬(스코어 함수의 미분)

랑주뱅 동역학
스코어 함수를 이용하여 특정 확률 분포로부터 샘플을 생성하는 MCMC(markov chain monte carlo)기법이다. $\mathbf{x}_{i+1} = \mathbf{x}_i + \frac{\epsilon}{2} \nabla_{\mathbf{x}} \log p(\mathbf{x}_i) + \sqrt{\epsilon} \mathbf{z}$ 의 점화식을 통해, 무작위 노이즈에서 출발하여 스코어 벡터의 방향으로 이동하며 진짜 데이터의 분포로 수렴해 가는 디노이징의 핵심 메커니즘이다.
스코어 함수, 확률적 기울기 상승법

변분 추론과 증거 하한
다루기 힘든 사후 확률 분포를 다루기 쉬운 분포로 근사하는 방법론이다. 디퓨전 모델(특히 DDPM)은 데이터의 로그 우도를 직접 최대화할 수 없으므로, 젠슨의 부등식을 이용해 전개한 변분 하한을 도출하여 이를 최적화하는 손실 함수로 사용한다.
젠슨의 부등식, 정보 이론 기초(엔트로피)

KL 발산
두 확률 분포 간의 정보량 차이를 비대칭적으로 측정하는 지표이다. 디퓨전 모델의 ELBO 수식을 전개하면 여러 개의 KL 발산 항으로 분해된다. 이때 두 가우시안 분포 간의 KL 발산은 해석적 해를 가지므로, 신경망이 예측한 분포와 수학적으로 계산된 분포 사이의 오차를 직접적으로 미분하여 역전파할 수 있다.
교차 엔트로피, 확률 함수의 기댓값 연산

재매개변수화 트릭
확률 변수의 샘플링 과정을 결정론적 노드(Deterministic node)와 확률적 노드(Stochastic node)로 분리하여 미분 가능성을 확보하는 기법이다. $\mathbf{x} \sim \mathcal{N}(\boldsymbol{\mu}, \sigma^2 \mathbf{I})$ 를 $\mathbf{x} = \boldsymbol{\mu} + \sigma \boldsymbol{\epsilon}$ (단, $\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$ )으로 변환함으로써, 무작위성을 유지하면서도 예측된 평균( $\boldsymbol{\mu}$ )에 대해 역전파 알고리즘을 적용할 수 있게 한다.
미분의 연쇄 법칙, 역전파

확률 미분 방정식
이산적인 시간 스텝 $t$ 로 정의되는 마크로프 연쇄 기반의 디퓨전과 스코어 매칭 모델을 연속적인 시간 차원으로 통합하는 프레임워크이다. forward과정을 특정 SDE로 정의하고, 엔더슨 정리에 의해 유도되는 역시간 SDE를 풀면 데이터가 생성된다는 것을 증명한다.
이토 미적분학, 브라운 운동, 상미분 방정식

매니폴드 가설
고차원 데이터가 실제로는 그 공간 내의 매우 얇고 저차원적인 연속적 표면(매니폴드)에 밀집해 있다는 위상수학적 가설이다. 디퓨전 과정에서 노이즈를 주입하는 이유는 이 좁은 매니폴드 주변의 빈 공간을 확률적으로 메워(support 확장), 스코어 함수가 데이터가 없는 텅 빈 공간에서도 매니폴드를 향하는 올바른 방향 벡터를 학습할 수 있도록 하는 기하학적 근거를 제공하기 위함이다.
고차원 공간의 기하학(가우시안 쉘), 위상 공간의 차원 축소

U-Net 구조
디퓨전 모델에서 시간 스텝 $t$ 와 노이즈가 낀 데이터 $\mathbf{x}_t$ 를 입력받아, 원본 데이터를 복원하기 위한 스코어(또는 노이즈 $\boldsymbol{\epsilon}$ )를 예측하는 실질적인 함수 근사기이다. 인코더-디코더 구조에 스킵 커넥션을 결합하여 픽셀 수준의 미세한 공간적 디테일과 전역적인 문맥을 동시에 유지하며 미분 벡터를 계산해 낸다.
합성곱 신경망, 잔차 연결, 셀프 어텐션