스코어 기반 생성 모델의 핵심은 데이터의 확률 밀도 함수가 가진 기하학적 형태를 신경망을 통해 학습하고, 이를 역추적하여 새로운 데이터를 샘플링하는 것이다.

첫째, 데이터 공간에 가우시안 노이즈를 여러 단계의 크기로 주입하여 원래의 데이터 분포를 무작위 노이즈 분포로 변형한다.

둘째, 각 노이즈 단계에서 데이터의 확률 밀도가 가장 가파르게 증가하는 방향을 지시하는 벡터장인 스코어를 신경망이 추정하도록 최적화한다.

셋째, 생성 과정에서는 완전한 무작위 노이즈에서 출발하여, 신경망이 추정한 스코어 벡터의 방향으로 입자를 이동시킨다. 이때 결정론적 이동과 함께 계산된 확률적 섭동을 부여하여 공간을 탐색하며, 최종적으로 실제 데이터가 밀집한 확률 분포 영역으로 입자를 이동시켜 데이터를 생성한다.

양송의 논문은 기존 모델들의 구조적 한계를 수학적으로 재정의하고 통합한 연구이다. 주요 기여는 다음과 같다.

• 확률 미분 방정식(SDE)을 통한 연속적 통합 기존 SMLD와 DDPM 모델이 유한하고 이산적인 노이즈 단계를 사용했던 것을 넘어, 시간 변수를 연속적인 차원으로 확장하여 노이즈 주입 및 제거 과정을 확률 미분 방정식으로 모델링했다.

• 기존 방법론의 동치성 증명 및 프레임워크 통합 SMLD는 분산 폭발(VE) SDE의 이산화 형태이고, DDPM은 분산 보존(VP) SDE의 이산화 형태임을 증명하여 두 생성 모델을 단일 프레임워크로 통합했다.

• 예측-교정(Predictor-Corrector) 샘플러 제안 수치적 SDE 해법(Predictor)과 랑주뱅 동역학과 같은 MCMC 기법(Corrector)을 결합한 하이브리드 샘플링 알고리즘을 제안하여 생성 결과물의 품질을 향상시켰다.

• 확률 흐름 상미분 방정식(Probability Flow ODE)의 유도 확률적 변동 항이 포함된 역방향 SDE와 동일한 확률 밀도 궤적을 가지는 결정론적 상미분 방정식을 유도했다. 이를 통해 모델의 정확한 로그 우도(Exact Log-likelihood) 계산과 잠재 공간에서의 데이터 조작을 가능하게 했다.

• 무조건부 모델의 제어 가능한 생성(Controllable Generation) 확장 추가적인 모델 재학습 없이, 기학습된 무조건부 스코어 모델의 연속적 구조를 활용하여 인페인팅, 색상화 등의 역문제(Inverse Problems)를 해결하는 방법론을 증명했다.