Q. 비평형 상태의 물리량 불균형(gradient)은 경사하강법의 그래디언트와 같은 개념인가?

‘다변수 함수에서 가장 가파르게 변하는 방향과 그 크기’를 나타내는 벡터가 gradient( $\nabla$ )이다. 기계학습에서 파라미터 공간에서 오차가 가장 크게(가파르게) 변하는 방향을 알려준다.

비평형 열역학에서 관찰하는 공간은 물리적 3차원 공간이다. $\nabla C$ (농도 기울기)나 $\nabla T$ (온도 기울기)는 공간상에서 입자나 열이 가장 가파르게 차이 나는 방향을 뜻한다.

diffusion 모델의 역과정은 픽셀 공간에서 데이터 확률 분포의 기울기, 즉 $\nabla_{\mathbf{x}} \log p(\mathbf{x})$ 를 따라 이동한다. 이를 스코어라고 부르며, 물리적 농도 기울기를 따라 입자가 이동하는 확산 방정식을 기계학습의 확률 기울기ㅡㄹ 따라 이동하는 과정으로 치환한 것이다.

밀도가 높은 곳에서 낮은 곳으로의 에너지 이동이 열역학 제2법칙인가?

열역학 제2법칙은 고립계의 엔트로피는 항상 증가하는 방향으로 흐른다는 법칙이다.

입자가 특정 구역에 빽빽하게 모여 있는 상태(고밀도)는 질서가 있는 상태(낮은 엔트포리)이다. 이 입자들이 텅 빈 공간(저밀도)으로 퍼져나가서 공간 전체에 균일하게 분포하게 되면, 질서가 무너지고 무질서도가 극대화(높은 엔트로피)된다.

이러한 농도 기울기(gradient)를 해소하려는 거시적 흐름을 물리학에서는 픽의 확산 법칙이라고 부르며, 이 현상의 근본이 열역학 제2법칙이다.

Q. 비평형 상태는 비가역성을 가지는데, 노이즈에서 원본 이미지를 만들어내는 역과정은 어떻게 설명이 되는가?

거시적으로는 비가역적인 확산 과정일지라도, 그 변화를 극도로 미세한 시간 단위( $\Delta t \to 0$ )로 쪼개서 관찰하면, 입자의 미시적인 무작위 움직임은 확률적으로 가우시안 분포를 따르며, 조건부 확률을 통해 그 궤적을 역추적할 수 있다.

Q. 관측된 이미지는 평형 상태인가? 혹은 평형 상태로 흘러가는 상태인가? X

관측된 원본 이미지( $\mathbf{x}_0$ )는 ‘극단적인 비평형 상태’이다. 열역학적 평형 상태란 엔트로피(무질서도)가 최대가 되어 아무런 구조도, 정보도 없는 완벽한 무작위 상태(가우시안 백색 잡음)를 의미한다. 반면, 사람의 얼굴이나 고양이 사진 들은 픽셀들이 아주 특정한 규칙과 질서를 가지고 고도로 밀집된 상태이다. 즉, 자연계에서는 가만히 두면 절대 자발적으로 만들어질 수 없는, 정보의 밀도가 비정상적으로 높은 비평형의 극치이다.

디퓨전의 forward 과정은 이 극단적인 비평형 상태( $\mathbf{x}_0$ )에 노이즈를 주입하여, 자연 법칙에 따라 엔트로피가 최대한 완벽한 평형 상태( $\mathbf{x}_T$ , 백색 잡음)로 강제하는 과정이다.

Q.”이 불균형을 해소하기 위해 밀도가 높은 곳에서 낮은 곳으로 물질이나 에너지를 끊임없이 이동시킨다”는 말은 diffusion에서 말하는 노이즈에서(저밀도 구간) 원본 이미지쪽(고밀도)으로 가능 과정의 역과정인가? 아니면 비평형 상태에서 말하는 고밀도와 기계학습에서 말하는 고밀도(관측된 데이터가 존재하는 공간)의 개념이 약간 다른가?

물리학과 기계학습에서 말하는 밀도의 개념은 서로 반대 방향을 가리킨다.

물리학의 확산 (forward, $t=0 \to T$ ): 입자(픽셀 정보)의 농도.

원본 이미지( $\mathbf{x}_0$ )는 픽셀의 유의미한 정보(입자)가 뭉쳐 있는 고밀도 상태이다. 노이즈를 주입하면 이 정보들이 파괴되며 무작위 공간으로 흩어진다(저밀도로의 이동). 이것이 엔트로피가 증가하는 물리적 확산이다.

기계학습의 생성 (reverse, $t=T \to 0$ ): 확률 밀도( $p(\mathbf{x})$ ).

완벽한 노이즈( $\mathbf{x}_T$ )는 모든 픽셀 조합이 균일하게 발생할 수 있으므로, 진짜 데이터가 될 확률이 거의 없는 저밀도 공간이다. 반면 원본 이미지는 우리가 관측한 데이터이므로 발생 확률이 매우 높은 고밀도 공간이다.

따라서 역과정은 아무런 정보가 없는 저밀도 확률 공간(노이즈)에서, $\nabla_{\mathbf{x}} \log p(\mathbf{x})$ (확률의 기울기)를 보고 진짜 데이터가 모여있는 고밀도 확률 공간으로 수렴하는 과정이다.

Q. $T$ 번의 스텝을 거쳐 백색 잡음이 된다는 것이 백색화(whitening)인가?

백색화는 데이터들 사이에 존재하는 상관관계를 모두 제거하여 서로 독립적으로 만들고, 각 변수의 분산을 1로 맞추는 변환이다.

이미지의 픽셀들은 서로 강한 상관관계를 가진다. (예: 어떤 픽셀이 살색이면 바로 옆 픽셀도 살색일 확률이 높음).

하지만 어떤 이미지에 T번(1,000번)의 노이즈 주입을 거치면, 최종 분포는 $q(\mathbf{x}_T \mid \mathbf{x}_0) \approx \mathcal{N}(\mathbf{0}, \mathbf{I})$ 에 수렴한다. 여기서 공분산 행렬이 항등 행렬이 되었다는 것은, 모든 픽셀들이 서로 아무런 상관관계 없이(독립) 분산이 1인 무작위성을 갖게 되었다는 뜻이다.

공분산행렬을 구하는 것이, 그의 역행렬의 제곱근(백색화 변환 행렬)또한 얻을 수 있는 것인가?

PCA같은 차원축소 알고리즘에서 주성분을 구할 때 특성방정식을 통해 고유값과 고유벡터를 구하는가? 아니면 이렇게 공분산행렬의 역행렬의 제곱근을 구하면 바로 나오는데?

그럼 물리학과 기계학습에서 말하는 밀도의 개념은 비슷하되, 방향의 차이가 있네. 디퓨전의 순방향이 물리학에서 말하는 비평형 -> 평형 상태이고, 역과정이 평형 -> 비평형 상태이고.