열역학 제2법칙은 시스템의 엔트로피 증가를 규정하고, 중심극한정리는 확률 분포가 정규분포로 수렴함을 규정한다. 이 두 개념을 연결하는 것이 최대 엔트로피 원리(maximum entropy principle)이다. 일정한 분산 조건에서 섀년 엔트로피를 최대화하는 확률 분포는 정규분포이므로, 두 법칙은 논리적으로 일치한다.

통계역학적 수렴:

거시적인 물리계는 무수히 많은 미시 입자들의 운동으로 구성된다. 개별 입자들의 운동량과 같은 상태 변수는 독립적인 확률 변수로 취급할 수 있다. 이 미시적 확률 변수들이 누적되어 거시적 관측량을 형성할 때, 중심극한정리에 의해 그 통계적 분포는 정규분포에 수렴한다. 볼츠만의 공식에서 미시 상태수가 최대가 되는 열평형 상태느 입자들의 상태가 중심극한정리에 따라 정규분포를 이룰 때 달성된다.

정보이론적 증명과 엔트로피의 단조 증가:

중심극한정리는 정보이론의 관점에서 직접적으로 증명된다. 배런의 정보이론적 중심극한정리 증명에 따르면, 독립적이고 동일한 분포(i.i.d)를 따르는 확률 변수들의 정규화된 합이 갖는 엔트로피는 변수가 더해질 수록 단조 증가한다. 확률 변수들의 정규화된 합을 $Z_n$ 이라고 할 때, 엔트로피 $H$ 의 변화는 다음과 같다.

정규화된 합의 엔트로피는 지속적으로 증가하여 최종적으로 표준 정규분포의 엔트로피에 수렴한다. 이 수학적 정리는 고립계의 엔트로피가 시간의 흐름에 따라 감소하지 않는다는 열역학 제2법칙 $\Delta S \ge 0$ 의 정보이론적 동치이다.

Diffusion 모델에서의 기하학적 해석:

디퓨전의 forward 과정은 초기 데이터 분포에 매 시간 단계마다 독립적인 가우스 잡음을 누적시키는 마르코프 연쇄 과정이다. 중심극한정리에 의해, 어떠한 형태의 복잡한 초기 데이터 분포라도 독립적인 잡음 누적 과정(convolution)을 무한히 거치면 최종 상태는 등방성 가우스 분포 $\mathcal{N}(0, I)$ 가 된다. 잠재 공간 내의 저차원 다양체에 집중되어 있던 데이터가 forward 과정을 통해 가우시안 쉘 영역으로 확산되는 현상은 중심극한 정리와 열역학 제2법칙이 수학적으로 동일한 궤적을 따른다는 것을 보여준다.

결과적으로 중심극한 정리는 수학적 확률 분포의 관점에서, 열역학 제2법칙은 물리적 상태의 비가역적 확산 관점에서 시스템의 변화를 기술한다. 두 법칙 모두 다변수 복합 시스템이 가장 확률이 높은 상태이자 엔트로피가 최대화된 정규분포 상태로 귀결된다는 공통된 원리에 기반한다.

최대 엔트로피 원리란 제한된 정보가 주어졌을 때, 해당 제약 조건을 만족하는 여러 확률 분포 중에서 엔트로피가 최대가 되는 분포를 선택해야 한다는 통계적 추론 원칙이다.

이 원리의 수학적 의의는 알고 있는 정보 외에 어떠한 자의적인 가정도 추가하지 않음을 보장하는 데 있다. 불확실성(엔트로피)을 최대화한다는 것은, 주어진 제약 조건 하에서 가장 무작위하고 편향되지 않은 상태를 채택한다는 것을 의미한다. 라그랑주 승수법을 활용하여 제약 조건을 만족하면서 엔트로피 범함수를 최대화하는 함수를 해석학적으로 구하는 방식으로 적용된다.

엔트로피 범함수란 무엇인가?

일반적인 함수가 실수나 벡터를 입력으로 받아 실수를 출력한다면, 범함수(functional)는 함수 자체를 입력받아 실수를 출력하는 매핑이다.

속 확률 변수의 확률 밀도 함수를 $f(x)$ 라고 할 때, 미분 엔트로피를 계산하는 식 자체가 범함수이다. 엔트로피 범함수 $H[f]$ 는 다음과 같이 정의된다.

적분 기호 안의 연산은 입력된 함수 $f(x)$ 의 형태에 따라 결과값 $H[f]$ 를 결정한다.

함수 $y=g(x)$ 의 극값을 찾기 위해 미분을 사용하듯, 범함수 $H[f]$ 의 극값을 만드는 함수 $f(x)$ 를 찾기 위해서는 변분법을 사용한다.

일정한 평균 $\mu$ 와 분산 $\sigma^2$ 을 가진다는 제약 조건 하에서 최대 엔트로피 분포를 찾는 과정은 세 가지 제약 조건 범함수를 설정하는 것으로 시작한다.

• 확률의 총합: $\int f(x) dx = 1$

• 평균 조건: $\int x f(x) dx = \mu$

• 분산 조건: $\int (x-\mu)^2 f(x) dx = \sigma^2$

제약 조건들과 엔트로피 범함수 $H[f]$ 를 라그랑주 승수 $\lambda_0, \lambda_1, \lambda_2$ 를 이용해 하나의 라그랑주 범함수 $\mathcal{L}[f]$ 로 결합한다.

범함수의 1차 변분이 0이 되는 $\frac{\delta \mathcal{L}}{\delta f} = 0$ 을 만족하는 $f(x)$ 를 계산한다. 방정식을 풀면 $f(x)$ 가 정규 분포의 확률 밀도 함수 형태를 갖추게 된다.

일정한 분산 조건이란 최대 엔트로피 원리를 적용할 때 수학적으로 부여하는 제약 조건 중 하나이다. 실수 전체 구간 $(-\infty, \infty)$ 에서 정의되는 연속 확률 변수의 엔트로피를 최대화하려 할 때, 제약 조건이 없으면 확률 밀도는 무한한 구간으로 한없이 넓게 퍼지려 한다. 이때 확률 변수 $X$ 에 대해 기댓값 $\mathbb{E}[X] = \mu$ 와 분산 $\text{Var}(X) = \sigma^2$ 이 특정한 상수로 고정되어 있다는 정보를 제약 조건으로 설정하는 것을 일정한 분산 조건이라고 한다.

섀넌 엔트로피란?, 섀넌 엔트로피를 최대화한다는 확률분포는 어떤 확률분포인가?

확률 변수가 지닌 불확실성의 크기, 또는 그 상태를 관측했을 때 얻을 수 있는 평균 정보량을 정량화한 수학적 척도이다.

이산확률 변수 $X$ 의 확률 질량 함수가 $P(x)$ 일 때, 섀넌 엔트로피 $H(X)$ 는 다음과 같다.

연속 확률 변수의 경우 미분 엔트로피 $h(X)$ 로 확장되며, 확률 밀도 함수 $f(x)$ 에 대해 다음과 같이 정의된다.

섀넌 엔트로피를 최대화하는 확률 분포는 시스템에 부여된 제약 조건의 형태에 따라 해석적으로 다르게 도출된다.

첫째, 유한한 구간 $[a, b]$ 만 주어지고 다른 제약이 없을 때 엔트로피를 최대화하는 분포는 균등 분포(Uniform distribution)이다.

둘째, 구간이 $[0, \infty)$ 이고 평균 $\mu$ 가 일정한 상수로 주어졌을 때 엔트로피를 최대화하는 분포는 지수 분포(Exponential distribution)이다.

셋째, 구간이 $(-\infty, \infty)$ 이고 평균 $\mu$ 와 분산 $\sigma^2$ 이 일정한 상수로 주어졌을 때 엔트로피를 최대화하는 분포는 정규 분포(Normal distribution)이다.

이산확률 변수의 섀넌 엔트로피 공식은 개별 사건의 자기 정보를 수식화하고, 그 계에 속한 전체 상태의 기댓값을 구하는 연역 과정을 통해 도출된다. 이 연역 과정은 특정 사건 $x$ 가 관측되었을 때 얻는 정보량 $I(x)$ 가 만족해야 할 세 가지 공리에서 기인한다.

첫째, 정보량은 음수가 될 수 없다. 어떠한 사건을 관측하더라도 불확실성이 증가하지는 않으므로 $I(x) \ge 0$ 이다.

둘째, 확률이 1인 사건은 발생이 확정적이므로 관측을 통해 얻는 새로운 정보가 없다. 즉 $P(x)=1$ 일 때 $I(x)=0$ 이다.

셋째, 두 독립 사건 $x$ 와 $y$ 가 동시에 발생했을 때의 총 정보량은 각 사건의 정보량을 합산한 값과 일치해야 한다. 독립 사건의 결합 확률은 두 확률의 곱인 $P(x,y) = P(x)P(y)$ 로 계산된다. 이를 바탕으로 다음 방정식이 성립해야 한다.

곱으로 결합된 변수를 합의 형태로 변환할 수 있는 연속 함수는 로그 함수뿐이다. 따라서 $I(x)$ 는 $\log P(x)$ 에 비례해야 한다. 확률 $P(x)$ 의 치역은 $[0, 1]$ 이므로 로그 함수값은 음수가 산출된다. 첫 번째 공리인 $I(x) \ge 0$ 을 만족하기 위해 음의 부호를 추가하여 양수로 변환한다. 이진수 기반 시스템을 상정하여 밑을 2로 설정하면 개별 사건의 자기 정보량을 다음과 같이 정의할 수 있다.

이산확률 변수 $X$ 가 상태 $x_1, x_2, …, x_n$ 을 가지고 각각의 확률이 $P(x_1), P(x_2), …, P(x_n)$ 이라고 가정한다. 섀넌 엔트로피 $H(X)$ 는 이 확률 변수 $X$ 가 가질 수 있는 모든 사건에 대한 자기 정보 $I(X)$ 의 기댓값으로 정의된다.

이산확률 변수의 함수 $f(X)$ 에 대한 기댓값 연산자 $\mathbb{E}[f(X)]$ 는 $\sum P(x)f(x)$ 로 계산된다. 이 기댓값 연산 공식의 $f(X)$ 자리에 앞서 도출한 자기 정보 $I(X)$ 를 대입한다.

섀년의 세 가지 공리, 특히 독립 사건의 결합 확률 가법성 $I(P(x)P(y)) = I(P(x)) + I(P(y))$ 을 만족하는 유일한 해가 로그 함수임을 통해 섀넌 엔트로피의 형태가 결정되었다. 발생 확률 $P$ 인 사건을 이진 코드로 압축할 때 필요한 이론적 최소 비트 수가 $-\log_2 P$ 이며, 전체 상태 변수에 대해 이 비트 수의 가중 평균을 구한 것이 계의 전체 엔트로피라는 의미이다.

새넌 엔트로피에서 로그의 밑으로 2를 사용하는 이유는 정보량의 단위를 비트(bit)로 정의하고, 시스템의 불확실성을 해소하는 데 필요한 이진 결정의 횟수로 의미를 부여하기 위함이다.

정보이론에서 특정 사건 $x$ 를 관측했을 때 얻는 정보량인 자기 정보 $I(x)$ 는 발생 확률 $P(x)$ 의 역수에 대한 로그함수로 정의된다.

발생 확률이 정확히 절반( $P(x) = 1/2$ )인 두 가지 배타적 사건으로 구성된 시스템을 가정할 때, 밑이 2인 로그를 사용하면 $I(x) = -\log_2(1/2) = 1$ 이 산출된다. 이는 해당 시스템의 상태를 확정하여 불확실성을 제거하기 위해 한 번의 이진 질의가 필요함을 나타낸다.

또한 이는 디지털 시스템의 물리적인 구조를 반영하기 위함인데, 1948년 클로드 섀넌이 정보이론을 제안한 주요 목적은 통신 채널을 통한 데이터 전송의 한계를 규명하는 데 있었다. 통신 장비나 컴퓨터 회로는 두 가지 물리적 상태를 기반으로 작동한다. 로그의 밑을 2로 설정하면 계산된 엔트로피 값이 데이터를 인코딩하는 데 필요한 물리적 이진 소자의 최소 개수와 산술적으로 연결된다.

엔트로피 공식에서 로그의 밑을 2가 아닌 다른 양의 상수로 지정해도 엔트로피 범함수의 볼록성이나 최대화 조건 등 본질적인 특성은 유지된다. 로그의 밑 변환 공식에 의해 기저의 변경은 단순히 전체 값에 상수를 곱하는 선형 변환이다.

따라서 수식에 적용할 로그의 밑은 측정의 단위를 선택하는 문제이다.

로그의 밑이 2일 때 단위는 비트(bit) 또는 섀넌(shannon)이며, 이산수학과 컴퓨터 과학에서 데이터 크기를 계산할 때 사용한다.

로그의 밑이 자연상수 $e$ 일 때 단위는 내트(nat)이며, 미분 연산이 용이하여 연속 확률 분포를 다루는 기계학습의 손실 함수 최적화나 통계역학에서 주로 사용한다.

볼츠만의 공식은 무엇인가?

‘i.i.d.를 따르는 확률 변수들의 정규화된 합’에서 정규화된 합이란 무엇인가?

확률 변수의 개수(n)이 커질수록 그 합의 정보량(엔트로피, $H$ )이 커진다는 뜻인가?

이때 컨볼루션이란 무엇인가? CNN에서 합성곱(convolution)과 연관이 있는가?

등방성 가우스분포란 각 변수의 분산이 같고 일정한 가우스분포를 의미하는가? 이때 분산이 1이 아니어도 등방성이라고 할 수 있는가?

가우시안 쉘이란?

열역학 제2법칙(엔트로피 증가)과 중심극한정리(CLT)는 같은 개념을 다른 관점에서 해석한 것이다.

동전을 100개 던지는 상황을 생각해보자. 100개가 모두 ‘앞면’이 나올 경우의 수는 단 1가지뿐이다. 극도로 정돈된 상태(낮은 엔트로피)이며, 중심극한정리에서도 양극단의 꼬리(tail)에 해당하여 발생할 확률이 0에 가깝다.

반면 앞면 50개, 뒷면 50개가 섞여서 나올 경우의 수는 $10^{29}$ 가지가 넘는다. 가장 지저분하게 섞인 무질서한 상태(높은 엔트로피)이며, 발생할 확률이 압도적으로 높기 때문에 중심극한정리에서 정규분포의 봉우리(mode)를 형성한다.