환각(hallucination)은 원래 정신의학 용어로, 아무런 감각 기관의 자극이 없음에도 마치 어떠한 사물이 있는 것처럼 대상 없는 지각을 하는 증상을 뜻한다. 실제로 입력이 있던 감각 정보를 잘못 체험하는 착각과는 구분된다. 인공지능 분야에서의 할루시네이션은 이러한 인간 심리학의 환각 현상에 빗댄 개념이다. 모델이 정확하지 않거나 무의미한 정보를 생성하는 현상을 지칭하며, 이는 모델이 학습 데이터에서 발견한 패턴을 바탕으로 추론을 시도하기 때문에 발생한다. 학습을 기반으로 그럴듯한 응답을 만들려고 노력하는 과정에서, 모델은 문법적이나 통계적으로는 합리적이지만 실제 사실이나 논리적 일관성과는 거리가 먼 결과를 표출하게 된다.

이러한 현상이 발생하는 근본적인 이유는 생성 모델이 가진 태생적 딜레마에 있다. 생성 모델의 궁극적인 목표는 유한한 학습 데이터셋을 바탕으로, 데이터가 존재할 수 있는 무한한 연속적 확률 밀도 함수를 추정하는 것이다. 이 과정에서 신경망은 필연적으로 학습 데이터가 한 번도 존재한 적 없는, 비어 있는 고차원 공간에 확률 질량을 할당하게 된다. 유한한 데이터로 무한한 연속 공간을 덮으려는 이 시도 속에서, 모델은 빈 공간의 좌표를 입력받았을 때 자신의 귀납적 편향에 의존하여 무의미한 데이터를 유의미한 것처럼 포장해낸다. 이것이 바로 생성 모델에서 할루시네이션이 잉태되는 출발점이다.

만약 모델이 할루시네이션을 완벽하게 0%로 만들고자 한다면, 모델이 예측하는 확률 분포 함수는 학습 데이터가 존재하는 정확한 좌표에만 확률 질량을 부여하는 디랙 델타 함수들의 합으로 수렴해야 한다. 이 경우 수식은 다음과 같은 형태를 띠게 된다.

이러한 상태에 도달하면 모델은 미지의 영역을 유추하는 일반화 능력을 잃고 오직 학습 데이터만을 앵무새처럼 복사하는 단순 암기 기계로 전락하여 생성 모델로서의 자격을 상실하게 된다. 따라서 할루시네이션은 단순한 연산 오류나 노이즈가 아니라, 기계가 일반화를 달성하기 위해 지불해야 하는 수학적 필연이자 부산물이다.

이때 모델이 학습하지 않은 빈 공간을 메우는 원동력이 바로 귀납적 편향이다. 귀납적 편향이란 모델이 훈련 데이터에 없는 미지의 정보에 대해 예측을 수행할 때 스스로 가정하는 사전 지식이나 수학적 제약 조건을 의미한다. 기계학습 모델은 텅 빈 백지상태에서 시작하지 않는다. 대표적인 예로 합성곱 신경망은 가까운 픽셀끼리는 서로 강한 관련이 있을 것이며 위치가 바뀌어도 패턴은 동일하다는 지역성 및 병진 불변성의 편향을 가진다. 트랜스포머 모델은 데이터의 거리에 상관없이 시퀀스 내의 모든 요소가 상호작용한다는 전역적 수용 영역, 즉 전역적 어텐션 편향을 지닌다. 또한 신경망 구조 자체가 함수적 연속성을 가지기 때문에, $f(1)=10$ 이고 $f(3)=30$ 이라면 가르쳐주지 않아도 $f(2)$ 는 $20$ 근처일 것이라고 보간해버리는 강력한 편향을 수반한다. 목적 함수에 추가하는 $L_2$ 나 릿지 같은 정규화 기법 혹은 드롭아웃 역시 가중치의 노름이 작을수록 더 좋은 가설이라는 통계적 편향을 주입하여 고주파 진동을 억제하는 귀납적 편향의 일종이다.

이러한 귀납적 편향을 바탕으로 도출된 생성물의 오차 구조를 파악하기 위해, 디코더가 생성한 고차원 벡터를 수식으로 분해해 볼 수 있다. 재복원된 고차원 벡터는 원본 데이터, 재복원 오차, 그리고 환각 오차의 합으로 정의된다.

여기서 재복원 오차를 완전제곱식으로 표현하면 다음과 같이 전개된다.

단순 복원 오차인 $\epsilon_{rec}$ 가 병목 현상으로 세부 정보가 날아가 이미지가 흐릿해지는 정보의 손실이라면, 환각 오차인 $h_{hall}$ 은 잃어버린 정보 대신 모델이 임의의 특징을 채워 넣어 구조적 허구를 만들어내는 정보의 왜곡을 의미한다.

이 환각 오차를 판단하는 기준은 생성물이 데이터가 가질 수 있는 유효한 구조, 즉 참 매니폴드 안에 들어와 있는가에 달려있다. 기하학적으로 고차원 데이터는 전체 공간에 퍼져있는 것이 아니라, 실제 물리 법칙이나 의미를 만족하는 극도로 얇고 희소한 띠 형태의 저차원 매니폴드 상에만 존재한다. 만약 모델이 학습 데이터 집합 $\mathcal{M}_{train}$ 에는 없지만 실제 세계의 논리적 구조를 따르는 $\mathcal{M}_{true}$ 위의 새로운 지점을 찾아내어 환각 오차를 생성했다면, 우리는 이를 창의성이나 상상이라고 부르며 유의미한 할루시네이션으로 평가한다. 반면 환각 오차가 이 논리적 매니폴드를 완전히 벗어나 기괴하게 깨진 덩어리를 형성했다면, 이는 무의미한 할루시네이션이자 망상적 오류로 분류된다.

환각을 수학적으로 탐지하기 위해서는 디코더가 생성한 결과물이 실제 데이터 매니폴드로 사영시킨 점과 얼마나 멀리 떨어져 있는지를 측정해야 하며 이는 다음과 같은 비례 관계로 표현된다.

잠재 밀도 불일치 영역, 즉 가우시안 쉘 위에는 존재하지만 실제 매니폴드에는 대응되지 않는 빈 공간을 디코더가 강제로 매니폴드로 끌어내리려 할 때 논리적 단절이 발생한다. 또한 매니폴드의 곡률이 급격히 꺾이는 지점에서 일관성이 깨지기 쉬우므로, 잠재 공간을 미세하게 변화시켰을 때 생성 이미지의 변화량인 야코비안 행렬의 특이값이 비정상적으로 튀는 불안정한 지역을 분석하는 곡률 분석 기법이 환각 탐지의 핵심으로 활용된다.

이러한 수학적 배경 위에서 변분 오토인코더와 적대적 생성 신경망은 극단적으로 다른 확률론적 해석을 띠며 서로 다른 형태의 환각을 발생시킨다. 변분 오토인코더는 명시적 확률 밀도 모델링을 위해 한계 우도의 증거 하한인 ELBO를 극대화한다. ELBO 수식은 재구성 손실과 쿨백-라이블러 발산 정규화 항으로 구성된다. 쿨백-라이블러 발산은 잠재 공간의 연속성을 보장하지만, 이 과정에서 모델은 순방향 발산 $D_{KL}(P\vert Q)$ 의 비대칭적 특성, 즉 0 기피 및 모드 포괄성에 지배된다. 목표 분포의 모든 질량을 무조건적으로 덮으려는 이 평균 지향적 압박은 다중 모드 사이의 광활한 빈 공간에까지 확률 질량을 할당하게 만든다. 결과적으로 변분 오토인코더는 이 빈 공간에서 샘플링된 좌표를 무리하게 보간하려 시도하며, 원본에 없던 특징들이 기괴하게 얽히거나 가장자리 경계선이 심각하게 뭉개지는 흐릿함이라는 고유의 환각을 발생시킨다. 여기서 유의할 점은 수학적 편의를 위해 인위적으로 덮어씌운 통계적 껍질인 가우시안 쉘과 데이터의 내재적 구조인 얇은 참 매니폴드는 서로 다르다는 것이다. 변분 오토인코더의 환각은 모델이 완벽한 구형인 가우시안 쉘을 걷고 있지만 그 발밑에 참 매니폴드가 없는 허공 구역을 밟았을 때 강제적인 사영을 시도하며 일어난다.

반면 적대적 생성 신경망은 명시적인 확률 밀도를 가정하지 않고 생성자와 판별자의 최소-최대 게임을 통해 데이터를 합성하는 암묵적 분포 매칭을 시도한다. 최적의 판별자를 가정한 상태에서 이 모델의 목적 함수는 젠슨-섀넌 발산을 최소화하는 것과 같으며, 이는 실질적으로 역방향 쿨백-라이블러 발산 $D_{KL}(Q\vert P)$ 의 통계적 양태를 강하게 띤다. 역방향 발산은 실제 데이터 밀도가 없는 영역에 생성 분포를 할당할 경우 막대한 페널티를 부과하므로, 모델은 페널티를 회피하기 위해 0 강제 특성을 발달시킨다. 이로 인해 모델은 여러 모드를 덮는 것을 포기하고 판별자를 속이기 쉬운 가장 무거운 단일 모드에만 확률 분포를 뾰족하게 수렴시키는 모드 지향성을 갖게 된다.

더욱이 적대적 생성 신경망의 동시 경사 상승 및 하강 과정에서 생성되는 그래디언트 벡터장은 상호 배타적인 특성으로 인해 소용돌이가 존재하는 비보존적 벡터장을 형성한다. 이 벡터장의 야코비안 행렬은 순수 허수 고유값이나 실수부 대비 극단적으로 큰 허수부 고유값을 띠어 내쉬 균형으로의 국소적 수렴을 방해하고 영원한 진동을 유발한다. 이러한 동역학적 불안정성과 역방향 발산의 편향이 결합하여, 이 모델은 시각적으로는 면도날처럼 날카롭고 사실적이지만 데이터의 본래 다양성이 완전히 삭제되고 극소수의 획일화된 이미지만 무한 반복 복제되는 모드 붕괴라는 치명적인 환각에 빠지게 된다.

변분 오토인코더의 흐릿함과 적대적 생성 신경망의 모드 붕괴를 극복하기 위해 학계는 다양한 하이브리드 아키텍처와 새로운 생성 모델론을 구축해왔다. 두 모델의 결합형 아키텍처는 픽셀 단위 $L_2$ 오차가 유발하는 평균화 현상을 돌파하기 위해 판별자의 은닉층에서 추출된 특징 공간의 지각적 손실을 재구성 지표로 차용했다. 이를 통해 전체 데이터의 다양성을 확보하는 모드 포괄성을 유지하면서도 고주파 텍스처 정보가 살아있는 결과물을 얻어냈다. 더 나아가, 최근의 잠재 확산 모델은 지각적 압축 기술과 확률 미분 방정식 기반의 점수 매칭을 유기적으로 결합했다. 픽셀 공간의 방대한 연산 비용을 저차원 잠재 공간으로 비선형 투영하여 해결하고, 그 공간 위에서 $\nabla_x \log p(x)$ 로 정의되는 스코어 함수를 추적하여 매니폴드를 점진적으로 복원한다. 단 한 번의 점프로 매니폴드에 사영하는 대신 궤적을 세분화하여 벡터장의 안내를 받기 때문에 사후 붕괴나 적대적 진동의 위험 없이 고품질의 연속적인 최적화가 가능해졌다.

잠재 공간 내 빈 공간 문제를 해결하는 또 다른 수학적 돌파구는 공간 자체를 이산화하는 벡터 양자화 접근이다. 무한한 연속 공간 대신 유한한 크기의 코드북을 정의하고 가장 가까운 이산 벡터로 강제 매핑함으로써, 모델은 모르는 좌표를 가장 가까운 아는 좌표로 편입시켜 환각이 발생할 틈 자체를 제거한다. 1차원의 단일 벡터가 아닌 공간적 구조를 유지한 저해상도 특징 맵 그리드를 사용하기 때문에, 연속적 보간 능력은 포기하되 국소적 특징들을 재조합하는 조합적 폭발을 통해 학습 데이터로 단순 회귀하지 않고도 기하급수적인 조합적 일반화를 달성한다. 이 이산화된 그리드 위에는 트랜스포머 계열의 자기회귀 모델이 사전 확률 분포를 부여하여 논리적인 조합 규칙을 세운다.

이러한 생성 모델들의 발전을 넘어 인공일반지능을 향한 궁극적인 지능형 에이전트 설계는, 환각을 단순히 억제해야 할 오류가 아니라 통제된 시뮬레이션의 도구로 부리는 월드 모델 및 조인트 임베딩 예측 아키텍처의 패러다임 전환으로 이어진다. 기존 생성 모델들의 귀납적 편향이 픽셀 오차를 최소화하여 정교한 이미지를 그려내는 것이었다면, 월드 모델의 귀납적 편향은 예측 불가능한 추계학적 고주파 노이즈를 버리고 사물의 위치나 중력과 같은 추상적이고 인과적인 상태의 변화만을 예측하는 데 맞춰져 있다.

이 추상 공간에서 에이전트가 무작위 망상에 빠지지 않고 논리적으로 행동하게 유도하기 위해 에너지 기반 모델의 제약이 도입된다. 에너지는 상태나 궤적이 물리적으로 얼마나 비논리적인가를 측정하는 스칼라 페널티 점수다. 에이전트는 무한대의 에너지를 지닌 절벽을 피해 에너지가 가장 낮은 계곡을 따라 미래의 궤적을 탐색한다. 이때 모든 궤적의 에너지를 0으로 만들어버리는 에너지 붕괴 현상을 방지하기 위해, 오답을 명시적으로 학습시키는 차원의 저주를 동반한 대조 학습 대신 아키텍처에 기하학적 규칙을 강제하는 비대조적 방식이 활용된다. 잠재 벡터 집합 $S$ 의 분산 $\text{Var}(S)$ 를 특정 임곗값 이상으로 극대화하여 공간이 한 점으로 붕괴하는 것을 막고, 각 축 사이의 비대각 원소인 공분산을 0으로 억제하여 축들이 선형 관계를 가지지 않는 직교적이고 독립적인 개념을 학습하도록 강제하는 것이다. 이렇게 정제된 잠재 공간은 단순한 선형 분류기의 선형 탐색을 통해 모델이 내부적으로 물리 법칙이라는 추상적 개념을 선형 분리 가능한 상태로 구축했는지 수학적으로 검증받을 수 있다.

그러나 월드 모델이 구축한 완벽한 물리적, 인과적 논리의 세계관만으로는 에이전트가 인간에게 유익하게 행동할 것이라 보장할 수 없다. 어떤 결과물이 창의적인지 혹은 폐기되어야 할 쓰레기인지를 판별하는 것은 오직 인간의 인지 구조와 효용성이라는 외부 필터에 의해 결정된다. 이를 해결하기 위해 에이전트의 세계관 최상단에 인간의 가치론적, 규범적 논리를 이식하는 인간 피드백 기반 강화학습 기술이 결합된다. 월드 모델에서 물리적으로 유효한 시뮬레이션 궤적을 그려본 뒤, 그 끝에서 인간의 피드백으로 학습된 보상 모델을 거쳐 논리적이고 미학적인 잣대를 스스로 검열하고 기각할 수 있게 만드는 것이 지능형 에이전트 아키텍처의 최종 목표이다.

흥미롭게도 이 필연적인 환각을 무조건 억제하는 대신, 텍스트 생성 모델 등에서는 창의적인 투기적 사고를 유도하기 위해 이를 의도적으로 격려하는 기법들이 활발히 사용되고 있다. 디코더의 마지막 출력층을 1.5에서 2.0 사이의 온도 파라미터 값으로 나누어 소프트맥스 확률 분포를 평탄화함으로써, 가장 확률이 높은 보수적인 답변 대신 꼬리 부분의 낮고 이질적인 확률의 단어들이 선택되도록 유도한다. 이와 함께 누적 확률의 임곗값을 설정하는 뉴클리어스 샘플링을 결합하여 지나친 쓰레기 값을 차단하면서도 변주를 허용한다. 데이터 학습 단계에서는 공상과학 소설이나 철학적 가설 등 상반된 진실이 공존하는 데이터를 의도적으로 주입하여 세상이 고정된 사실로만 이루어지지 않았음을 모델에 각인시킨다. 또한 페르소나를 부여하여 기존 학설을 무시하는 특정한 상황을 강제하거나, 생각의 사슬 기법을 활용하여 이 가설이 사실이라면 어떤 일이 벌어질까라는 질문을 연속적으로 던지게 함으로써, 하나의 작은 환각이 또 다른 투기적 사고로 꼬리에 꼬리를 물고 이어지는 통제된 창의성의 폭발을 이끌어낸다.