인간 뇌의 시냅스 간 신호 전달을 정확히 알 수 없는 주된 이유는 물리적이고 생물할적인 관측의 한계이다. 즉, 데이터 자체를 수집할 수 없어서 내부를 모르는 상태이다.
반면 인공지능 모델이 블랙박스라고 불리는 진짜 이유는, 수백억에서 수조 개에 달하는 파라미터들이 고차원 공간에서 얽혀서 만들어내는 비선형 변환의 결과를 인간의 인지 능력으로 추적하여 인과관계를 설명할 수 없기 때문이다. 연산 과정은 100% 투명하지만, 그 거대한 연산의 결과가 왜 하필 ‘고양이’라는 결론으로 이어졌는지 그 ‘의미론적 이유’를 역추적하는 것이 수학적으로 너무 복잡하여 불가능에 가깝다.

‘창발’(創: 비롯할 창, 發: 필 발, emergence: 출현, 발생)은 하위 계층(구성 요소)에는 없는 특성이나 행동이 상위 계층(전체 구조)에서 자발적으로 돌연히 출현하는 현상이다(위키백과).
뇌의 뉴런을 하나 떼어놓고 보면 거기에는 ‘자아’나 ‘의식’이 없다. 마찬가지로 AI의 가중치 행렬 하나에는 ‘문맥에 대한 이해’가 없다. 이 단순한 단위들이 셀 수 없이 연결되어 병렬 연산을 수행하는 순간, 거시적인 수준에서 ‘추론’이나 ‘번역’과 같은 고차원적인 지능 현상이 발현된다. 개별 부분의 합으로는 전체의 특성을 연역적으로 설명할 수 없다는 점에서 두 블랙박스는 같은 논리적 맥락을 가진다.
우리는 보통 AI의 내부를 이해하고 통제하고 싶어 하며, 블랙박스를 해결해야 할 문제로 취급한다.
모든 논리적 인과관계가 투명하게 추적 가능한 시스템은 결국 ‘if then’ 규칙의 조합인 전통적인 룰 베이스 프로그램에 불과하다. 이런 시스템은 창의성이나 유연성을 가지지 못한다. 어쩌면 진정한 의미의 ‘이해’, ‘직관’, ‘창의성’이라는 특성은 수많은 변수들의 의도적인 엉킴(얽힘)과 극단적인 복잡한 구조에서 ‘창발‘되는 현상일지도 모른다. 즉, 내부를 완벽히 해석할 수 있는 고차원적인 지능은 애초에 양립할 수 없는 것일 수 있을지도 모르겠다.

설명 가능한, Explainable AI, XAI는 고차원의 비선형 연산 결과를 인간이 인지할 수 있는 저차원의 논리적 인과관계로 역산하는 방법론을 다룬다. 우리가 고차원 데이터를 저차원으로 압축할때, 손실은 필연적으로 발생한다. 그렇다면 XAI를 통해 얻어내는 ‘설명’은 모델의 고차원 연산 과정을 인간이 이해할 수 있는 저차원의 논리로 강제투영하여 생긴 정보의 손실이나 왜곡일 수 있지 않을까?
우리가 AI한테 “왜 이런 결정을 내렸어?”라고 묻는 것은, 마치 AI에게 “네가 수행한 고차원의 연산은 다 무시하고, 인간이 이해할 수 있는 선형적인 논리로 이야기를 하나 꾸며내 봐”라고 요구하는 것과 같은 맥락이 아닌가?

인간은 복잡한 진리를 온전히 파악하지 못할지라도, 문명의 발전과 생존을 위해 행동하고 통제해야만 한다. 때문에 복잡한 세계를 다룰 수 있는 선형적인 인과관계로 치환하여 최적의 해를 찾는 것은 합리적인 생존 전략이다.
임의의 복잡한 비선형 함수라도, 국소적인 영역에서는 선형으로 근사할 수 있다. 때문에, 현재 위치에서 어느 방향으로 이동해야 오차를 줄일 수 있는지, 그 1차원적인 방향성만 확보하면 시스템은 앞으로 나아갈 수 있다.
변수들 간의 관계가 완전히 비선형적으로 얽혀있다면, 입력이 미소량만큼 변화했을 때 출력이 얼마나 변할지 예측할 수 없다. 때문에 시스템을 억지로 선형적인 관계로 해석해 내면, 가중치를 통해 입력의 변화가 출력에 미치는 영향을 정량화할 수 있다.
그렇다면 이러한 선형적인 수학으로 근사하여 쪼개고 분석하는 방식이 고차원 지능이나 기후, 우주와 같은 복잡계에서도 효율적인 접근법인가? 이것들을 이해하기 위해서는 선형성을 벗어나 비선형 시스템을 그대로 수용해야 하는가(애초에 인간이 이걸 할 수 있을까?).