목차

• 관찰하고, 개입하고, 상상하는 세 가지 다른 언어
• 14%라는 숫자 뒤에 숨은 서로 다른 이야기

이 글은 ICML 2026 워크숍에서 Elias Bareinboim의 강연 “Towards Causal Artificial Intelligence”를 발표자 1인칭 시점으로 재구성한 것입니다.

고양이 사진 한 장을 최신 모델에게 보여주고 물었다. 이 고양이가 테이블 위 꽃병을 밀어서 떨어뜨리면 어떻게 될까. 아주 단순한 반사실적 질문이다. 굳이 인과관계를 연구하는 사람이 아니어도, 열 살짜리 아이도 이상하다는 걸 알아챌 만한 답이 돌아왔다. 꽃병 주변에 놓여 있던 쿠션들이 흔적도 없이 사라져 있었다. GPT가 그렸고, 구글의 나노바나나가 그렸다. 둘 다 마찬가지였다. 모델들은 “꽃병을 미는 것”과 “무언가 깨지는 것” 사이의 강한 상관관계만 붙잡고, 그 신호를 완성하기 위해 장면에 있던 다른 것들을 조용히 지워버렸다.

이게 왜 흥미로운가 하면, 이건 더 큰 모델이나 더 많은 데이터로 스케일링해서 사라질 문제가 아니기 때문이다. 나는 컬럼비아대에서 코절 AI 랩을 이끌면서 몇 년째 이 질문을 붙잡고 있다. 지금 우리가 가진 시스템들은 언어 유창성이라는 차원에서는 놀랍도록 잘 해내고 있다. 이건 진심으로 인정해야 할 성취다. 그런데 나는 스스로에게 항상 이런 사고실험을 던진다. 컴퓨팅도 무한하고 데이터도 무한하다고 가정해보자. 그러면 우리는 다 된 걸까. 답은 아니오다. 무한한 자원으로도 채워지지 않는 무언가가 있다. 일리야가 최근에 한 말이 있다. 스케일링만으로는 부족하고, 다음 도약을 위해서는 새로운 아이디어가 필요하다고. 얀 르쿤도 비슷한 말을 했다. 스케일링만으로는 세상을 이해하는 시스템에 도달할 수 없다고. 여기서 핵심 단어는 “이해”다.

이 이해의 결핍이 실제로 어떤 모습으로 나타나는지 짚어보면 다섯 가지 정도로 정리된다. 설명을 제공하지 못한다는 것, 불공정하고 비윤리적인 의사결정에 취약하다는 것, 데이터 효율이 형편없이 낮다는 것, 조건이 조금만 바뀌어도 일반화에 실패한다는 것, 그리고 이 거대한 파라미터 공간 안에서 시스템을 원하는 방향으로 조금씩 조정하는 일, 즉 교정 가능성이 거의 불가능하다는 것. 나는 학생들을 가르칠 때 종종 이런 얘기를 한다. 데이터만 더 넣으면 결국 다 해결된다는 믿음이 거의 공리처럼 퍼져 있는데, 데이터란 그저 우리가 관찰하고 있는 현실의 한 단면일 뿐이다. 그리고 그 현실이라는 게 원래 엉망이다. 편향된 사전 확률이 넘쳐나고, 문제투성이다. 이렇게 엉망인 현실에서 샘플링한 데이터로 AI를 학습시키면 무엇을 기대할 수 있을까. 박사 학위가 없어도 답할 수 있는 질문이다. AI에는 타불라 라사 같은 강한 귀납적 편향이 없으니, 그저 그 데이터에 담긴 규칙성을 그대로 흡수할 뿐이다.

이 다섯 가지 문제가 서로 무관한 우연의 집합인지, 아니면 하나의 뿌리를 공유하는지 스스로 물어봤다. 내 결론은, 이 모든 문제의 핵심에는 견고한 인과적 이해의 부재가 있다는 것이다. 그리고 이 진단이 맞다면, 우리가 취해야 할 접근은 과학이 오랫동안 해온 방식과 같아야 한다. 과학은 관찰만 하지 않는다. 개입하고, 진짜 설명을 제공하고, 대안적 현실에 대해, 일어날 수 있었던 다른 버전의 세계에 대해 추론한다.

관찰하고, 개입하고, 상상하는 세 가지 다른 언어

이 지점에서 나는 에이전트와 환경의 관계를 인과적 언어로 다시 모델링하고 싶다. 튜링이 남긴 문장이 있다. 우리가 원하는 것은 경험으로부터 배우는 기계라는 말. 아름다운 말이지만, 여기서 “경험”이라는 단어는 과부하가 걸려 있다. 이 안에 너무 많은 것이 뭉뚱그려져 있다. 에이전트가 세상을 경험하는 방식은 적어도 세 가지로 나뉜다. 하나는 모니터 앞에 가만히 앉아서 관찰만 하는 순수한 수동적 관찰. 둘은 세상에 들어가 직접 개입하고, 무언가를 흔들어보고 그 효과를 확인하는 물리적 행위자로서의 경험. 셋은 머릿속에서 다른 버전의 현실을 시뮬레이션하고 그로부터 배우는 상상, 즉 반사실적 추론이다.

흥미로운 건, 이 세 가지 경험 각각에 완전히 다른 형식언어가 대응한다는 사실이다. 유다 펄이 제안한 이 위계를 펄 인과 위계, 줄여서 PCH라 부른다. 촘스키 위계나 P 대 NP 문제처럼, 표현력의 한계와 그 사이의 트레이드오프를 다루는 위계라고 보면 된다. 첫 번째 층위는 연관적, 혹은 “보는” 층위다. 기호로 쓰면 P(Y|X), X를 관찰했을 때 Y의 확률이다. 이건 지도학습과 비지도학습이 하는 일과 거의 같다. 90년대의 베이지안 네트워크부터 2000년대의 신경망, 지금의 트랜스포머까지, 사실 이 층위의 수학적 의미 자체는 백 년 넘게 그대로다. 달라진 건 스케일뿐이다. 예전엔 다룰 수 없던 억 단위의 차원을 이제 다룰 수 있게 됐을 뿐, 우리는 여전히 사후 확률 분포를 계산하고 있다.

두 번째 층위는 개입이다. P(Y|do(X), C) — 맥락 C를 관찰한 상태에서 X에 물리적으로 개입하고 결과 Y를 관찰한다. 강화학습이 이 층위에 대응한다. 세 번째 층위, 반사실이 진짜 흥미로운 지점이다. 조가 약을 먹었다고 하자. 실제 세계에서 X는 x, Y는 y였다. 그런데 우리는 묻는다. 조가 그 약을 먹지 않았다면 어떻게 됐을까. 이건 실제로 일어난 일과 정반대되는, 가정법적 질문이다. 그리고 여기에 중요한 사실이 하나 있다. 이 반사실 분포에서는 원리적으로도 샘플링이 불가능하다. FDA가 승인하는 무작위 대조군 실험 하나에 500만 달러, 1000만 달러가 들어가고 200명, 300명이 동원되지만, 그것도 관찰 분포나 개입 분포에서 샘플링하는 것이지 반사실 분포에서 샘플링하는 게 아니다. 우리는 시간여행을 할 수 없으니까. 조에게 약을 준 뒤에는, 그를 다시 대안적 조건에 놓고 어떻게 됐을지 관찰할 수 없다. 그런데도 세상 데이터의 99%는 관찰 분포에서 나온다. FDA 임상시험이나 구글의 A/B 테스트처럼 직접 샘플링이 가능한 특수한 경우를 빼면 말이다. 반사실은 상상, 책임, 비난, 이해라는 인간적 개념의 밑바탕이 되지만, 정작 우리는 그 분포로부터 데이터를 가져본 적이 없다.

이게 왜 중요한가. 우리는 지금 신경망 M-hat을 학습시켜서 관찰된, 그러니까 왼쪽에 있는 진짜 분포 M-star를 맞추려 한다. 그런데 정작 우리가 궁금한 건 개입이나 반사실 같은 다른 분포에 대해 M-hat이 뭐라고 답하느냐다. 근본적인 질문은 이거다. M-hat에서의 추론이 언제 타당한가. 다시 말해, 관찰 데이터만 보고 학습한 모델이 언제 M-star가 유도하는 다른 층위의 분포까지 복원해내는가. 이건 생성형 AI뿐 아니라 인과추론, 나아가 과학 전체의 근본 문제다.

14%라는 숫자 뒤에 숨은 서로 다른 이야기

이 문제가 추상적으로 들릴 수 있으니 실제 데이터로 넘어가 보자. 2018년 미국 인구조사 데이터에서 남성과 여성의 급여 차이를 봤더니 14%의 격차가 있었다. 이 숫자 자체는 사실이다. 그런데 질문은 이거다. 왜 이런 일이 벌어지는가. 이 회사를 고소해야 하는가. 나는 이 14%가 성격이 완전히 다른 세 가지 메커니즘으로 만들어질 수 있다는 걸 보여주고 싶다. 첫 번째는 직접효과다. 상사가 지원자의 성별을 보고 곧바로 급여를 다르게 책정하는 경우. 두 번째는 간접효과다. 성별이 교육 수준, 이를테면 박사 학위 취득 여부에 영향을 주고, 그 학위가 다시 급여에 영향을 준다. 법적으로는 이걸 “업무상 필요성”이라 부르며 허용하기도 한다. 세 번째는 스퓨리어스한, 가짜 상관이다. 성별과 국적 사이에 상관관계가 있고, 회사가 실제로는 국적을 기준으로 — 예를 들어 미국 시민권이 없으면 추방 위협에 더 취약하다는 이유로 — 급여를 낮게 책정한다. 표면적으로는 성별을 전혀 언급하지 않았지만, 결과적으로 성별과 급여 사이에 상관이 생긴다.

이 세 메커니즘 모두 같은 14%라는 숫자로 나타난다. 그런데 이걸 인과모델로 분해해보면 완전히 다른 그림이 나온다. 직접효과가 거의 0에 가깝다면 법적으로 문제가 없을 수 있고, 직접효과가 상당하다면 명백한 차별이다. 총변동, 즉 14%라는 단일 숫자만으로는 이 두 상황을 구분할 수 없다. 오직 인과모델을 통해 직접효과와 간접효과, 그리고 가짜 상관을 분리해낼 때만 제대로 된 설명이 나온다. 이게 데이터를 넘어서는 이해라는 게 무엇을 의미하는지 보여주는 한 사례다.

같은 원리를 AI 시스템 자체에 대한 설명으로 가져가 봤다. 색깔이 있는 숫자 이미지로 분류기 두 개를 학습시켰다. 하나는 표준 분류기, 다른 하나는 색과 숫자의 상관을 인위적으로 없앤 로버스트 분류기다. 학습 데이터에서는 색과 숫자가 강하게 상관되어 있었다. 두 분류기 모두 학습 분포에서는 99%의 정확도를 보였다. 그런데 색과 숫자의 상관을 살짝 바꾼 분포로 옮기자, 표준 분류기의 정확도는 18%로 곤두박질쳤다. 여기서 가장 널리 쓰이는 설명 기법인 SHAP을 두 분류기에 각각 적용해봤다. 결과는 실망스러웠다. SHAP은 두 분류기를 전혀 구분하지 못했다. 둘 다 “이게 5라고 판단한 건 숫자의 형태 때문”이라고 말했다. 표준 분류기가 사실은 색깔을 보고 판단하고 있었는데도 말이다. 이유는 단순하다. SHAP은 관찰 층위, 즉 1층 기법이기 때문이다. 그런데 반사실적 방법, 3층 기법을 적용하자 그림이 완전히 달라졌다. 표준 분류기에 대해서는 “이게 5라고 판단한 건 색깔 때문”이라는 정확한 설명이 나왔다. 지금 이 분야에서 수백, 어쩌면 수천 편의 논문이 SHAP 같은 1층 기법으로 해석가능성을 파고들고 있는데, 그 방향으로는 아무리 슈퍼컴퓨터를 돌리고 박사과정 학생들의 시간을 갈아넣어도 답을 찾을 확률이 0에 가깝다.

이 아이디어를 조금 더 흥미로운 시퀀셜한 세팅으로 옮겨봤다. 퐁 게임을 학습시킨 월드모델이다. 학습 환경에서는 21점 만점을 받았다. 그런데 이 모델을 살짝 다른 환경으로 옮겨서 무작위로 화면이 블랙아웃되는 조건을 넣었더니 점수가 21점에서 15점으로 떨어졌다. 왜 이런 일이 벌어졌는지 설명해달라고 하면, 단순한 크레딧 할당 방식은 모든 시점에 걸쳐 뭉개진, 거의 균일한 신호만 내놓는다. 이 전환이 문제였다, 저 전환이 문제였다, 여기저기서 스파이크가 튀지만 실은 아무것도 짚어내지 못하는 것이다. 반면 3층 인과적 방법을 같은 데이터에 적용하자, 정확히 두 개의 전환 지점을 짚어냈다. 영상을 다시 돌려보면, 그 프레임에서 패들이 공에 가깝지만 충분히 가깝지는 않은 순간이었다. 공이 아주 가까이 있을 때 블랙아웃이 오면 어차피 공은 맞을 테니 상관없고, 공이 아주 멀리 있을 때도 회복할 시간이 충분하니 상관없다. 딱 그 중간, 회복할 시간이 부족한 그 찰나에 블랙아웃이 걸릴 때만 진짜로 문제가 생긴다. 알고리즘은 정확히 그 지점을 짚어냈다.

결국 내가 하고 싶은 말은 하나다. 데이터를 맞추는 것과 이해하는 것은 다르다. 모델은 관찰한 것을 완벽하게 재현하면서도 왜 그런 일이 일어나는지는 전혀 모를 수 있다. 조건이 그대로 유지되는 한 이런 모델도 잘 작동하는 것처럼 보인다. 그런데 우리가 새로운 환경으로 옮기거나, 한 번도 데이터를 모아본 적 없는 상황을 마주하거나, 반사실적 질문을 던지는 순간 그 간극이 현실로 드러난다. 나는 이걸 두 개의 축으로 그려보고 싶다. x축은 언어적 유창함이다. 지금 업계 전체가, 오픈AI든 앤트로픽이든, 이 방향으로 놀라운 속도로 나아가고 있다. y축은 인과적 이해다. 우리 같은 인과추론 연구자들은 이쪽에서 수학을 정교하게 다듬어왔지만, 언어의 유창함이라는 뉘앙스는 갖추지 못했다. 내가 제안하고 싶은 건 이 둘을 억지로 봉합하는 게 아니다. 인과성을 그냥 위에 얹는 건, 돼지에게 립스틱을 발라주는 것과 다르지 않다. 우리에게 필요한 건 이 두 언어를 처음부터 하나로 아우르는 시스템이다.

강연이 끝나고 나온 질문 하나가 계속 마음에 남는다. 언어모델이 결국 방대한 텍스트, 그러니까 인류가 쌓아온 인과적 지식의 저장고 위에서 학습되는 거라면, 그 안에 이미 파편화된 인과적 지식이 녹아 있는 게 아니냐는 질문이었다. 맞는 말이다. 그런데 나는 이렇게 답했다. 300년 전으로 돌아가서 그 시대에 쓰인 글로만 시스템을 학습시켰다면, 그 시스템은 태양이 지구 주위를 돈다고 아주 확신 있게 말했을 것이다. 그리고 사람들은 그 말을 믿었을 것이다. 인기 있는 믿음이 진실을 보장하지는 않는다. 언어모델 안에 흩어져 있는 인과적 지식은 분명 활용할 가치가 있는 자원이지만, 그걸 그대로 신뢰할 수 있는 인과 시스템으로 착각해서는 안 된다.

강연장을 나서면서 나는 처음에 보여줬던 그 고양이 사진을 다시 떠올렸다. 사라진 쿠션들. 어쩌면 우리가 지금 만들고 있는 시스템들도 그 쿠션과 비슷한 처지일지 모른다. 눈앞의 신호를 완성하는 데는 능숙하지만, 그 신호 바깥에 무엇이 있었는지는 통째로 지워버리는. 나는 그 격차를 메우는 일이 한 세대의 과제라고 생각한다. 스케일을 더 쌓는 일이 아니라, 우리가 무엇을 보고 있고 무엇을 놓치고 있는지를 정직하게 다시 묻는 일부터.