목차

• 텍스트에는 원래 마음이 안 적혀 있다
• 뉴질랜드의 수도는 오클랜드가 아니다

이 글은 ICML 2026 워크숍에서 들은 기조강연을 발표자 1인칭 시점으로 재구성한 것입니다.

이른 아침 화면 너머로 발표를 시작하면서 제일 먼저 든 생각은, 이 자리에 직접 가지 못해 아쉽다는 것이었다. 올여름 이런저런 사정이 겹쳐 결국 화상으로 함께하게 됐지만, 그래도 이 주제만큼은 꼭 나누고 싶었다. 오늘 이야기하려는 건 에이전트가 얼마나 똑똑한가가 아니라, 얼마나 눈치가 없는가에 관한 것이다.

AI 에이전트를 좀 더 사회적으로 유능하게 만들어야 한다고 생각하는 이유는 여러 가지다. 사용자의 의도는 문자 그대로의 말 너머에 있을 때가 많다. 직접적인 요청일 수도 있지만 때로는 빈정거림일 수도 있다. 에이전트가 자기 행동의 근거를 설명하려면 스스로의 추론 과정도 이해하고 있어야 한다. 같은 말이라도 CEO에게 할 때와 홍보 담당자에게 할 때 지켜야 할 규범이 다르다는 것도 알아야 한다. 그리고 무엇보다, 에이전트가 얼마나 확신하는지를 표현하는 방식 자체가 정직해야 신뢰할 수 있다.

이걸 코딩 에이전트로 좁혀서 생각해보면 더 와닿는다. 사람들은 코딩 작업을 요청할 때 의외로 많이 대충 말한다. 모델이 알아서 눈치껏 이해해주길 바라면서 말이다. 그래서 우리는 SWE-bench를 일부러 모호하게 변형한 AmbigSWE라는 벤치마크를 만들어봤다. 결과는 예상대로였다. 에이전트들은 되묻지 않았다. 그냥 짐작해서 밀어붙이다가 작업을 망쳤다. 반대로 되묻고 개인화하도록 학습시킨 에이전트는 실제 사용자 생산성을 끌어올렸다. 그리고 이번에 함께 발표되는 또 다른 논문에서는, 사용자를 마음속으로 모델링하는 별도의 에이전트를 붙인 이중 에이전트 프레임워크 Sweet를 만들었는데, 실제 개발자들과의 사용자 연구에서 협업의 질이 눈에 띄게 좋아졌다. 결국 에이전트에게 필요한 건 사람을 더 잘 헤아리는 능력이라는 확신이 여기서부터 생겼다.

오늘은 그중에서도 잘 다뤄지지 않는 두 가지 실패 지점을 짚어보려 한다. 하나는 상대를 이해하는 능력, 다른 하나는 자기가 뱉은 말에 대한 확신의 문제다.

텍스트에는 원래 마음이 안 적혀 있다

첫 번째 이야기는 사회적 세계 모델(Social World Models)이다. 이 작업이 정말 딱 24시간 전에 COLM에 억셉트됐다는 소식을 듣고 왔다는 걸 먼저 자랑하고 싶다.

이론적 배경은 마음 이론, 즉 시어리 오브 마인드다. 다른 사람의 마음 상태와 관점을 추론해내는 능력이야말로 인간 사회성의 근간인데, LLM은 이 부분에서 계속 취약한 모습을 보여왔다. 겉으로는 사회적 지능이 있어 보이지만 파고들면 신기루에 가까웠던 경우가 많았다. 내가 이런 현상의 주된 원인으로 지목하는 건 학습 데이터의 리포팅 편향이다. 빙산에 비유하면 이해가 쉬운데, 실제로 글로 쓰이고 기록되는 건 오히려 덜 당연하고 더 놀라운 일들이다. 2013년에 나온 한 유명한 연구는 텍스트 안에서 “숨을 쉰다”와 “총에 맞았다”라는 표현이 얼마나 자주 등장하는지를 세어봤는데, 사람들이 실제로는 숨 쉬는 일이 총 맞는 일보다 압도적으로 흔한데도 텍스트에는 숨쉬기가 다섯 배나 더 적게 등장했다. 당연한 일은 굳이 기록하지 않기 때문이다. 이런 데이터로 학습한 모델이 사람 마음을 잘 읽지 못하는 건 어찌 보면 당연한 결과다.

그래서 우리는 관찰 가능한 정보뿐 아니라 암묵적인 사회적 역학, 즉 마음 상태의 변화까지 명시적으로 담아내는 구조화된 표현을 만들기로 했다. 이름은 S3AP다. 공교롭게도 내 성과 이니셜이 겹치는데, 사실 이 이름은 내가 아니라 내 지도 학생이 지은 거다. 처음엔 재밌다고 생각했는데 나중에 논문에 계속 등장하는 걸 보면서 조금 복잡한 심경이 됐다.

이 표현이 실제로 도움이 되는지 두 가지 실험으로 확인했다. 첫 번째는 정적인 실험이다. 인기 있는 시대극 다섯 편의 대본을 가져다가 구조화된 표현으로 변환하고, 이걸 O1과 GPT-4o 같은 당시 최고 성능 모델들에게 쥐여준 다음 원본 텍스트에 체인오브소트만 적용한 경우와 비교했다. 결과는 전 카테고리에 걸쳐 눈에 띄게 좋아졌고, 다섯 개 벤치마크 중 세 개에서는 아예 최고 성능을 새로 찍었다. 두 번째는 상호작용 실험이다. 우리 그룹이 만든 소토피아(Sotopia) 벤치마크 중 가장 어려운 스무 개 과제를 골라, 이번엔 모델이 직접 사회적 참여자 역할을 연기하도록 했다. 예를 들어 이웃끼리 마당 세일을 하는 상황에서 구매자가 탁자를 사겠다고 하면, 단순한 에이전트는 그냥 “200달러입니다”라고 답한다. 그런데 우리가 만든 “Foresee and Act”라는 탐색 알고리즘을 쓴 에이전트는 다르게 움직인다. 내가 이렇게 말하면 상대는 어떻게 반응할지, 세계 모델을 통해 먼저 헤아려보고 나서 “먼저 할인해드릴까요”처럼 협상 여지를 남기는 말을 고른다. 그 결과 상대가 어떤 모델이든, 어떤 베이스라인과 붙든 상관없이 이 방식이 일관되게 더 좋은 성능을 냈다.

뉴질랜드의 수도는 오클랜드가 아니다

두 번째 이야기로 넘어가자면, 이건 상대를 듣는 능력이 아니라 결과물을 내놓는 방식에 관한 것이다. 질문 하나로 시작해보자. 누군가 뉴질랜드의 수도가 어디냐고 물었을 때, 모델이 자신 있게 “오클랜드입니다”라고 답한다면 어떨까. 혹시 이 자리에서 정답을 아시는 분이 있다면 지금 소리 내어 말해주셔도 좋다. 답을 들었을 수도 있고 못 들었을 수도 있는데, 정답은 오클랜드가 아니다. 그리고 이 사소해 보이는 오답이 진짜 문제인 이유는, 원래 답을 모르는 사람일수록 모델이 확신에 찬 말투로 틀린 답을 줬을 때 그대로 믿어버릴 가능성이 크기 때문이다.

우리는 이런 확신의 표현, 그러니까 인식적 표지(epistemic marker)를 모델이 얼마나 정확하게 쓰는지 살펴봤다. “확실하다”, “틀림없다” 같은 강화 표현과 “잘 모르겠다”, “아마도” 같은 약화 표현으로 나눠서, 먼저 여러 벤치마크의 퀴즈 문제에 확신을 담아 답하도록 모델에게 요청해봤다. 결과는 꽤 명확했다. 모델들은 강화 표현을 훨씬 많이 썼고, 심지어 높은 확신을 표현한 답변 중 47%가 오답이었다. 확신과 정답률이 따로 놀고 있었다는 뜻이다.

그렇다면 사람들은 이런 확신 표현을 어떻게 받아들일까. 이걸 알아보려고 마빈이라는 이름의 AI 에이전트가 등장하는 일종의 게임을 설계했다. 스포클(Sporcle)이라는 사이트에서 가장 어려운 수도 관련 퀴즈들을 골라 마빈에게 물어보고, 참가자들은 마빈의 답을 믿을지 말지를 선택한다. 믿었는데 맞으면 점수를 얻고 틀리면 감점되며, 직접 찾아보기만 하면 아예 점수를 얻지 못하게 설계해서 결국 어느 정도는 마빈을 신뢰할 수밖에 없는 구조로 만들었다. 이 실험은 50시간 넘게 진행됐다. 답을 전혀 보여주지 않고 표현만 보여준 조건, 표현과 답을 함께 보여준 조건, 거기에 정답 여부 피드백까지 보여준 조건, 이렇게 세 단계로 나눠 살펴봤는데 흥미로운 지점이 있었다. 사실 인식적 표지가 하나도 없는 순수한 서술문, 그러니까 그냥 “답은 ~입니다”라는 문장조차 사람들에게는 강한 확신의 표현으로 읽혔다. 실제 답까지 보여준 조건에서는 이런 근거 없는 확신에 참가자의 61%가 그대로 의존했다. 더 놀라운 건 세 번째 조건이다. 마빈이 틀렸다는 피드백을 받은 뒤에도 사람들은 여전히 확신에 찬 답변에 계속 기대는 모습을 보였다.

이 확신이 대체 어디서 왔는지 궁금해서 원조 GPT-3 계열 모델들, 그러니까 davinci 같은 모델들까지 거슬러 올라가 봤다. 학습 파이프라인의 각 단계를 비교해보니 확신 쪽으로 치우치는 편향은 RLHF를 거친 이후에야 뚜렷하게 나타났다. 앤트로픽의 HH 데이터셋에 담긴 사람들의 선호를 들여다보니, 사람들 스스로가 이미 애매한 표현보다 확신에 찬 표현을 더 선호하고 있었다. 그러니 이 선호로 학습된 리워드 모델이 그 편향을 그대로 물려받는 건 자연스러운 결과였다. 후속 연구 “Rely”에서는 사용자가 모델을 따뜻하고 유능하고 인간적이라고 느낄수록 그 모델에 더 의존한다는 것도 확인했는데, 그중에서도 유능해 보인다는 인상이 신뢰에 가장 강하게 작용했다. 모델이 실제로 뭘 말했는지보다, 어떻게 말했는지가 신뢰를 더 많이 좌우하고 있었던 셈이다.

앞으로 더 파보고 싶은 방향도 두 가지 있다. 하나는 에이전트에게 도구를 쥐여주는 순간 불안전한 행동의 여지가 훨씬 넓어진다는 점, 그래서 이런 안전 시나리오를 사람이 일일이 만들지 않고도 대규모로 생성할 방법을 찾는 일이다. 다른 하나는 안전을 순수한 기술 문제로만 보지 않는 것이다. “그건 할 수 없습니다”라고 딱 잘라 말하는 모델보다, 부분적으로라도 요청에 응해주는 모델이 사용자 경험 면에서 훨씬 낫다는 걸 우리는 이미 확인했다. 모델이 사람을 은근히 조종하려 들거나, 사용자가 모델에게 과도한 감정적 애착을 느끼는 문제까지 포함해서, 결국 안전이라는 것도 사람과 어떻게 대화하느냐의 문제로 돌아온다고 생각한다.

질의응답에서 누군가 좋은 질문을 던졌다. 실제 사회적 상황은 늘 열려 있고 여러 해석이 가능한데, 그렇다면 사람의 믿음과 의도에 대한 불확실성 자체를 명시적으로 표현하는 사회적 세계 모델은 어떤 모습일까. 아직 답은 없지만, 하나의 마음 상태만 고정해서 표현하는 대신 “이럴 가능성이 크고, 저럴 가능성도 어느 정도 있다”는 식의 확률적 표현을 쓰는 방향이 떠오른다. 학습이 쉽지는 않겠지만, 꼭 한번 시도해보고 싶은 문제다. 리포팅 편향도 결국 비슷한 이야기다. 인스타그램 피드가 삶의 진짜 단면을 보여주지 않듯, 우리가 무엇을 기록하고 무엇을 침묵하는지는 그 자체로 편향이다. 그 침묵 위에 학습된 모델에게 사람 마음을 온전히 읽어내라고 기대하는 건, 애초에 무리한 주문이었는지도 모른다.