목차

• 되돌릴 수 없는 선택 앞에서, 자기 확신이 필요하다
• 창의성에도 결국 같은 능력이 필요했다

이 글은 ICML 2026 워크숍에서 들은 기조강연을 발표자 1인칭 시점으로 재구성한 것입니다.

이른 아침 시간에 화면 너머로 발표를 시작하면서, 앞서 마틴이 말했던 것처럼 나도 똑같은 인사를 전하고 싶다. 직접 가지 못해 미안하고, 한국 시간으로 이렇게 이른 아침에 함께해준 것에 진심으로 감사하다는 인사다. 오늘 나누고 싶은 이야기는 에이전트를 어떻게 “보정(calibrate)“할 것인가에 관한 것이다.

이야기를 시작하기 전에 시계를 작년으로 조금 되돌려보고 싶다. 그때까지만 해도 우리는 AI 모델을 수학 문제 같은 추론 과제에 쓰는 걸 상상했다. 질문이 들어오면 모델이 한참을 생각하고, 그 생각은 전부 모델 내부에서 일어난다. 토큰을 아무리 많이 써도 결국 모델 혼자만의 인지 과정이고, 끝나면 답을 내놓으면 그만이다. 그런데 에이전트는 완전히 다르다. 코드 저장소 같은 실제 환경과 상호작용하기 때문이다. 생각하고, 행동하고, 그 행동의 결과를 받고, 이 과정을 몇 번이고 반복하다가 마침내 환경에 어떤 변화를 만들어낸다.

여기서 결정적으로 달라지는 게 두 가지 있다. 하나는 행동에는 “커밋”이 따른다는 것. 모델 내부에서 일어나는 일과 달리, 한 번 취한 행동은 쉽게 되돌릴 수 없다. “다른 길로 가볼걸” 하고 물릴 수가 없는 것이다. 다른 하나는 비용이다. 딥시크가 나왔을 때 토큰 소비량을 두고 말이 많았지만, 사실 어려운 수학 문제 하나를 푸는 정도로는 비용이 그렇게 크지 않았다. 그런데 생각하고, 환경과 여러 차례 상호작용하는 지금의 에이전트는 비용이 정말 커질 수 있다. 그러니 강화학습의 관점에서 보면 보상은 더 이상 답의 품질만이 아니다. 거기까지 가는 과정에서 치른 비용도 함께 봐야 한다는 뜻이다. 그럼 에이전트는 더 싸지만 덜 정확한 길을 택해야 할까, 아니면 나중의 큰 비용을 피하려고 지금 작은 비용을 미리 치러야 할까.

되돌릴 수 없는 선택 앞에서, 자기 확신이 필요하다

이상적으로는 에이전트가 여러 가능한 행동을 미리 시뮬레이션해보고, “이건 좋아 보이고, 저건 그저 그렇고, 저건 나쁘겠다”를 가늠한 다음 몬테카를로 트리 서치 같은 방법으로 계획을 세울 수 있다면 제일 좋을 것이다. 문제는 이게 지독하게 어렵다는 데 있다. 코드에 이걸 적용해본다고 생각해보자. 에이전트가 짠 코드가 실행되면 무슨 일이 벌어질지 미리 예측해야 하는데, Code World Model이나 Echo 같은 최근 연구들이 시도했음에도 이건 여전히 힘든 일이다. 애초에 코드가 뭘 할지 완벽히 예측할 수 있다면 그 코드를 굳이 돌릴 필요도 없을 텐데, 과학 시뮬레이션처럼 실행 자체가 오래 걸리는 경우엔 그마저도 현실적이지 않다.

그래서 나는 완전한 세계 모델은 필요 없다고 주장하고 싶다. 대신 우리 환경과 과제에 대한 몇 가지 한계적(marginal) 정보만 시뮬레이션해도 충분하다. 이게 맞는 답일까(정확성, 곧 보정의 문제), 이게 비싼 행동일까(비용), 이게 안전한 행동일까(오늘은 깊이 다루지 않겠지만) 하는 것들이다. 이 아이디어를 우리는 “Calibrate Then Act”라는 프레임워크로 만들었다. 모델이 자기 확신을 정량적으로 알고, 그 확신을 바탕으로 스스로의 행동을 되짚어보고 고쳐나가게 하는 방법이다.

이걸 설명하기 좋은 예시가 하나 있다. PopQA라는, 상대적으로 덜 알려진 인물들에 대한 데이터셋에서 “에드윈 엘스의 직업은 무엇인가”라는 질문을 던진다고 해보자. 에이전트가 그냥 직접 답하면 “배우”라고 틀리기 쉽다. 대신 위키백과를 검색해볼 수도 있는데, 여기엔 지연 시간과 토큰 비용이 든다. 하지만 검색을 하면 대체로 정답을 맞힌다. 그럼 언제 검색을 하고 언제 그냥 답해야 할까. 답은 명확하다. 모델이 자기가 뭘 아는지 알아야 한다. 확실히 맞힐 것 같으면 검색은 낭비고, 애초에 인터넷에도 없을 법한 사람이면 검색해도 소용없다. 결국 비용과 이득을 저울질할 줄 알아야 하는 것이다.

코딩 쪽 사례도 하나 들어보겠다. 이 프로젝트는 사실 천문학자들과의 협업에서 출발했다. CSV 파일 하나를 그냥 판다스로 열어버리는 에이전트가 있는가 하면, 먼저 살짝 들여다보고 나서 코드를 짜는 에이전트도 있다. 우리가 다루던 데이터는 FITS라는, 천문학에서 이미지 데이터를 저장할 때 쓰는 포맷이었는데, 그 안에 훈련·검증·테스트 셋이 통째로 뒤섞여 들어 있었다. 이런 파일은 어느 정도 탐색해보지 않고는 여는 코드조차 짤 수가 없다. 두 가지 서로 다른 접근이 실제 문제에서 그대로 부딪힌 순간이었다.

우리는 여기에 별도의 “보정 모델”을 하나 더 둔다. 이 모델이 언어모델의 활성값 같은 걸 들여다보고 “이 문제, 20% 확률로 맞힐 것 같다”고 알려주면, 그 수치를 에이전트에게 넘겨준다. 그러면 에이전트는 세 개의 상자 중 하나에 상이 들어 있고, 상자를 확인해볼 수도 있지만 확인할 때마다 보상이 0.2배로 깎이는 파도라의 상자 문제처럼, 이 정보를 수학 문제 풀듯 명시적으로 추론해서 “그냥 B를 고르겠다, 확인하기엔 할인율이 너무 크다”는 결론에 도달할 수 있다. 실제로 질의응답 과제에서 할인율(비용)을 바꿔가며 실험해보니, 아무 정보도 없는 기본 에이전트는 비용이 바뀌어도 행동을 거의 바꾸지 않았고 최적 선택률은 60~70% 정도에 머물렀다. 반면 보정 정보를 받은 에이전트는 비용이 싸질수록 검색을 늘리는 식으로 적응했고, 최적 선택률은 거의 100%에 가까웠다. 코딩 환경에서 유닛 테스트를 실행하는 데 드는 비용을 놓고 실험했을 때도, 우리 방법은 어떤 비용 수준에서도 기준선보다 항상 더 나은 보상을 냈다. 기준선은 그냥 하나의 전략에 고정돼 평평한 그래프를 그린 반면, 우리 에이전트는 상황에 따라 전략을 바꿔가며 파레토 최적에 가까운 곡선을 그렸다.

강화학습으로 모델을 학습시키면 보통 행동의 엔트로피가 줄어들고 특정 패턴으로 수렴한다는 이야기를 많이 듣는다. 우리가 한 일은 조금 다르다. 보정 정보를 쥐여줌으로써 모델에게 아예 새로운 종류의 행동, 그러니까 생각의 흐름 속에서 이런 비용-이득 계산을 명시적으로 해낼 수 있는 능력을 열어준 것에 가깝다. 이 아이디어의 응용처는 생각보다 넓다. 검색을 할지 말지 결정하는 문제, 사용자에게 되물어야 할지 판단하는 문제, 툴 호출 비용이 비쌀 때의 선택, 그리고 개인적으로 제일 기대하는 건 자동 연구 시스템이다. 카파시가 그렸던 그 유명한 실험 반복 루프에서, 어떤 실험이 실제로 큰 개선을 가져올지 미리 가늠할 수 있는 능력이 있다면 얼마나 좋을까 하는 상상을 자주 한다.

창의성에도 결국 같은 능력이 필요했다

이 보정이라는 개념을 붙들고 다음으로 파고든 건 창의성이었다. 에이전트에게 과학적 발견이나 코딩 같은 일을 맡길 때 우리가 진짜 원하는 건 서로 다른 것들 사이의 연결을 만들어내는 능력이다. 어떤 질병 치료에 관여하는 화학물질이 있다면, 그 물질에 대해 알려진 것과 그 질병과 관련된 신체 과정을 엮어내는 식이다. 이런 걸 실제 연구 환경에서 벤치마크하기는 너무 어려워서, 우리는 지식 그래프에서 뽑아낸 트리비아 형태의 합성 문제를 만들었다. 예를 들어 “다코타 존슨은 판타지 SF 영화에 출연하는 배우들과 어떻게 연결되는가” 같은 질문이다.

흥미로운 건 지식 그래프에 접근 권한이 전혀 없는 에이전트도 이걸 꽤 잘 해낸다는 점이었다. 다만 어떤 에이전트는 여러 가지 흥미로운 연결을 찾아내는 반면, 어떤 에이전트는 그저 “이 사람도 미국 국적이고 저 사람도 미국 국적이다” 같은 맥없는 연결에 그쳤다. 이 열린 과제의 장점은 결과를 객관적으로 채점할 수 있다는 데 있다. 더 많은 경로를 찾아낼수록, 그 경로의 품질이 높을수록, 기존 경로와 겹치지 않을수록 점수를 얻고, 답을 무한정 늘어놓지 못하도록 일종의 인내심 계수로 제동을 걸었다. 여러 모델을 벤치마크해봤는데 우리가 마지막으로 갱신했을 때 기준으로는 Claude Sonnet 4.6이 가장 좋은 성적을 냈다.

그런데 이 벤치마크로 에이전트들이 실제로 어떻게 사고하는지 들여다보면서 깨달은 게 있다. 앞서 말한 보정 능력이 이 창의성 과제에서도 핵심적인 메타인지 능력이라는 사실이다. 모델은 “이런 종류의 연결을 더 파봐야겠다”는 감각과 동시에 “이 사실은 나도 확신이 없으니 함부로 말하지 말아야겠다”는 감각을 같이 갖고 있어야 한다. 후자가 없으면 그럴듯해 보이지만 틀린 경로로 사람을 잘못 이끌게 된다. 결국 이 두 가지 일, 그러니까 비용을 감안해 행동하는 것과 창의적으로 연결을 만들어내는 것은 같은 뿌리에서 나온다.

질의응답에서 나온 질문 하나가 계속 마음에 남는다. 확신을 어떻게 측정하느냐는 질문이었는데, 나는 기대 보정 오차(expected calibration error)라는 고전적인 지표를 언급하면서도 이걸 그다지 신뢰하지 않는다고 답했다. 어떤 에이전트는 이 지표상으로는 아주 잘 보정돼 있는데, 정작 그 확신 추정치가 실제 행동을 개선하는 데는 별 도움이 안 되는 경우를 우리는 꽤 자주 봤다. 그래서 요즘 우리가 진짜로 믿는 건 결국 다운스트림 과제에서의 성능이다. 에이전트가 이 정보를 실제로 어떻게 써먹고, 그 결과 더 나은 결정을 내리는가만이 확신할 수 있는 유일한 증거라는 뜻이다.

세계를 통째로 시뮬레이션하는 대신, 내가 얼마나 알고 있는지, 이 행동이 얼마나 비싼지, 그리고 이게 안전한지를 스스로 가늠하는 것. 어찌 보면 이건 아주 사람다운 능력이기도 하다. 모르는 걸 모른다고 말할 줄 아는 것, 그게 결국 에이전트를 좀 더 자기 인식이 있는 존재로 만드는 첫걸음이라고 나는 여전히 믿는다.