약 13분

지능은 이제 컴퓨트의 함수다

ICML 2026 워크숍 에디션. Noam Brown의 대규모 테스트 시점 연산 강연.

목차

이 글은 ICML 2026 워크숍에서 Noam Brown의 강연 “Implications of Large-Scale Test-Time Compute”를 발표자 1인칭 시점으로 재구성한 것입니다.

몇 달 전 GPT-5.5가 나왔을 때, 저는 벤치마크 표를 보고 살짝 실망했습니다. Terminal-Bench Expert 스위트는 개선이 있긴 했지만 눈에 띄는 도약은 아니었고, 어려운 사이버보안 평가인 Cybench에서는 딱 3퍼센트 포인트 상승에 그쳤습니다. 처음 반응은 회의적이었습니다. “이 정도면 마이너 업데이트 아닌가.” 그런데 며칠이 지나면서 분위기가 완전히 뒤집혔습니다. 직접 써본 사람들이 하나둘 “이건 완전히 다른 모델이다”라고 말하기 시작한 겁니다. 숫자와 체감 사이의 이 간극이 계속 마음에 걸렸습니다.

원인은 우리가 뭘 x축에 놓고 비교하느냐에 있었습니다. Cybench 점수를 막대그래프로 그리면 3퍼센트 포인트 차이로 보이지만, 가로축에 모델이 답을 낼 때까지 쓴 토큰 수를 놓고 다시 그려보면 완전히 다른 그림이 나옵니다. 2만 토큰 지점에서 비교하면 5.4는 40%, 5.5는 70%를 기록합니다. 두 모델 사이의 진짜 차이는 성능 자체가 아니라, 5.5가 5.4보다 훨씬 오래, 훨씬 효율적으로 생각한다는 데 있었던 겁니다.

이 얘기를 하면 항상 같은 질문이 돌아옵니다. “그럼 그냥 5.5를 더 오래 생각하게 하면 되는 거 아닌가요?” 맞는 말입니다. yolo 모드로 문제가 끝날 때까지 계속 돌리게 하거나, 스캐폴드 몇 줄만 짜면 됩니다. 진짜 어려운 질문은 “얼마나 오래”입니다. 사람들은 보통 “성능이 정체될 때까지”라고 답하는데, 최신 모델일수록 그 정체 지점이 무섭도록 멀리 있다는 게 문제입니다.

이게 얼마나 최근에 벌어진 변화인지는 역사를 훑어보면 감이 옵니다. 예전 모델들은 몇 초 생각했습니다. o3가 나온 1년 반 전쯤에는 분 단위가 됐고, 작년 국제수학올림피아드 금메달을 딴 모델은 몇 시간을 붙들고 있었습니다. 지금은 스캐폴드를 조금만 손보면 며칠, 몇 주 단위로도 돌아갑니다. 안드레이 카파시가 진행한 자율 AI 연구 실험이 좋은 예입니다. 앞선 실험 결과를 다음 실험 조건으로 삼아 수백 번을 연쇄적으로 돌렸는데, 며칠이 지난 시점에도 성능은 계속 좋아지고 있었습니다. 어떤 보안 연구소가 사이버보안 평가에서 GPT-5.5와 Mythos를 1억 토큰까지 돌려봤을 때도 기울기는 여전히 가팔랐습니다. Mythos Preview는 2500만 토큰에서 끊겼는데 거기서도 곡선은 거의 안 꺾이고 있었습니다.

왜 1억 토큰에서 멈췄을까요. METR과 한 AI 안전 연구소 사람들과 얘기해보니 이유는 성능이 아니라 인프라였습니다. 일주일 내내 실험이 죽지 않게 붙잡고 있는 것 자체가 큰 비용이라는 겁니다. 5초짜리 평가를 돌릴 때는 실패율이 조금 있어도 문제없었지만, 몇 주씩 도는 실험에서는 그 실패율이 쌓여서 결과 자체를 흔들어버립니다. 흥미로운 건 GPT-4o나 Claude 3.7 같은 이전 세대 모델은 이렇게까지 좋아지지 않는다는 겁니다. 테스트 시점 연산을 이만큼 효과적으로 활용하는 건 최근 모델들에 국한된 아주 새로운 현상입니다.

물론 모든 벤치마크가 이렇지는 않습니다. 링컨이 언제 태어났는지 모르는 모델은 일주일을 생각해도 답을 못 냅니다. 반대편 극단에는 스도쿠가 있습니다. 풀이를 만들기는 어려워도 검증은 정답 조건을 확인하면 그만이라, 무작정 답을 생성하고 검증하는 알고리즘만으로도 시간을 들이는 만큼 100%에 수렴합니다. 모델이 강해질수록 점점 더 많은 과제가 스도쿠 쪽으로, 그러니까 생성은 어렵지만 검증은 싼 쪽으로 옮겨가고 있다는 게 제 관찰입니다.

팀을 꾸리듯 에이전트를 꾸리다

순차적으로 오래 생각하게 하면 결국 시간이 발목을 잡습니다. 체인 오브 소트 자체가 본질적으로 직렬이라, 아무리 컴퓨트를 부어도 일주일을 기다려야 한다면 실용적이지 않습니다. 그래서 나온 게 병렬 테스트 시점 연산, best-of-N이나 합의(consensus) 같은 기법입니다. 컴퓨트 효율은 떨어지지만 지연 시간은 훨씬 짧습니다.

며칠 전 나온 GPT-5.6 발표에서 이걸 실제로 보여드렸습니다. 같은 사이버보안 평가에서 에이전트 1개로는 70% 정답률에 도달하는 데 20분이 걸립니다. 에이전트 16개를 동시에 굴리면 똑같이 70%에 도달하는데 57분이면 됩니다. 비용은 늘어납니다. 에이전트 1개는 1520달러 정도, 16개는 그보다 훨씬 많이 듭니다. 그런데 이 트레이드오프는 사실 우리가 이미 익숙한 방식입니다. 회사를 세울 때 사람을 고용하는 이유가 이겁니다. 특별한 역량 때문이기도 하지만, 근본적으로는 한 사람이 모든 걸 시간 안에 해낼 수 없기 때문에 다른 사람의 시간을 사는 겁니다. 언어모델도 똑같습니다. 에이전트를 여러 개 굴려서 같은 일을 훨씬 빨리 끝낼 수 있습니다.

바로 오늘 저희는 GPT-5.6 Ultra가 50년 묵은 수학 추측을 풀었다고 발표했습니다. 에이전트 64개를 한 시간 안에 굴려서 나온 결과입니다. 에이전트 하나로 아주 오래 붙들고 있었다면 걸렸을 시간을, 64개를 동시에 굴려서 한 시간으로 압축한 셈입니다.

그래서 저는 모델을 평가하는 올바른 방법은 막대그래프가 아니라 x축이 있는 곡선이어야 한다고 생각합니다. 그 x축이 시간이든 비용이든 지연 시간이든 각각 나름의 논리가 있지만, 중요한 건 최소한 하나는 있어야 한다는 겁니다. ARC-AGI는 이걸 일찍 받아들인 벤치마크 중 하나입니다. ARC-AGI-2는 가로축에 과제당 비용을, 세로축에 점수를 놓고 모델들이 비용에 따라 뚜렷하게 개선되는 걸 보여줍니다. Artificial Analysis도 자체 인덱스에서 출력 토큰 수(로그 스케일)를 가로축으로 쓰기 시작했습니다. 다만 아직도 대부분의 벤치마크는 이렇게 하지 않고, Artificial Analysis조차 모델을 발표할 때는 막대그래프를 먼저 보여주고 x축이 있는 그래프는 한참 아래로 내려가야 나옵니다. 그리고 이 방식은 너무 쉽게 게임할 수 있습니다. 모델을 2주 동안 생각하게 두면 그만큼 점수가 올라가니까요.

Gemini 3 Deep Think 소동이 놓친 것

여기서 안전성 평가 얘기로 넘어가겠습니다. 모델이 출시되기 전에는 사이버·핵·생물 무기 같은 파국적 위험에 기여하지 않는지 확인하는 안전성 평가가 이뤄집니다. 문제는 이 평가들이 대부분 낮은 예산에서 진행된다는 겁니다. 이런 평가 체계가 만들어진 건 챗GPT 초기, 그러니까 GPT-3.5가 5~10달러를 쓰나 1000만 달러를 쓰나 성능 차이가 별로 없던 시절입니다. 그런데 지금은 지능이 컴퓨트의 함수인 시대입니다. 100달러 이하 예산에서 안전하다고 판단해서 모델을 내놨는데, 실제로는 어떤 조직이 단일 질의에 100만 달러를 태울 수 있다면, 그 조직은 안전 평가가 보여준 것보다 훨씬 강력하고 위험한 능력을 끌어낼 수 있습니다.

이게 실제로 문제가 된 사례가 Gemini 3 Deep Think입니다. 이전 모델 대비 벤치마크가 극적으로 뛰었습니다. 어떤 지표는 4.6%에서 30%로 뛰었고, Codeforces 점수도 큰 폭으로 올랐습니다. 그런데 구글이 시스템 카드를 같이 공개하지 않아서 안전 연구자들과 평론가들 사이에서 “무책임하다”는 비판이 쏟아졌습니다. 저는 이 비판이 과녁을 잘못 짚었다고 봅니다. 제가 구글에서 일하는 건 아니지만, 정황상 Gemini 3 Deep Think는 Gemini 3나 3.1 Pro 위에 얹은 스캐폴드에 가깝습니다. 테스트 시점 연산을 100배 더 쓴 겁니다. 그 말은 이 능력이 애초에 누구나 스캐폴딩만 짜면 도달할 수 있었던 능력이라는 뜻입니다. 새로운 능력이 갑자기 튀어나온 게 아니라, Gemini 3와 3.1이 처음 나왔을 때 테스트 시점 연산을 고려한 평가를 안 했던 게 진짜 문제였던 겁니다.

제가 그리는 이상적인 평가는 가로축에 예산(토큰이든 시간이든), 세로축에 능력 지수를 놓는 겁니다. 물론 모든 데이터 포인트를 수백만 달러로 찍을 수는 없으니 1~100달러 수준에서 데이터를 모으고, 그 추세선을 1000만 달러 지점까지 오차범위와 함께 투영해서 위험 임계값을 넘는지 가늠하는 방식이 현실적입니다. 여기에 더해 소비자와 대규모 조직의 예산 격차도 구분해야 합니다. 일반 소비자가 질의 하나에 1000만 달러를 쓸 일은 없지만, 그럴 수 있는 조직은 실제로 존재하니까요.

장기적으로는 이보다 더 골치 아픈 문제가 기다리고 있습니다. 예전에는 모델이 몇 분 생각하고 사라졌기 때문에 행동을 엄밀하게 검증하기가 쉬웠습니다. 지금은 에이전트가 며칠, 몇 주씩 살아 있고, 앞으로는 몇 달, 어쩌면 무기한으로 작동하게 될 겁니다. 문제는 석 달 동안 작동한 에이전트가 어떻게 행동할지 확실히 알 방법은 실제로 석 달을 돌려보는 것뿐이라는 겁니다. 그런데 모델 출시 주기는 보통 두세 달입니다. 조만간 에이전트의 작동 시간 지평이 출시 주기보다 길어지는 지점에 도달할 텐데, 그러면 다음 모델을 내놓기 전에 이전 모델을 완전히 검증할 시간 자체가 없어집니다.

여기서 테스트 시점 연산이 오히려 유용한 지렛대가 될 수 있습니다. 제가 가장 좋아하는 그래프는 o3 발표 때 나온 겁니다. 가로축은 추론 비용, 세로축은 AIME 성능인데, o3는 이 곡선을 왼쪽 위로 통째로 밀어 올렸습니다. 다르게 말하면 o3가 보여준 능력은 o1을 추론 시점에 더 오래 돌리기만 해도 미리 짐작할 수 있었던 겁니다. 오늘 100만 달러를 들여야 나오는 성능이 내일, 혹은 내년이면 100달러로 나올 거라는 뜻이기도 합니다. 그러니까 지금 비싼 평가를 미리 해두면 다음 세대 모델이 뭘 할 수 있을지 준비할 시간을 벌 수 있습니다. 리만 가설처럼 증명하면 100만 달러 상금이 걸린 문제나, 신약을 허가받는 것처럼 사람들이 기꺼이 큰돈을 쓸 만한 연구라면, 추론에 그만큼 쓸 가치가 충분합니다.

인간 수학자와 비교하면 보이는 것

이 모든 논의를 가장 선명하게 보여주는 분야가 수학입니다. 2022년만 해도 저희는 초등학교 수준 산수인 GSM8K에서 씨름하고 있었습니다. 그 뒤로 고등학교~대학 수준의 MATH를 풀었고, AIME를 풀었고, 국제수학올림피아드 금메달을 땄고, 최근에는 에르되시 거리 추측을 증명했고, 바로 어제는 사이클 이중 커버 추측을 증명했습니다. 페르마의 마지막 정리나 리만 가설 급의 새로운 이론 체계를 만들어내는 건 아직 아니지만, 이 궤적 자체가 놀랍습니다.

누군가 저에게 흥미로운 비교 방식을 알려줬습니다. 이 문제들을 인간 전문 수학자가 풀려면 얼마나 걸릴지 따져보라는 겁니다. GSM8K는 5초, MATH 문제는 10분, AIME도 10분, 국제수학올림피아드는 1시간 30분 정도 걸립니다. 매년 모델이 감당할 수 있는 ‘인간 작업 시간’이 대략 열 배씩 늘어나고 있습니다. IMO 다음 단계로 오면 인간 수학자가 최소 하루는 걸릴 문제들이 나오고, 작년 에르되시 추측 수준이면 인간 수학자가 몇 달은 매달려야 할 문제입니다. 하루짜리 문제에서 100일짜리 문제까지는 딱 두 자릿수 차이입니다. 그러니 2년 안에 인간 수학자가 몇 달을 써야 할 문제를 모델이 풀어내는 시대가 올 거라고 저는 봅니다.

질의응답에서 나온 질문 하나가 계속 마음에 남습니다. 인간은 지식을 책으로, 다음 세대로 넘겨주면서 문명을 쌓아왔는데, 모델 세대 간에는 그런 지식 전수가 어떻게 이뤄지느냐는 질문이었습니다. 저는 이미 그 초기 형태가 있다고 답했습니다. 오토 컴팩션입니다. 모델의 컨텍스트 창을 수명이라고 생각하면, 컨텍스트가 다 차서 정리될 때 그동안 중요했던 내용을 요약으로 남기고, 다음 세션은 그 요약에서 다시 시작합니다. 다른 에이전트에게 문서를 남기는 방식으로도 확장할 수 있을 겁니다. 오래 추론한 결과를 그대로 작은 모델에 증류하면 되지 않냐는 질문도 나왔는데, 답은 “조금은 되지만 완전히는 안 된다”입니다. 어려운 문제를 풀려면 모델이 실제로 거쳐야 하는 순차적 연산의 양이 있고, 그건 증류로 우회할 수 없다는 게 지금까지의 증거입니다. 스캐폴드에 너무 공들이지 말라는 조언도 인상 깊었습니다. 추론 모델이 나오기 전까지 사람들이 정교하게 짜놓은 사고 흐름 스캐폴드들이 있었는데, 지금 모델들은 그걸 그냥 기본으로 해냅니다. 오늘 잘 만든 스캐폴드도 석 달 뒤엔 낡은 것이 될 수 있다는 마음가짐으로 접근해야 합니다. 트랜스포머가 AGI까지 갈 연료가 충분한지 묻는 질문에는, 저는 충분하다고 답했습니다. 다른 아키텍처를 연구하는 것도 가치 있는 일이지만, 트랜스포머를 계속 밀어붙이는 것만으로도 AGI를 넘어, 심지어 그 이후의 아키텍처 연구 자체를 모델이 대신할 수 있는 지점까지 갈 수 있다고 생각합니다.

사람들은 ‘초인적인(superhuman) AI’라는 표현을 즐겨 씁니다. 그런데 저는 이 말에 항상 되묻고 싶습니다. 무엇과 비교해 초인적이라는 걸까요. 만 년 전의 인간과 비교해서인가요, 아니면 오늘의 인간과 비교해서인가요. 이 둘은 완전히 다른 질문입니다. 만 년 전 인류는 막 불을 다루고 초기 농경을 시작하던 참이었습니다. 오늘의 인류는 우주로 로켓을 쏘아 올리고 반도체를 만듭니다. 그사이 인간이라는 종 자체가 진화한 건 아닙니다. 진짜 이유는 수십억 명이 서로의 지식 위에 쌓아 올리고, 세대를 넘어 그걸 전달해왔기 때문입니다. 지금의 AI 에이전트는 아직 그렇게 오래 살지도, 서로 협업하지도 못합니다. 하지만 수십억 개의 에이전트가 아주 긴 시간 지평에서 서로의 결과 위에 쌓아 올리기 시작하는 순간, 인간이 팀을 이뤄 혼자서는 못 할 일을 해내듯 AI도 그렇게 될 거라고, 저는 생각합니다.