목차

• 막대그래프가 아니라 곡선으로 봐야 합니다
• Gemini 3 Deep Think를 둘러싼 소동에 대해
• 오늘의 백만 달러가 내일의 1달러가 될 때

이 글은 Global AI Frontiers Symposium 2026에서 OpenAI 리서치 VP 노암 브라운(Noam Brown)의 기조강연 “Implications of Large-Scale Test-Time Compute”를 발표자 1인칭 시점으로 재구성한 것입니다.

GPT-5.5가 나왔을 때, 저는 벤치마크 표를 보다가 조금 김이 빠졌습니다. Terminal-Bench는 75%에서 78%로, Cybench는 79%에서 82%로 — 나쁘지 않지만 그렇다고 대단한 도약도 아니었습니다. 사람들 반응도 비슷했습니다. “이 정도면 그냥 마이너 업데이트 아니냐”는 말이 많았죠. 그런데 며칠, 몇 주가 지나면서 분위기가 완전히 바뀌었습니다. 직접 써본 사람들이 하나둘 “이건 진짜 다르다”고 말하기 시작한 겁니다. 저는 이 간극이 계속 마음에 걸렸습니다. 왜 숫자는 작은 차이라고 말하는데, 실제로 써본 사람들은 큰 차이를 느끼는 걸까요.

답은 우리가 뭘 x축에 놓고 보느냐에 있었습니다. Cybench 점수를 그냥 막대그래프로 그리면 5.4에서 5.5로 3퍼센트 포인트 오른 것처럼 보입니다. 그런데 다른 사이버 평가에서 가로축에 모델이 답을 낼 때까지 생성한 토큰 수를, 세로축에 점수를 놓고 그려보면 그림이 완전히 달라집니다. 5.5는 5.4보다 압도적으로 잘합니다. 차이는 딱 하나, 5.5가 훨씬 더 오래 생각한다는 것뿐입니다.

이 얘기를 하면 항상 똑같은 질문을 받습니다. “그럼 그냥 5.5를 더 오래 생각하게 하면 되잖아요?” 맞는 말입니다. 그런데 그다음 질문이 진짜 문제입니다. 얼마나 오래요? 사람들은 보통 “성능이 정체(plateau)될 때까지 돌리면 되지 않느냐”고 하는데, 최신 세대 모델들의 문제는 바로 그 정체 지점이 너무 멀리 있다는 겁니다.

이게 얼마나 최근에 벌어진 변화인지 감을 잡으시려면 역사를 좀 훑어봐야 합니다. O1 이전, 그러니까 GPT-3 시절만 해도 어떤 문제에 100만 달러를 태우든 10달러를 태우든 성능은 별 차이가 없었습니다. 모델이 그 이상을 활용할 방법 자체가 없었으니까요. O1이 나오면서 모델이 수십 초 단위로 유의미하게 사고하기 시작했고, 2025년 초 O3가 나오면서는 분 단위로 늘어났습니다. 작년에는 국제수학올림피아드에서 금메달을 딴 모델이 나왔는데, 이 모델은 몇 시간 동안 문제를 붙들고 있었습니다. 그리고 지금, 스캐폴드가 있든 없든, 모델들은 며칠, 심지어 몇 주 단위로도 효과적으로 작동합니다.

이걸 잘 보여주는 사례가 두 가지 있습니다. 하나는 안드레이 카파시가 직접 돌려본 실험입니다. AI 모델에게 머신러닝 연구를 시킨 건데, 모델이 실험을 하나 설계하고 돌리고, 그 결과를 바탕으로 다음 실험을 설계하고, 이걸 반복합니다. 세로축은 결과물의 성능(낮을수록 좋음), 가로축은 실험 횟수인데, 일주일 넘게 수백 번의 실험을 돌렸는데도 성능이 계속 좋아졌습니다. 다른 하나는 AI 안전 연구소(AISI)가 여러 모델을 사이버보안 과제로 평가한 결과입니다. GPT-5.1은 토큰을 1억 개까지 써도 계속 좋아지고 있었습니다. 거기서 멈춘 이유는 성능이 한계에 도달해서가 아니라, AISI가 “이 이상은 인프라상 못 돌리겠다”고 판단했기 때문입니다. 보고서를 보면 추론 컴퓨트를 더 넣었다면 성능이 계속 올라갔을 거라고 적혀 있습니다. 흥미로운 건 GPT-4o나 클로드 소넷 3.7 같은 이전 세대 모델들은 실제로 어느 지점에서 정체됩니다. 그러니까 이건 아주 최근에서야 나타난 현상입니다. 모델이 좋아질수록 테스트 시점 연산(test-time compute)을 더 잘 활용하게 되고, 더 긴 시간 지평에서 작동할 수 있게 되면서, 평가 자체가 훨씬 더 어려워진 겁니다.

막대그래프가 아니라 곡선으로 봐야 합니다

그렇다면 어디까지 밀어붙여야 할까요. 한 가지 답은 “결국 시간이 부족해서 못 한다”는 겁니다. 몇 달씩 걸리는 평가를 계속 돌릴 수는 없으니까요. 그런데 여기엔 허점이 있습니다. 모델의 사고를 병렬로 돌릴 수 있다는 겁니다. 한 줄로 토큰을 하나씩 뱉어내는 단일한 사고 흐름 대신, 여러 사람이 한 문제를 나눠서 푸는 것처럼 여러 개의 사고 흐름을 동시에 돌릴 수 있습니다. 이게 멀티에이전트 AI의 기본 아이디어입니다. 여러 모델이 독립적으로 답을 내고 그중 최선을 고르는 best-of-n 방식도 있고, 다 같이 답을 낸 다음 가장 많이 나온 답을 채택하는 합의(consensus) 방식도 있습니다.

이런 방식들은 토큰을 하나로 쭉 이어서 오래 생각하게 하는 것보다 비용 효율은 떨어집니다. 하지만 지연 시간(latency)은 훨씬 짧습니다. 그러니까 시간 자체는 이 모델들을 더 높은 성능으로 밀어붙이는 데 있어 근본적인 병목이 아니라는 뜻입니다. 2024년 O1 발표 때 나온 차트가 좋은 예입니다. GPT-4o, O1-프리뷰, O1을 비교한 그래프였는데, 64개 모델이 독립적으로 돌아가서 합의로 답을 낸 경우의 추가 성능 향상이 음영으로 표시돼 있었습니다. 이 병렬 방식만으로도 상당한 성능 향상을 얻을 수 있었고, 시간도 그리 오래 걸리지 않았습니다.

그래서 저는 모델을 평가하는 올바른 방법은 막대그래프가 아니라, 비용이든 토큰이든 시간이든 뭔가를 x축에 놓은 곡선이어야 한다고 생각합니다. 이미 이렇게 하는 벤치마크들이 나오기 시작했습니다. 아직 보편적이진 않지만요. ARC-AGI-2가 좋은 예인데, 세로축에 점수를, 가로축에 과제당 비용을 놓으면 모든 모델에서 아주 깔끔한 스케일링 곡선이 나옵니다. 특히 GPT-5.5는 컴퓨트가 바닥날 때까지 계속 점수가 올라가는데, 더 밀어붙이면 계속 올라갈 것처럼 보입니다. Artificial Analysis도 자기네 인덱스에서 이 방식을 채택했습니다. 가로축은 평가에 쓴 출력 토큰 수, 세로축은 성공률인데, 토큰을 더 쓸수록 성능이 개선되는 아주 깔끔한 파레토 프론티어가 그려집니다.

Gemini 3 Deep Think를 둘러싼 소동에 대해

여기서 파생되는 문제가 하나 더 있습니다. 저는 지금 안전성 평가가 하는 방식이 근본적으로 고장 나 있다고 생각합니다. 지금 쓰이는 안전성 평가 대부분은 챗GPT가 나오고 얼마 안 돼서, 그러니까 최신 모델이 GPT-4였던 시절에 만들어졌습니다. GPT-4는 테스트 시점 연산을 늘려봐야 성능이 크게 오르지 않는 모델이었습니다. 100달러를 쓰나 100만 달러를 쓰나 별 차이가 없었죠.

안전성 평가는 보통 모델이 출시되기 전에, 사이버·핵·생물학 같은 영역에서 파국적 위해를 끼칠 수 있는지를 점검하는 방식으로 이뤄집니다. 그런데 지능이 테스트 시점 연산의 함수라면, 대체 어느 예산에서 이 평가를 해야 할까요. 평가해야 할 항목은 많고, 그 모든 걸 100만 달러 예산으로 돌릴 수는 없으니 현실적으로는 낮은 예산에서 진행됩니다. 문제는 어떤 조직은 쉽게 1000만 달러를 쓸 수 있다는 겁니다. 그러니까 10달러나 100달러 예산으로 돌린 평가에서 “이 모델은 위험한 행동을 할 능력이 없다”는 결론이 나온 채로 출시됐는데, 실제로 누군가 10만 달러, 100만 달러, 1000만 달러를 그 모델의 추론에 쏟아부으면 안전성 평가가 시사했던 것보다 훨씬 강력한 능력을 끌어낼 수 있는 겁니다.

이걸 가장 잘 보여준 사례가 몇 달 전 나온 Gemini 3 Deep Think였습니다. 벤치마크 막대그래프상으로는 이전 모델들보다 압도적으로 좋았는데, 시스템 카드가 함께 공개되지 않았습니다. AI 안전 커뮤니티에서는 난리가 났습니다. “위험 능력 평가도 없이 이렇게 강력한 모델을 어떻게 내놓을 수 있느냐”는 거였죠.

저는 그 반응이 잘못됐다고 생각합니다. 오히려 구글의 판단이 꽤 합리적이었다고 봅니다. 제가 구글에서 일하는 것도 아니고 확실히 아는 건 아니지만, 제 짐작으로는 Gemini 3 Deep Think는 Gemini 3나 3.1 위에 얹은 스캐폴드에 가깝습니다. 같은 모델을 조합하고 여러 번 추가로 패스를 돌려서, Gemini 3나 3.1이 쓰는 테스트 시점 연산의 100배 정도를 쓰는 겁니다. 그러니까 이건 이 스캐폴드를 사용자들이 쓰기 편하게 포장한 것뿐이고, 그 말은 곧 Gemini 3나 3.1을 가진 사람이라면 누구든 스스로 스캐폴드를 만들어서 Deep Think와 똑같은 능력에 도달할 수 있었다는 뜻입니다. 다시 말해 Deep Think의 능력은 그만큼의 테스트 시점 연산을 쓸 의향만 있으면 이미 누구에게나 열려 있었던 겁니다.

그래서 저는 그 분노가 과녁을 잘못 짚었다고 생각합니다. 진짜 문제는 평가 자체가 테스트 시점 연산을 변수로 감안하지 않았다는 데 있었습니다. Gemini 3 Pro가 출시될 때 테스트 시점 연산의 함수로 평가를 했어야 했고, 그렇게 했다면 아마 Deep Think가 Gemini 3 Pro로 이미 도달 가능했던 능력 이상의 뭔가를 추가로 보여준 게 아니라는 걸 알 수 있었을 겁니다. 그냥 추론을 100배 더 오래 돌린 것뿐이라는 걸요.

이게 제가 그리는 안전성 평가의 이상적인 모습입니다. 가로축은 추론 예산, 세로축은 어떤 능력 지수로 그려진 그래프요. 물론 모든 평가를 극도로 높은 예산에서 돌리는 건 현실적으로 불가능합니다. 하지만 성능이 테스트 시점 연산량에 따라 꽤 예측 가능하게 확장된다는 걸 우리는 이미 보고 있습니다. 그러니까 적은 컴퓨트로 얻은 데이터로도 극도로 높은 추론 예산에서의 성능을 예측할 수 있을 가능성이 높습니다. 10달러, 1000달러 지점까지만 측정해놓고 1000만 달러 지점의 성능을 예측해보는 겁니다. 이게 실제로 가능한지 검증하는 건 그리 어려운 일이 아니고, 저는 꽤 정확한 예측이 나올 거라고 봅니다.

여기서 파생되는 또 다른 문제는 장기 시간 지평의 안전성 평가가 지독하게 어렵다는 겁니다. 지금 우리는 모델이 몇 달씩 작동하는 상황을 별로 생각하지 않습니다. 보통 한 번의 질의, 길어야 며칠 정도의 시간 지평에서 모델을 돌리고, 새로 스레드를 열면 처음부터 다시 시작하죠. 그런데 이게 계속 이렇게 유지될 것 같지는 않습니다. 저는 에이전트들이 몇 달, 어쩌면 그 이상, 어쩌면 무기한으로 작동하는 세상으로 가고 있다고 생각합니다. 문제는, 석 달 동안 계속 작동한 모델이 어떻게 행동할지 알 수 있는 유일한 방법은 실제로 석 달을 돌려보는 것뿐이라는 겁니다. 그런데 모델 출시 주기 자체가 두세 달밖에 안 됩니다. 그러니까 모델이 감당할 수 있는 작동 시간 지평이 출시 주기를 넘어서는 지점에 빠르게 다가가고 있는 겁니다. 이 말은, 그 어떤 모델의 능력 상한도 다음 모델이 나오기 전에 다 파악할 시간이 없다는 뜻이고, 저는 어느 정도 이게 이미 지금 벌어지고 있는 일이라고 생각합니다. 지금 나와 있는 모델들의 능력 상한이 어디인지, 사실 아무도 제대로 모릅니다. 다음 세대가 나오기 전까지 충분히 오래 써볼 시간이 없었으니까요.

오늘의 백만 달러가 내일의 1달러가 될 때

테스트 시점 연산에는 또 하나 흥미로운 쓰임새가 있습니다. 미래를 미리 엿보는 창(window)이 될 수 있다는 겁니다. 오늘 100달러 드는 일은 내년이면 (전부는 아니어도 일부는) 1달러 정도로 줄어들 겁니다. 그러니까 오늘 기존 모델에 대규모로, 비싸게 평가를 해보면 앞으로 100달러 예산으로 어떤 능력을 얻게 될지 미리 감을 잡을 수 있습니다.

지난달 저와 OpenAI 동료들이 발표한 결과가 좋은 예입니다. 저희 내부 모델이 에르되시 단위 거리 추측(Erdős unit distance conjecture)을 반증해냈습니다. 저는 수학자가 아니라 정확히는 모르지만, 이건 수많은 수학자가 오랫동안 매달려온 유서 깊은 미해결 문제였고, AI 모델이 수학계에 실제로 기여한 최초의 사례입니다. 수학자들에게 흥미로우면서도 실질적으로 쓸모 있는 방식으로요. 이 증명의 아이디어는 이제 다른 미해결 문제에도 적용되고 있습니다. 이걸 해낸 건 아직 공개되지 않은 OpenAI의 내부 모델이었고, 예산은 아주 낮았습니다.

발표 이후, 외부에서는 GPT-5.5를 잘 유도하면 같은 결과를 낼 수 있다는 걸 알아냈습니다. 다만 이번엔 사람이 계속 조종하고 방향을 잡아줘야 했습니다. 방식은 이랬습니다. GPT-5.5에게 “이 미해결 문제에 대해 시도해볼 만한 접근법을 여러 개 나열해줘”라고 묻고, 그중 유망해 보이는 게 있으면 “이 접근을 더 깊이 파고들어봐”라고 다시 묻습니다. 이걸 충분히 반복하면 결국 실제 반증에 도달합니다.

그러니까 이걸 일반화한 스캐폴드를 GPT-5.5로 만들 수도 있었을 겁니다. 어떤 문제든 “여러 접근법을 나열해봐”라고 물은 다음, 각 접근법을 자세히 파보고, 그게 실제로 답이 되는지 확인하는 식으로요. 그런 범용 스캐폴드였다면 아마 이 새로운 척도에서도 에르되시 추측을 반증해낼 수 있었을 겁니다. 다만 예산은 훨씬 컸을 겁니다. 정확히는 모르겠지만 대략 1000달러에서 10만 달러 사이였을 거라고 추정합니다. 내부 모델이 단위 거리 문제를 반증하는 데 든 비용보다 훨씬 비싸지만, 이게 바로 오늘의 모델에 많은 테스트 시점 연산을 쏟아부어서 미래 모델의 능력을 미리 엿볼 수 있다는 걸 보여주는 사례입니다.

물론 모든 문제가 이렇지는 않습니다. 어떤 평가는 테스트 시점 연산을 더 준다고 나아지지 않습니다. 이를테면 인터넷 접근도 없고 도구도 없는 모델에게 어느 무명 인물의 생일을 물어본다고 해봅시다. 일주일을 생각하게 해도 답할 수 없을 겁니다. 반면 그 답을 알 확률이 높은 경우라면 5분만 생각해도 답할 수 있겠죠. 반대편 극단에는 스도쿠 같은 문제가 있습니다. 스도쿠는 풀이를 만들어내기는 어렵지만 정답인지 검증하기는 아주 쉽습니다. 그래서 오래 생각할수록 더 많은 가능성을 시도해보고 정답 여부를 확인할 수 있으니, 항상 더 나아질 수 있습니다. 대부분의 벤치마크는 이 두 극단 사이 어딘가에 있는데, 우리가 모델에게 정말 원하는 어려운 추론 과제들은 대체로 스도쿠 쪽에 가깝습니다. 그리고 모델이 좋아질수록 점점 더 많은 과제가 이쪽으로 옮겨가고 있다고 저는 생각합니다.

그렇다면 앞으로는 어떻게 될까요. 저는 테스트 시점 연산을 더 밀어붙일 여지가 아직 많이 남아 있다고 봅니다. 지금 AISI 같은 곳에서 제출되는 평가들만 봐도 예산이 여전히 낮습니다. 많아야 1000달러 수준이고, 최신 모델에 수십만 달러, 수백만 달러를 태워보면 어떤 일이 벌어지는지 아직 아무도 충분히 실험해보지 못했습니다. 물론 매우 비싸고 시간도 오래 걸리고 신중한 반복이 필요한 실험입니다. 하지만 만약 이걸 해본다면, 지금 벤치마크에서 보이는 것보다 훨씬 높은 능력이 드러날 거라고 저는 생각합니다.

그리고 실제로 어떤 문제들은 수백만 달러를 쓸 가치가 충분합니다. 리만 가설을 증명하면 상금이 100만 달러입니다. 그러니 최소한 그 문제를 푸는 데 추론 비용으로 100만 달러 정도는 쓸 만한 가치가 있는 셈입니다. 신약 개발 회사들도 신약 하나를 찾아내는 데 수백만, 수십억 달러를 씁니다. 그만큼 사람들에게 가치가 크기 때문이죠. 우리가 훨씬 나은 답을 얻기 위해 막대한 추론 컴퓨트를 기꺼이 투입할 만한 중요한 문제들이 이렇게 존재합니다.

이 모든 걸 바탕으로 저는 세 가지를 제안하고 싶습니다. AI 랩들은 신규 모델의 벤치마크를 발표할 때 단일 숫자가 아니라 토큰, 비용, 시간을 다른 축으로 놓은 함수로 발표해야 합니다. OpenAI는 이미 이 방향으로 조금씩 움직이고 있고, 다른 랩들도 그랬으면 합니다. 서드파티 벤치마크들도 리더보드에 모델이 쓴 추론량을 함께 기록하거나, 아니면 아예 예산 상한 같은 배제 기준을 둬야 합니다. 표준화 시험을 볼 때 “원하는 만큼 시간을 써도 된다”고 하지 않고 제한 시간을 두는 것처럼, AI 능력을 평가할 때도 예산이라는 제한을 둬야 합니다. 그리고 여러 프레임워크와 책임 있는 확장 정책(responsible scaling policy)들은 어떤 모델이 안전성 임계값을 넘는지 판단할 때 테스트 시점 연산량을 명시적으로 고려해야 합니다.

인류가 지금까지 이뤄온 것들 — 우주여행, 원자력, 지금 우리가 만들고 있는 이 인상적인 AI까지 — 을 생각해보면, 저는 종종 이런 질문을 던지게 됩니다. 지난 만 년 동안 인간 개개인이 더 똑똑해졌기 때문일까요. 그럴 리는 없을 겁니다. 진짜 이유는 수백만 명이 수천 년에 걸쳐 서로의 지식 위에 쌓아 올리고, 함께 일하고, 지식을 나눴기 때문입니다. 그 덕분에 우리는 진화를 전혀 거치지 않고도 동굴에서 여기까지 올 수 있었습니다.

그런 의미에서 지금 우리가 가진 AI는, 저는 감히 말하자면 아직 AI의 원시인 단계에 있습니다. 서로의 지식 위에 쌓아 올리지 않고, 지식을 나누지 않고, 대규모로 협업하는 에이전트도 아직 없습니다. 하지만 저는 우리가 거기에 도달할 수 있다고 봅니다. 앞으로 몇 년 안에 수십억 개의 지속적인(persistent) AI 에이전트들이 서로 지식을 공유하고, 그 위에 쌓아 올리면서, 설령 개별 모델의 능력 자체는 지금보다 더 나아지지 않더라도 지금보다 훨씬 더 많은 걸 이뤄내는 세상이 온다 해도 저는 놀라지 않을 겁니다. 그리고 인간이 서로 다른 전문성을 갖고 분업하듯, AI 모델들도 각자 특화되고 그 특화를 지렛대 삼아 인간이 해내는 것보다 더 큰 걸 이뤄내는 날이 올 거라고, 저는 그렇게 생각합니다.