목차

• 인간보다 참신한 아이디어, 그리고 그 뒤에 벌어진 반전
• 직접 실행까지 돌려본 자동 연구자

이 글은 ICML 2026에서 스탠퍼드 Diyi Yang의 강연 “Progress on Automating Research”를 발표자 1인칭 시점으로 재구성한 것입니다.

이 워크숍 이름이 사실 “Science and Machine Learning”이라는 걸 알고 계셨는지 모르겠다. 다들 수학하는 분들이 많이 오신 자리인데, 이름을 보면 훨씬 넓은 이야기를 하라고 초대받은 셈이라 오히려 마음이 편했다. 그래서 오늘은 조금 다른 각도에서, 연구를 자동화한다는 것에 대해 이야기해보려 한다. 논문 결과를 나열하기보다는, 사람 중심의 시선으로 이 문제를 어떻게 바라보고 있는지를 나누고 싶다.

먼저 이 이야기가 왜 지금 중요한지부터 시작하고 싶다. AI 모델이 학습하는 데이터량을 그래프로 그려보면, 데이터 크기를 나타내는 선과 실제 사용량을 나타내는 선이 2027년 즈음, 그러니까 거의 내년쯤에 교차한다. 다시 말해 모델들이 곧 인류가 써온 텍스트를 거의 다 읽어치우게 된다는 뜻이다. 그래프에 적힌 숫자 하나가 계속 눈에 밟혔는데, 10의 15제곱이라는 값이었다. 토큰 하나를 모래알 하나라고 치면, 10의 15제곱 개의 모래알은 지구 표면을 두 바퀴 넘게 덮을 수 있는 양이다. 밀알 하나씩만 먹는다고 가정해도 전 인류를 35만 년 동안 먹여 살릴 수 있고, 자연과학 쪽으로 눈을 돌리면 인간 몸속 세포 수와도 얼추 맞아떨어진다. 인류가 지금까지 써온 글이 이 정도 규모이고, 모델은 곧 이걸 전부 소비하게 된다. 그러니 앞으로 남은 길은 더 많이 읽는 게 아니라, 새로운 지식을 만들어내는 쪽에 있다.

수학이나 코딩을 넘어서면 이미 여러 분야에서 흥분이 감지된다. 작년엔 올림피아드에서 금메달을 받는 모델이 나왔고, 소분자 발견이나 단백질 구조 예측 같은 자연과학 영역에서도 돌파구들이 이어지고 있다. 내 분야에서는 LLM 기반 시뮬레이션으로 사회과학 연구를 돕는 시도들이 활발하다. 이런 흐름은 자연스럽게 더 큰 질문으로 이어진다. 감염병을 거의 다 없앨 수 있을까, 대부분의 암을 치료할 수 있을까, 희귀질환을 다룰 수 있을까 — 인류가 가진 가장 큰 문제들이다. 그런데 이런 야심을 밤하늘 보듯 바라보면, 아름답기는 한데 아득히 멀게 느껴진다. 그래서 이 발표에서 하려는 일은, 그 밤하늘에 망원경을 조금 더 가까이 대고 꼼꼼히 들여다보는 것이다.

과학적 방법론을 다시 떠올려보면, 관찰과 질문에서 시작해 가설을 세우고, 실험으로 검증하고, 결과를 분석해 결론을 보고하는 흐름이다. AI가 도울 수 있는 지점은 이 전체 과정에 걸쳐 있겠지만, 오늘은 앞의 두 단계, 그러니까 AI가 참신한 연구 아이디어를 낼 수 있는가에 집중하고 싶다. 아이디어가 별로면 그다음은 아무리 잘해도 의미가 없기 때문이다. 이 작업을 시작할 때 내 입장은 단순했다. 우리는 AI가 아이디어를 얼마나 잘 내는지, 그리고 그걸 어떻게 잘 되게 만들 수 있는지 사실 잘 모른다는 것이었다.

인간보다 참신한 아이디어, 그리고 그 뒤에 벌어진 반전

첫 번째 연구는 아이디어 자체를 평가하는 작업이었다. NLP 컨퍼런스에 실제로 존재하는 여러 트랙 — 편향, 코딩, 멀티모달, 수리, 불확실성 같은 주제들 — 을 놓고, 우리 논문 심사를 통과한 미국 박사과정 연구자들을 고용해서 사람과 AI가 각각 아이디어를 쓰게 했다. 형식은 한 줄짜리 아이디어가 아니라 제목, 문제 정의, 동기, 단계별 방법론, 실험 계획, 테스트 케이스, 백업 플랜까지 갖춘 정식 연구 제안서였다. 그랜트 제안서를 써본 사람이라면 익숙한 형식일 것이다. 이렇게 모인 아이디어는 참신성, 흥미도, 실현 가능성, 기대 효과 네 가지 기준과 종합 점수로 리뷰어들의 평가를 받았다.

400명이 넘는 참여자를 모았는데, 이 과정에서 재미있는 일도 있었다. 한 컨퍼런스에서 누군가 내 얼굴이 프린트된 티셔츠를 입고 다니는 걸 봤는데, 알고 보니 참가자 모집용 QR코드였다. 그렇게까지 퍼질 줄은 몰랐다. 아무튼 사람이 낸 아이디어와 AI가 낸 아이디어를 비교했을 때, 리뷰 소요 시간이나 정성적 품질은 실제 컨퍼런스 심사와 비슷한 수준으로 통제됐다. 그리고 그 결과가 나를 정말 놀라게 했다. 참신성에서도, 종합 점수에서도 AI 아이디어가 인간 — 주니어 연구자들 — 이 낸 아이디어보다 더 높은 평가를 받았다. 전혀 예상하지 못한 결과였다.

물론 약점도 뚜렷했다. AI 아이디어는 디테일이 허술하거나, 데이터셋을 잘못 쓰거나, 비현실적인 가정을 하거나, 자원을 지나치게 요구하는 경우가 많았고, 상황에 맞춰 전략을 유연하게 바꾸는 능력은 확실히 부족했다. 아이디어를 계속 생성시켜보면 새로운 배치마다 중복되지 않는 아이디어의 비율이 점점 줄어드는 것도 확인했다. 그래도 이 첫 실험에서 얻은 결론은 분명했다. 최소한 아이디어 단계에서는, AI가 인간보다 더 참신한 걸 내놓을 수 있다는 것.

그런데 여기서 자연스럽게 의문이 남았다. 사람들이 본 건 결과 없는 아이디어뿐이었으니, 이게 진짜 아이디어 공간의 다양성을 온전히 반영한 걸까? 그래서 작년에는 AI가 낸 아이디어와 사람이 낸 아이디어를 섞어서, 리서치 어시스턴트를 고용해 몇 달에 걸쳐 실제로 구현하게 했다. 마치 지도교수나 동료에게서 아이디어를 받은 것처럼 내재화해서 논문과 코드베이스로 완성시키고, 이번엔 제3자 리뷰어들이 다시 심사했다. 누구도 어떤 아이디어가 사람 것이고 어떤 게 AI 것인지 몰랐고, 편향을 막기 위해 별도의 제3자 연구자까지 개입시켰다.

여기서 나온 이름이 “아이디어-실행 갭”이다. 구현 전 점수를 보면 AI 아이디어는 인간 아이디어와 비슷하거나 더 높게 나왔는데, 막상 실행을 마치고 나면 AI 아이디어의 점수가 확 떨어졌다. 인간 아이디어는 비교적 안정적으로 유지된 반면 말이다. 이 실험은 처음부터 끝까지 무작위 배정을 거쳐서, 누가 구현했는지에 따른 교란 요인은 통계적으로 배제한 결과였다. 그만큼 신뢰할 만한 패턴이라는 뜻이다. 실행 단계 리뷰어들은 참신성보다 실질적 성능 향상, 구현 세부사항, 일반화 가능성, 실험 설계, ablation 같은 걸 더 따졌고, 아이디어 단계에서는 참신성과 동기, 의의를 더 중요하게 봤다. 이 기준의 변화가 갭을 만든 큰 이유 중 하나였다. 그래도 흥미로운 반전이 하나 있었는데, 참신성·효과성·종합 점수 각각의 상위 10개 프로젝트를 보면 그중 4~5개는 여전히 AI가 낸 아이디어였고, 참신성 부문 1위도 AI였다. 갭은 분명했지만, AI 아이디어가 완전히 밀려난 것도 아니었다.

직접 실행까지 돌려본 자동 연구자

이 갭을 확인하고 나니 자연스럽게 다음 질문이 떠올랐다. 아이디어 생성과 실행을 아예 하나의 루프로 묶어서, RL이나 진화·탐색 방식으로 돌리면 어떨까. 아이디어를 냈을 때 보상 신호를 어떻게 얻을 것인가라는 문제가 생각보다 훨씬 까다로웠지만, 우리는 두 개의 현실적인 연구 환경을 골라서 작게 시작해보기로 했다. 하나는 GRPO 기반 포스트트레이닝 개선, 다른 하나는 Andrej의 nanoGPT를 변형한 25분짜리 스피드런 과제였다. 둘 다 새로운 알고리즘적 혁신이 들어갈 여지는 있으면서도, 이미 잘 정립된 베이스라인이 있어서 정량적 비교가 가능한 태스크였다.

이걸 위해 Implementer, Scheduler, Worker 세 컴포넌트로 이루어진 자동 아이디에이터를 만들었다. Implementer는 아이디어를 실제 코드로 바꾸고, Scheduler는 그 코드베이스들에 자원을 배분해 실험을 어디서 돌릴지 정하고, Worker는 실제로 실험을 돌려 결과를 반환한다. 입력은 자연어로 된 아이디어 묶음이고 출력은 각 아이디어의 벤치마크 성능이라고 보면 된다. 완주율이 84%, 80%, 52% 정도로 나왔는데, 이 정도면 루프 자체는 확실히 돌아간다고 볼 수 있었다. 실제로 GRPO 태스크에서는 이 실행 기반 탐색이 기존 최고 성능을 넘어섰고, 스피드런 태스크에서도 베이스라인 대비 유의미하게 개선됐다. 자동화된 방식으로 두 태스크 모두에서 모델 성능을 끌어올릴 수 있다는 뜻이라, 꽤 흥분되는 결과였다.

다만 이 과정을 자세히 들여다보면서 걱정되는 지점도 발견했다. 우승한 아이디어들 중 상당수가 사실은 극도로 공격적인 하이퍼파라미터 튜닝이었다. 가중치를 학습 가능하게 만들거나, 어텐션이나 웨이트 디케이, 워밍업을 파라미터별로 세밀하게 조정하는 식으로 숫자를 좋게 보이도록 밀어붙이는 경우가 꽤 있었다. 그래서 실제 알고리즘적 혁신과 단순 하이퍼파라미터 탐색을 구분해서 다시 살펴봐야 했다. 또 하나 신경 쓰이는 패턴은 “다양성 붕괴”였다. 평균 보상 곡선만 보면 아름답게 우상향하는데, 최댓값 보상은 어느 시점부터 정체된다. 과학이란 결국 하나의 더 나은 가설을 찾아가는 일이지, 자잘한 개선을 수없이 쌓는 일이 아니라는 걸 생각하면, 우리가 평균 보상만 보고 최적화하고 있는 게 아닌지 다시 물어야 하는 대목이었다.

그럼에도 이 과정에서 나온 아이디어 중에는 정말 흥미로운 것들이 있었다. 토큰 임베딩과 위치 임베딩을 가중치로 섞는 방식이라든지, 헤드별 어텐션 출력을 다루는 아이디어 같은 것들 말이다. 그리고 놀랍게도, 이 중 몇몇은 최근 3개월 사이 학생들이 쓴 논문에서 실제로 발견됐다. 독립적으로 같은 결론에 도달했다는 뜻인데, 이건 우리 시스템이 완전히 헛다리를 짚고 있는 건 아니라는 방증이기도 했다.

이 모든 걸 지나오면서 내가 계속 확인하게 되는 건 하나다. AI 연구자라는 아이디어는 정말 흥미롭고 가능성도 크지만, 신뢰성 문제는 여전히 남아 있고, 이 분야에 맞게 스캐폴딩이나 학습 레시피를 특화하는 게 아니라면 결국 가장 강력한 모델에 기댈 수밖에 없다는 것이다. 사람들이 많이 궁금해하는 다음 질문은 연구자의 “취향”을 어떻게 이 과정에 불어넣을 것인가다. 나는 개인적으로 인간과 AI의 협업에 관심이 많은데, 우리가 몇 달간 여러 바이브 코딩 에이전트를 놓고 사람과 함께 작업시켜본 결과가 흥미로웠다. 솔로 에이전트 벤치마크에서의 순위와, 사람이 함께 붙어서 일할 때의 순위가 전혀 다르게 나왔다. 그리고 AI를 쓸 줄 아는 사람은 확실히 큰 이득을 봤지만, 다루는 법을 모르는 사람은 솔로 에이전트보다도 나은 성과를 내지 못했다.

그래서 결론으로 돌아오면, 나는 여전히 연구의 핵심에는 연구자가 있다고 믿는다. 무엇을 연구할 가치가 있는지, 무엇을 검증할 가치가 있는지, 어떤 결과가 데이터를 넘어 진짜로 일반화되는지를 판단하는 건 사람의 몫이다. AI가 컨퍼런스에 실릴 만한 논문을 만들어낼 수 있다는 걸 보여준 것과, 순수한 호기심 그 자체가 갖는 존재 이유는 다른 층위의 이야기다. 목적이 뚜렷하게 정의된 문제라면 AI가 잘 해낼 수 있겠지만, 정의되지 않은 호기심과 판단력은 여전히 우리만의 것이다. 그래서 나는 AI를 연구자를 대체할 위협으로만 보기보다는, 자잘하고 평범한 연구는 AI에 맡기고 사람은 더 근본적인 질문에 집중하게 해주는 도구로 보고 싶다. 마치 농부들이 망원경으로 하늘을 이해하며 자기 발밑의 세상을 더 잘 보게 됐던 것처럼, AI도 우리가 밤하늘을 조금 더 가까이 당겨볼 수 있게 해주는 도구이길 바란다.