목차

• 꼬리부터 사라진다
• 그런데 정반대의 이야기도 있다
• 질문이 더 많이 남았다

이 글은 ICML 2026 워크숍에서 Yarin Gal의 강연 “Model Collapse and its Implications on Planning with LLMs”를 발표자 1인칭 시점으로 재구성한 것입니다.

강연 제목을 바꿨다는 이야기부터 해야겠다. 원래 정해진 제목이 있었는데, 준비를 하다 보니 이걸로는 부족하다 싶어서 결국 “모델 붕괴: 창발적 계획 능력으로 이어질 수 있는가”로 바꿨다. 왜 바꿨는지는 이 글을 끝까지 읽으면 이해가 될 거라고 생각한다.

강연은 늘 하던 질문으로 시작했다. AI 시스템의 생애주기를 그림으로 그려보면 보통 이렇다. 사전학습을 하고, 후처리 정렬과 안전성 학습을 하고, 평가를 거쳐 배포한다. 청중에게 물었다. 이 그림에서 빠진 게 안 보이시나요.

답은 이거다. 이 생애주기는 파이프라인이 아니라 순환이다. 배포는 다음 세대에 영향을 준다. 우리가 GPT-n을 배포하면, 사람들은 그걸로 웹을 돌아다니고, 글을 쓰고, 데이터를 만들어낸다. 그 데이터가 다음 모델의 학습 자료가 된다. 그 모델을 배포하면 또 그다음 세대에 영향을 준다. 이걸 3차원으로 그려보면 훨씬 이해하기 쉬운데, 요는 모든 배포된 모델이 다음에 배포될 모델에 흔적을 남긴다는 것이다. 이번 강연에서 내가 정말 궁금했던 건, 이 순환을 GPT-5나 GPT-10까지 계속 밀어붙이면 무슨 일이 벌어지느냐는 것이었다.

꼬리부터 사라진다

언어모델이 하는 일은 결국 문장을 이어갈 다음 단어를 확률로 고르는 것이다. 흔한 완성일수록 높은 확률을, 드문 완성일수록 낮은 확률을 갖는다. 이걸 직관적으로 보여주는 가상의 예시를 하나 만들었다. 2019년에 수집한 말뭉치가 있고, 거기 담긴 지식 팩트들을 x축에 늘어놓는다고 해보자. 아주 유명한 가상의 캐릭터 하나를 언급하는 문장은 인터넷에 계속 반복해서 등장하니까 빈도가 높고, 반대로 덜 알려진 캐릭터는 꼬리 쪽, 그러니까 분포의 저빈도 구간에 위치한다.

이 2019년 말뭉치로 GPT-n을 학습시키고 배포한다고 하자. 모델링 오차도 샘플링 오차도 없이 인터넷의 빈도를 완벽하게 포착했다고 가정한다. 사람들이 이 모델에서 유한한 개수의 텍스트를 뽑아내고, 그 샘플들로 다시 웹을 채운다. 그렇게 만들어진 2022년 말뭉치를 보면 어떤 팩트는 빈도가 살짝 오르고, 어떤 건 살짝 내려간다. 유한 샘플이라는 이유 하나만으로 원래는 완벽했던 분포에 왜곡이 생기는 것이다. 이 2022년 말뭉치로 GPT-4를 학습시키고, 또 배포한다.

여기서 흥미로운 질문이 나온다. 어떤 희귀한 팩트가 GPT-4에서 등장할 확률이 아주 작은 값, 엡실론이라고 하자. 사람들이 GPT-4의 출력으로 계속 웹을 채우면, n번 샘플링했을 때 이 팩트가 한 번도 등장하지 않을 확률은 (1-엡실론)의 n제곱이다. 여기에 흡수 상태를 가진 마르코프 결정 과정으로 조금 더 수학을 풀어보면, N이 커질수록 우리는 거의 확실하게, 확률 1로 모든 걸 잊어버리게 된다는 걸 증명할 수 있다. N이 무한대로 갈 필요도 없다. 5나 10 정도만 돼도 이 확률은 무섭도록 작아진다. 실제로 이 순환을 계속 그려보면 세대가 지날수록 분포의 디테일이 사라지고 결국 하나의 점으로 붕괴한다.

실험으로도 이걸 확인했다. 세대를 거듭하며 데이터를 생성하고 perplexity를 측정해보면, 완전히 합성 데이터로만 학습할 때든 이전 세대의 진짜 데이터를 일부 섞을 때든, perplexity는 계속 낮아지면서 결정론적인 예측으로 수렴해간다. 이게 왜 중요하냐면, 실제로 이런 일이 벌어지는 사례를 최근에 읽었기 때문이다. 의료 도메인에서 중환자실 임상 노트를 요약하고, 그 요약으로 합성 데이터를 만들어 다음 모델을 학습시키는 걸 몇 차례 반복한 연구가 있었다. 겉보기 성능 지표는 그렇게 나빠지지 않았는데, 그 안을 들여다보면 일반적인 의학 지식이 조용히 잊혀지고 있었다.

그러니까 웹을 긁어서 학습시키는 지금의 패러다임은 근본적으로 뭔가 어긋나 있다. 뭔가 바뀌지 않는 한 인간의 지식 중 일부는 사라질 것이고, 온라인에서 지배적인 언어 쪽으로 쏠리게 될 것이다. 그렇다고 언어모델이 실패한다는 뜻은 아니다. 다만 이대로 계속 학습시키면 어떤 최빈값들은 붕괴하기 시작한다는 뜻이다. 여기엔 중요한 단서도 있다. 진짜 데이터를 다양한 비율로 섞어보면 붕괴 속도는 늦출 수 있지만 완전히 막지는 못한다. 그리고 더 중요한 단서는, 인간이 쓴 텍스트에는 의도가 담겨 있다는 점이다. 페이스북 투표 스팸이나 봇 팜의 조작된 표처럼, 에이전트 간 상호작용이 웹의 데이터 분포 자체를 위협할 수 있다. 그런데 언어모델이 만든 합성 텍스트도 마찬가지로 어떤 의도의 영향을 받아 생성된다. 이게 나쁜 것만은 아니다.

그런데 정반대의 이야기도 있다

여기서부터가 이 강연에서 제일 하고 싶었던 이야기다. 사람들은 언어모델을 계획 같은 추론 과제에 쓸 때, 결과가 맞았을 때만 그 출력을 온라인에 공유하는 경향이 있다. 이게 일종의 큐레이션이다. 사용자가 맞는 답만 골라서 게시하는 것이다. 그런데 이렇게 큐레이션된 데이터로 반복 학습된 모델은 계획 능력이 실제로 향상된다는 걸 우리는 증명할 수 있었다. 흥미로운 건 이 과정에 외부 플래너도, 외부 데이터도, 외부 보상함수도 필요 없다는 것이다. 그저 사용자들이 좋은 데이터를 골라내는 것만으로 충분하고, 여기에 온라인 데이터를 더하면 더 좋아진다.

실험은 이렇게 설계했다. 계획 커뮤니티에서 오래 다뤄온 고전적인 도메인들, Blocksworld처럼 블록을 목표 배치로 재배열하는 문제, Obstacles, Boxes, 그리고 계획이 지수적으로 길어질 수 있는 PSPACE-complete 문제인 Flow-allocation을 썼다. 요즘 흔한 40B, 70B급 모델이 아니라 20~40억 파라미터 정도의 아주 작은 모델을 썼다. 손으로 짠 휴리스틱도, 보상함수도 없이, 사용자가 웹에 데이터를 큐레이션하는 과정을 그대로 흉내 냈다. 모델이 만든 계획들 중 실제로 과제를 푼 것만 골라내고, 그걸 다시 원래 데이터 분포에 섞어 넣는 식이었다.

기본 모델은 각 도메인에서 200개 중 40~50개 정도의 과제를 풀었다. 그런데 이렇게 이전 세대에서 성공한 계획만 계속 다음 세대의 학습 데이터로 흘려 넣었더니, 학습이 끝날 무렵에는 모든 테스트 도메인에서 기본 모델 대비 두 배, 어떤 경우는 다섯 배까지 더 많은 과제를 풀어냈다. 정답 예시를 하나도 주지 않았는데, 그저 모델 자신의 출력만으로 이 정도 향상이 나온 것이다. 더 재미있는 건 세대를 거듭할수록 더 긴 계획도 풀어낸다는 점이었다. 1세대부터 5세대까지 놓고 보면, 후대 모델일수록 더 긴 과제를 더 많이 풀어냈다. 분포 밖으로 일반화가 일어나고 있다는 뜻이다. 그런데 추론에 쓰는 토큰 수는 늘지 않았다. 계획 과제에서는 이게 성립하는 것 같은데, 일반적인 사고 과제에서도 똑같이 성립할지는 나도 확신이 없다.

이 현상을 강화학습 관점에서 이론적으로도 뒷받침할 수 있었다. 유효한 흔적만 걸러서 하는 파인튜닝은, 이진 보상을 쓰는 REINFORCE와 수식이 똑같다. 온폴리시와 오프폴리시 샘플을 섞어 하는 SFT는 중요도 샘플링 보정이 더해진 REINFORCE와 동치다. 새로 만든 계획을 기존 계획 더미에 섞어 넣는 그 행위 자체가 바로 이 중요도 샘플링 보정 역할을 하는 것이다.

여기엔 안전성 측면에서 무시하기 어려운 함의가 있다. 지금 우리가 쓰는 모든 모델은 반복 학습된 모델이다. 큐레이션은 배포 이후 사용자 상호작용에 의해 간접적으로 형성되고, 다음 세대 모델은 결국 암묵적인 보상함수로 학습되는 셈이다. 사용자들이 어떤 기준으로 콘텐츠를 걸러내느냐가 사실상 보상함수 역할을 하고, 이게 안전성 학습이나 다른 후처리 학습과 충돌할 수 있다. 반대로 보면 이건 명시적인 보상함수를 정의하기 어려운 열린 과제에서 강화학습을 대체할 흥미로운 대안이 될 수도 있다.

그런데 여기서 꼭 짚고 싶은 게 있다. 이 큐레이션 메커니즘도 모델 붕괴를 해결해주지는 않는다. 지식은 여전히 시간이 지나며 사라지고, 꼬리는 여전히 옅어진다. 붕괴 속도가 조금 느려질 뿐이다.

질문이 더 많이 남았다

강연을 마치고 받은 질문들이 오히려 더 오래 기억에 남았다. 큐레이션이 만들어내는 이 암묵적 보상함수를 명시적 보상함수로 역산할 수 있느냐는 질문이 있었다. 검증기가 함수 형태로 되어 있다면 가능하지만, 블랙박스라면 분석적으로는 어렵다고 답했다. 세계의 규칙을 완전히 통제할 수 있다면 에이전트의 세계 모델에 역강화학습을 걸어 나머지 보상을 역추적해볼 여지는 있을 것 같다.

세대를 거듭할 때 진짜 데이터와 합성 데이터를 섞는 비율에 스위트 스팟이 있는지 묻는 질문도 나왔다. 솔직히 아직 우리는 이 실험을 해보지 않았다. 언제 한 세대의 학습을 멈추고 다음 세대로 넘어가야 하는지, 그 경계를 어떻게 정하는지도 마찬가지로 열린 질문이다. 지금 관행은 그냥 모델이 스스로 뭔가를 생성하게 두고, 과제를 풀 때까지 컴퓨트를 계속 더하는 식이다. 과거에 모델의 불확실성을 계속 관찰하다가, 데이터 분포가 너무 많이 어긋나기 시작하는 순간을 포착해서 재학습을 트리거하는 작업을 해본 적이 있는데, 비슷한 접근을 여기에도 쓸 수 있을 것 같다.

모델이 커지면 이 문제가 자연히 해결되지 않느냐는 질문에는 조심스럽게 답했다. 모델이 커지면 더 많이 기억할 수 있는 건 맞다. 하지만 무엇을 기억하느냐는 여전히 데이터 분포 자체에 달려 있다. 자주 등장하는 건 더 자주 기억하고, 한 번만 등장한 건 여전히 잊힐 가능성이 크다. 슬라이드에서 보여준 그림은 명세 오차도, 표현력 오차도, 근사 오차도 없는 완벽한 모델을 가정한 것이다. 그런 이상적인 상황에서도 유한 샘플링이라는 통계적 속성 하나만으로 분포는 흔들린다. 더 큰 모델이 이 효과를 압도할 수는 있겠지만, 그것과 별개로 이 문제 자체는 사라지지 않는다. 최근 통계학 쪽 동료들과 이야기하다가, 데이터에 가중치를 다르게 줘서 붕괴를 완화할 수 있지 않겠냐는 아이디어를 들었다. 아직 아무도 직접 시도해본 적은 없다고 했다. 누군가는 해볼 만한 문제라고 생각한다.

강연을 준비하면서 계속 든 생각이 있다. 우리는 매 세대 모델을 배포할 때마다 뭔가를 지우고 있고, 동시에 뭔가를 쌓아올리고 있다. 어떤 지식은 꼬리 끝에서 조용히 사라지고, 어떤 능력은 사용자들의 선택을 통해 다음 세대로 전해진다. 이 둘이 같은 순환 안에서 동시에 일어난다는 것, 그게 이 강연에서 내가 정말 하고 싶었던 이야기다.