목차

• 벤치마크가 감추는 것
• 증명보다 어려운 건 확인이다
• 실패를 자랑하는 학생

혀끝에서는 단맛을, 혀 안쪽에서는 쓴맛을 느낀다고 배운 기억이 있는가. 나도 그렇게 배웠다. 생물 교과서에 실린 혀 지도, 부위별로 나뉜 미각 구역 그림까지 또렷하게 기억난다. 그런데 그건 틀린 얘기였다. 20년, 30년이 지나서야 그 사실을 알게 됐다. 이 얘기가 이날 AI for Science 패널 토론의 청중석에서 나왔을 때, 나는 뒤통수를 맞은 기분이었다. 우리가 그토록 믿고 의지하는 “이미 검증된 지식”이라는 것도, 실은 시효가 있는 것일 수 있다는 얘기였으니까.

이 패널은 원래 벤치마크와 데이터에 관한 얘기로 시작했다. 컴퓨터비전을 전공하고 지금은 의료 AI 기업 루닛(Lunit)을 공동창업해 CAIO로서 초기 암 진단과 임상 의사결정 지원 모델을 만드는 유동근, 로봇공학과 통계역학을 연구하며 플랫아이언 연구소와 한국고등과학원을 오가는 코넬대의 대니얼 동율 리(Daniel Dongyuel Lee) 교수, NYU 헬스시스템에서 오래 일해온 에릭 칼 오어만(Eric Karl Oermann) 교수, 그리고 컴퓨터과학에서 출발해 생물정보학을 연구해온 한양대 백은옥 교수까지 모여 앉았다. 모더레이터인 KAIST 예종철 교수의 첫 질문은 단순했다. 각자의 분야에서 AI를 활용할 때 지금 가장 큰 병목은 뭔가.

벤치마크가 감추는 것

가장 먼저 나온 답은 뜻밖에도 기술이 아니라 벤치마크 그 자체였다. 벤치마크는 연구를 민주화하고 표준화하는 좋은 도구지만, 우리가 그 숫자를 밀어 올리는 데 몰두하는 순간 그 숫자는 원래 측정하려던 실제 임팩트를 더 이상 반영하지 못하게 된다는 지적이었다. 더 날카로웠던 건 그다음 말이었다. 설령 어떤 벤치마크가 실세계 성능과 완벽하게 상관관계가 있다 해도, 우리 기관이나 우리 사업에는 그게 중요하지 않을 수 있다는 것. 평균에는 잘 보이지만 우리에게 중요한 부분집합에서는 형편없을 수도 있는데, 그게 평균 속에 씻겨 내려간다는 거다. 실제로 이 패널리스트는 커리어 초기에 영상의학 AI 분야에서 일했는데, 거기서도 다들 워크플로 가속화 지표에만 매달렸다고 했다. 정작 중요한 건 이게 환자를 실제로 돕는지, 임상 결과를 바꾸는지인데, 그건 측정하기 어렵고 오래 걸리고 돈이 많이 든다. 그래서 다들 쉬운 지표 쪽으로 도망친다.

의료 AI 창업자 패널리스트는 이 간극을 두 갈래로 쪼갰다. 하나는 엄밀한 검증, 다른 하나는 설명력. 벤치마크 자체에 이미 복합적인 편향이 섞여 있으니, 이제는 AI가 만들어낸 가설을 엄밀하게 검증하는 체계를 설계하고, 실패 원인을 낱낱이 되짚어 모델을 다시 설계하는 데 에너지를 써야 한다는 얘기였다. 그리고 왜 그런 결과가 나왔는지를 설명하는 능력을 키우려면 서로 다른 분야 간 협업이 필요하다고 덧붙였다. 흥미로운 건 바로 다음에 나온 반박 같은 보충 설명이었다. 알파폴드의 성공은 3차원 구조 데이터만이 아니라, 비슷한 단백질들의 서열을 정렬해 패턴을 뽑아낸 방대한 사전 지식 덕분이었다는 것. 며칠 전 네이처에 실린 “가상 효모”에 관한 전망 논문 얘기도 나왔다. 5년에서 10년 안에 효모라는 유기체 전체를 AI로 모델링하겠다는 장기 프로젝트인데, 그들의 슬로건이 “데이터가 먼저”가 아니라 “생물학이 먼저”였다. 결국 이건 두 가지에 달렸다고 정리됐다. 어느 과학 분야인가 — 코딩이나 수학처럼 데이터가 풍부한 분야인가, 아니면 의학·생물학·화학·재료과학처럼 검증에 막대한 투자가 필요한 분야인가. 그리고 그 사전 지식이 얼마나 확고하게 검증된 것인가. 확고하다면 굳이 배제할 이유가 없다는 거였다. 오히려 노이즈 속 무관한 상관관계를 걸러내 일반화 능력을 높여줄 수 있으니까.

증명보다 어려운 건 확인이다

여기서 논쟁이 붙었다. 리치 서튼이 말한 “쓰라린 교훈” — AI에 귀납적 편향이나 도메인 지식을 주입하지 말고 그냥 데이터로부터 스스로 배우게 하라는 원칙 — 이 물체 인식이나 음성 인식, 언어모델에서는 통했다. 그런데 과학에서도 통할까. 대니얼 리 교수는 회의적이었다. 아인슈타인의 상대성이론에는 시공간이 어떻게 얽혀야 하는지 알려주는 데이터가 전혀 없었다. DNA 이중나선 발견 당시의 X선 결정학 데이터도 극도로 희박했다. 위대한 과학적 발견은 대개 아주 적은 경험 데이터로부터 나온 지적 도약이었다는 얘기였다. 곧바로 반론이 나왔다. 아인슈타인의 사고실험 자체가 이미 엄청나게 풍부한 프라이어 아니냐고, 다만 그가 인간으로서 세상을 살아가며 체득한 것이라 눈에 잘 안 보일 뿐이라고. 대니얼 리 교수는 조금 더 구체적으로 반박했다. 당시에도 뉴턴적 상대성의 예시는 얼마든지 있었다 — 기차를 쫓아 달리는 것처럼. 아인슈타인을 진짜 도약하게 만든 건 빛줄기를 따라잡으면 어떻게 될까 하는 상상이었고, 빛의 속도에 가까워질 때 모든 게 무너지는 지점에서 전자기학과의 연결고리를 찾아낸 게 진짜 통찰이었다는 거다.

이 논쟁은 결국 사람의 역할이 뭐냐는 질문으로 좁혀졌다. 최근 딥마인드가 오래 미해결로 남아 있던 수학 난제를 AI로 풀었다는 뉴스가 화제였는데, 대니얼 리 교수는 이렇게 정리했다. 수학은 문제 자체가 이미 잘 정의돼 있다는 점에서 과학과 다르다고. 과학에서 인간의 일은 좋은 질문을 던지는 것, 즉 문제 자체를 정의하는 것이다. AI가 스스로 흥미로운 문제를 정의할 수 있게 되는 순간 “우리는 아마 사라질 것”이라고, 지구에 존재할 이유가 없어질지도 모른다고 그는 농담 반 진담 반으로 말했다. 하지만 아직 AI는 스스로 잘 정의된 과학적 문제를 던질 만한 창의성에 도달하지 못했다는 게 그의 결론이었다.

증명을 둘러싼 검증 문제도 이어졌다. 오픈AI가 낸 어떤 수학 난제의 결과는 증명이 아니라 반례였는데, 반례를 검증하는 게 증명을 검증하는 것보다 훨씬 쉽다는 지적이 나왔다. AI가 만들어낸 증명은 수십 페이지에 달해서, 사람이 한 줄 한 줄 직접 확인해야 하는데 이게 엄청난 병목이라는 거였다. 그리고 재미있게도, 오랫동안 수학자들이 참이라고 믿고 반례를 찾을 생각조차 안 했던 단위거리 문제를, 그런 선입견이 없는 AI가 “반례부터 찾아보자”고 접근해서 뒤집어버렸다고 했다. 편향이 없다는 게 때로는 무기가 된다는 얘기였다.

실패를 자랑하는 학생

패널 후반부는 대학원생 얘기로 넘어갔다. 요즘은 AI가 학생보다 빠르게 답한다. 질문을 던지면 1분 안에 답이 오는데, 대학원생은 주말 내내 사라졌다가 월요일에야 나타난다. 그런데도 한 패널리스트는 그날 아침 세션에서 레슬리 케일블링 교수가 한 말에 동의한다고 했다. 그가 대학원생에게 바라는 건 자신이 미처 생각 못 한 것으로 자신을 놀라게 하는 것인데, AI는 아직 그렇게 못 한다는 것. 결국 프롬프트를 넣는 건 사람이니까. 다른 패널리스트도 거들었다. 창의성은 한 분야를 깊이 아는 데서도 나오지만, 그 분야를 잘 몰라서 “왜 이래야 하죠?”라고 거리낌 없이 물을 수 있는 데서도 나온다고. 자신이 컴퓨터과학자로 생물정보학 연구를 시작했을 때 생물학을 거의 몰랐던 게 오히려 축복이었다고 했다. 모르는 걸 부끄러워할 이유가 없으니 뭐든 물어볼 수 있었다는 것이다. 그래서 학생들에게도 같은 자유를 준다고 했다. 모르는 게 당연하니 뭐든 물어보라고.

지도 스타일에 대한 답도 인상 깊었다. 자신은 코치에 가깝다고 한 패널리스트는 학생에게 방향을 정해주지 않는다고 했다. 대신 나란히 앉아 같은 곳을 바라보며 “이건 어떻게 생각해?”라고 묻는다고. 연구 주제도 학생이 직접 고르게 한다. 이건 자신의 지도교수였던 넬슨 교수에게 배운 방식인데, 넬슨 교수는 제자들이 거의 2년 가까이 스스로 헤매며 박사 논문 주제를 찾도록 내버려뒀다고 했다. 대학원에 들어온 학생들은 이미 어느 정도 동기부여가 된 상태이므로, 자신이 할 일은 그 불씨에 계속 장작을 넣어주는 것뿐이라고, 굳이 불을 붙일 필요는 없다고 했다. 또 다른 패널리스트는 요즘 학생들이 겪는 새로운 종류의 실존적 위기를 짚었다. 거대 연구실이 실험 하나에 천만 달러를 쏟아붓는 걸 보면서, 자원 격차 앞에서 학생들이 위축된다는 거다. 그럴 때 교수의 역할은 과학이 꼭 그런 식일 필요는 없다는 걸, 자원의 격차를 다른 방식으로 메우는 길이 있다는 걸 보여주는 것이라고 했다.

가장 실용적인 조언은 이거였다. “최대한 다양한 방식으로 실패해봐라.” 매주 학생들과 미팅을 하는데, 어떤 학생은 “이거 해봤는데 안 됐어요”라고만 말한다. 그런데 어떤 학생은 “이걸 시도했는데 이래서 실패했고, 저것도 시도했는데 저래서 실패했고, 그래서 지금은 이걸 해보려고요”라고 말한다. 후자가 훨씬 좋은 신호라고 했다. 어느 방향이 막혔는지 알아야 남은 방향이 뚜렷해지기 때문이다. 그럼 직원이 실패하는 것도 반가우냐고 모더레이터가 묻자, 솔직히 아니라는 답이 돌아왔다. 하지만 곧바로 이런 말이 이어졌다. AI를 학습시킬 때 우리는 실패가 나오는 즉시 그 방향을 쳐내는 보상 설계를 하지만, 정작 가장 큰 통찰은 실패한 다음 “왜 실패했지”를 스스로 묻는 데서 나온다고.

마지막 질의응답에서 두 질문이 이 모든 걸 하나로 묶었다. 첫 번째는 혀 지도 이야기를 꺼낸 질문자였다. 사전 지식이 언제나 옳은 방향을 가리키는 건 아니지 않냐고, 그렇다면 AI가 우리의 잘못된 프라이어를 반박하는 작업도 해야 하지 않냐고 물었다. 돌아온 답은 담백했다. 어떤 이론이 관찰로 반박되면 수정되는 것, 그게 과학의 본질이라고. 다만 어느 지식이 지금 믿어도 되는 확립된 진실이고 어느 게 언제든 뒤집힐 수 있는 움직이는 표적인지 구분하는 게 문제이고, 그 판단은 결국 연구 공동체 안에서 형성되는 잠정적 합의에 기댈 수밖에 없다고 했다. 두 번째 질문은 물리학 박사과정을 거친 청중이 던졌다. 논문도 AI가 쓰고 심사도 AI가 하는 시대에, 과학적 방법론이 실제로 지켜지고 있다는 걸 어떻게 보장하냐고. 자신이 물리학을 공부하던 시절, 1960년대에 수백 개의 입자가 쏟아져 나왔던 것처럼 지금은 수백 개의 모델이 쏟아지고 있어서, 결국 “이게 진짜 발전인지 그냥 운인지” 판단하는 발견의 기준 자체를 높여야 했다는 경험을 들려주면서였다.

이 질문에 대한 답이 오래 남았다. 과학의 패러다임이 자리 잡는 과정은 우리가 생각하는 것만큼 논리적이지 않고, 오히려 사회학적 현상에 가깝다는 답이었다. 저작권 논쟁에 빗댄 답도 나왔다. 창작자가 작품의 50~60%를 AI로 만들었어도 여전히 그의 저작물로 인정받는 지금의 관행처럼, 논문도 비슷한 규칙을 향해 갈 거라고. 심사 전체를 AI에 맡기는 건 받아들이기 어렵지만, 사람이 AI의 도움을 받아 심사하는 건 다르다고, 결국 이건 과학자 개인의 양심 — 내가 AI의 도움을 받아 심사했는지, 아니면 AI가 나의 도움을 받아 심사했는지를 스스로 명확히 아는 것 — 의 문제라고 했다. 그리고 덧붙이길, 학회들이 심사 마감을 지독하게 빠듯하게 잡아놓은 것도 AI 의존을 부추긴 원인 중 하나라고, 자신이 운영하는 종이 저널은 심사에 몇 주가 아니라 몇 달이 걸리지만 오히려 그 여유가 AI를 써야 한다는 압박을 줄여준다고 했다.

집으로 돌아오는 길에 나는 계속 혀 지도를 생각했다. 우리는 틀린 지도를 몇십 년간 진실이라 믿고 살았다. 벤치마크도, 사전 지식도, 지금 우리가 신뢰하는 검증 절차도 어쩌면 다 그런 지도일지 모른다. 이 패널에서 오간 모든 논쟁 — 벤치마크와 실세계의 간극, 데이터냐 직관이냐, 학생을 어떻게 실패하게 둘 것인가, 심사를 누가 하느냐 — 를 관통하는 질문은 결국 하나였다. 지금 우리가 믿는 지도 중 어느 것이 아직 유효하고, 어느 것을 다시 그려야 하는가. 그리고 그 질문을 던지는 일만큼은, 적어도 아직은, AI가 아니라 우리의 몫으로 남아 있었다.

이 글은 Global AI Frontiers Symposium 2026의 AI for Science 패널 토론(트랙 C)을 듣고 쓴 기록입니다.