목차

• 저자의 답장에서 라벨을 뽑아내다
• 실패하는 법을 알아야 성공하는 법을 안다

이 글은 ICML 2026에서 들은 발표 “GOODPOINT: Learning Constructive Scientific Paper Feedback from Author Responses”를 발표자 1인칭 시점으로 재구성한 것입니다.

리뷰 마감 전날 밤, 누구나 한 번은 자동 리뷰 도구를 열어본 적이 있을 거다. 논문을 넣으면 그럴듯한 문장으로 지적이 쏟아진다. 실험이 부족하다, 관련 연구가 빠졌다, 표현이 모호하다. 문제는 그다음이다. 그 지적을 읽고 나서 “그래, 고쳐야겠다”는 마음이 드는 피드백과, 읽자마자 “이건 논문을 안 읽고 하는 말인데”라는 반응이 나오는 피드백이 뒤섞여 있다는 거다. 이 작업은 CMU와 NVIDIA 동료들과 함께한 공동 연구인데, 시작은 그 뒤섞임을 어떻게 갈라낼 수 있을까 하는 질문이었다. 우리는 AI가 연구자를 대체하는 게 아니라 도와야 한다고 믿는다. 그런데 도움이 되려면, 먼저 뭐가 진짜 도움인지를 알아야 한다.

지금까지 자동 리뷰를 연구하는 사람들은 대체로 이런 걸 물었다. 이 피드백이 사람 리뷰어의 것과 얼마나 비슷한가. 그런데 여러 연구가 보여주듯, 그렇게 사람과 닮은 피드백조차 실제로는 뭉뚱그려진 말이거나, 저자가 손댈 수 없는 조언인 경우가 많다. 그래서 나는 질문을 바꿔야 한다고 생각했다. 사람 리뷰어와 닮았느냐가 아니라, 저자가 정말로 유용하다고 느끼느냐. 실제 피어리뷰 기록을 들여다보면 그 차이가 선명하게 드러난다. 어떤 리뷰에서는 저자가 “이건 범위 밖의 플롯 수정 요청이라 받아들이지 않겠다”고 딱 잘라 답한다. 그 바로 아래 다른 리뷰에서는 저자가 “맞습니다, 다음 리비전에서 수정하겠습니다”라고 답한다. 겉으로는 둘 다 리뷰어가 쓴 멀쩍한 지적문일 뿐이지만, 저자의 반응은 완전히 다르다. 우리 연구 전체가 바로 이 대비, 이 저자 반응의 차이에서 출발한다.

저자의 답장에서 라벨을 뽑아내다

그래서 우리는 건설적인 피드백을 두 축으로 정의했다. 하나는 유효성, 저자가 그 지적이 맞다고 동의하는가. 다른 하나는 실행 가능성, 저자가 실제로 뭔가를 해야 하는가. 이 둘이 같이 있을 때만 우리는 그 피드백을 성공적이라고 부른다. 이 정의를 바탕으로 GoodPoint라는 데이터셋을 만들었다. ICLR 논문과 리뷰, 그리고 그에 대한 저자 답변까지 함께 큐레이션한 데이터다. 여기에 GoodPoint training이라는 학습 방법을 더했는데, 핵심은 저자의 실제 반응을 학습 신호로 쓴다는 점이다. 평가는 자동 평가와 사람 평가 둘 다로 진행했다.

데이터셋 규모는 1만 9천 개의 ICLR 논문이다. 각 논문의 저자-리뷰어 논의를 하나씩 쪼개서, 맥락 없이도 이해할 수 있는 독립적인 피드백 단위로 나누고, 거기에 대응하는 저자의 답변을 짝지었다. 이 답변에서 유효성과 실행 여부 라벨을 뽑아냈다. 실행 여부는 다섯 개 범주로 나뉘는데, 저자의 답변이 “수정하겠다”는 의도를 담고 있으면 실행 가능하다고 분류했다. 이 모든 라벨링은 일단 GPT-4로 돌리고, 사람이 매긴 라벨과 대조해서 검증했다.

실패하는 법을 알아야 성공하는 법을 안다

학습은 두 단계로 구성했다. 첫 단계는 SFT로 웜스타트를 하는 것이다. 유효하면서 실행 가능한, 즉 성공적인 피드백만 골라서 모델에게 좋은 피드백이 어떻게 생겼는지를 각인시킨다. 두 번째 단계에서는 한 걸음 더 나간다. 사람 리뷰를 그냥 흉내 내는 게 아니라, 피드백이 왜 실패하는지를 알아채도록 가르치는 것이다. DPO를 두 종류의 선호 쌍으로 돌렸다. 성공한 피드백과 실패한 피드백의 쌍, 그리고 성공한 피드백과 일부러 훼손시킨 피드백의 쌍. 훼손은 GPT-4로 만들었는데, 한 번에 한 가지 품질 축만 무너뜨린다. 뭉뚱그려지게, 부정확하게, 실행할 수 없게, 혹은 무례하게. 이렇게 만든 두 변형이 각각 GoodPoint SFT와 GoodPoint DPO다.

평가는 세 가지 렌즈로 봤다. 첫째는 저자 반응 예측이다. 언어모델을 하나 파인튜닝해서, 어떤 피드백을 봤을 때 저자가 동의하고 행동에 옮길지를 예측하게 했다. 이건 저자가 느끼는 피드백 품질의 대리 지표이자, 우리 학습 전략이 제대로 작동했는지를 보는 정합성 체크이기도 하다. 둘째는 사람 합의 매칭이다. 여러 사람 리뷰어가 독립적으로 짚어낸 우려 사항과 모델의 피드백이 얼마나 일치하는지를 본다. 이건 우선순위를 얼마나 잘 잡아내는지를 보는 지표다. 셋째는 실제 사람을 대상으로 한 연구다. 저자 13명에게 자기 논문에 대한 피드백을 직접 평가하게 했다.

결과는 두 지표가 서로 다른 이야기를 들려줬다. 저자 반응 예측에서 GoodPoint DPO는 베이스 모델보다 점수가 거의 두 배, 84% 올랐고 비슷한 크기의 모델 중에서는 1위였다. 다만 3.5와 2.0 Flash는 여전히 앞서 있었다. 반대로 사람 합의 매칭에서는 GoodPoint SFT가 비슷한 크기의 모델 중 가장 강했고, 평가한 모든 모델 중에서 정밀도가 제일 높았다. 독점 모델들과 비교해도 그랬다. 독점 모델들은 재현율에서 우리를 앞섰지만, 그건 더 많이 말한다는 뜻이지 더 정확하게 말한다는 뜻은 아니었다. 우리 모델은 더 선별적으로, 정말 중요한 지점만 짚어냈다. 왜 이렇게 갈렸을까 생각해보면 학습 방식 때문이다. SFT는 성공한 사람 리뷰를 그대로 모방하도록 학습했으니 리뷰어들의 합의와 잘 맞고, DPO는 여기에 더 넓은 품질에 대한 선호까지 얹었으니 저자 반응 예측에서 특히 강하면서도 합의 매칭에서도 경쟁력을 유지한다. 그러니까 이 두 지표는 서로 대체하는 게 아니라 같이 읽어야 온전한 그림이 나온다.

마지막으로 진행한 사람 연구에서는 GoodPoint DPO가 유효성, 실행 가능성, 구체성, 도움이 되는 정도라는 네 가지 축 전부에서 베이스 모델보다 21%에서 40%까지 개선됐다. 그리고 이 개선이 Gemini와의 격차를 의미 있게 좁혔다. 자동 평가에서 본 향상이 실제 저자들이 느끼는 유용함으로도 이어진다는 걸 확인한 셈이다.

정리하면, 우리는 저자가 남긴 실제 반응으로 라벨을 붙인 GoodPoint 데이터셋을 공개하고, 그 반응을 SFT와 DPO 파이프라인 안에서 학습 신호로 쓰는 GoodPoint training을 함께 내놓았다. 앞으로는 이 데이터셋을 ML 이외의 학술 분야로 넓히고, 리비전 자체에서 나오는 신호도 활용해볼 계획이다. 그런데 이 모든 작업을 관통하는 생각은 하나다. 좋은 피드백은 연구자를 대신 판단해주는 게 아니라, 연구자가 스스로 더 잘 판단할 수 있게 돕는 것이어야 한다. 그리고 그 방향으로 가는 길은, 결국 저자 자신이 어떻게 반응했는지를 놓치지 않고 들여다보는 데 있었다.