모델이 90%라고 말할 때, 그 숫자는 무엇을 의미하는가
ICML 2026. LLM 불확실성 평가의 전제를 다시 묻는 발표.
이 글은 ICML 2026에서 들은 발표 “Rethinking Uncertainty Evaluation in Large Language Models”를 발표자 1인칭 시점으로 재구성한 것입니다.
어떤 모델에게 질문 두 개를 던졌다고 하자. 하나에는 “90% 확신한다”고 답하고, 다른 하나에는 “80% 확신한다”고 답한다. 별문제 없어 보인다. 그런데 잠깐 멈춰서 생각해보면 이상한 지점이 하나 나온다. 이 모델이 다룰 수 있는 답변의 공간 전체를 놓고 보면, 신뢰도의 합은 1을 넘을 수 없어야 한다. 그런데 90%와 80%를 각각 부여하는 순간 이미 합이 1.7이 되어버린다. 이게 바로 내가 이번 연구에서 붙잡고 있던 질문의 출발점이다. 우리가 지금 쓰고 있는 신뢰도라는 숫자는, 사실 숫자로서 마땅히 갖춰야 할 최소한의 조건조차 만족하지 못하고 있는 게 아닐까.
이 질문을 풀기 위해 나는 신뢰도 추정기가 지켜야 할 몇 가지 공리를 세우는 데서 시작했다. 방금 말한 정규화가 그 첫 번째다. 답변 공간 전체에 대한 신뢰도의 합이 1이 되어야 한다는, 확률이라면 당연히 지켜야 할 규칙이다. 두 번째는 조금 더 미묘하다. 함의 단조성이라고 부르는 속성인데, 한 질문이 다른 질문을 논리적으로 함의할 때 성립해야 하는 관계를 말한다. 예를 들어 어떤 질문에 답할 수 있다면, 그보다 더 구체적으로 좁혀진, 논리적으로 더 어려운 질문에 대해서는 적어도 그만큼 이상의 확신을 가질 수는 없어야 정상이다. 더 어려운, 더 좁게 좁혀진 질문에 대해 모델이 오히려 더 높은 신뢰도를 갖는다면, 그건 뭔가 앞뒤가 맞지 않는 것이다. 이런 공리들을 모아 나는 RC1이라는 메트릭을 만들었다. 신뢰도 추정기 하나하나가 이 공리들을 얼마나 잘, 혹은 얼마나 못 지키는지를 측정하는 도구다.
세 가지 신뢰도, 그리고 하나같이 삐걱거리는 이유
문헌을 뒤져보면 모델의 신뢰도를 재는 방법은 대체로 세 갈래로 나뉜다. 모델에게 직접 몇 퍼센트 확신하냐고 물어보는 언어화된 신뢰도, 토큰 확률 분포에서 뽑아내는 확률 기반 신뢰도, 그리고 같은 질문에 여러 번 답을 시켜보고 얼마나 일관되게 같은 답이 나오는지를 보는 샘플링 기반 신뢰도다. 나는 이 세 가지를 전부 RC1 메트릭으로 평가해봤다.
결과는 꽤 실망스러웠다. 특히 추론 모델에서 언어화된 신뢰도는 사실상 쓸모가 없었다. 거의 모든 질문에 대해 100%에 가까운 확신을 내놓아버리기 때문이다. 이러면 공리들을 어기지 않는 게 아니라, 어길 기회조차 없어지는 셈이다. 숫자가 전부 한쪽 끝에 몰려 포화되어버리니, 정규화든 단조성이든 자명하게 통과해버린다. 겉으로는 공리를 잘 지키는 것처럼 보이지만 실은 아무 정보도 담고 있지 않은 신뢰도인 것이다. 그나마 유의미한 보정과 구별력을 동시에 보여준 유일한 방법은 샘플링 기반 신뢰도였다. 그런데 이 최선의 추정기조차 완전하지는 않았다. 엄밀히 더 쉬운 질문에서 오히려 신뢰도가 더 낮게 나오는 경우가, 놀랍게도 세 번 중 한 번 가까이 발생했다. 우리가 가진 가장 나은 도구조차, 앞서 말한 함의 단조성이라는 기본적인 속성을 세 번에 한 번꼴로 어기고 있었다는 뜻이다.
RLHF는 보정을 고치고, 구별력을 무너뜨린다
여기서 자연스럽게 다음 질문으로 넘어갔다. 모델을 학습시키는 여러 개입들이 이 신뢰도의 질을 어떻게 바꾸는가. 그래서 RLHF, 사고 사슬, 패러프레이징이라는 세 가지 개입을 각각 떼어놓고 비교해봤다. 결과는 세 가지가 서로 완전히 다른 방향으로 움직인다는 것이었다.
RLHF는 보정 자체는 개선한다. 모델이 말하는 확신의 숫자가 실제 정답률에 조금 더 가까워진다는 뜻이다. 그런데 그 대가로 구별력이 거의 우연 수준으로 무너진다. 쉽게 말해, 맞을 만한 질문과 틀릴 만한 질문을 구분해내는 능력 자체를 잃어버리는 것이다. 숫자는 그럴듯해 보이는데, 정작 그 숫자가 어떤 질문에 대해 더 믿을 만하고 어떤 질문에 대해 덜 믿을 만한지를 구분하지 못한다면, 그 보정이 무슨 의미가 있을까. 반면 사고 사슬은 보정과 구별력을 동시에 개선시켰다. 생각을 풀어써 보게 하는 것만으로 신뢰도의 질 자체가 더 좋아진 셈이다. 패러프레이징은 이 축들 전반에 걸쳐 별다른 변화를 만들지 못했다. 질문을 다르게 표현하는 것만으로는 모델이 스스로에 대해 갖는 인식이 크게 달라지지 않는다는 뜻이다.
이 결과를 정리하면서 내가 계속 떠올린 단어는 자기 일관성이었다. 전통적인 보정이라는 개념은 결국 “모델이 90%라고 말했을 때 실제로 90%의 확률로 맞는가”라는 한 축만 본다. 그런데 그것만으로는 모델이 자기 자신에 대해 얼마나 일관된 판단을 내리고 있는지를 알 수 없다. 더 쉬운 질문에 더 낮은 확신을 갖는 모델, 논리적으로 함의되는 질문들 사이에서 신뢰도의 순서가 뒤집히는 모델은, 겉보기 보정 수치가 아무리 좋아도 내부적으로 무너져 있는 것이다. 그래서 나는 확률 공리에서 영감을 받아, 보정 하나만이 아니라 이런 여러 축을 동시에 평가할 수 있는 더 넓은 메트릭으로 RC1을 제안하게 됐다.
발표를 준비하면서 가장 오래 붙잡고 있었던 문장은 사실 이거였다. 우리는 지금까지 모델이 얼마나 정직하게 확신을 말하는지를 재고 있다고 믿어왔는데, 어쩌면 우리가 잰 건 정직함이 아니라 그저 숫자의 겉모습이었을지도 모른다는 것. 세 번 중 한 번은 스스로도 모순되는 확신을 내뱉는 모델에게, 우리는 그동안 얼마나 쉽게 신뢰라는 단어를 붙여왔던가.