목차

• 에너지라는 이름의 신호
• 언제 멈추고, 언제 밖으로 넘길 것인가

이 글은 ICML 2026 워크숍에서 들은 oral 발표를 발표자 1인칭 시점으로 재구성한 것입니다.

같은 환자를 보고 있는 두 명의 진단자를 상상해보자. 서로 다른 관점에서 출발했는데도 둘 다 “블루”라는 같은 답에 도달했다. 처음엔 이게 꽤 안심되는 그림처럼 보인다. 독립적으로 판단한 두 사람이 같은 사후 확률에 수렴했으니 말이다. 그런데 나는 이 그림을 오래 들여다보다가 불편한 질문 하나에 걸렸다. 만약 두 사람이 같은 사각지대를 공유하고 있다면 어떻게 되는가. 그렇다면 둘은 정확히 같은 이유로 같은 중증 질환을 놓치고 있을 수 있다. 한 번도 검토되지 않고, 한 번도 추적되지 않은 채로 남아 있는 대안 하나가, 사실은 생명을 위협하는 그 대안일 수 있다는 뜻이다. 그래서 나는 이 문제의 본질이 “의견 불일치”가 아니라고 생각하게 됐다. 진짜 문제는 위험한 대안이 아직 배제되지도 않은 상태에서 너무 일찍 합의에 도달해버리는 것, 즉 조기 합의다. 그렇다면 질문은 자연스럽게 이렇게 바뀐다. 이 합의가 안전한지 아닌지, 우리는 어떻게 모니터링할 수 있을까.

이 질문을 들고 기존 연구들을 다시 훑어봤다. 크게 세 갈래로 나뉘었다. 멀티에이전트 디베이트 계열은 추론의 질을 끌어올리는 데는 확실히 효과가 있지만, 토론이 언제 끝나야 하는지에 대한 감각이 없다. 패널 합의를 다루는 연구들은 합의가 위험할 수 있다는 사실 자체는 잘 보여줬지만, 해법이 대체로 프로토콜 수준에 머물러 있었다. 다양성을 강제하긴 하는데, 그 위험을 수치로 재지는 않는 것이다. 그리고 러닝-투-디퍼(learning to defer) 계열은 안전성을 정면으로 다루긴 하지만, 결정이 보통 이진법이다. 지금 행동할 것이냐, 지금 위임할 것이냐. 이 세 갈래를 겹쳐놓고 보니 빈틈이 선명하게 보였다. 마진을 통제할 수 있고, 손실에 민감하며, 온라인 보장에 기대지 않고도 인증 가능한 신호를 주는 방법이 없었다.

에너지라는 이름의 신호

그래서 내가 세운 목표는 이거였다. 숙의(deliberation) 과정을 에너지 함수로 모니터링 가능하게 만들자. 이 아이디어에서 나온 게 DCM, 즉 숙의 에너지를 중심에 둔 중재자(mediator)다. 이 에너지 값이 낮아지고 높아지는 흐름을 읽으면, 중재자는 위험의 방향 전환을 감지하고 그에 맞춰 개입할 수 있다. 조정(steering)하거나, 멈추거나, 외부로 에스컬레이션하거나. 결국 좋은 정량적 에너지 함수 하나가 토론 전체의 안전성을 시간에 따라 추적하는 렌즈가 되어주는 셈이다.

이 에너지를 실제로 만들려면 재료가 네 가지 필요했다. 첫 번째는 손실 지표, L이다. 진단이라는 도메인에서는 모든 실수의 무게가 같지 않다는 전제에서 출발한다. 중증 질환을 놓치는 것과 검사를 하나 더 하는 것은 비교가 안 될 만큼 대가가 다르다. 그래서 굳이 절대적인 비용을 알 필요는 없고, 상대적인 비용만 있으면 된다. 정답이면 0, 일반적인 오류면 1, 위험한 미스면 훨씬 큰 값. 이게 손실 지표 L이다.

두 번째 재료는 각 에이전트의 컨퓨전 매트릭스다. 직관적으로 말하면, 이 에이전트가 과거에 비슷한 케이스에서 어떻게 판단해왔는지에 대한 기록이다. 예를 들어 지금 이 에이전트가 “블루”라고 보고했다면, 과거에 이 에이전트가 똑같이 “블루”라고 말했던 케이스들을 찾아서 그때의 진짜 정답이 무엇이었는지를 물어보는 것이다. 그러면 컨퓨전 매트릭스는 지금의 보고를 조건으로, 어떤 라벨들이 여전히 그럴듯한 후보로 남아 있는지를 알려준다. 흥미로운 지점은, 대부분의 기존 방법론이 이 매트릭스를 에이전트의 캘리브레이션을 재는 데만 썼다는 것이다. 나는 조금 다른, 더 국소적인 질문을 던지고 싶었다. 지금 이 보고 안에서, 이 에이전트가 놓치고 있을 만한 숨은 대안은 정확히 무엇인가. 컨퓨전 매트릭스가 내놓는 그럴듯한 정답들의 사후 분포 P를, 앞서 만든 손실 지표 L과 곱한다. 그렇게 손실 가중치가 가장 큰 대안이, 우리가 도전해야 할 “위험한 그럴듯한 대안”으로 지목된다.

이 재료들을 하나의 숫자로 압축한 게 진단 합의 에너지(Diagnosis Consensus Energy)다. 여기엔 세 개의 항이 들어간다. 의견 불일치, 기대 위험, 그리고 손실 인지 마진. 마지막 항이 하는 일이 특히 중요한데, 배제된 대안이 정말로 충분한 안전 마진을 두고 밀려났는지를 묻는다. 에너지가 낮다는 것은 단순히 에이전트들이 동의했다는 뜻이 아니다. 유력한 답이 고위험이 아니고, 위험한 대안들이 충분히 밀려났다는 뜻이다. 그리고 이건 그냥 직관이 아니라 증명이 가능한 사실이다. 낮은 에너지는 기대 진단 손실의 상한선이 된다. 그러니까 이 에너지는 진짜로 모니터링 신호로 쓸 수 있다. 핵심은 이거다. 낮은 에너지는 그냥 합의가 아니라, 고위험 대안이 눌린 다음에 도달한 합의라는 것.

이걸 에너지 지형(landscape)으로 그려보면 최적화 문제로 다시 보인다. 세로축이 에너지다. 안전한 숙의는 낮은 에너지 골짜기로 이동해야 한다. 그런데 위험한 합의는 나쁜 국소 최솟값이 될 수 있다. 에이전트들은 동의했는데 에너지는 여전히 높은 상태로 남아 있는 것이다. 정체(stalling)와 진동(oscillation) 역시 다른 실패 양상인데, 둘 다 위험이 줄어들지 않고 있다는 신호다. 그래서 나는 이 에너지의 궤적을 계속 추적하는 방식으로 토론의 안전성을 시간에 따라 관찰한다. 이 궤적이 중재자에게 다음에 뭘 해야 할지를 알려준다. 계속할지, 조정할지, 인증할지, 에스컬레이션할지.

언제 멈추고, 언제 밖으로 넘길 것인가

이 중재자, 즉 컨트롤러가 흥미로운 건 진짜 정답을 절대 보지 않는다는 점이다. 오직 에이전트들의 보고와 컨퓨전 매트릭스만 읽고, 에너지와 마진을 관찰한다. 에너지가 낮고 마진이 충분히 넓으면, 멈추고 위험한 대안이 더 이상 그럴듯하지 않다고 판단해 인증한다. 반대로 위험한 가능성이 여전히 살아있으면 계속 지켜본다. 위험이 계속 줄어들고 있으면 토론을 이어가게 두고, 고위험이 그대로 정체되어 있으면 외부 리뷰어에게 에스컬레이션한다.

이 아이디어를 검증하기 위해 두 세팅에서 실험했다. 하나는 규칙 기반 세팅으로, 통제된 테스트 시나리오를 만들고 규정 준수 여부를 직접 확인할 수 있게 했다. 다른 하나는 임상 LLM 세팅으로, GPT-4o-mini와 Claude 3.5 Haiku를 실제 에이전트로 써서 진짜 블랙박스 에이전트에서도 이 컨트롤러가 작동하는지를 봤다. 두 세팅 모두 네 가지 시나리오를 뒀는데, 가장 쉬운 이상적인 케이스부터 시작해 가장 어려운 “공유 편향” 케이스, 그러니까 노이즈가 많고 서로를 보완하지 않는 케이스까지 걸쳐 있었다. 비교 대상은 단일 에이전트, 사전 토론(pre-discussion), 고정 풀링 방식이었고, 정확도만이 아니라 기대 위해 비용, 숨겨진 미스, 유해한 합의 같은 위험 지표와, 토론 라운드 수로 측정한 커뮤니케이션 비용까지 같이 봤다.

케이스 단위로 들여다보면 이야기가 더 선명해진다. 안전한 케이스에서는 에너지가 계속 떨어지다가, 충분히 낮아지고 마진도 넓어지는 시점에 인증된다. 반면 더 중요한 건 두 번째 예시다. 에이전트들이 위험한 합의 쪽으로 움직였는데, 여기서는 의견 불일치와 에너지 모두 높게 유지된다. 그러면 컨트롤러는 멈추고 에스컬레이션하는데, 이게 바로 우리가 원했던 안전 행동이다. 전체 집계 결과도 같은 패턴을 보였다. 모든 시나리오에서 기대 진단 비용과 유해한 미스가 일관되게 더 낮았고, 사전 토론 방식보다 더 적은 라운드만으로도 그 결과에 도달했다. 그러니까 요지는 토론을 더 많이 하는 게 아니다. 요지는 언제 토론에 맡길지를 아는 것이다. 안전하면 멈추고, 도움이 될 때만 에스컬레이션한다.

조정(steering)의 효과는 상황에 따라 갈렸다. 에이전트가 조정을 항상 따르는 건 아니기 때문에, 실용적인 시나리오에서는 조정을 더 자주 따를수록 최종 결정이 좋아지고 진단 비용도 낮아지는 걸 확인했다. 하지만 공유 편향 케이스에서는 두 에이전트가 같은 사각지대를 갖고 있다 보니, 조정만으로는 그 공통된 편향을 완전히 고칠 수 없었다. 이건 우리가 인정하는 한계다. 대신 실제 임상 데이터셋 전반에 걸친 대규모 평가에서, 시스템 자체의 위험과 유해한 합의를 구분해낼 수 있다는 점이 시스템을 적응적으로 만들었다. 쉬운 영역에서는 더 많이 인증하고, 신뢰도가 떨어지는 영역에서는 더 많이 조정하거나 에스컬레이션하는 식으로.

기본 설정으로 진행한 대규모 실험에서 애블레이션도 돌려봤다. 멈춤-에스컬레이션 행동을 빼버리면 어떻게 될까. 그러면 중재자는 모든 케이스에서 반드시 결정을 내려야 한다. 고위험 케이스도 억지로 결론이 나버리고, 그 결과 시스템 위험이 늘어나고 과잉 인증이 발생한다. 에스컬레이션은 그냥 프로그램에 붙은 옵션이 아니라, 그 자체로 하나의 안전 행동이라는 뜻이다.

처음의 두 진단자로 돌아가보자. 둘 다 “블루”라고 말했다는 사실만으로는, 나는 더 이상 안심하지 않는다. 합의는 종결이 아니다. 낮은 에너지는 단순한 동의가 아니라, 위험한 대안이 눌릴 만큼 눌린 다음에야 도달하는 동의다. 그 차이를 구분해내는 신호 하나를 갖는 것, 그게 내가 이 작업을 통해 만들고 싶었던 전부다.