약 17분

제 로봇에게는 세 가지만 믿게 하기로 했습니다

Leslie Pack Kaelbling 강연 재구성. 데이터를 무한히 붓는 대신, 세상에 대해 이미 아는 세 가지를 로봇 안에 지어 넣는 법.

목차

이 글은 Global AI Frontiers Symposium 2026에서 MIT 레슬리 팩 케일블링(Leslie Pack Kaelbling) 교수의 기조강연 “Rational Robots”을 발표자 1인칭 시점으로 재구성한 것입니다.

강연 중에 리모컨을 위아래로 던지면서 이런 말을 했습니다. “제가 이걸 던져도, 저 뒤에서 음향 장비 만지는 분들한테는 아무 일도 안 일어납니다.” 웃자고 한 얘기였지만, 사실 이게 제가 로봇을 설계할 때 제일 먼저 세우는 원칙 중 하나입니다. 우리가 사는 물리 세계에서 어떤 행동의 효과는 성기고(sparse) 국소적(local)이라는 것. 리모컨을 던진다고 방 반대편의 무언가가 갑자기 무너지지는 않는다는 것.

데이터로부터 효율적으로 학습하게 해주는 게 결국 어떤 종류의 사전 지식(prior knowledge)이라면, 저는 늘 이 질문을 붙잡고 있었습니다. 로봇이 처하게 될 어떤 상황에서도 항상 참이라고 믿어도 될 만큼 근본적인 것, 그래서 아예 처음부터 만들어 넣어도 되는 것은 무엇인가. 제가 제 로봇에게 기꺼이 믿게 하기로 한 건 딱 세 가지였습니다. 첫째, 우리는 사물과 물질로 가득한 3차원 세계에 존재한다는 것 — 이건 하나의 물체이고, 저는 그걸 뒤집어 볼 수 있고, 만질 수 있습니다. 저는 그걸 믿습니다. 둘째, 방금 말씀드린 대로 우리 행동의 효과는 성기고 국소적이라는 것. 셋째, 로봇은 사람들이 요구할 온갖 다양한 일에 대응할 수 있을 만큼 유연해야 한다는 것. 철학과 경제학에서 온 합리성(rationality)이라는 개념은 결국 에이전트가 기대 효용을 최대화하는 행동을 골라야 한다는 원칙인데, 제 세 가지 가정을 들여다보면 외부 세계가 존재하고, 그에 대한 믿음을 가질 수 있고, 우리 행동이 그 세계에 미치는 효과에 대한 모델이 있고, 효용이라는 개념이 있다는 걸 전제로 하고 있더군요. 저는 이 세 가지를 재료 삼아 로봇을 좀 더 지어보고 싶었습니다.

지금 가장 인기 있는 로봇 제작 방식은 사실상 아무것도 가정하지 않는 겁니다. 최대한 아무것도 전제하지 않고, 엄청난 양의 데이터로 블랙박스를 훈련시켜서 로봇의 관측을 행동으로 바로 매핑하게 만드는 방식이죠. 이게 잘 작동하지 않는다는 얘기가 아닙니다. 다만 상대적으로 작은 영역 하나를 커버하는 데도 정말 많은 데이터가 필요하다는 게 문제입니다. 그래서 저는 내부 구조를 가진 로봇을 생각하고 싶었습니다. 세부 구성은 중요하지 않지만, 대략 로봇이 세계의 현재 상태에 대한 모델, 자기 행동이 세계에 미치는 영향에 대한 모델, 바라는 목표, 그리고 추론하는 방법을 갖고 있다고 보시면 됩니다. 이건 결국 모듈성(modularity)을 뜻합니다. 엔지니어링을 공부한 분이라면 다 아시겠지만, 개별 모듈은 따로 테스트하고 바꿔 끼울 수 있고, 학습 문제를 모듈화하면 필요한 데이터양을 로그 단위로 줄일 수 있습니다. 재미있는 건 인지과학을 하는 동료들이 이미 알고 있던 사실인데, 뇌도 상당히 모듈적이라는 겁니다. 추론 능력은 언어 능력과 뇌 안에서 별로 관련이 없고, 물리적 시스템에 대한 추론은 사회적 행동에 대한 추론과 다른 곳에서 일어납니다. 자연이 이런 모듈성이 뇌에 유용하다고 판단했다면, 로봇에도 유용하지 않을까 하는 게 제 영감의 출발점이었습니다.

생각한 다음에 움직이는 로봇

로봇공학에서 최근 일어난 가장 중요한 일 하나는 컴퓨터 비전이 단순히 이미지를 이야기하는 수준을 넘어섰다는 겁니다. 왼쪽 위 구석의 이미지 한 장에서 시작해서, 한 번도 보지 못한 물체 뒷면의 형태까지 추론해 아름다운 3차원 모델을 만들어내는 데까지 왔습니다. 제 학생 한 명이 한 작업이지만 이제 많은 사람이 비슷한 걸 하고 있고, 중요한 건 이제 로봇 머릿속에 세상의 상황에 대한 그럴듯한 3차원 정신 모델을 담는 게 꽤 현실적인 이야기가 됐다는 겁니다. 그게 제게는 나머지 작업에 대한 희망과 확신을 줬습니다.

그 다음 이야기하고 싶은 건 로봇 행동에 대한 인과적 이해입니다. 티프탑(Tiptop)이라는 시스템으로 설명드리겠습니다. 위에서 내려다본 장면 이미지 한 장을 받아서, 앞서 말한 방식으로 3차원 내부 모델을 재구성합니다. 동시에 장면 속 물체들에 대한 언어 설명을 얻고, 물체를 어떻게 쥐어야 들어 올릴 수 있는지 알려주는 모델도 호출합니다. 이 표현을 계획(planning) 알고리즘에 넣으면 계획이 나옵니다. 여기서 중요한 건 그 계획 알고리즘이 어떤 모델을 쓰는가, 즉 로봇이 자기 행동의 효과를 어떻게 사고하는가입니다. 저는 이 그림을 좋아하는데, 제 전 박사후연구원이었던 조지 코니다리스(George Konidaris)가 즐겨 쓰는 비유에서 영감을 받았습니다. 세상의 낮은 수준 상태는 늪지대와 같아서, 늪 안에는 딱히 눈에 띄는 게 없고 낮은 수준에서 헤엄쳐 다니며 행동을 취할 수는 있지만 그 상태로는 추론하기가 정말 어렵습니다. 우리가 정말 잘하는 건 추상화에 대해 추론하는 것, 이를테면 “저 바위로 뛰면 반대편으로 건너갈 수 있다”는 식의 추상화입니다.

제가 관심 있는 건 인과적 행동 모델(causal action model)을 배우고 쓰는 것입니다. 신경망을 하시는 분들은 다들 세계 모델(world model) 얘기를 들어보셨을 텐데, 세계 모델은 현재 상태와 행동을 받아 다음 상태를 예측합니다. 저는 그런 세계 모델을 배우고 싶은데, 훨씬 더 추상적인 버전을, 신경기호적(neurosymbolic)이라 불릴 만한 방법으로 배우고 싶습니다. 이런 모델은 프로그래밍 언어와 신경망을 섞어놓은 것처럼 적을 수 있습니다. 이런 모델을 쓰면 과제-동작 계획(task and motion planning)이라는 방법으로 꽤 긴 시간 지평의 행동을 효율적으로 계획할 수 있습니다. 엔비디아의 동료들과 함께 이 계획 과정을 GPU로 병렬화해서, 예를 들어 크래커 세 봉지를 각 칸에 넣으라는 목표가 주어지면 로봇이 지각 모델에서 얻은 정보로 무슨 행동을 할지 추론하고 계획을 세워 실제 로봇에서 실행하는 걸 보여드렸습니다. 물체가 테이블 위에 임의로 흩어져 있어도 효율적인 시간 안에 해내고, 더 중요한 건 이 시스템을 완전히 다른 로봇에 적용할 수 있었다는 겁니다. 새 로봇의 형태를 기술한 파일을 읽어들이는 작업만 두 시간 정도 들이면 그 로봇에서도 그대로 작동합니다. 이 시스템에는 학습이 전혀 없습니다. 이른바 제로샷(zero-shot)이죠 — 훈련 없이 해낸다는 뜻입니다. 지각 부분에는 학습이 있었지만, 추론 부분은 순수한 추론이었습니다. 매우 강건하기도 해서, 칠판 지우기 같은 낮은 수준의 행동을 인과적 행동 모델로 특성화해 넣어주면, 로봇이 이미 알고 있던 물건 집어 올리고 내려놓는 동작과 이 지우기 동작을 조합해서 마커가 널려 있는 칠판도 지울 수 있게 됩니다.

영상을 하나 더 보여드렸는데, 6개월 전 최고 수준이었던 파이 로보틱스(Pi)의 비전-언어-행동 모델 파이 0.5(Pi 0.5)와 저희 시스템을 비교한 겁니다. 커피 캡슐을 네모난 트레이에 넣으라는 과제였습니다. 저희 로봇은 아직 뭘 할지 생각하고 있는데 파이 쪽 로봇은 벌써 움직이기 시작합니다. 그런데 1분쯤 지나면 저희 시스템이 여러분도 이미 알아채셨을 무언가를 알아냅니다. 커피 캡슐 세 개를 트레이에 넣으려면 먼저 캔을 치워야 한다는 것. 그걸 알려면 미리 내다보고, “아, 이걸 먼저 치워야 저걸 할 수 있겠구나” 하고 생각해야 하는데, 이건 지금 대부분의 로봇 모델이 하지 못하는 꽤 깊은 인과적 추론입니다. 로봇이 제 부엌에 들어와서 뭔가를 하려면 최소한 이 정도는 할 수 있어야 한다고 생각합니다. 한국 로봇 회사 레인보우로보틱스의 로봇으로 찍은 영상도 보여드렸는데, 로봇이 방 안에서 스스로 위치를 파악하는 능력과 불확실성에 대한 추론, 그리고 물건을 집고 내려놓는 능력을 합쳐서 더 긴 시간 지평의 문제를 풉니다. 조작을 위한 모듈, 내비게이션을 위한 모듈, 위치 추정을 위한 모듈이 각각 잘 갖춰져 있으면 큰 어려움 없이 이 모듈들을 조합할 수 있다는 걸 다시 한번 보여주는 사례였습니다.

요리를 한 번 보여줬을 뿐인데

이번엔 인간의 의도를 학습하는 이야기입니다. 여러분이 로봇이 되어 제 부엌에서 요리하는 걸 지켜보고, 제가 “내일은 이걸 해줘”라고 말하는 영상을 상상해보시라고 청중분들께 부탁드렸습니다. 이 영상에서 뭘 배워야 할까요. 지금 로봇 학습의 대부분은 모방 학습인데, 시연에서 무엇을 배워야 하는가는 사실 잘못 정의된 질문입니다. 로봇의 궤적을 그대로 배워서 재생할 수도 있고, 물체와의 상대적 궤적을 배울 수도 있고, 사람들이 흔히 하듯 손 이미지에서 로봇 제어로의 매핑을 배울 수도 있고, 아니면 그냥 물체가 어떻게 움직였는지, 어디서 끝났는지만 배울 수도 있습니다. 어느 수준의 추상화를 배워야 하는지 아무도 정확히 말해주지 않습니다.

제 생각엔 무엇을 배울 수 있는지는 이미 무엇을 알고 있는지에 달려 있습니다. 요리 전문가라면 제가 어떤 요리를 하는 걸 한 번 보고 “아, 알겠다, 나도 할 수 있겠다” 할 수 있습니다. 요리 전문가가 아니라면 아주 낮은 수준의 추상화로 이해해야 하고, 제 동작을 거의 그대로 재현해야 할 겁니다. 이해하고 있다면 매우 추상적인 설명을 배워서 완전히 다른 상황에서도 반복할 수 있습니다 — 재료가 달라져도 말이죠. 이해하지 못한다면 조건이 조금만 달라져도 완전히 헤매게 됩니다. 저는 로봇이 시연자의 의도를 최대한 많이 배워서 새로운 상황에 잘 일반화하기를 바랐습니다. 그래서 이걸 베이즈 추론 문제로 설정했습니다. 수식까지 다 설명드리진 않겠지만 기본 아이디어는 이렇습니다. 장면을 보고 앞서 말씀드린 3차원 재구성 방법으로 상황 모델을 만듭니다. 그리고 새로운 상황을 받아서 로봇의 행동이 아니라 플래너를 위한 목표를 만들어내는 프로그램, 말하자면 설명 프로그램(explanation program)을 찾으려 합니다. 예를 들면 이런 식입니다. “이 장면을 봤더니, 도구들을 손잡이가 아래를 향하게 냄비 안에 넣어야 한다는 목표를 만들어내는 프로그램이 있더라.” 이걸 어떻게 하느냐고 물으신다면, 저희는 LLM을 사람이 그 장면에서 원할 법한 것들에 대한 사전 분포(prior distribution)로 활용합니다. 그리고 사람이 실제로 한 궤적에 대해 플래너가 해낸 추론을 여기에 결합해서, 그 사전 분포 아래 가장 그럴듯한 설명 프로그램을 추론합니다. 이 방식으로 시연 세 번만으로 학습이 되는 걸 보여드렸습니다. 훈련 데이터 전부가 그 세 번입니다. 그런데 거기서 추론한 매우 범용적인 프로그램을, 물체 개수도 다르고 그릇 종류도 다른 완전히 새로운 장면에 적용할 수 있었습니다. 아주 적은 데이터로 일반성과 일반화를 얻을 수 있다는 게 핵심입니다.

이런 인과적 행동 모델 자체를 새로운 상황의 데이터에서 배우는 이야기도 있습니다. 제 학생 니샨이 로봇인 척 연기하며 만든, 좀 우스꽝스러운 훈련 데이터가 있습니다. 이 세계에서는 물건을 집고 내려놓을 수 있고, 청소 도구로 테이블을 닦을 수 있고, 플라스틱 양동이를 쏟으면 해가 뜨는 식의 규칙이 있습니다. 니샨이 이런 시연을 하고, 프레임마다 어떤 행동이 일어났는지 약간의 라벨을 붙여줍니다. 여기서 인과적 행동 모델 하나를 배우면, 니샨이 만든 세계에서 배운 걸 완전히 다른 장소에 있는 로봇 스팟(Spot)으로 일반화할 수 있습니다. 그리고 다시 계획과 추론을 써서, 새로 배운 동작을 이전에 가지고 있던 동작과 조합해 새로운 상황의 문제를 풉니다. 이 학습 알고리즘이 어떻게 작동하는지 다 알려드릴 시간은 없지만, 한 가지는 꼭 말씀드리고 싶습니다. 사람들은 학습과 신경망의 경사하강법(gradient descent)을 같은 것으로 생각하는 경우가 많은데, 전혀 다릅니다. 학습에는 다른 방법도 많고, 기호적 표현(symbolic representation) 공간에서 학습할 수도 있습니다. 저희는 바로 그 기호적 표현 공간에서 학습을 해서 이 인과적 행동 모델들을 얻습니다. 여기서도 LLM을 씁니다. 상황을 기술할 좋은 기호적 술어(predicate)를 제안받는 데 LLM을 쓰는 건데, 이게 아주 유용합니다. 다만 LLM을 무작정 믿지는 않습니다. LLM에게 장면을 설명할 만한 여러 아이디어를 받아낸 다음, 그중 설명력이 가장 높은 것들만 골라 모델에 씁니다.

이렇게 시연 여섯 번으로 학습한 로봇을 완전히 다른 건물로 데려간 사례를 보여드렸습니다. 콜라 캔을 통에 넣고, 테이블을 닦고, 지우개를 양동이에 다시 넣으라는 목표가 주어졌는데, 그러려면 먼저 양동이에서 지우개를 꺼내 테이블을 닦고 다시 넣어야 합니다. 로봇은 그 일을 그대로 해냈습니다. 또 다른 사례는 좀 화려한 착즙기입니다. 저도 처음 본 물건인데, 위쪽에 과일을 넣으면 한쪽에 컵을 놓고 다른 쪽에도 컵을 놓은 다음 스위치를 켜면 한쪽에서는 즙이, 다른 쪽에서는 찌꺼기가 나옵니다. 몇 번의 시연만으로 — 이 시연들은 로봇에게 뭘 하라고 알려주는 게 아니라 세상이 어떻게 작동하는지 보여줄 뿐입니다 — 모델을 학습할 수 있습니다. 대략 이런 내용입니다. 양쪽에 빈 컵이 있고, 안에 과일이 있고, 뚜껑이 닫혀 있고, 스위치를 켜면 컵에 즙이 나온다는 것. 로봇이 이걸 알면 새로운 장소에서도 작동할 수 있습니다. 그래서 배 주스를 만들어보라고 시켰는데, 완전히 새로운 상황인데도 주변을 둘러보고 배를 찾아 기계에 넣었습니다. 이번엔 컵 하나만 교체하면 되는 상황이었는데, 로봇은 정해진 전략을 그대로 따르는 게 아니라 상황을 이해하고, 인과 모델을 따라 추론하며, 망설이기도 하면서 결정을 내렸습니다. 그래서 꽤 강건하고 유연한 행동이 나옵니다.

잠든 사이에 스스로 연습하는 로봇

세상이 어떻게 작동하는지 이해하면 목표를 이루기 위한 행동을 추론하는 데 쓸 수 있다는 걸 보여드렸는데, 흥미롭게도 세상이 어떻게 작동하는지 이해하고 있으면 학습 자체를 더 효율적으로 만드는 데도 쓸 수 있습니다. 스팟 로봇으로 이걸 보여드리겠습니다. 제가 여러분께 로봇을 팔았다고 상상해보세요. 저희 공장에서는 최선을 다해 이런저런 능력을 미리 만들어 넣었지만, 여러분 집은 제 공장과 다르니 그 집에서 작동하는 법을 좀 더 배워야 합니다. 그런데 그 학습이 최대한 효율적이었으면 좋겠습니다. 로봇이 여러분 집에서 학습하느라 하염없이 시간을 끌고 물건을 잔뜩 부수는 건 원치 않으니까요. 그래서 로봇에게 자유 시간을 주고, 자신의 불확실성에 대해 스스로 추론해서 어떤 행동을 취하고 무엇을 연습할지 결정하게 했습니다.

스팟을 방에 들여보내고 장난감을 통에 넣으라고 했습니다. 로봇은 계획을 세우는데, 가장 효율적인 방법이 솔로 장난감들을 테이블에서 쓸어 담는 거라고 판단합니다. 먼저 공간이 더 필요하다는 걸 알아채고 작은 의자를 옆으로 치운 다음, 솔을 집어 듭니다. “좋아, 이걸로 쓸어 담아야지” 하는데, 새 로봇이라 쓸어 담는 동작에 필요한 게인(gain)이나 속도 매개변수가 아직 맞지 않습니다. 그러면 이제 사람들은 위층에서 잠들어 있고 로봇은 아래층에 혼자 있습니다. 로봇은 “이걸 좀 더 잘하는 법을 알아내야겠다”고 판단하고, 자기가 쓸어 담기를 못한다는 걸 스스로 파악해서 연습하기로 합니다. 자기 추론 능력을 이용해 환경을 다시 원래 상태로 되돌려놓고 또 시도하는 걸 반복합니다. 그렇게 세 시간 동안 혼자서, 서투른 동작을 거듭하며 내부의 샘플링 신경망 — 속도를 어떻게 조정할지 알려주는 신경망 — 을 개선했습니다.

다음 날 아침 사람들이 일어나 로봇에게 일을 시키면, 로봇공학계에는 전통처럼 내려오는 농담이 있습니다. 그렘린이 나타나 상황을 헝클어놓는다는 것. 로봇이 막 승리를 선언하려는 순간, 장난감 하나가 엉뚱한 자리에 놓여 있습니다. 하지만 로봇은 자기 행동의 효과에 대해 추론할 수 있고, 저쪽에 있는 발판을 가져와 그 위에 올라갈 수 있다는 것도 이미 알고 있었기 때문에, 발판을 가져와 다른 물건 위에 올라가 장난감을 다시 가운데로 옮겨놓는 계획을 세울 수 있었습니다.

제 주장을 조금 더 다듬자면 이렇습니다. 엄청난 양의 데이터와 아주 적은 구조만으로도 무언가를 배우는 게 가능하긴 합니다. 그건 사실입니다. 하지만 저희는 데이터와 구조 사이의 트레이드오프를 진지하게 생각해야 하고, 엔지니어로서 우리가 세상에 대해 이미 아는 것들을 어떻게 활용할지, 구조는 많고 데이터는 적은 쪽과 데이터는 많고 구조는 적은 쪽 사이 어디에 자리 잡을지 고민해야 합니다. 적어도 짧은 시간 지평에서는 — 여기서 짧다는 건 10년, 20년 단위를 말하는 겁니다만 — 우리가 만드는 시스템에 대해 신중하게 생각하고 진지하게 설계하면서, 데이터를 최대한 효율적으로 쓰는 법을 찾아야 한다고 생각합니다.

강연이 끝나고도 저는 리모컨을 던지던 순간을 계속 떠올렸습니다. 제가 세운 세 가지 믿음은 사실 너무 당연해서 아무도 굳이 입 밖에 내지 않는 것들이었습니다. 세상은 3차원이고, 행동의 효과는 대개 국소적이고, 로봇은 유연해야 한다는 것. 그런데 그 당연한 것들을 로봇 안에 정직하게 지어 넣는 일이, 결국 제가 지금까지 해온 연구의 전부였던 것 같습니다. 데이터를 무한히 쏟아붓는 대신, 우리가 이미 알고 있는 걸 믿고 그 위에 구조를 세우는 것. 그게 아주 적은 시연만으로도 배를 처음 만난 로봇이 배 주스를 만들어내는 이유였고, 아무도 없는 밤에 로봇이 스스로 연습하다가 아침에 그렘린의 장난까지 침착하게 되돌려놓는 이유였습니다.