피지컬 AI가 LLM보다 어려운 이유와 학습 데이터 설계

발표자는 NVIDIA의 Isaac Lab·Newton 업데이트와 Agile One SN 참조 플랫폼을 소개한 뒤, 피지컬 AI가 LLM보다 어려운 이유를 설명합니다. 핵심은 물리 상호작용 데이터의 부족이며, 텔레오퍼레이션과 인간 영상, 실제·시뮬레이션 데이터의 공동 학습, 뉴럴 월드 모델과 전통 시뮬레이터의 결합이 해법으로 제시됩니다.

⏱ 00:00진행자는 엔비디아 본사를 방문했을 때 사람들에게 팝콘을 나눠주는 로봇이 돌아다닌다는 이야기를 들었다고 운을 뗍니다. 이어서 로봇 관절에 무리가 가는 문제, 사람과 비슷한 움직임 등 로봇 하드웨어의 현실적인 한계가 언급되며 대화가 시작됩니다. 마찰이 적을수록 좋다는 말은 개발 과정의 불편을 줄여 더 많은 작업을 하자는 뜻으로 이어집니다.

⏱ 00:44발표자는 Isaac Lab에 Newton 물리 엔진을 연동하는 업데이트를 소개합니다. 기존 PhysX에서 Newton으로 옮겨가는 과정이라 통합이 단계적으로 이뤄졌고, 이번 개선으로 개발자가 확장성과 편의성을 함께 얻는다고 설명합니다.

또한 DGX Station용 블루프린트를 제공해 정책 학습을 시작하기 좋은 출발점을 마련했다고 합니다. 세 번째로 Agile과 함께 만든 Agile One SN 참조 플랫폼은 하드웨어부터 펌웨어, 소프트웨어 스택까지 최적화되어 있고, 손 모듈까지 포함되어 있어 개발자가 바로 작업을 시작할 수 있다고 강조합니다.

⏱ 02:42LLM은 인류가 오랫동안 글, 사진, 영상으로 남긴 방대한 텍스트와 멀티모달 데이터를 바탕으로 발전했습니다. 반면 피지컬 AI는 세계의 물리 법칙과 로봇이 환경과 상호작용하는 데이터를 한데 담은 자료가 거의 없어 훨씬 어렵다고 설명합니다.

핵심은 상호작용입니다. 로봇이 물체를 밀면 물체도 되밀어내고, 부드러운 물체와 단단한 물체가 맞닿으면 변형이 생기는 양방향 결합(coupling)을 정확히 모사해야 하며, 이를 위해 현실을 흉내 내는 물리 솔버와 현실의 동역학을 담은 데이터가 모두 필요하다고 말합니다.

⏱ 03:53현재 로봇은 사람이 로봇을 원격 조작하는 텔레오퍼레이션으로 얻은 데이터를 모방 학습에 많이 씁니다. 하지만 힘 피드백이 없는 경우가 많아 조작자가 로봇의 시점을 머릿속으로 상상해야 하므로 간단한 조립도 매우 어렵다고 설명합니다.

최근에는 사람의 손과 몸을 카메라로 직접 관찰해 조작 데이터와 자세, 사람과 물체의 상호작용 데이터를 추출하는 방식이 가능해졌다고 합니다. 실제 데이터는 수집 비용이 커서 한정적이므로, 이를 시뮬레이션 데이터와 함께 학습시키는 공동 학습이 핵심 과제라고 정리합니다.

⏱ 06:00시뮬레이션 데이터는 양을 거의 무한에 가깝게 만들 수 있지만 실제 성능에 영향을 주는 특징을 찾기 어려워 품질이 떨어질 수 있다고 말합니다. 그래서 실제와 시뮬레이션 데이터를 어떤 비율로 섞을지는 여전히 감각에 의존하는 예술에 가깝다고 답합니다.

또한 창고, 가정, 데이터센터, 도로, 하늘, 심해, 지하처럼 로봇이 일해야 할 환경은 매우 다양하고 사람이 가기 어려운 곳도 많아 데이터가 극히 희박하다고 지적합니다.

⏱ 08:00기반 VLM과 월드 모델은 이미 세상을 많이 본 덕분에 출발점이 되지만, 뉴럴 시뮬레이터는 물리 법칙을 실제로 따르지 않고 관찰로 학습한 물리를 흉내 내 환각을 일으키기 쉽다고 설명합니다. 예로 공이 떨어졌는데 여러 개로 불어나는 장면을 들며 물체 일관성 문제를 보여줍니다.

전통 시뮬레이터는 물리적으로 정확하지만 환경을 만드는 데 시간과 사람이 많이 들고 다양성을 확보하기 어렵다고 합니다. 두 방식을 결합해 뉴럴 월드 모델은 다양성과 여러 감각 출력을, 전통 시뮬레이터는 물리 근거를 담당하게 하는 방향이 떠오른다고 정리합니다.