LeRobot: 허깅페이스 오픈소스 로봇 학습 프로젝트 인터뷰

로봇 AI를 시작하는 비용을 낮추려는 허깅페이스 LeRobot 프로젝트를 소개하는 인터뷰입니다. 저렴한 장비로 데이터 수집부터 정책 학습, 실제 구동까지 이어지는 흐름과 로봇 입문 방법, 그리고 로봇 연구의 재현성과 개방성 문제를 다룹니다.

⏱ 00:00텍스트 AI는 노트북 하나로 시작할 수 있지만, 로봇 AI는 오랫동안 약 10만 달러 규모의 장비가 필요했다는 문제의식으로 영상이 시작됩니다. 허깅페이스의 오픈소스 프로젝트 LeRobot은 NLP 분야의 Transformers 라이브러리를 로봇 공학 버전으로 옮긴 것이라고 소개됩니다. 이 라이브러리 하나로 저렴한 로봇 팔을 연결하고, 데이터를 기록하고, 정책을 학습시킨 뒤 실제 로봇에서 추론과 구동까지 수행할 수 있으며, ACT 같은 소형 모델부터 최첨단 모델까지 지원한다고 합니다.

핵심 비전은 현실 세계의 데이터를 모으는 유일한 길이 커뮤니티 전체가 데이터를 수집할 만큼 로봇을 저렴하게 만드는 것이라는 점입니다. 자막에서는 현재 약 8만 8천 개의 LeRobot 데이터셋이 존재하며 허브에는 이보다 많을 것으로 언급되고, 이는 200테라바이트가 넘는 로봇 데이터에 해당한다고 설명합니다. 영상 초반에는 오픈 웨이트 연구소 RC의 후원 소개도 짧게 나옵니다.

⏱ 03:40인터뷰 초반 두 발표자는 로봇 공학이 기계, 전자, 소프트웨어, 컴퓨터 비전, 머신러닝 등이 겹친 넓은 분야라는 점을 비유로 설명합니다. 그래서 처음에는 전체 구성 요소의 지도를 머릿속에 그리고, 자신이 끌리는 한 분야를 골라 시작하는 것이 좋다고 조언합니다.

아이와 함께 로봇을 만든 경험도 공유되는데, 너무 많은 정보를 한꺼번에 주기보다 '와!' 하는 순간을 자주 만들어 호기심을 이어가게 하는 것이 중요하다는 이야기가 나옵니다. 이런 맥락에서 Reachy Mini, Micro Duck 같은 접근하기 쉬운 소형 로봇이 입문용으로 언급되며, 직접 조립하고 코드를 올려 로봇이 움직이는 순간이 가장 큰 동기가 된다고 합니다.

⏱ 12:23LeRobot은 허깅페이스의 로봇 이니셔티브이자 엔드 투 엔드 학습 파이프라인을 누구나 쓸 수 있게 한 완전 오픈소스 프로젝트로 소개됩니다. 로봇이 백플립을 하거나 요리를 하는 것 같은 최근 사례도 결국 하드웨어 준비, 데이터셋 수집, 모델 학습, 배포와 평가라는 같은 경로를 따른다고 설명합니다.

발표자는 이를 레스토랑에 비유합니다. 데이터셋은 식재료, 모델은 레시피, 배포와 평가는 식사 경험에 해당하며, LeRobot은 이 모든 단계를 안내하는 도구 모음이라는 것입니다. 정책으로는 VLA뿐 아니라 월드 모델, 보상 모델, 강화학습까지 선택할 수 있고, 로봇을 연결한 순간부터 실제로 움직이기까지 10분 정도면 충분하다고 강조합니다.

⏱ 15:31진행자는 허깅페이스가 Transformers를 공개해 파편화된 NLP 생태계를 통합했던 상황과 LeRobot을 비교합니다. 발표자들은 로봇 공학을 위한 트랜스포머를 만들고, 엔드 투 엔드 학습에 필요한 도구를 커뮤니티 모두에게 제공하는 것이 목표라고 답합니다.

또 로봇 연구에서는 좋은 연구 결과가 나와도 다른 연구실이 재현하기 어려웠던 문제가 있었다고 지적합니다. 원인은 하드웨어, 데이터셋 형식, 정책이나 모델의 의미 구조가 제각각이었기 때문이며, 공통 기반이 생기면 한 연구의 돌파구를 다른 사람이 바로 활용하고 벤치마크 연구도 빨라질 수 있다고 봅니다.

⏱ 19:11로봇 하드웨어 분야는 역사적으로 폐쇄적이고 각자 같은 것을 다시 만드는 경향이 강했다는 진단이 나옵니다. 발표자들은 SO-100처럼 저렴하게 설계하고 대량 생산과 지속성을 확보하려는 시도가 이런 공백을 메우는 데 의미가 있다고 평가합니다.

또 LLM 실험은 컴퓨터와 키보드만 있으면 되지만, 물리 AI 실험에는 하드웨어가 필요해 비용이 장벽이 된다고 설명합니다. 그래서 기본적이고 저렴한 로봇을 출발점으로 삼고, 사용자가 더 나은 하드웨어나 데이터셋, 컴퓨팅을 상상하며 확장해 나갈 수 있게 하는 것이 오픈소스 하드웨어의 역할이라고 정리합니다.

⏱ 21:03진행자는 Neuralab의 핵심 원칙이 시뮬레이션보다 실제 환경을 우선하는 real world first라는 점을 언급하며, 그 배경 논리를 묻습니다. 발표자는 로봇 AI의 마법이 실제 세상에 있다는 취지로 답하기 시작하는 지점에서 자막이 끝납니다.

이 구간은 시뮬레이션만으로는 얻기 어려운 현실 데이터의 가치를 강조하는 대화로 이해할 수 있으며, 앞서 다뤄진 데이터 수집 확대와 오픈소스 접근성 논의와 자연스럽게 이어집니다.