300달러 로봇팔 키트로 배우는 물리 AI (SO-101 튜토리얼)

저가 로봇팔 SO-101로 물리 AI를 구현하는 전 과정을 정리한 강좌입니다. 하드웨어 조립, 환경 설정과 보정, 카메라 배치, 양말 집기 데이터 수집, ACT와 Small VLA 두 정책의 학습과 추론 비교까지 다루며, 데이터의 다양성이 성능을 좌우한다는 점을 보여 줍니다.

⏱ 00:00영상은 저가 로봇팔 키트 SO-101을 이용해 물리 AI, 즉 로봇에 지능을 부여하는 AI를 직접 체험하는 과정을 다룹니다. 데이터 수집, 모델 학습, 실제 로봇 배포까지 전체 파이프라인을 따라가며, 중간에 겪은 이미지 깨짐이나 정책 오작동 같은 문제와 해결 과정도 함께 소개합니다.

발표자는 과거 로봇이 한 가지 작업만 반복하도록 훈련되었던 것과 달리, 요즘은 설거지나 빨래 개기처럼 다양한 작업을 일반화하는 방향으로 연구가 옮겨 가고 있다고 설명합니다. 변수가 많은 실제 환경에서 동작해야 하므로 어렵지만, 실제 로봇에 AI가 적용되는 발전이 빠르게 일어나고 있다는 점을 강조합니다.

⏱ 02:18키트에는 팔로워(슬레이브) 암과 리더(마스터) 암 두 개, 5V와 12V 전원 어댑터, USB-C 케이블, 카메라 마운트, 나사와 클램프가 들어 있습니다. 리더 암은 사람이 손으로 움직여 조작하는 장치이고, 팔로워 암은 그 동작을 따라 실제 물건을 집는 장치입니다. 부하가 큰 팔로워 암에는 12V 전원을 연결하고, 커넥터의 돌기 방향과 케이블 방향을 맞춰 끝까지 밀어 넣어야 합니다.

관절은 회전, 어깨, 팔꿈치, 손목 굽힘, 손목 회전의 5개 자유도로 구성되며, 그리퍼(집게)는 별도로 계산해 5+1로 표기합니다. 손목에는 카메라를 장착해 로봇이 무엇을 잡고 있는지 확인할 수 있도록 했습니다.

⏱ 06:04Hugging Face 안내에 따라 Python 3.12 환경을 만들고, Conda 대신 발표자가 선호하는 UV로 설치합니다. WSL을 쓰는 경우에는 usbipd로 USB 장치를 Windows에서 WSL로 넘긴 뒤, 장치 권한을 chmod 명령으로 열어 줍니다.

저장소를 복제해 LeRobot을 editable 모드로 설치하고, 두 암은 ttyACM0, ttyACM1 같은 포트로 인식되는지 확인합니다. 포트 번호는 환경마다 달라 직접 확인해야 합니다.

⏱ 08:49보정은 각 관절의 최소와 최대 위치를 기록해 모터 값을 실제 가동 범위와 맞추는 과정입니다. 로봇 유형을 so101_follower 또는 leader로 지정하고, 팔을 클램프로 안전하게 고정한 뒤 중간 자세에서 시작해 관절을 전체 범위로 움직이며 값을 기록합니다. 결과는 JSON 파일로 저장됩니다.

두 암을 연결하고 원격 조작 명령을 실행하면 리더 암의 움직임을 팔로워 암이 빠르게 따라갑니다. 그리퍼를 열고 닫으며 양말을 집어 옮기는 시험도 성공합니다.

⏱ 12:22카메라 탐색 명령으로 연결된 카메라의 ID, 너비, 높이, 형식을 확인합니다. 손목 카메라와 위에서 내려다보는 웹캠을 함께 쓰며, 웹캠은 장면 전체에서 물체 위치를 파악하는 역할을 합니다. WSL에서는 영상이 계속 깨져 듀얼 부팅 Ubuntu 환경으로 바꾸었고, 카메라 번호와 640x480 해상도, MJPG 설정을 맞춰 작동시켰습니다.

양말을 집는 시연을 50회 기록하며, 매 에피소드마다 시작 위치와 방향을 조금씩 바꿔 모델이 다양한 상황에 일반화되도록 했습니다. rerun 인터페이스에서는 카메라 영상(관찰 데이터)과 6개 관절 값(행동 데이터)을 실시간으로 확인할 수 있습니다.

⏱ 17:36학습 명령에서 정책 종류(ACT 또는 Small VLA), 체크포인트 저장 경로, 배치 크기, 저장 주기를 지정합니다. ACT는 현재 상태에서 일련의 동작 묶음을 한꺼번에 예측하는 청킹 방식이며 처음부터 학습하므로 수집한 데이터만 사용합니다. Small VLA는 대규모 데이터로 미리 학습된 모델을 50개 에피소드로 미세 조정하는 방식이라 적은 데이터로도 더 넓은 상황에 대응합니다. GPU 4080 Super에서 학습에 40분에서 1시간이 걸렸습니다.

추론 결과 ACT는 양말 모양과 위치에 민감해 실패와 재시도가 잦았습니다. Small VLA도 방향과 조명 변화에는 민감했지만 같은 환경에서 더 안정적으로 집었습니다. 학습 데이터에 없던 마른 상태의 양말은 집지 못했고, 양말을 접어 두께와 높이를 바꾸자 집어 올렸습니다. 발표자는 방향과 높이 등 데이터 변형을 늘리는 것이 중요하다고 결론짓습니다.