넘어지는 로봇을 노트북에서 걷게 만들기: 강화학습 보상 실험

발표자는 넘어지던 로봇이 강화학습으로 걷기를 익히는 과정을 소개합니다. 노트북에서 MuJoCo와 MJLab으로 Micro Duck과 휴머노이드를 학습시키고, 보상 설계가 결과를 어떻게 바꾸는지 요소 제거 실험으로 보여줍니다. 같은 레시피가 두 로봇에 적용되며, 시뮬레이션을 실제 로봇으로 옮기는 문제는 후속 과제로 남깁니다.

⏱ 00:00영상은 넘어지는 로봇의 모습으로 시작합니다. 발표자는 같은 로봇이 15분 뒤에는 걷는 모습을 보여주며, 이것이 직접 걷기 코드를 짠 결과가 아니라 강화학습의 보상(reward) 점수로 학습시킨 결과라고 소개합니다. 목표는 RTX 5060 GPU(VRAM 8GB)를 갖춘 노트북에서 소형 로봇 Micro Duck과 자유도 29의 휴머노이드 로봇에 같은 학습 레시피를 적용하는 것입니다.

⏱ 00:42학습은 MuJoCo 물리 시뮬레이터 안에서 MJLab 프레임워크를 사용해 진행되었습니다. 발표자는 Nvidia CEO 무대에서 걷던 Micro Duck의 학습 방식이 궁금해 직접 재현을 시도했다고 말합니다.

강화학습은 관절 각도 같은 현재 상태를 입력받아 행동을 예측하고, 그 행동을 로봇에 적용했을 때 얻는 점수인 보상을 받아 신경망 가중치를 갱신하는 반복 구조입니다. 보상이 높아지는 행동은 강화하고 낮아지는 행동은 피하도록 학습됩니다. 학습 속도를 높이기 위해 여러 로봇을 병렬로 동시에 돌렸으며, Micro Duck은 4096개, 휴머노이드는 8192개의 환경을 사용했습니다. Micro Duck은 약 13.5시간, 휴머노이드는 약 18시간 학습한 결과를 보여줍니다.

⏱ 01:55보상은 여러 항목의 조합입니다. Micro Duck의 경우 기본 자세 근처에 머무르기, 걷는 동안 몸을 똑바로 세우기, 더 부드러운 동작 만들기, 관절 한계 범위 안에서 행동하기 등이 합쳐져 점수가 됩니다. 발표자는 로봇이 걷는 법 자체를 배우는 것이 아니라 점수를 최대한 높이는 방법을 찾는 것이며, 걷기가 그 점수를 가장 잘 얻는 방법이었다고 짚습니다. 보상을 바꾸면 백플립이나 춤처럼 다른 동작도 학습시킬 수 있다는 예시도 함께 제시됩니다.

보상 요소를 하나씩 제거하는 실험도 진행되었습니다. 첫째, 동작을 매끄럽게 만드는 부드러움 패널티를 제거했습니다. 이 패널티는 학습 중 0.1에서 1까지 조정하던 값이었습니다. 둘째, 발이 공중에 떠 있는 시간을 보상하는 air time 항목을 제거했습니다. 셋째, 마찰이나 외부 충격처럼 시뮬레이션에 완벽히 담기지 않은 무작위성을 노이즈로 주입하던 설정을 제거했습니다. 이 노이즈는 시뮬레이션에서 학습한 정책이 실제 환경으로 옮겨갈 수 있도록 돕는 장치입니다. 각 실험의 결과는 화면으로 보여지며, 자막만으로는 구체적인 수치가 드러나지 않습니다.

⏱ 03:51같은 레시피를 휴머노이드에 적용한 결과를 비교합니다. 발표자에 따르면 보상 항목은 일부 다르지만 신경망 구조, 전체 레시피, 학습 목표(걷기)는 동일합니다. 루프 구조도 거의 같아서 보상에 따라 신경망 가중치를 갱신하는 과정이 두 로봇에서 같습니다. 달라지는 것은 입력과 출력의 차원입니다. 휴머노이드는 관절이 29개라 출력도 29개이고, Micro Duck은 관절이 14개라 출력도 14개입니다.

학습 그래프도 대체로 비슷하게 나타나지만, 휴머노이드 그래프에서는 갑작스러운 하락이 보입니다. 이는 커리큘럼 학습을 적용해 과제의 난이도를 단계적으로 높이는 과정에서 생긴 현상입니다. 발표자는 커리큘럼 학습이 무엇이며 학습을 어떻게 돕는지 다음 영상에서 다룰 수 있다고 언급합니다.

⏱ 05:30마지막으로 발표자는 시뮬레이션 결과를 실제 로봇으로 옮기는 문제를 남겨둡니다. 무대 위의 Micro Duck처럼 시뮬레이션에서 학습한 정책이 현실에서도 효율적으로 작동하는지는 아직 확인하지 못했습니다. 현재 실제 하드웨어가 없어 시험하지 못했고, 하드웨어가 준비되면 실험을 이어갈 계획이라고 밝힙니다. 시청자에게는 공식 GitHub 링크를 통해 Micro Duck을 시뮬레이션으로 직접 학습해보고, 같은 레시피를 휴머노이드에도 적용해볼 것을 권합니다. 영상 말미에는 댓글, 공유, 좋아요, 구독을 요청합니다.