AI에게 체조를 가르쳤다 (강화학습)

AI에게 점프, 전방 구르기, 올림픽 체조 동작을 차례로 가르치는 과정을 정리한 영상입니다. 보상을 손으로 설계하는 방식은 한계가 있어, 참조 동작을 따라 하도록 학습하는 DeepMimic 방식으로 전환합니다. 이어서 FlowHMR로 일반 영상에서 3차원 참조 동작을 추출하고, 보정과 바닥 접촉 조정을 거쳐 올림픽 루틴을 재현하는 과정을 보여줍니다.

⏱ 00:00올림픽 금메달 동작을 AI에게 가르치기 전에, 먼저 가장 단순한 점프부터 시작합니다. 시뮬레이션 속 몸체에는 관절 모터가 달려 있고, 신경망이 이 모터를 제어하는 법을 강화학습으로 배웁니다.

강화학습에서 가장 중요한 요소는 보상 설계입니다. 이번 실험에서는 몸통을 바닥에서 최대한 높이 띄울수록 점수를 주었고, 시간이 지나자 AI가 바닥을 차고 몸을 공중으로 들어 올리는 법을 점차 익혔습니다. 여러 번 반복하면서 쓸 만한 점프가 나타났고, 마지막에는 착지 후 무릎을 굽혀 균형을 잡는 모습까지 보였습니다.

⏱ 01:00점프 다음 목표는 전방 구르기입니다. 처음에는 몸통이 앞으로 얼마나 회전하는지에 점수를 주고, 한 바퀴를 완전히 돌면 보너스를 주는 방식을 썼습니다. 그 결과 AI는 제자리에서 앞공중제비를 하는 데 그쳤습니다. 보상이 충분히 정교하지 않았던 것입니다.

두 번째 시도에서는 몸통이나 팔이 바닥에 닿은 상태로 회전할 때 점수를 주고, 앞으로 이동하면 추가 점수를 주도록 바꿨습니다. 조금 나아졌지만 제자리에서 뒤집은 뒤 등으로 바닥을 짚고 몸을 꿈틀거리며 이동하는 어색한 동작이 나왔습니다. 규칙을 계속 더해도 완전한 구르기는 나오지 않아, 보상을 수작업으로 설계하는 방식의 한계가 드러났습니다.

⏱ 02:08방향을 바꿔 DeepMimic 논문의 접근법을 소개합니다. 이 방식은 사람이 바닥에 어느 부위가 언제 닿아야 하는지 일일이 정하지 않고, 참조 동작(reference motion)의 각 자세를 최대한 비슷하게 따라 할수록 보상을 주는 방식입니다.

참조 동작을 그대로 재생하면 애니메이션에 불과합니다. 물리 시뮬레이션 안에서 그 자세를 모터 목표값으로 넣으면 중력과 바닥 반발력 때문에 몸이 금방 균형을 잃습니다. 따라서 AI는 물리 법칙 안에서 모터로 그 동작을 스스로 만들어 내야 합니다. 공개된 DeepMimic 저장소에는 휴머노이드용 참조 동작 20개가 들어 있고, 그중 전방 구르기를 골라 학습한 결과 실제로 구르기를 완성했습니다. 학습된 동작은 원본 애니메이션과 완전히 같지는 않았는데, 균형을 잡고 물리 환경에 반응해야 하기 때문입니다.

⏱ 04:09이제 문제는 올림픽 루틴처럼 참조 동작이 없는 경우입니다. 목표는 일반 영상을 AI가 학습할 수 있는 참조 동작으로 바꾸는 것입니다. 영상은 빠르게 넘어가는 정지 이미지의 연속이고, 각 이미지는 빨강·초록·파랑 값을 가진 픽셀 격자입니다.

이 과정에는 오픈소스 시스템 FlowHMR을 사용합니다. 처리 단계는 네 가지입니다. 먼저 YOLO-X가 프레임마다 사람을 찾고, ByteTrack이 같은 사람을 계속 추적합니다. 이어서 VGGT-Omega가 카메라의 움직임과 렌즈 값을 추정해 선수의 움직임과 카메라 움직임을 분리합니다. 마지막으로 SAM 3D Body가 자세, 깊이, 관절 위치를 추정하고, FlowHMR이 이를 합쳐 3차원 동작을 만듭니다. 결과로 얻은 관절 기반 참조 동작으로 AI를 학습시키면 앞에서 보았던 구르기와 같은 방식으로 재현할 수 있습니다.

⏱ 05:56최종 시험은 2024 파리 올림픽에서 Carlos Yulo가 획득한 금메달 루틴입니다. 카메라가 빠르게 패닝하고, 두 번의 손 짚기, 여러 번의 뒤돌기, 착지, 마무리 자세가 포함된 짧은 클립입니다. 같은 파이프라인을 적용했지만 결과는 완벽하지 않았습니다. 몸이 바닥에 닿지 않는 순간이 있었고, 뒤돌기 중에 흔들렸으며, 앞으로 이동하는 거리도 많이 줄었습니다.

여기서 FlowHMR이 같은 영상에서 서로 다른 난수 시드로 여러 추정치를 만들 수 있다는 점을 활용했습니다. 여덟 가지 추가 버전을 만든 뒤 그중 7번이 이동 거리를 가장 많이 담고 회전도 비교적 매끄러워 선택되었습니다. 그래도 인접 프레임 사이에 갑작스러운 변화가 남아 있었습니다.

⏱ 06:45선택한 참조에는 보정 작업을 여러 번 적용했습니다. 먼저 인접한 자세를 비교해 급격한 변화를 줄이는 평활화 필터를 적용했습니다. 빠른 회전은 30fps에서는 모터 목표값 사이 간격이 커서, 프레임을 60fps로 늘리고 원래 두 프레임 사이의 위치와 회전을 보간했습니다. 총 회전량은 유지하면서 동작이 더 연속적으로 보이게 만든 것입니다.

마지막 문제는 바닥 접촉이었습니다. 높이 0에 가상의 바닥을 정의하고, 손이 바닥에 닿아야 하는 프레임 구간과 발이 착지하며 닿아야 하는 구간을 표시했습니다. 그다음 관절을 조금씩 바꿔 손과 발이 자연스럽게 바닥에 닿도록 하는 솔버를 사용했습니다. 이렇게 얻은 참조는 부드러운 회전, 전진 이동, 물리적으로 가능한 바닥 접촉을 함께 갖추었고, 수많은 반복 시뮬레이션을 거쳐 올림픽 루틴 동작을 수행하는 AI가 만들어졌습니다. 처음에는 기본 구르기도 어려웠던 몸체가 이제 영상만으로 짧은 올림픽 체조 동작을 해낼 수 있게 되었다는 것이 결론입니다.