요약
⏱ 03:451. 발표자 소개와 발표 개요
⏱ 03:45발표자 Poram은 Rich 교수 지도 아래 박사 과정을 마쳤고, 약 1년 반 전부터 소규모 스타트업 Keen Technologies에서 더 나은 알고리즘을 개발하고 있습니다. 이 물리 아타리 시스템은 회사 안에서 재미로 시작한 부업 프로젝트였는데 결과가 괜찮아 논문으로 정리했다고 합니다.
발표는 동기, 로봇 설계 원칙, 물리 아타리 플랫폼의 구성, 연속 학습의 중요성을 보여주는 실험 결과의 네 가지로 진행됩니다.
⏱ 05:202. 연구 동기: 병렬 환경과 안전 책임의 분리
⏱ 05:20연구팀은 자신들이 원하는 알고리즘의 종류를 외부에 명확히 보여줄 실물 기준점이 필요했다고 설명합니다. A2C, A3C, PQN 같은 방법은 여러 환경을 동시에 실행해야 잘 동작하는데, 일반적인 상황에서는 에이전트가 환경 하나만 접하므로 이런 알고리즘은 적용하기 어렵습니다. 로봇을 여러 대 만드는 것도 비용이 크고 부품 차이 때문에 동일한 조건을 보장하기 힘듭니다.
⏱ 07:303. 첫 설계의 실패와 구조 개선
⏱ 07:30처음에는 3D 프린터로 부품을 출력해 아타리 조이스틱을 움직이는 로봇을 만들었지만, 액추에이터의 움직임 평면과 조이스틱이 도는 축이 어긋나 에너지가 낭비되고 부품이 빨리 손상되었습니다. 또 한 방향으로만 움직일 수 있다는 한계도 있었습니다.
이후 반복 설계에서 조이스틱의 회전 중심(피벗)과 액추에이터의 회전축을 맞추는 방식으로 바꾸었습니다. 이렇게 하면 부품에 힘이 과도하게 걸리지 않아 더 작은 서보와 작은 전류로도 조이스틱을 충분히 움직일 수 있습니다. 발표자는 한 달 만에 끝났다고 생각했지만, 동료들이 강화학습을 돌리기 시작하자 이틀 만에 여러 곳이 고장 났다고 합니다.
⏱ 10:004. 내구성 문제 해결과 제어 방식 변경
⏱ 10:00고장 원인을 하나씩 해결하는 과정이 이어집니다. 장시간 구동하면 나사가 풀리는 문제는 나사산 고정제로 막았고, 서보 기어가 마모되는 문제는 금속 기어 버전을 쓰는 것으로 해결했습니다. 가장 큰 문제는 조이스틱 자체가 일주일 만에 닳아버린 것이었는데, 조이스틱은 직접 바꿀 수 없어 제어 방식을 손보는 쪽으로 접근했습니다.
분석해 보니 사람은 조이스틱을 끝까지 밀기 전에 감속하는 등 부드럽게 다루는 반면, 로봇은 빠르게 가속하고 급정지하고 있었습니다. 그래서 P 제어기를 튜닝해 움직임을 부드럽게 만들었고, 이로써 마모 속도를 크게 줄였습니다. 다만 P 제어기는 오차를 누적하기 때문에 로봇이 막히면 토크가 계속 커지는 위험이 남았습니다.
⏱ 12:005. 생물의 반사를 본뜬 토크 보호 장치
⏱ 12:00이 위험을 막기 위해 생물학의 반사 개념을 가져왔습니다. 사람의 근육과 힘줄에는 과도한 부하를 감지해 근육을 이완시키는 골지건 반사(Golgi tendon reflex) 같은 보호 장치가 있으며, 무거운 물건을 들 때 힘줄이 끊어지기 전에 근육이 먼저 풀리는 것이 그 예입니다.
이를 로봇에 적용해, 저수준 언어로 작성한 별도 스레드가 전류를 초당 약 1000회 수준으로 감시하도록 했습니다. 전류가 기준을 넘으면 토크를 약 2밀리초 동안 끊었다가 다시 켭니다. 이 장치 덕분에 몇 달 동안 파손 없이 사용할 수 있었고, 반사 발동 횟수를 기록해 보니 로봇 개체마다 차이가 있다는 점도 확인했습니다. 발표자는 이 보호 기능을 서보 드라이버 안에 넣으면 더 빠르게 만들 수 있다고 덧붙였습니다.
⏱ 14:006. Roller 로봇과 범용 플랫폼으로의 전환
⏱ 14:00완성된 로봇은 이름을 붙여 준 동료의 이름을 따 Roller라고 부릅니다. 일부는 3D 프린팅 부품이고 나머지는 구매한 서보와 소형 제어 기판으로 구성되며, 로봇 한 대의 부품 비용은 약 500달러 수준입니다. 이 로봇으로 실제 아타리 콘솔에서 게임을 학습시키는 데모를 보였지만, 연구 플랫폼으로는 한계가 있었습니다.
