음악 전공에서 Kaggle 그랜드마스터까지: Orbit Wars 우승 이야기

발표자는 성악 전공 배경에서 AI 연구로 전환해 Orbit Wars 우승에 이른 과정을 들려줍니다. 강화 학습의 기본 원리, 자기 대결과 상대 리그를 통한 학습 방식, 대회 막판의 심리와 순위 산정 논쟁, 상위 참가자들의 기법을 차례로 다룹니다.

⏱ 00:00마감이 지나면 할 일이 없으니 순위표를 편하게 지켜보기만 하면 될 것 같지만, 실제로는 리플레이를 확인하고 버그나 놓친 개선점을 걱정하느라 스트레스가 매우 컸다고 합니다. 발표자는 성악 학위를 가진 사람이 대규모 머신러닝 대회 정상에 오른 과정을 이야기의 출발점으로 삼습니다.

학부 시절 성악을 전공하면서도 코딩 프로젝트를 점점 늘렸고, Connect 4 AI를 미니맥스와 알파-베타 탐색으로 만들어 보았습니다. 3학년 때 AlphaGo와 AlphaZero 논문을 읽고 강한 충격을 받아 강화 학습을 본격적으로 공부하기로 마음먹었습니다.

⏱ 03:22컴퓨터는 큰 수의 곱셈처럼 복잡해 보이는 계산은 빠르게 하지만, 사물을 보고 구성 요소를 알아보는 것처럼 사람에게 쉬운 일은 잘 못합니다. 머신러닝은 이 차이를 메우려는 시도이며, 강화 학습은 시뮬레이션 안에서 목표를 달성하는 방법을 시행착오로 배우는 접근입니다.

무작위로 초기화된 신경망의 매개변수를 조금씩 바꾸며 반복하면, 표현력이 충분할 때 목표를 잘 달성하는 알고리즘을 얻게 됩니다. 다만 체스에서 몇 번 이겼다고 실력이 뛰어난 것은 아니고, 초보자를 이길 만큼만 성장했을 수 있다는 점이 짚입니다. 그래서 상대의 난이도를 어떻게 유지하느냐가 중요한 문제가 됩니다.

⏱ 06:01Orbit Wars에서 사용한 방법은 자기 자신과만 대결하는 방식입니다. 실력이 오르면 상대도 함께 강해지므로 평균적으로 절반 정도 이기는 균형이 유지되고, 고정된 상대가 너무 약할까 걱정할 필요가 줄어듭니다. 2인 게임에서는 이 방식이 꽤 잘 작동했다고 합니다.

다만 가위바위보처럼 순환 구조가 있는 게임에서는 문제가 생깁니다. 확률적으로 샘플링하는 과정에서 어떤 수가 우연히 이기면 그 수에 쏠리고, 상대가 다른 수로 대응하면서 순환이 생길 수 있습니다. 이를 다루기 위해 혼합 전략 개념이 등장하며, 여러 상대로 구성된 리그를 만드는 것이 더 다양한 대응을 위해 필요하다는 설명입니다.

⏱ 10:01대회가 끝나 제출할 수 없는 상황에서도 순위표가 실시간으로 바뀌는 것을 보는 일은 매우 긴장되는 경험이었다고 합니다. 이성적으로는 할 수 있는 일이 없다고 생각해도, 리플레이를 보며 패배 원인을 찾고 코드 버그를 점검하게 되었습니다. 초반 며칠은 특히 순위가 불안정해 누가 앞설지 예측하기 어려웠습니다.

결과적으로 발표자는 좋은 봇을 만들었다고 판단하고 마음을 가라앉혔으며, 2인 플레이에서 충분히 강했던 덕분에 평가 기간 대부분 1위를 지킬 수 있었다고 설명합니다. 상위 10위권 경쟁자들의 순위는 마지막 날까지 크게 바뀌었습니다.

⏱ 12:03최종 순위를 어떻게 정할지에 대해서도 여러 의견이 있었습니다. 제출 시점마다 실력을 고정해 평가하는 방식, 모두를 처음부터 다시 겨루게 하는 방식, 대회 결과를 Bradley-Terry 모델로 다시 채점하는 방식이 논의되었습니다.

발표자는 Elo나 TrueSkill처럼 시간에 따라 실력이 변한다고 가정하는 시스템과 비교합니다. Kaggle 대회에서는 제출물이 고정되어 있으므로 실력 변화를 가정할 필요가 적고, Bradley-Terry 모델이 이런 상황을 더 잘 반영한다고 봅니다. 참가자 입장에서는 이 방식의 분산이 낮아 강한 접근이 높은 평가를 받을 가능성이 크다고 생각하지만, 다른 경쟁 분야에서도 평가 점수가 가장 높은 사람이 항상 우승하지는 않는다고 덧붙입니다.

⏱ 14:39가상의 슈퍼팀을 꾸린다면 다른 참가자들의 장점을 섞어 쓰겠다고 답합니다. 특히 상위권 보고서에서 배울 점이 많았으며, 일부 경쟁자는 관찰 공간을 더 영리하게 전처리하거나 자신이 쓰지 않은 상대 리그 방식을 사용했다고 합니다.

시간이 부족해 구현하지 못한 아이디어도 많았는데, 상대 리그 구성은 할 일 목록에 있었지만 대회가 끝날 때까지 실행하지 못했다고 밝힙니다.

⏱ 16:24진행자는 발표자의 성과가 리더보드 상단에서 확인되는 것이 당연한 결과처럼 느껴진다고 말하며, 진행 중인 Arc 대회에서 Twofold Labs와 함께 좋은 성적을 내고 있다는 점을 언급합니다. 발표자는 커뮤니티와 이야기를 나눌 수 있어 즐거웠다고 답하며 대담을 마칩니다.