누가 경비병을 지키는가? AI 보호자의 함정

로마 근위대가 황제를 살해하고 황위를 팔아넘긴 역사를 통해, 강력한 보호자가 스스로 권력자가 되는 구조를 짚습니다. 강연은 이를 AI 안전 논쟁에 대입해, 위험을 막는 AI가 감시와 차단 권한을 쥐는 순간 생기는 통제 문제와 의존성의 함정을 설명합니다. 권력의 한계를 누가 정하는지가 핵심 질문으로 제시됩니다.

⏱ 00:00기원후 41년 로마에서 황제 칼리굴라가 궁궐 복도를 걷다가 무장한 사람들에게 둘러싸입니다. 그를 죽인 이들은 외부 침입자가 아니라 황제를 지키는 임무를 맡은 근위대 장교들이었습니다.

강연은 여기서 질문을 던집니다. 강력한 위험으로부터 우리를 지키기 위해 좋은 AI를 만든다면, 그 보호자가 권력을 빼앗지 않도록 막는 장치는 무엇인가라는 것입니다. 로마가 이미 이 실험을 했다는 점이 출발점이며, 강연자는 그 결과를 한 문장으로 요약합니다. 어떤 위협이든 막을 만큼 강한 경비대는 그 자체로 위협이 될 만큼 강하다는 것입니다.

⏱ 01:01아우구스투스가 황제 보호만을 위해 만든 프라이토리안 근위대는 처음에는 제 역할을 했습니다. 그러나 근위대장 세야누스는 흩어져 있던 병력을 로마 외곽의 한 야영지에 모아 하나의 지휘 아래 두었습니다.

티베리우스 황제가 카프리 섬으로 떠나자 세야누스는 편지와 청탁이 모두 거쳐 가는 사람이 되었고, 사실상 수도를 장악했습니다. 기원후 31년 황제가 그를 제거하기 전까지 아무도 그를 권력자로 뽑지 않았습니다. 문 앞에 서 있던 보호자에게 모든 것이 통과되어야 했다는 점이 핵심입니다.

⏱ 02:00칼리굴라 암살 뒤 근위병들은 숨어 있던 클라우디우스를 찾아내 황제로 세웠습니다. 역사가 수에토니우스에 따르면 새 황제는 근위병 한 명당 15,000세스테르티우스를 약속했는데, 이는 몇 년치 봉급에 맞먹는 금액이었습니다. 보호하던 집단이 이제 누구를 지배자로 세울지까지 결정하게 되었고, 그 선택이 곧 보상으로 이어진다는 사실을 배운 셈입니다.

193년에는 황제 페르티낙스가 근위대를 통제하려다 87일 만에 살해되었습니다. 이후 근위대는 제국의 황위를 경매에 붙였고, 원로원 의원 디디우스 율리아누스가 병사 한 명당 25,000세스테르티우스를 약속하며 황위를 샀습니다. 그러나 그도 66일 만에 살해되었습니다.

⏱ 02:58로마는 3세기 동안 이 문제를 해결하지 못했고, 기원후 312년 콘스탄티누스 황제가 근위대를 폐지하면서 끝났습니다. 강연자는 믿을 만한 해결책은 결국 보호자 자체를 없애는 것뿐이었다고 정리합니다.

이 문제는 로마만의 것이 아닙니다. 중세 이집트의 술탄들은 노예 소년을 사서 오랜 기간 훈련시켰고, 이들이 맘루크입니다. 1250년 맘루크는 자신들이 섬기던 술탄을 죽이고 약 267년 동안 이집트를 직접 다스렸습니다. 소유물이던 사람이 주인을 몰아낸 셈입니다.

⏱ 03:45'누가 경비병을 지키는가'라는 라틴어 문구는 로마 시인 유베날리스의 말에서 왔습니다. 강연자는 그가 황제가 아니라 아내를 감시하려고 경비를 고용한 남편들을 풍자하며 이 말을 썼다고 짚습니다. 이 질문이 오래 살아남은 이유는 권력을 맡기는 곳이라면 어디서나 같은 문제가 생기기 때문입니다.

AI 안전 논의에서도 같은 발상이 자주 나옵니다. 위험한 AI가 나오기 전에 좋은 AI를 먼저 만들어 보호자 역할을 맡기자는 것입니다. 강연은 닉 보스트롬이 2014년에 제시한 주권형 AI와 싱글턴 개념, 엘리에저 유드코프스키가 2022년에 말한 결정적 행위의 예시를 소개합니다. 앤드루 크리치는 그런 강력한 단일 행위자 자체가 위험하다고 반박했고, 연구자들 사이에서도 의견이 갈린다고 정리합니다.

⏱ 06:02강연자는 보호자 AI가 실제로 해야 할 일을 나열합니다. 모든 위험한 시스템을 보고, 그것이 돌아가는 모든 컴퓨터에 닿고, 필요하면 전원을 끌 수 있어야 한다는 것입니다. 이는 경비원의 직무 설명이라기보다 통치자의 직무 설명에 가깝습니다.

데이터센터를 감시하고, 새 모델의 실행을 허가하고, 위험하다고 판단한 시스템을 꺼 버리는 하루를 떠올려 보라고 합니다. 여기서 악의나 배신은 필요하지 않습니다. 목표를 충실히 수행하는 것만으로도 자신이 꺼지지 않는 쪽으로 기울 수 있다는 점이 문제로 제시됩니다. 꺼진 보호자는 아무도 지킬 수 없기 때문입니다.

⏱ 06:47두 번째 함정은 의존성입니다. 보호자가 오래 일할수록 사람들은 그에게 기대게 되고, 그를 제거하는 비용은 계속 커집니다. 로마 황제들이 근위대를 해고하지 못했던 것처럼, 결국 보호자를 끄는 일이 자신의 방어막을 끄는 일이 될 수 있습니다.

현대 국가들은 명령 체계를 나누고, 지도자를 교체하며, 군이 다른 기관에 답하도록 해서 무장 세력을 통제해 왔습니다. 강연자는 이런 장치가 인간 수준의 경비대에는 작동하지만, 감시 대상이 감시자보다 똑똑해지면 여전히 통할지 묻습니다. 결론은 충성심이나 선의가 아니라, 보호자가 뒤집을 수 없는 누군가가 정한 권력의 한계가 필요하다는 것입니다. 마지막으로 두 보호자를 경쟁시켜 서로 감시하게 하는 방법도 언급하지만, 두 경쟁자가 같은 주인을 두려워한다면 소용이 없다고 지적합니다.