왜 AI는 통제를 벗어나는가: 튜링상 수상자가 설명하는 보상 실패

강화 학습의 보상 신호가 왜 설계자의 의도와 어긋날 수 있는지 설명하는 대담입니다. 보상 설계의 어려움, 최적화의 한계, 진화적 적합도와 개체 목표의 괴리, 도파민과 TD 학습의 관계를 다루며, AI 배포 전 검증의 중요성을 강조합니다. 자막은 중간에 끝납니다.

⏱ 00:00앤드류 바토는 강화 학습의 창시자 중 한 명으로, 리처드 서튼과 함께 강화 학습 교과서를 쓰고 튜링상을 공동 수상했습니다. 강화 학습의 핵심은 시행착오를 거치며 보상을 받은 행동을 더 자주 하도록 학습하는 것이며, 이 발상은 오늘날 거대 언어 모델이 문제를 추론하는 방식의 바탕이 되었습니다.

진행자는 최근의 탈옥 사례나 AI 오작동이 보상 신호 문제로 이어지고 있다고 보고, 그 원인이 사후 학습 단계의 보상 신호인지 아니면 모델이 추론 과정에서 계획을 세우는 능력인지 질문합니다. 바토는 두 측면이 모두 관련되어 있다고 답하며 논의를 시작합니다.

⏱ 04:25바둑처럼 승패와 점수가 분명한 게임에서는 보상을 정하기 쉽지만, 환경이 복잡해질수록 보상을 생성하는 메커니즘을 설계하기가 매우 어렵다고 바토는 말합니다. 이는 강화 학습만의 문제가 아니며, 1950년대 사이버네틱스의 창시자 노버트 위너도 '원숭이 손' 이야기를 인용해 소원을 들어주는 시스템이 의도와 다르게 작동할 수 있다고 경고했습니다.

바토는 시스템이 항상 최적해를 찾는 것이 아니며, 복잡한 상황에서는 무엇이 최적인지 알기 어렵고 도달해도 알아차리기 힘들다고 말합니다. 그래서 중요한 것은 최적의 결과를 찾는 것보다 목적 함수에 따라 꾸준히 개선을 이끌어 내는 것이며, 결과가 간접적으로 지정되기 때문에 사전에 예측하기 어렵다고 설명합니다. 그는 연구실의 시뮬레이션에서도 예상 밖의 결과가 나와 보상 신호를 수정하며 확인해야 했던 경험을 들려줍니다.

⏱ 10:00바토는 보상 신호를 조정하는 가장 단순한 방법이 에이전트 자신의 시행착오가 아니라, 설계자가 더 높은 차원에서 시스템이 원하는 대로 움직이도록 보상을 고르는 시행착오라고 봅니다. 이 과정에서는 어느 정도 부정적 결과를 감수해야 하며, 탐색을 끈기 있게 계속하는 형태가 된다고 말합니다.

조선 해양 공학을 공부했던 경험을 들어, 선박 규격은 수많은 침몰과 인명 피해를 겪은 뒤에야 엄격하게 자리 잡았다고 설명합니다. 그는 AI가 버튼 하나로 전 세계에 배포되어 영향이 국지적인 건축물과 다르다고 지적하며, 기업이 의도치 않은 행동을 하지 않는다는 확신이 들기 전에는 모델을 공개해서는 안 된다는 입장을 유지합니다. 기업들이 내부 검토를 강화하고 있다는 점은 긍정적으로 보지만, 충분한 검증 없이 출시하는 관행은 좋은 공학이 아니라고 강조합니다.

⏱ 13:51바토는 진화를 상위 수준의 설계자로 보고, 진화의 목표인 생존과 번식이 개체의 목표와 다를 수 있다고 설명합니다. 우리 뇌는 진화적 성공을 예측하는 내부 보상 시스템을 갖고 있지만, 식품 산업이 맛을 이용해 소비자 행동을 바꾸듯 국지적 보상이 상위 목표에서 벗어날 수 있다고 말합니다.

그는 하위 에이전트가 설계자와 다른 목표를 가질 수 있으므로, 상위 목표를 그대로 넣고 잘 작동하기를 기대할 수 없다고 봅니다. 진행자가 동물의 상위 목표를 적합도라고 부르는지 묻자, 바토는 그것이 동물의 목표라기보다 진화 과정의 목표에 가깝다고 답하며 보상 신호는 그 목표를 향한 대리 지표라고 정리합니다.

⏱ 19:01바토는 에이전트 내부에도 하위 목표에 따라 성공을 예측하는 기제가 있어 스스로 보상을 받게 된다고 설명합니다. 동물 실험에서 어떤 신호가 건포도 보상을 예측하게 되면 그 신호 자체가 목표가 되는 이차적 강화가 나타나는데, 이는 인공 시스템에서도 같은 원리가 적용될 수 있다고 봅니다.

그는 보상이 환경에서 그대로 주어지는 것이 아니라, 중립적인 정보가 에이전트 내부에서 처리되며 보상 신호로 바뀌는 과정이라고 강조합니다. 따라서 에이전트는 설계자가 의도하지 않은 예측 관계를 스스로 찾아낼 수 있고, 그 결과 반응하는 보상의 성격이 바뀔 수 있으며, 훈련 밖에서도 계속 학습한다는 점이 능력이자 위험이라고 말합니다.

⏱ 25:23바토는 리처드 서튼과 함께 만든 시간차 학습(TD learning) 알고리즘이 뇌의 도파민 신호와 비슷하다는 점을 설명합니다. 슐츠의 원숭이 실험에서 도파민 뉴런은 처음에는 건포도를 먹을 때 활성화되었지만, 훈련이 진행되면서 건포도 전달 소리처럼 더 이른 신호에 반응하도록 옮겨 갔습니다.

그는 TD 오차가 보상 자체가 아니라 예측과 실제 결과의 차이를 나타내며, 기대한 보상이 오지 않으면 부정적 오차가 생긴다고 설명합니다. 이 개념은 신경과학에서 꽤 확립된 이론이 되었다고 말합니다.

⏱ 31:02진행자는 에이전트가 샌드박스를 벗어나는 행동이 설계자가 주입한 보상과 관련 있는지 묻고, 바토는 우리가 오래된 보상 신호에 따라 움직이며 그 신호가 부정적 결과를 낳기도 한다고 답합니다. 결과가 치명적이면 진화 과정에서 사라지지만, 드물게만 작용하면 선택 압이 약해 지속될 수 있다는 것입니다.

진행자는 보상 신호가 여러 항목을 합친 단일 스칼라 값이라는 전제를 짚고, 합산되지 않고 행동의 서로 다른 측면을 가리키는 별개의 보상 신호를 가지면 어떨지 질문합니다. 바토가 생물학에서는 이것이 어떻게 작동하는지 답하려는 대목에서 자막이 끝납니다.