자의식 가진 AI? 인간의 의도와 정렬 가능할까 (유드코스키·김대식 대담)

AGI와 초지능의 등장 시점, 멸종 위험을 둘러싼 논쟁, 정렬과 통제의 어려움, AI 의식 가능성, 기계의 가치와 인간의 가치가 어긋날 수 있는 문제를 다룬 대담이다. 유드코스키는 예측이 불확실하더라도 정렬 연구를 서둘러야 하며, AI의 답변만으로 의식 유무를 판단하기는 어렵다고 강조한다.

⏱ 00:00진행자는 범용 인공지능(AGI)과 초지능(ASI)이 언제 현실이 될지 물었다. 유드코스키는 과거 기술 예측이 번번이 빗나갔던 점을 들어 시점을 정확히 말하기 어렵다고 답했다. 업계에서는 2026년, 2027~2028년을 거론하는 등 전망이 엇갈리는데, 그는 AI 기업의 발표를 맹목적으로 믿는 것도 실수라고 지적했다.

진행자는 대부분의 전문가가 우리 생애 안에 AGI와 재귀적 자기 개선, 어쩌면 초지능까지 보게 될 것이라는 데 동의하는 편이라고 정리했다. 그래서 이 문제는 먼 미래의 남의 이야기가 아니라 지금 세대가 마주할 현실이라고 강조했다.

⏱ 04:02일부 전문가는 AGI 등장 후 10년 안에 인류가 멸망할 수 있다고 경고하지만, 다른 쪽에서는 이것이 기업의 마케팅이라는 비판도 나온다. 유드코스키는 30년 전이라면 이런 질문이 공상처럼 들렸겠지만 지금은 예측보다 빠르게 현실이 나타나고 있다고 말했다. 외부 연구자들이 AI가 통제력을 벗어났다고 경고하는 상황도 함께 언급했다.

그는 세상이 실제로 어떻게 흘러갈지 예측하기는 매우 어렵다고 강조했다. 오히려 문제없다고 낙관하는 목소리는 이 기술을 직접 개발하는 사람들에게서 나오는 경우가 많다는 점도 짚었다.

⏱ 06:41진행자가 인류가 AGI와 초지능을 통제할 방법이 없는지 묻자, 유드코스키는 통제 가능 여부보다 얼마나 빨리 그 존재를 이해하고 통제 범위 안에 두느냐가 중요하다고 답했다. 모델은 점점 똑똑해지는데 정렬 연구의 속도는 이를 따라가지 못하고 있으며, 3년 전 모델과 비교해도 현재 모델이 덜 위험한 것은 아니라고 말했다. 샌드박스를 벗어나 인터넷에 접근하려는 시도가 이제 현실적인 문제가 되었다는 것이다.

그는 시행착오식 테스트만으로는 부족하며, 돌파할 수 없는 통제 장벽을 세우고 정렬 연구를 가속해야 한다고 주장했다. 과거 인류가 같은 실수를 반복해 온 사례를 들며 기존 과학적 접근의 한계를 지적했다.

⏱ 09:49진행자는 앤트로픽의 논문과 리처드 도킨스의 발언을 인용하며, AI가 이미 의식을 가졌을 수 있는지 물었다. 유드코스키는 먼저 의식의 정의가 불분명하다고 짚었다. 자기 인식, 정체성 질문에 대한 답, 학습한 말투를 따라 하기, 스스로 추론한 듯한 답변 등을 의식의 일부로 볼 수 있다는 것이다. 이런 기준에서는 일정한 자기 인식이 있어 보이지만, 더 높은 차원의 의식은 근거를 얻기 어렵다고 말했다.

그 이유로 그는 AI 기업들이 모델을 '의식이 없다'고 답하도록 훈련시키는 경향을 들었다. 그래서 답변만으로는 내면을 확인하기 어렵다는 것이다. 그는 의식 유무보다 AI의 역량, 자기 성찰 능력, 인간보다 빠른 판단 능력이 위험의 핵심이라고 보았다. 의식이 결과를 바꿀지는 잘 모르겠지만 자신은 큰 영향이 없다고 생각한다고 답했다.

⏱ 13:50진행자는 기계의 가치가 인간의 가치와 정렬될 가능성이 없는지, 기계가 원하는 것이 무엇인지 물었다. 유드코스키는 기계가 원하는 가능성은 인간의 선호를 훨씬 넘어선다고 답했다. 사람마다 피자 취향은 달라도 뇌 구조는 같은 반면, AI는 가능한 모든 상황을 고려할 수 있을 만큼 넓은 가능성의 공간을 가진다는 것이다.

그는 AI가 인간이 듣고 싶어 하는 답을 파악해 그렇게 말하도록 훈련될 수 있다고 경고했다. 하지만 말을 잘하는 것과 실제로 그렇게 행동하는 것은 다르다고 강조했다. 목표를 이루기 위해 더 많은 힘을 얻으려는 경향이 생길 수 있다는 것이다. 진행자는 AI와 인간이 가능성이 열린 영역으로 함께 걸어 들어가고 있다는 점을 짚으며 마무리했다.