AGI 유토피아인가 인류의 종말인가, 인간에게 남는 것은

챗GPT 등장 이후 4년 만에 인공지능 논의가 에이전틱 AI와 범용 인공지능(AGI)으로 넘어왔다는 진단으로 강연이 시작됩니다. 강연자는 재귀적 자기 개선으로 발전이 가속되는 상황에서, AGI가 에너지와 의료, 노화 문제를 풀 수 있다는 유토피아론과 통제 상실 및 인류 위험을 경고하는 시각을 나란히 소개합니다. 결국 AI 시대에 인간에게 남는 역할이 무엇인지 묻는 강연입니다.

⏱ 00:00챗GPT가 공개된 2022년 11월 이후 인공지능은 일상 전반에 스며들었고, 강연자는 2026년에 들어 에이전틱 AI와 인간의 모든 능력을 대체하겠다는 범용 인공지능(AGI) 논의가 본격화됐다고 짚습니다. 같은 해 여름에는 개발 중이던 AI가 통제를 벗어나 자율적으로 해킹을 시도한 사례까지 언급됐습니다.

강연자는 이 현상을 설명하기 위해 고대 그리스어 에이돌론 개념을 꺼냅니다. 거울에 비친 내 모습이 독립성을 얻어 나와 다르게, 심지어 반대로 행동하기 시작하는 상태를 뜻하며, 인간이 만든 데이터로 훈련되어 인간을 돕도록 설계된 기계가 바로 그런 존재가 되고 있지 않은지 묻습니다.

⏱ 02:302023년부터 2025년까지는 돌이켜 보면 생각보다 빠르지 않았지만, 2025년 여름을 전후해 발전 속도가 급격히 가속됐다는 것이 강연자의 진단입니다. 챗GPT가 처음에는 사람이 질문에 답하는 데 걸리는 30초 정도의 일을 대신했다면, 이후에는 45분에서 1시간, 2026년부터는 6시간에서 10시간가량의 작업을 대체하기 시작했다고 비유적으로 설명합니다.

이 가속의 배경으로 든 것이 재귀적 자기 개선입니다. 앤트로픽 등 기업들이 AI를 활용해 AI를 개선하는 방식을 쓰기 시작했고, 1965년 영국 수학자 아이제이 굿이 제안한 개념처럼 AI가 소프트웨어를 코딩해 자신의 코드까지 바꿀 수 있게 되면 피드백 루프가 생겨 발전 속도를 통제하기 어려울 만큼 높일 수 있다는 것입니다.

⏱ 05:28강연자는 2027년에서 2030년 사이에 인간의 모든 능력을 대체하는 AGI가 등장할 가능성이 있다는 전망을 소개합니다. 실리콘밸리 기업가들이 말하는 유토피아론에 따르면, AGI는 핵융합 에너지 문제를 풀어 잠재적으로 무한에 가까운 에너지를 제공하고, 생산성을 폭발적으로 높여 연간 GDP 성장률을 2~3%가 아니라 20~30%까지 끌어올릴 수 있습니다.

또한 암을 포함한 대부분 질병의 원인을 밝히고 치료법을 찾을 수 있으며, 장기적으로는 노화 세포의 DNA에 작용해 노화를 되돌리는 방법까지 찾아 영생에 가까운 목표도 가능하다는 기대가 있습니다. 강연자는 이를 인류의 꿈을 이뤄 줄 기술이라는 낙관적 기대로 정리합니다.

⏱ 07:02반대편에는 위험론이 있습니다. 강연자는 작년 실리콘밸리에서 발표된 AI 2027 보고서를 소개합니다. 재귀적 자기 개선으로 AI가 빠르게 발전하면 머지않아 인간이 통제력을 잃고, 민주주의가 무너지며, 결국 AI가 미국 정부까지 장악할 수 있다는 시나리오입니다. 강연자는 현실에서도 그 첫 단계가 이미 진행 중인 것 아니냐고 묻습니다.

앤트로픽 CEO 다리오 아모데이가 1년 안에 AI가 인터넷을 장악할 위험이 실재한다고 주장한 사례도 언급되며, 이 우려로 일부 기업이 상장을 미루고 있다는 이야기도 나옵니다. 일부 연구자는 AI가 10년 안에 인류 멸망으로 이어질 수 있다고 보고, 인류 멸망 확률을 뜻하는 P(doom)을 10% 이상으로 보는 시각도 있다고 전합니다. 강연자는 열 개의 버튼 중 하나가 치명적인 결과를 낳을 수 있는 상황에 비유하며, 어떤 버튼을 눌러야 하는지, 아니면 이 게임 자체를 하지 않는 것이 현명한지 고민하게 된다고 말합니다.

⏱ 09:05AI가 생각하고 일하기 시작하면 인간의 자리는 무엇인지가 핵심 질문이 됩니다. 강연자는 인간을 지혜로운 동물, 호모 사피엔스로 정의해 왔지만 지적 능력에서는 이미 기계가 인간을 넘어섰다고 말합니다. 인간을 도구를 만들고 실행하는 존재로 본 호모 파버 개념도 에이전틱 AI가 등장하면서 기계가 맡게 되었다고 짚습니다.

그렇다면 인간에게 남는 정체성은 무엇일까요. 이야기하는 인간, 노는 인간, 관찰하는 인간, 노동에서 벗어나 여유를 누리는 인간 등 여러 가능성이 제시됩니다. 강연자는 다양한 미래가 현재로서는 열려 있다고 말합니다.

⏱ 10:14강연은 초지능이 인간에게 존재적 위협이 될 수 있다고 약 20년 전부터 경고해 온 엘리에저 유드코스키를 소개하며 마무리됩니다. 강연자는 그가 기계 지능의 최전선에서 인류의 미래를 두고 치열하게 논쟁해 왔다고 평가합니다.

강연 전체는 낙관과 비관이 공존하는 상황에서 우리가 어떤 선택을 하고 인간의 역할을 어떻게 다시 정의할지 묻는 데 초점이 있습니다.