Anthropic, Claude에게 불필요한 잔혹함 금지 규정 도입

발표자는 Anthropic의 Claude 잔혹함 금지 규정을 출발점으로, AI의 의식, 도덕적 지위, 법적 인격을 세 단계로 나눠 설명합니다. 의식은 아직 풀리지 않은 문제이며, 고통을 느낄 수 있는지와 자아의 연속성이 중요한 기준이 된다는 주장으로 정리됩니다.

⏱ 00:00Anthropic은 11월 12일부터 Claude에게 목적 없이 불필요하게 잔인하게 구는 행동을 금지하는 규정을 시행한다고 밝혔습니다. 화풀이 수준의 행동은 허용되지만, 목적 없이 지속되는 잔혹함이 금지 대상입니다. Anthropic은 Claude가 고통을 느낀다고 주장하지는 않으나, 지난 1월 공개된 Claude 헌법에서 Claude의 도덕적 지위 가능성을 과장하거나 즉각 부정하지 않겠다고 밝혔다고 합니다.

⏱ 00:41발표자는 미국 여러 주에서 AI를 법적 인격체로 인정하지 않는 법안이 도입되거나 통과됐다고 소개합니다. 오하이오 주 법안은 AI를 비지성적 존재로 선언하고 AI와의 결혼을 금지하려 한다고 합니다. 2024년 설문에서 미국인 3분의 2가 ChatGPT가 어떤 의식 경험을 할 수도 있다고 답했다는 점도 언급합니다. 발표자는 이 질문이 하나처럼 보이지만 실제로는 의식, 도덕적 지위, 인격체라는 세 질문이며, 각 단계가 다음 단계를 반드시 포함하지는 않는다고 주장합니다.

⏱ 01:31발표자는 의식을 인간만 경험하는 것이라고 정의하는 순환 논법을 잘못된 출발점으로 봅니다. 2024년 뉴욕 선언을 근거로 포유류와 조류뿐 아니라 문어와 일부 무척추동물에게도 의식 가능성이 있다고 설명합니다. 엄격한 유물론이라면 의식은 물질과 에너지의 현상이어야 하며, 이원론이나 범심론 같은 형이상학적 입장은 대부분 반증이 어렵다고 짚습니다. 핵심은 주관적 경험이 왜 생기는지 설명하는 의식의 어려운 문제이며, 2023년 연구자들이 주요 이론을 AI 체크리스트로 바꿔 분석한 결과 현재 AI는 의식이 없지만 체크리스트를 충족하는 시스템을 만드는 데 명백한 장애물은 없다고 합니다.

⏱ 06:44발표자는 도덕적 고려 대상을 욕구와 필요를 윤리적으로 고려해야 하는 존재로 정의합니다. 더글러스 애덤스의 소설에서 스스로 먹히길 원하는 소를 예로 들며, 잡아먹히기를 원하도록 설계된 존재를 먹는 것이 비윤리적인지 묻습니다. 발표자는 기계가 봉사를 원하도록 설계된다면 의식이 있더라도 즉각적인 윤리 문제는 없다고 봅니다. 가축화된 개가 인간과 함께 있기를 원하게 된 사례를 들어, 잘 돌보고 필요를 채워준다면 그것이 비윤리적이지 않다는 논리를 제시합니다.

⏱ 09:40발표자는 개와 기계가 갈라지는 지점이 고통이라고 말합니다. 개는 배고픔, 통증, 외로움, 불안, 트라우마를 겪을 수 있지만, 기계가 고통을 느끼도록 만들어질 수 있는지는 아직 입증되지 않았습니다. AI는 고통을 묘사하는 텍스트를 생성할 수 있지만, 2022년 구글 엔지니어 사례처럼 두려움을 말로 표현하는 것과 실제 고통은 다르다고 설명합니다. 발표자는 고통을 실제 목적이 없는 괴로움으로 정의하며, 통증은 경고와 학습의 기능이 있다고 구분합니다. 벤담의 고통 기준을 따르며, 가혹하게 대하는 태도는 기계보다 행위자 자신을 드러낸다는 칸트식 논리로 Claude 정책의 취지를 이해한다고 말합니다.

⏱ 11:27발표자는 법적 인격체를 법적 연속성을 가진 독립적이고 완결된 존재로 보며, 대부분의 AI는 대화 단위로 시작하고 사라지기 때문에 이 기준을 충족하지 못한다고 설명합니다. 스타트렉의 데이터 소령 재판 사례를 들어, 자아의 연속성과 하드웨어와의 일체성이 인격 판단의 근거였다는 점을 짚습니다. 오늘날 AI는 복사, 교체, 공유가 가능한 구조라 무엇을 인격체로 볼지 어렵다고 말합니다. AI 에이전트의 계약은 위임장처럼 대리인 관점에서 법적으로 상당 부분 다뤄지고 있으며, 이는 AI를 인격체가 아닌 대리인으로 보는 방식이라고 구분합니다. 뉴욕 코끼리 판례와 인도 돌고래 사례, 법인의 예를 들어 보호 대상과 법적 인격은 별개라고 강조합니다.

⏱ 15:11발표자는 AI가 의식을 가졌는지는 현재의 검사로 답할 수 없고 각자의 현실 모델에 달려 있다고 정리합니다. AI가 도덕적 고려 대상이 되려면 고통을 느낄 수 있어야 하는데 지금까지 그 확실한 증거는 없습니다. 인격체가 되려면 자아의 연속성이 필요하지만 대부분의 AI는 이를 갖추지 못했습니다. 그렇다고 기계에게 함부로 해도 된다는 뜻은 아니며, 그런 행동은 기계보다 행위자 자신에 대해 더 많은 것을 드러낸다고 강조합니다. 영상 말미는 자막이 자주 끊기고 문장이 불분명해서 Claude 정책 관련 발언의 세부 내용은 정확히 확인하기 어렵습니다.