Claude와 AI 에이전트로 다큐멘터리 스타일 영상 만들기

AI로 다큐멘터리 스타일의 영상을 만드는 과정을 소개한다. 레퍼런스 수집, 도구별 역할 분담, 프롬프트를 반복해서 다듬는 방법, 음성과 효과음 작업까지 단계별로 설명하며, 완성도는 레퍼런스와 협업 방식에 달려 있다고 강조한다.

⏱ 00:00발표자는 AI 역사 이야기를 소재로 한 수준 높은 다큐멘터리 스타일 영상을 만드는 방법을 보여 주겠다고 밝힌다. 소셜 미디어에서 조회수를 끌어내려면 이런 편집 방식을 익힐 필요가 있다는 주장이다.

또한 좋은 결과물은 한 번의 완벽한 프롬프트보다 여러 자료를 참고하고 반복해서 다듬는 과정에서 나온다고 말한다.

⏱ 00:16예시 내레이션은 1950년 앨런 튜링이 기계의 사고 가능성을 물은 질문에서 시작한다. 이후 1956년 다트머스에서 인공지능이라는 이름이 붙었고, 1958년 프랭크 로젠블랫이 스스로 학습하는 기계를 만들었다는 흐름으로 이어진다.

당시 언론은 이 기계가 언젠가 걷고 말하며 자각하게 될 것이라고 보도했지만 기술은 실패했고, 이후 수십 년간 침체기가 이어졌다. 제프리 힌튼 등 연구자들이 포기하지 않으면서 방식이 바뀌었는데, 직접 규칙을 프로그래밍하기보다 방대한 예시로 학습시키는 쪽으로 전환되었다는 설명이다.

⏱ 01:14발표자는 영상 제작에서 레퍼런스 찾기에 가장 많은 시간을 쓴다고 말한다. 스스로 창의적인 감각이 부족해서 다른 작품을 참고하는 편이라고 설명하며, 그 과정을 '잘 훔치는 일'이라고 표현한다.

핀터레스트에서 3D 다큐멘터리, 영화 같은 신문 애니메이션, 다큐 지도 애니메이션 등 키워드를 나눠 검색하고 마음에 드는 이미지를 폴더에 저장하라고 권한다. 대부분은 금방 지치지만 발표자는 20분에서 길게는 한 시간까지 계속해서 편집 방향이 머릿속에 분명해질 때까지 자료를 모은다고 말한다.

⏱ 02:12이미 Claude를 구독하고 있다면 그대로 써도 된다고 하면서, 영상 후원사인 Abacus AI 에이전트를 사용한다고 밝힌다. 이 서비스로 여러 모델을 이용할 수 있으며 링크는 설명란에 있다고 안내한다.

발표자는 여러 클립을 따로 만들어 타임라인에 배치하는 방식 대신 30~40초 분량의 연속된 움직임을 담은 영상을 한 번에 생성하는 프롬프트를 사용했다. 설명란의 프롬프트는 인트로 데모에 맞춰 여러 번 다듬은 것이므로 스타일을 바꾸려면 작성 규칙을 참고해 수정하라고 권한다.

⏱ 02:58처음 규칙은 AI 영상 생성기 대신 코드로 모든 장면을 만드는 것이었다. 첫 결과물은 파워포인트 발표 자료처럼 보였고, 두 번째 결과물도 만족스럽지 않았다.

이후 발표자는 작업에 필요한 실제 자료 목록을 요청해 역사적 인물 사진 같은 자산을 에이전트에 제공했다. 또한 문제점을 구체적으로 알려 주었는데, 글자가 너무 빨리 지나가 읽기 어렵고 필요 없는 장면에도 특정 문구가 반복된다는 점이었다. 그래서 속도를 낮추고 디자인, 카메라 움직임, 가독성을 개선하도록 지시했으며, 불명확한 부분은 질문하라고 했다.

발표자는 한 번에 완벽한 프롬프트보다 에이전트와 협업하는 방법을 익히는 것이 중요하다고 강조한다. 일단 스타일이 잡히면 같은 방향을 유지하는 한 작업 속도가 빨라진다고 덧붙인다.

⏱ 03:53마지막 단계는 사운드 디자인이며, 타임라인 편집 도구와 다른 AI 모델을 함께 사용했다. 발표자는 모션 그래픽은 Claude, 영상 편집과 사운드 디자인은 다른 모델이 맡도록 역할을 나누는 것이 좋다고 설명한다.

이번 작업에서는 폴더와 사운드 디자인 작업 영역에 에이전트가 접근하도록 했고, 이후 발표자가 직접 일부 효과음을 수정했다. 두 모델을 함께 작동시키는 기능에서는 어떤 모델이 어떤 작업을 맡을지 명확히 지정해야 한다고 강조한다.

⏱ 04:29홈페이지의 음성 탭에서 음성을 고르고 스크립트를 입력하면 영상에 맞는 내레이션을 생성할 수 있다고 소개한다. 생성된 음성을 에이전트에 전달하면 그 위에 모션 디자인을 입힐 수 있다는 설명이다.

발표자는 같은 오디오 클립으로 만든 다른 버전을 보여 주며, 앞서 본 AI 역사 내레이션을 모션 디자인과 함께 다시 재생한다. 효과음이 필요하면 댓글을 남기라고 요청하고, 충분한 호응이 있으면 설명란에 링크를 추가하겠다고 말한다.