Lucid Voice 튜토리얼: 음성 복제·변환·정리 도구 사용법

Lucid Voice 모듈의 음성 클로너, 음성 변환기, 오디오 클리너 세 기능을 차례로 소개하는 영상입니다. 감정과 변동 슬라이더로 연기를 조절하는 법, 피치 시프트로 음역 차이를 보정하는 법, 모드 음성 추가와 노이즈 제거 엔진의 구조를 설명합니다. 마지막에는 생성한 음성을 애니메이션 대사에 연결하는 작업 흐름을 시연하며, 음성 복제 시 권리 문제에 대한 주의도 함께 강조합니다.

⏱ 00:00이 영상은 Lucid Voice라는 선택 모듈의 기능을 소개합니다. 모듈은 세 가지 도구로 구성되는데, 짧은 음성 샘플로 목소리를 복제해 입력한 글을 읽게 하는 음성 클로너, 직접 연기한 타이밍과 억양은 그대로 두고 목소리만 바꾸는 음성 변환기, 잡음이 섞인 녹음을 정리하는 오디오 클리너입니다. 설치는 한 번으로 끝나고 클라우드 연결이나 API 키, 계정이 필요 없다고 강조합니다.

발표자는 이 세 도구를 실제 연출 작업에 어떻게 연결하는지 순서대로 보여 주겠다고 예고합니다.

⏱ 00:26음성 클로너는 몇 초 분량의 음성 샘플만으로 목소리를 복제해 원하는 문장을 읽게 하는 도구입니다. 발표자는 샘플 길이로 약 10초가 권장 범위라고 설명하고, 시연에서는 자신의 목소리로 짧은 문장을 생성했습니다.

중요한 점은 권리 문제입니다. 다른 사람의 목소리를 허락 없이 복제하는 것은 회색지대에 가깝고, 결과물을 공개하면 법적 문제가 생길 수 있다고 경고합니다. 영어 출력의 완성도가 가장 높으며 다른 언어를 쓰려면 먼저 테스트해 보라고 권합니다.

⏱ 00:56합성기에는 두 개의 슬라이더가 있습니다. 감정(emotion) 값을 낮추면 평평하고 차분한 낭독이 되고, 높이면 억양과 강세, 극적인 표현이 강해집니다. 같은 문장을 세 가지 설정으로 들려주며 차이를 보여 주었고, 기본값은 50%입니다.

변동(variation) 값은 감정과 다른 개념으로, 테이크마다 모델이 얼마나 즉흥적으로 달라질지를 정합니다. 0이면 같은 입력에 항상 같은 결과가 나오고, 기본값 80%에서는 끊어 읽기나 강세, 호흡이 조금씩 다르지만 어색하지 않은 결과가 나온다고 설명합니다. 실제 작업에서는 같은 문장을 여러 번 생성해 가장 맞는 테이크를 고르는 방식이 권장됩니다.

생성된 테이크는 목록에 쌓이며 번호, 사용한 음성, 감정 값, 길이가 함께 표시됩니다. 길이를 미리 확인해 애니메이션 타이밍에 맞출 수 있고, 재생해 검토하거나 삭제하거나 WAV 파일로 내보낼 수 있습니다. 세션이 끝나도 자동 저장되지 않으므로 필요한 것은 반드시 내보내야 합니다.

⏱ 04:45음성 변환기는 텍스트가 아니라 사람이 직접 연기한 음성을 입력으로 받습니다. 텍스트로는 타이밍, 한숨, 세밀한 전달 방식을 표현할 수 없기 때문입니다. 파일을 불러오거나 마이크로 바로 녹음할 수 있고, 녹음 전에는 3초 카운트다운이 나옵니다. 입력한 억양과 리듬은 그대로 유지되고 목소리의 주인만 바뀝니다.

변환 결과의 품질을 좌우하는 것은 피치 시프트입니다. 변환기는 음높이의 흐름은 유지하지만 음역대는 바꾸지 않으므로, 음역이 크게 다른 목소리로 바꾸면 결과가 갈라지거나 얇게 들리거나 로봇처럼 들릴 수 있습니다. 이때 입력을 반음 단위로 올리거나 내려 대상 음성의 자연스러운 음역에 맞추는데, 시연에서는 한 옥타브인 12반음 차이를 비교했습니다. 남성에서 여성 음성으로 바꿀 때는 +12, 반대로는 -12를 시작점으로 삼고 2~3반음씩 조정하라고 안내합니다.

언어 표기는 제약이 아니라 권장 사항입니다. 변환기는 단어가 아니라 소리를 바꾸므로 프랑스어 연기를 영어 음성으로 바꾸는 것도 가능합니다. 다만 언어마다 쓰는 소리가 다르고 모델은 학습한 소리에 가장 능숙하므로, 품질이 중요하면 언어를 맞추는 편이 좋고 창의적인 작업이라면 일부러 어긋나게 쓸 수도 있다고 말합니다.

⏱ 09:09음성 변환기에는 기본 제공 54개 음성 외에 RVC 형식의 ONNX 모델을 직접 추가할 수 있습니다. 폴더를 만들어 파일을 넣고 이름을 정하면 설치가 끝나며, 같은 폴더에 이미지를 넣으면 원형으로 잘린 초상으로 표시됩니다. 공식 음성에는 게임 로고가, 모드 음성에는 M 표시가 붙어 사용자가 직접 준비한 파일임을 구분합니다.

발표자는 온라인에 떠도는 음성 모델 중 많은 것이 동의 없이 실제 인물의 목소리로 학습되었다고 지적합니다. 무료로 내려받을 수 있다는 사실이 공개 게시에 대한 허가를 뜻하지는 않으며, 많은 지역에서 음성은 법적으로 보호된다고 강조합니다. 모드 지원은 열어 두되 그 책임은 사용자에게 있으니, 설치하는 파일의 출처를 확인하고 공개 전에 신중히 생각하라고 당부합니다.

⏱ 10:43오디오 클리너는 가장 작은 도구지만 나머지 두 도구의 결과를 좋게 만듭니다. 클론의 품질은 참조 음성의 품질에, 변환의 품질은 녹음의 품질에 달려 있기 때문입니다. 마이크 녹음이나 파일 가져오기로 입력하며, 도로 주행 중 소음과 효과음이 섞인 나쁜 녹음을 예로 들어 정리 전후를 비교했습니다. 정리 후에는 목소리가 깨끗하게 남았습니다.

이 도구는 이퀄라이저나 노이즈 게이트가 아니라 신경망 기반 노이즈 제거기입니다. 음성의 특성을 학습해 음성은 남기고 나머지를 걸러냅니다. 기본 엔진은 DeepFilterNet3이며 품질이 가장 좋지만 일부 기기에서는 실행되지 않을 수 있습니다. 그럴 때는 가벼운 RNNoise로 자동 대체되는데, 품질은 낮지만 거의 모든 CPU에서 동작합니다.

⏱ 12:19마지막으로 발표자는 모듈의 도구를 연결해 짧은 장면을 만드는 과정을 보여 줍니다. 순진한 소녀 캐릭터의 대사를 밝고 높은 음색의 sweetheart 음성으로 연기해 생성하고, 결과를 내보낸 뒤 복도 장면의 캐릭터에 적용합니다. 연기 자체는 본인이 어색하다고 평했지만 결과 음성은 원하는 느낌이었다고 말합니다.

씬에서는 대화 스텝을 만들고 오디오 모드를 커스텀 오디오로 바꿔 생성한 파일을 불러옵니다. 말하는 캐릭터를 지정해 입 모양 동기화를 켜고, 자막 모드로 대사를 입력합니다. 발표자는 이 단계만으로는 입 모양이 대사를 따라 움직일 뿐 연출이 부족하다고 말하며, 다음 단계로 연속 모드를 기간 후 진행으로 설정하고 자막과 오디오 오버플로를 켜서 대사가 다음 동작과 겹쳐 재생되게 하는 방법을 예고합니다. 이후 뷰 스텝을 블렌드 노드와 연결하는 작업도 이어진다고 소개합니다.