해당 클립을 소리를 켜고 다시 한번 보세요. 바람 소리, 빗자루가 휙 지나가는 소리, 멀리서 들리는 종소리, 황혼 속에서 웃고 있는 두 사람. 이 중 어떤 것도 후반 작업으로 추가된 것이 아니며, 영상과 함께 생성된 것도 아닙니다. 그 장면에 담긴 모든 소리는 영상의 첫 프레임이 만들어지기 전부터 존재했습니다.
바로 이 반전이 이 글의 주제입니다. 대부분의 AI 비디오 프롬프트가 실패하는 이유는 뻔합니다. 하나의 텍스트 상자에 세 가지 작업을 동시에 요구하기 때문입니다.
- 장면 묘사하기
- 타이밍 조율하기
- 사운드 연출하기
그 결과, 스프레드시트처럼 읽히는 초 단위의 '메가 프롬프트'가 만들어지며, 영상 길이를 4초로 할지 8초로 할지조차 모호하게 남겨둡니다.
AI 필름메이커 Kiana Liang은 최근 5개의 샷으로 구성된 단편 영화를 제작하며 타임라인 프롬프트를 단 한 줄도 작성하지 않는 더 깔끔한 방식을 워크플로우 분석을 통해 X에 공유했습니다. 그녀는 Seed-Audio 1.0으로 각 샷의 전체 오디오 트랙을 먼저 생성한 뒤, 그 트랙을 참조용 에셋으로 Seedance 2.0에 입력했습니다. 오디오가 서사의 중심이 된 것이죠. 비디오 프롬프트는 자연스러운 문장 하나로 줄어들었습니다.
이 글에서는 왜 이 방식이 효과적인지, 안정성을 높이는 두 가지 프롬프트 규칙은 무엇인지, 그리고 여러 플랫폼 계정을 오갈 필요 없이 전체 파이프라인을 실행하는 방법을 단계별로 살펴봅니다. 아래 포함된 모든 클립은 해당 5샷 영화에서 가져온 것입니다.
핵심 요약
- 오디오가 타임라인을 주도합니다. 대사, 효과음, 음악이 하나의 트랙으로 고정되면 비디오 모델이 그에 맞춰 동작하므로 "0
3초는 이거, 38초는 저거"와 같은 메가 프롬프트는 불필요해집니다. - 프롬프트 작성 시 두 가지 중요한 규칙이 있습니다. 배경음악을 명시적으로 라벨링하고, 동시성을 암시하는 대신 문장에 명확히 기술하세요.
- 클립 길이를 고민할 필요가 없습니다. 오디오를 먼저 생성하고 영상 길이를 그에 맞추면 됩니다.
기존의 프롬프트 우선 AI 비디오 워크플로우는 왜 계속 실패할까?
일반적인 파이프라인은 이렇습니다. 스토리보드를 작성하고, 첫 프레임이나 마지막 프레임을 생성합니다. 그런 다음 전체 타임라인을 하나의 거대한 텍스트 프롬프트로 압축합니다. 몇 초에 무슨 일이 일어나고, 카메라가 어떻게 움직이며, 어떤 대사가 먼저 나오는지 등이죠.
매번 세 가지 문제가 발생합니다.
- 첫째, 타이밍을 산문(prose)으로 담아내기 어렵습니다. 모델은 문장 순서에서 리듬을 추론해야 하는데, 박자를 틀리는 경우가 허다합니다.
- 둘째, 지속 시간이 불확실합니다. 4초는 너무 짧고 8초는 낭비처럼 느껴지는데, 이는 렌더링 후에야 알 수 있습니다.
- 셋째, 사운드가 뒷전입니다. 기존 TTS는 대본을 읽는 나레이터 한 명만 처리할 수 있습니다. 다중 캐릭터 대사는 각각 생성하여 후반 작업에서 이어 붙여야 하며, 효과음과 음악은 완전히 별개의 문제입니다.
이 모든 문제는 같은 근본 원인에서 비롯됩니다. 사운드가 타임라인을 정의하는 데 훨씬 탁월함에도 불구하고, 영상에 타임라인을 정의하라고 요구하기 때문입니다.
Seed-Audio 1.0이란 무엇이며, 왜 오디오 우선 워크플로우에 필요한가?
이 워크플로우가 최근에서야 실용화된 이유는 모델의 발전 때문입니다. 2026년 6월 공개된 ByteDance의 범용 오디오 생성 모델 Seed-Audio 1.0은 대사, 효과음, 배경음악, 주변 소음을 요청당 최대 2분까지 단 한 번의 패스로 생성합니다.
이 '단일 패스(single-pass)' 특성이 핵심입니다. 단순히 TTS에 부가 기능을 붙인 것이 아닙니다. 텍스트로 장면을 묘사하면 모델은 완성된 믹스를 출력합니다. 여러 캐릭터의 개별 목소리, 보컬 아래 흐르는 음악, 그 사이에 삽입된 효과음까지 포함해서 말이죠. 웃음소리, 한숨, 망설임은 붙여넣은 샘플이 아니라 프롬프트에 따라 모델이 직접 연기한 것입니다.
이 모델은 두 가지 모드로 작동합니다. T2A(Text-to-Audio)는 텍스트로 캐릭터 목소리를 묘사하는 방식이고, TA2A(Reference-audio mode)는 최대 3개의 클립을 입력하고 @audio1, @audio2 등으로 태그를 달아 목소리를 할당하는 방식입니다. 자신의 음성 30초 분량만 있으면 충분한 참조가 됩니다.
이 모델은 Atlas Cloud의 Seed-Audio 페이지에서 파라미터 문서 및 가격 정보와 함께 API로 직접 이용할 수 있습니다.
오디오 프롬프트는 AI 비디오 워크플로우의 타임라인입니다
Seed-Audio의 공식 프롬프트 형식은 간단합니다. 배경음악 묘사, 캐릭터 A의 목소리 묘사와 대사, 효과음, 캐릭터 B 순서로 작성하면 됩니다.
하지만 이 공식에는 문서에 적혀 있지 않은, 모든 것을 결정짓는 중요한 특징이 있습니다. 프롬프트를 서사 순서대로 작성하면 생성된 오디오도 그 순서를 따릅니다. 텍스트에 먼저 등장하는 것이 트랙에서도 먼저 나옵니다.
이것이 오디오 프롬프트를 타임라인으로 바꿔줍니다. 작성하는 모든 문장은 믹스상의 특정 위치에 배치됩니다. Liang의 테스트를 통해 밝혀진 공식 문서에 없는 두 가지 추가 규칙은 다음과 같습니다.
배경음악의 이름을 명시하지 않으면 사라집니다
"따뜻한 오케스트라 음악이 부드럽게 고조된다"라고만 쓰면 모델은 이를 몇 초 후 사라지는 효과음으로 취급할 수 있습니다. 앞에 "Soundtrack:" 또는 "background music"이라는 접두사를 붙이면 클립 전체에 깔리는 배경음으로 안정적으로 작동합니다. 작은 표현 차이가 완전히 다른 결과를 만듭니다.
동시성을 암시하지 말고 명시적으로 작성하세요
실패 사례를 하나 보겠습니다. 장면 중 대사 중간에 화자가 등진 증기기관차에서 날카로운 증기 뿜는 소리가 나야 했습니다. 처음에 대사 전체를 쓰고, 효과음 문장을 따로 썼더니 대사가 끝난 후에 증기 소리가 났습니다. 순차적일 뿐 동기화가 되지 않은 것이죠.
해결책은 구조에 있습니다. 대사 도중에 효과음을 넣으려면 대사를 둘로 나누고 그 사이에 효과음 문장을 삽입하거나, "at the same time(동시에)"이라고 명시해야 합니다. 모델은 인접한 두 문장에서 병렬 관계를 추론하지 못합니다. 최종적으로 작동한 프롬프트는 다음과 같습니다:
Soundtrack: Warm orchestral theme begins softly, strings and harp weaving a mysterious, wondrous melody.
The man (male, early 20s, warm and clear voice, English accent, sincere and welcoming) says, "Welcome aboard, first year!"
Steam hisses sharply once, then fades into low platform chatter.
"Bet you've never seen a steam engine quite like this one."
대사를 반으로 나누고 증기 소리를 중간에 배치했습니다. 이렇게 하면 매 렌더링마다 효과음이 정확히 대사 중간에 삽입됩니다.
오디오 우선 AI 비디오 워크플로우는 단계별로 어떻게 실행되나요?
Seedance 2.0은 텍스트, 이미지, 오디오, 비디오를 참조 입력으로 받는 통합 멀티모달 아키텍처를 갖춘 ByteDance의 비디오 모델입니다. 현재 입력 제한은 이미지 최대 9장, 비디오 클립 최대 3개(총 15초), 오디오 클립 최대 3개(총 15초)입니다(Magic Hour Seedance 가이드, 2026).
제작법은 엄격하고 미니멀합니다. 모든 샷은 정확히 세 가지 요소로 구성됩니다.
- 이미지 1장: 어떤 프레임이든 상관없습니다. 타이밍은 이미 오디오에 들어 있으므로 이미지의 유일한 역할은 "상황이 어떻게 생겼는지 보여주는 것"입니다.
- 오디오 트랙 1개: 이것이 기존 프롬프트의 가장 어려운 부분을 대체합니다. "0~3초엔 이게 일어나고..." 하는 안무는 이제 사운드 속에 녹아 있습니다. 대사가 배치된 초가 바로 연출을 적용할 시간입니다.
- 짧은 프롬프트 1개: 분위기, 배경, 등장인물 등을 담은 자연스러운 문장 하나면 충분합니다. 나머지는 오디오와 이미지가 담당합니다.
여기에 창작자들이 가장 반길만한 부가 이점이 있습니다. 클립 길이를 고민할 필요가 없습니다. 오디오를 먼저 생성하고 영상 길이를 그에 맞추면 됩니다. 사운드가 고정되면 모든 것이 고정됩니다.
이 방식이 익숙하다면 당연합니다. 픽사(Pixar)의 애니메이션 제작 파이프라인도 최종 프레임이 그려지기 전에 대사를 녹음하고 임시 음악을 깔아 사운드를 먼저 완성합니다. '사운드 우선'은 새로운 발명이 아닙니다. 다만 과거엔 스튜디오가 필요했다면, 이제는 프롬프트만 있으면 된다는 점이 다를 뿐입니다.
오디오 우선 워크플로우를 검증하는 5개의 샷
결과물이 모든 것을 증명합니다. 1인칭 시점의 '마법 학교 첫날'을 다룬 Liang의 데모 영화는 5개의 샷을 사용해 5가지 역량을 테스트했습니다.
샷 1: 텍스트 제어. 목소리, 증기 동기화, 기차 경적, 플랫폼 소음, 오케스트라 배경음악까지 모두 텍스트로 묘사했으며 별도의 참조 에셋은 없습니다.
안내자가 기차를 향해 몸을 돌리고 제스처를 취하는 것에 주목하세요. 증기가 뿜어지는 소리에 정확히 맞춰 동작이 일어납니다. 타이밍을 위한 텍스트는 전혀 작성되지 않았습니다. 움직임은 영상 생성 이전에 만들어진 오디오 트랙에 의해 안무되었습니다.
샷 2: 목소리 일관성. 1샷에서 생성된 안내자의 목소리를 다운로드하여 @audio1로 입력하면, 이어지는 모든 샷에서 목소리가 고정됩니다. 이를 '음성 등록(voice registration)'이라고 합니다. 오디오북, 팟캐스트, 시리즈물을 제작하는 사람이라면 음성 변조가 얼마나 치명적인지 알 것입니다. 이 기술이 문제를 해결합니다.
샷 3: 2인 대화. 안내자는 기존 목소리를 유지하고, 두 번째 캐릭터는 Liang의 실제 녹음 30초 분량을 사용합니다. 각 목소리는 자신의 @audio 채널을 갖습니다.
최종 결과물에서 그녀는 녹음한 적 없는 영어 대사를 말합니다. 심지어 숨을 헐떡이며 웃음이 터지는 찰나의 연기까지 모델이 수행했습니다.
샷 4: 역동적인 음악 제어. 짧은 정적 후, 지팡이의 빛이 펴지는 순간 정확히 차임벨과 오케스트라 악센트가 들어갑니다. 영상에 반응하는 음악 역시 텍스트로 작성됩니다.
샷 5: 무대사 장면. 황혼 속 성 위를 나는 두 사람. 바람, 휙 지나가는 소리, 멀리서 들리는 종소리, 오케스트라 빌드업, 사람들의 웃음소리. 이 글의 최상단에서 보신 클립입니다. 기존 TTS 모델에 무언어 장면을 주면 아무것도 할 수 없지만, 생성형 오디오 모델에게 웃음은 단순한 어휘일 뿐입니다.
5개의 오디오 트랙, 5장의 이미지, 5개의 짧은 프롬프트. Seedance 2.0이 영화를 완성했습니다. 전체 프롬프트는 원문 X 게시물의 부록에서 확인할 수 있어 직접 실험해 볼 수 있습니다.
캐릭터 일관성을 위한 페이스 스왑 레시피
참조 프레임을 만드는 과정에서 한 가지 실용적인 문제가 생겼습니다. 영화적 화질과 캐릭터 일관성은 서로 충돌하는 경향이 있다는 것입니다.
Midjourney의 미학은 영화적 베이스 플레이트(base plate)로 여전히 훌륭합니다. 공식 라이선스 에디션인 Youchuan v8.1은 영화적인 질감을 잘 살려줍니다. 하지만 캐릭터 일관성은 강점이 아닙니다. 5개의 생성물에서 같은 캐릭터가 각기 다른 얼굴로 등장합니다.
이때 해결책은 작업을 세 단계로 나누는 것입니다. Midjourney로 영화적 베이스 플레이트를 생성하고, Nano Banana 2의 편집 모드를 사용하여 단일 캐릭터 참조 이미지에서 얼굴을 가져옵니다. 마지막으로 편집 프롬프트에 "strictly preserve the same lighting(조명을 엄격히 유지할 것)"이라는 문구 하나를 추가하세요.
이 문구 하나가 합성 흔적이 남느냐 아니냐를 결정합니다. 미드저니의 일관성 문제, 생성 모델의 미학적 한계 등을 해결하는 하나의 레시피입니다. 각 모델은 자신의 역할만 충실히 수행하게 됩니다.
하나의 API 키로 오디오 우선 파이프라인 전체를 실행할 수 있을까?
이 워크플로우에 사용된 모델을 세어봅시다. 오디오용 seed-audio-1.0, 베이스 플레이트용 youchuan v8.1, 페이스 스왑용 nano-banana-2, 비디오용 seedance-2.0. 세 가지 방식(오디오, 이미지, 비디오)에 걸쳐 4개의 모델이 사용되었습니다.
이걸 4개의 서로 다른 플랫폼에서 실행하면 복잡도가 급증합니다. 계정, 결제 대시보드, API 키 형식, 사용량 제한도 각각 관리해야 하니까요. 워크플로우 자체는 몇 분이면 끝나지만, 계정을 오가는 데 시간이 더 걸릴 수 있습니다.
이 지점이 바로 통합 모델 플랫폼의 가치입니다. 이 파이프라인의 4개 모델은 모두 Atlas Cloud 모델 풀에 있어 하나의 API 키로 전체 체인을 실행할 수 있습니다. 모델을 바꾸는 것도 계정을 옮기는 것이 아니라 모델 이름을 수정하는 수준입니다. Liang이 오디오 기반 워크플로우가 실무에서 원활하다고 평가한 이유도 바로 이 때문입니다.
어떤 플랫폼을 사용하든 아키텍처 관점의 요점은 동일합니다. 오디오 우선 워크플로우는 짧은 모델 호출의 체인이며, 체인의 속도는 가장 느린 구간에 맞춰 결정된다는 점입니다.
자주 묻는 질문: 오디오 우선 AI 비디오 워크플로우 실무
Seedance 2.0에서 참조 오디오의 길이는 어느 정도여야 하나요?
참조-비디오 모드에서 세대당 총 15초(최대 3개 클립)까지 가능합니다. 한 샷의 대사와 효과음을 넣기에 충분합니다. 더 긴 영화의 경우 샷별로 오디오를 생성하고 편집기에서 합치면 됩니다. 데모 영화도 그렇게 제작되었습니다.
대사가 없는 장면에서도 효과적인가요?
네, TTS 기반 파이프라인을 확실히 압도하는 지점입니다. Seed-Audio는 웃음소리, 함성, 바람, 주변 효과음을 일급 어휘로 취급합니다. 이 글 상단의 빗자루 비행 장면은 대사 없이 바람, 휙 지나가는 소리, 종소리, 웃음소리만으로 생성되었습니다.
나만의 목소리를 사용할 수 있나요?
네. 약 30초 분량의 녹음이면 Seed-Audio의 TA2A 모드에서 참조 클립으로 사용 가능합니다. 프롬프트에 @audio1로 태그하면 모델이 그 목소리로 새로운 대사를 생성하며, 다른 언어나 중간에 웃음이 섞인 연기 등도 가능합니다.
이 파이프라인을 처음부터 끝까지 실행하려면 어떤 모델이 필요한가요?
공식 파이프라인은 seed-audio-1.0(오디오), youchuan v8.1(영화적 프레임), nano-banana-2(페이스 스왑), seedance-2.0(비디오) 총 4개를 사용합니다. 하지만 핵심은 오디오와 비디오 모델이며, 이미지 관련 모델은 캐릭터 일관성을 유지하기 위한 선택 사항입니다.
마지막으로 한 가지, 데모 영화에서 대사 중간에 증기 소리를 넣은 것은 모델의 작업이었습니다. 증기 소리가 날 때 안내자가 몸을 돌리게 결정한 것은 사람이었습니다. 오디오 우선 워크플로우가 창의적인 판단까지 자동화하는 것은 아닙니다. 그저 타임라인을 더 잘 담아낼 수 있는 매체로 옮겨놓았을 뿐이며, 그만큼 창의적인 작업에 더 집중할 수 있도록 실행의 장벽을 낮춰줄 뿐입니다.
