再看一次那段影片,但這次請打開聲音。風聲、掃帚飛過的呼嘯聲、遠處的鐘聲,以及兩人在黃昏中的笑聲。這些聲音都不是後期製作加進去的,也並非隨著畫面同步生成的。影片中的每一個聲音,在畫面出現前就已經存在了。
這正是本文所要探討的「倒置」概念。大多數 AI 影片提示詞(prompt)失敗的原因都很單調:你試圖用一個文字框同時處理三項工作:
- 描述場景。
- 編排時間節奏。
- 指導聲音呈現。
結果產生了一個讀起來像試算表的超長提示詞,而且讓你摸不著頭緒——這段鏡頭到底該是四秒還是八秒?
AI 電影製作人 Kiana Liang 最近在一份詳細的 X 工作流程分解中記錄了一種更簡潔的方法。她在製作一部五個鏡頭組成的短片時,沒有撰寫任何關於時間軸的提示詞。她先用 Seed-Audio 1.0 生成每個鏡頭的完整音軌,再將該音軌作為參考素材傳給 Seedance 2.0。音訊成為了敘事的核心錨點,影片提示詞則縮減為一段自然的文字描述。
本文將解析此方法有效的原因、確保穩定性的兩條提示詞準則,以及如何不需在四個不同平台帳號間切換來完成整個流程。下方嵌入的每個短片皆出自該五鏡頭短片。
重點摘要
- 音訊主導時間軸:一旦對話、音效和音樂鎖定在同一個音軌,影片模型就會隨之演繹,因此「0-3秒做這個,3-8秒做那個」的超長提示詞便不再必要。
- 兩條關鍵且不明顯的提示詞規則:明確標註背景音樂,並將「同時發生」的動作直接寫入句子中,而非依賴推測。
- 鏡頭長度不再是盲猜:先生成音訊,再將影片持續時間設定為與音訊一致。
為何「提示詞優先」的 AI 影片工作流總是行不通?
標準流程通常是這樣的:先寫分鏡腳本,生成第一幀(或許還有最後一幀),然後將整條時間軸壓縮進一個巨大的文字提示詞裡:幾秒鐘發生什麼事、攝影機如何移動、哪句對話在什麼時候出現。
每次這麼做都會出現三個問題:
- 時間節奏存在於散文中,但散文是表達節奏極差的載體。模型必須從句子順序推斷節奏,往往會抓錯拍子。
- 持續時間全靠盲猜。四秒太短,八秒又浪費,而且得等到渲染完成後才知道結果。
- 聲音往往是事後補上的。傳統 TTS(文字轉語音)只能處理單一旁白朗讀腳本;若是多角色對話,就得個別生成聲音再後期縫合,而音效和音樂更是另一大麻煩。
這些問題的根源皆在於:當聲音顯然更適合定義時間軸時,我們卻強迫畫面去承擔這項任務。

什麼是 Seed-Audio 1.0,為何「音訊優先」工作流需要它?
這種工作流直到最近才變得實用,全因一個模型的發布。Seed-Audio 1.0 是 ByteDance 在 2026 年 6 月推出的通用音訊生成模型。它能在一次處理中生成對話、音效、背景音樂及環境音,每次請求最長可達兩分鐘。
「一次性處理」是其中的關鍵。這不是在 TTS 上加裝外掛,而是你用文字描述場景,模型隨即輸出一個成品混音:多個擁有獨特音色的角色、鋪墊在人聲下的音樂,以及穿插其中的音效。笑聲、嘆氣和猶豫都不是貼上的素材,而是模型根據你的提示詞親自「演繹」出來的。
它支援兩種模式:T2A 是純文字轉音訊,用文字描述每個角色的音色;TA2A 是參考音訊模式,你可以輸入最多三個參考音訊片段,並標記為 @audio1 或 @audio2 來指定角色配音。約三十秒的個人錄音即足以作為有效的音色參考。
該模型已透過 Atlas Cloud 的 Seed-Audio 頁面提供 API 直接存取,並附有參數說明與定價。
音訊提示詞就是你 AI 影片工作流的時間軸
Seed-Audio 的官方提示詞格式很簡單:背景音樂描述、角色 A 的音色描述與台詞、音效、角色 B,依此類推。
但這個格式有一個文件未明說的屬性,而它是核心關鍵:按照敘事順序編寫提示詞,生成的音訊就會遵循該順序。文本中先出現的人,在音軌中就會先發聲。
這使音訊提示詞變成了時間軸。你寫的每一句話都會落在混音中確定的位置。Liang 的測試發現了另外兩條讓流程穩定的規則,這兩點並未出現在官方文件中。
為背景音樂命名,否則它會消失
如果你只寫「溫暖的管弦樂緩緩升起」,模型可能會將其視為幾秒後就會淡出的音效。若加上「Soundtrack:」或「background music」前綴,它就會可靠地成為貫穿整個片段的底噪。一個小小的措辭改變,行為便截然不同。
明確寫出「同時發生」,不要留給模型猜測
這是一個具體的失敗案例:有個鏡頭設計是在講話過程中,講者身後的蒸汽火車發出尖銳的氣笛聲。最初的提示詞寫了完整的對話,然後將蒸汽聲作為獨立的句子。結果是:講者說完話,蒸汽才噴出,這是順序執行,而非同步。
修正方法是調整結構:若要在台詞中插入效果,請將句子拆成兩半,並將效果描述插入中間,或者明確寫上「at the same time」。模型不會從兩個相鄰的句子自動推斷平行關係。最終有效的提示詞如下:
Soundtrack: Warm orchestral theme begins softly, strings and harp weaving a mysterious, wondrous melody.
The man (male, early 20s, warm and clear voice, English accent, sincere and welcoming) says, "Welcome aboard, first year!"
Steam hisses sharply once, then fades into low platform chatter.
"Bet you've never seen a steam engine quite like this one."
台詞被拆成兩半,蒸汽噴氣聲夾在中間。每次渲染,氣笛聲都會精準地落在句子中間。

音訊優先的 AI 影片工作流如何逐步執行?
Seedance 2.0 是 ByteDance 的影片模型,採用統一的多模態架構,可接收文字、圖像、音訊和影片作為參考輸入。「參考轉影片」模式正是接收音軌的部分。目前的輸入限制為:最多 9 張圖像,最多 3 段總時長 15 秒的影片片段,以及最多 3 段總時長 15 秒的音訊片段(Magic Hour Seedance 參考指南, 2026)。
配方嚴謹且簡約,每個鏡頭只需三樣東西:
- 一張圖像: 任何一幀皆可。不需要嚴格的第一幀,更不需要頭尾兩幀。時間節奏已存在於音訊中,影像的任務只是「告訴模型東西長什麼樣」。
- 一個音軌: 這取代了舊流程中最困難的部分。所有關於「0-3秒發生什麼、3-8秒發生什麼」的編排都在聲音裡。台詞落在第幾秒,你就為那個時刻設計動作。
- 一個短提示詞: 氛圍、場景、角色簡介。一段自然文字即可,其餘交給音訊和影像。
此外還有一個創作者最有感的額外好處:不再需要猜測片段長度。 先生成音訊,再將影片時間設定為與之匹配。一旦聲音鎖定,一切就都鎖定了。
這聽起來很熟悉對吧?皮克斯的動畫流程也是先錄製對話、鋪設臨時音樂,繪製最終幀之前就已完成分鏡故事卷(story reel),讓整部片在聲音上先成立。「聲音優先」並非新發明,差異在於以前這套生產線需要整個工作室,而現在只需要一個提示詞。
五個鏡頭,壓力測試「音訊優先」工作流
證據在於工作流程產出的成果。Liang 的示範短片(以「魔法學校第一天」為主題的視角)使用了五個鏡頭來探討五種不同的能力。每個鏡頭都對應了實際應用需求,請依序觀看:
鏡頭 1:純文字控制。 語音、蒸汽同步、火車汽笛、月台雜音、管弦樂配樂。全部以文字描述,零參考素材,這是 T2A 的基準能力。
注意導遊向火車頭轉身和揮手的動作,它精準地落在蒸汽噴氣聲上,且完全沒有為此編寫任何時間軸文字。動作是由底下的音軌編排的,而該音軌在影片存在之前就已生成:
鏡頭 2:音色一致性。 下載鏡頭 1 生成的導遊音色,作為 @audio1 輸入,其音色在後續所有鏡頭中都被固定。這就是所謂的「聲音註冊」。任何製作有聲書、播客或長篇系列的人都知道「聲音漂移」有多痛苦,這個功能解決了它。
鏡頭 3:雙人對話。 導遊維持生成的音色,而第二個角色使用了 Liang 本人 30 秒的錄音(中文)。每個聲音都有自己的 @audio 通道。這是輸入的參考錄音:
最終剪輯中,她的聲音說出了她從未錄製過的英文台詞,甚至包括一聲笑中帶喘的驚呼。那聲笑是被模型演繹出來的:
鏡頭 4:動態音樂控制。 近乎靜默的節拍,隨後一聲清脆的鐘響和管弦樂重音,精準地落在魔杖光芒綻放的瞬間。隨畫面反應的音樂,同樣寫在文字裡。
鏡頭 5:無對話場景。 兩人騎著掃帚在黃昏的城堡上空飛翔。風聲、呼嘯聲、遠處的鐘聲、管弦樂的層層堆疊,以及兩人的歡呼聲。這就是本文開頭你看到的那段影片。將無聲場景丟給傳統 TTS,它無從下手;但對生成式音訊模型而言,笑聲只是詞彙的一部分。
五個音軌、五張圖像、五個短提示詞,Seedance 2.0 交付了這部短片。所有完整提示詞皆公開在原始 X 文章的附錄中,你可以親自重新執行該實驗。
用「換臉配方」保持角色一致性
在建立參考幀時出現了一個實際的小問題:電影級圖像品質與角色一致性往往會互相衝突。
Midjourney 的美學標準依然適合擔任電影基礎底片。其官方授權版本 Youchuan v8.1 在處理電影感紋理方面表現優異,但角色一致性並非強項,五次生成出來的角色長相各異。
一套有效的配方將任務拆成三步:用 Midjourney 生成電影感底片;使用 Nano Banana 2 的編輯模式,從單一角色參考圖進行換臉;最後在編輯提示詞中加入一行:「嚴格保持相同的光影」(strictly preserve the same lighting)。

那一行「嚴格保持相同的光影」指令,就是合成是否自然的關鍵。一套配方,補上了三個缺口:Midjourney 的一致性難題、編輯模型從零生成時的美學上限、以及其他影像工具過度嚴格的審查機制。每個模型各司其職。
一個 API 金鑰能跑完整個音訊優先流程嗎?
數一下這個流程中的模型:Seed-Audio 1.0(聲音)、Youchuan v8.1(底圖)、Nano Banana 2(換臉)、Seedance 2.0(影片)。跨越音訊、圖像、影片三種模態,共四個模型。
如果在四個不同平台運行,摩擦力會快速增加:四個帳號、四個結算儀表板、四種 API 金鑰格式、四組速率限制。工作流本身每個鏡頭只需幾分鐘,帳號切換卻可能花更久。
這就是整合型模型平台的價值所在。這四個模型都在 Atlas Cloud 的模型池中,因此一個 API 金鑰就能跑完整條鏈,更換模型只需修改字串,無需遷徙帳號。Liang 認為這正是音訊錨定工作流能高效執行的原因:流程速度的一半優勢,僅僅是因為無需在不同供應商間切換上下文。
無論你使用哪個平台,架構核心不變:音訊優先工作流是一連串小型模型調用的鏈條,而鏈條的速度取決於最慢的銜接處。
常見問題:音訊優先 AI 影片工作流實務
Seedance 2.0 中的參考音訊可以多長?
在「參考轉影片」模式下,最多可輸入 3 段總時長 15 秒的音訊。這足以應付單一鏡頭的對話與音效。若製作長片,可按鏡頭逐一生成音訊,再於編輯軟體中組裝,這也是五鏡頭示範短片的製作方式。
音訊優先工作流適用於沒有對話的場景嗎?
是的,這正是它明顯勝過基於 TTS 工作流的地方。Seed-Audio 將笑聲、歡呼、風聲及環境音視為一流的詞彙。本文開頭的掃帚飛行片段完全沒有台詞,僅有從文字提示生成的風聲、呼嘯聲、鐘聲與笑聲。
在音訊優先 AI 影片工作流中,可以使用自己的聲音嗎?
可以。大約 30 秒的錄音即可作為 Seed-Audio TA2A 模式的參考片段。在提示詞中標記 @audio1,模型就能以該音色執行新台詞,包括不同語言的台詞,甚至是你從未錄製過的笑聲等情感波動。
需要哪些模型才能跑完這整套流程?
文件記載的流程使用四個模型:Seed-Audio 1.0(音訊)、Youchuan v8.1(電影幀)、Nano Banana 2(換臉一致性編輯)以及 Seedance 2.0(影片)。只有音訊和影片模型是嚴格必要的,圖像對是為了獲得具備角色一致性的電影質感。
最後一點感觸:在示範短片中,將蒸汽氣笛聲插入說話台詞中間是模型的功勞;決定導遊在氣笛響起時轉身,則是人類的創意。音訊優先工作流並沒有自動化「創意判斷」,它只是將時間軸移到了一個更適合承載它的媒介上,並降低了執行門檻,讓執行力直接服務於創意。






