あのクリップをもう一度、今度は音ありで見てください。風の音、ほうきが空を切る音、遠くの鐘の音、そして夕闇の中で笑い合う二人の声。これらはすべて後から付け加えられたものでも、映像と一緒に生成されたものでもありません。あのショット内のすべての音は、映像のフレームが1コマも生成される前に存在していたのです。
本稿が取り上げる「逆転の発想」とは、まさにこれです。ほとんどのAI動画プロンプトが退屈な理由で失敗するのは、1つのテキストボックスに同時に3つの仕事を押し付けているからです。
- シーンの描写
- タイミングの演出
- 音響の指示
その結果、出来上がるのは秒単位の巨大なプロンプトです。まるでスプレッドシートのようなその文章は、ショットを4秒にすべきか8秒にすべきかさえ曖昧なままです。
AI映像作家のKiana Liang氏は最近、自身のXアカウントにて、タイムライン用のプロンプトを一度も書かずに5つのショットからなる短編映画を制作し、その詳細なワークフローを公開しました。彼女はまずSeed-Audio 1.0ですべてのショットの音声トラックを完成させ、それを参照用のアセットとしてSeedance 2.0に読み込ませました。音声が物語の「錨（アンカー）」となったのです。動画プロンプトは、ごく自然な1つの段落まで短縮されました。
本稿では、なぜこの方法が機能するのか、確実性を高めるための2つのプロンプトのルール、そして複数のプラットフォームを行き来することなく、このパイプライン全体を実行する方法を解説します。以下に埋め込まれているすべてのクリップは、その5ショットの短編映画から引用したものです。
重要なポイント
- 音声がタイムラインを決定する。セリフ、効果音、音楽が1つのトラックに固定されれば、動画モデルはその音声に合わせて動作するため、「0〜3秒でこれ、3〜8秒でこれ」といった巨大なプロンプトは不要になる。
- 明らかではない2つのプロンプトのルールが重要：BGMは明示的にラベル付けすること、そして「同時性」は示唆するのではなく文章として書き込むこと。
- クリップの長さを推測する必要がなくなる。先に音声を生成し、動画の時間をそれに合わせるだけでいい。
なぜ「プロンプト優先」のAI動画ワークフローは崩壊するのか？
標準的なパイプラインはこうです。絵コンテを描き、最初のフレーム（あるいは最後のフレームも）を生成する。そして、タイムライン全体を1つの巨大なテキストプロンプトに詰め込むのです。「何秒で何が起き、カメラがどう動き、どのセリフがどの順番で来るか」を。
この方法では、毎回3つの問題が発生します。
- タイミングが「散文（プロス）」の中に埋もれてしまう。散文はタイミングを記述するのには最悪の形式です。モデルは文の順番からリズムを推論しなければならず、多くの場合、タイミングがずれてしまいます。
- 動画の長さが「当てずっぽう」になる。4秒では短すぎ、8秒では長すぎるといったことが、レンダリングが終わるまでわかりません。
- 音声が「後付け」になる。従来のTTS（音声合成）は、1人のナレーターが台本を読むだけです。複数キャラクターの会話では音声を個別に生成して編集でつなぐ必要があり、効果音や音楽はさらに別の問題となります。
これらの問題はすべて、同じ根本原因にたどり着きます。それは、本来ならば「音」の方がはるかに優れているはずのタイムラインの定義を、「映像」に強いているという点です。
Seed-Audio 1.0とは何か？なぜ「音声優先」ワークフローに必要なのか？
このワークフローが現実的になったのは、近年のモデルの進化のおかげです。Seed-Audio 1.0はByteDanceが2026年6月に発表した汎用音声生成モデルで、セリフ、効果音、BGM、環境音を1回のリクエストで最大2分間生成できます。
この「ワンパス（一発生成）」こそが全トリックの肝です。これは単なるTTSに機能を追加したものではありません。テキストでシーンを描写すると、モデルが完成したミックスを出力します。そこには異なる声を持つ複数のキャラクター、ボーカルの下で流れる音楽、その間に織り込まれた効果音が含まれます。笑い声やため息、迷いの声などは、後から貼り付けたサンプルではありません。モデルがあなたのプロンプトに従って演技するのです。
このモデルには2つのモードがあります。T2A（テキストから音声へ）は、キャラクターの声を言葉で描写するモード。TA2A（参照音声付き）は、最大3つのクリップを入力し、@audio1や@audio2とタグ付けして声を割り当てるモードです。30秒程度の自分の録音があれば、実用的な声の参照として機能します。
このモデルは、Atlas CloudのSeed-AudioページからAPI経由でアクセス可能で、パラメータのドキュメントや料金も確認できます。
音声プロンプトはAI動画の「タイムライン」である
Seed-Audioの公式なプロンプトの公式は非常にシンプルです。「BGMの描写、キャラクターAの声とセリフ、効果音、キャラクターB…」といった順番です。
しかし、この公式にはドキュメントには書かれていない、すべてを左右する重要な性質があります。それは、「プロンプトを物語の順序通りに書けば、生成される音声もその順序に従う」ということです。テキストに最初に登場するキャラクターは、トラックでも最初に聞こえます。
これにより、音声プロンプトはタイムラインに変わります。あなたが書くすべての文章は、ミックス内の明確な位置に配置されます。Liang氏の検証によって明らかになった、公式ドキュメントにはない確実性を高めるための2つの追加ルールがあります。
BGMには名前を付ける、さもなくば消える
単に「穏やかに高まる温かいオーケストラ音楽」と書くだけでは、モデルはそれを数秒で消える効果音として扱う可能性があります。「Soundtrack:」や「background music」というプレフィックスを付けることで、クリップ全体を通して流れる背景音楽として安定します。わずかな表現の違いが、モデルの挙動を劇的に変えます。
「同時性」は暗示せず、明示的に書き込む
これは明らかな失敗例です。あるショットで、話し手の背後にある蒸気機関車がセリフの途中で鋭い音を立てて蒸気を噴き出すように設計しました。最初のプロンプトでは、セリフをフルで書き、その後に別の文章として蒸気音を記述しました。結果、セリフが終わってから蒸気音が鳴りました。これではシーケンシャル（順番通り）であり、シンクロ（同期）していません。
修正は構造的に行います。セリフの途中に効果音を入れるには、セリフを2つに分割し、その間に効果音の文章を挿入します。あるいは、「at the same time（同時に）」と明示的に書くことです。モデルは隣接する2つの文章から同時性を推論してはくれません。最終的なプロンプトはこうなりました：
Soundtrack: Warm orchestral theme begins softly, strings and harp weaving a mysterious, wondrous melody.
The man (male, early 20s, warm and clear voice, English accent, sincere and welcoming) says, "Welcome aboard, first year!"
Steam hisses sharply once, then fades into low platform chatter.
"Bet you've never seen a steam engine quite like this one."
セリフが半分に分割され、間に蒸気音が挟まれています。これなら、どのレンダリングでも正確にセリフの合間に蒸気音が配置されます。
音声優先のAI動画ワークフローの手順
Seedance 2.0は、テキスト、画像、音声、動画を相互参照入力として受け入れる統一マルチモーダルアーキテクチャを持つByteDanceの動画モデルです。音声トラックを受け取るのは、その「参照動画」モードです。現在の入力制限は、1回の生成につき画像最大9枚、動画クリップ合計15秒、音声クリップ合計15秒までとなっています（Magic Hour Seedanceリファレンスガイド, 2026年）。
レシピは厳格かつ最小限です。すべてのショットで必要なのは、以下の3点のみです。
- 画像1枚： どんなフレームでも構いません。厳密な最初のフレームである必要はなく、ましてや最初と最後のペアである必要もありません。タイミングはすでに音声に存在しているため、画像の役割は「ここには何があるか」を示すことだけです。
- 音声トラック1本： これが従来のプロンプトの最も難しい部分を置き換えます。「0〜3秒でこれが起きる…」といった振り付けはすべて音の中にあります。セリフが聞こえる秒数に合わせて、アクションを設計すれば良いのです。
- 短いプロンプト1つ： ムード、設定、キャラクター。自然な文章が1段落あれば十分です。残りは音声と画像が担当します。
さらに、クリエイターが最も恩恵を感じるであろう副次的な利点があります。それはクリップの長さを推測する必要がなくなることです。先に音声を生成し、動画の長さをそれに合わせます。一度音が決まれば、すべてが固定されます。
これが馴染み深いものに感じられるなら、それは正しい反応です。ピクサーの長編アニメーションのパイプラインは、最終的なフレームが描かれる前にセリフを録音し、仮の音楽をストーリーリールに載せることで、まず音で映画を成立させます。「音声優先」は新しい発明ではありません。違いは、かつてはスタジオが必要だったこの工程が、今やプロンプトだけで可能になったという点です。
音声優先ワークフローをストレステストする5つのショット
このワークフローの真価は、その成果物にあります。「魔法学校の初日」をテーマにした主観視点のデモフィルムでは、5つの異なる機能を探るために5つのショットを使用しました。それぞれが実用的なニーズに対応しています。順番に見ていきましょう。
ショット1：純粋なテキストコントロール 声、蒸気の同期、汽笛、プラットフォームのざわめき、ストリングスとハープのスコア。すべて言葉で描写し、参照アセットはゼロです。これがT2Aの基本能力です。
案内人が機関車に向かって身振りをする様子に注目してください。蒸気の噴出音と完璧にタイミングが合っていますが、それに関するタイミング指示のテキストは一切書かれていません。動きは、映像が存在する前に生成された下の音声トラックによって演出されています。
ショット2：声の一貫性 ショット1で生成した案内人の音声をダウンロードし、@audio1として読み込ませれば、続くすべてのショットで声が固定されます。公式には「ボイス登録」と呼ばれます。オーディオブックやポッドキャスト、長編シリーズを作る人なら、声の揺らぎがいかに苦痛かを知っているはずですが、これはそれを完全に解消します。
ショット3：2人の対話 案内人は生成された声を維持し、もう一人のキャラクターにはLiang氏自身の中国語の録音（30秒）を使用しました。各声には専用の@audioレーンが割り当てられます。これが入力された参照録音です。
最終カットでは、彼女が録音したことのない英語のセリフを、笑い声混じりの息遣いも含めて再現しています。この笑い声もモデルによる演技です。
ショット4：動的な音楽制御 ほぼ無音の状態から、杖の光が灯る瞬間にチャイムとオーケストラのアクセントが重なります。映像に反応する音楽も、テキストで記述可能です。
ショット5：セリフなし 夕暮れ時の城の上を飛ぶ2人のライダー。風、疾走感、遠くの鐘の音、オーケストラの盛り上がり、そして2人の歓声。これこそが本稿の冒頭で見たクリップです。セリフのないシーンを従来のTTSに渡しても何もできませんが、生成音声モデルにとって、笑い声は単なる語彙の一部です。
5つの音声トラック、5枚の画像、5つの短いプロンプト。Seedance 2.0が映画を完成させました。すべての完全なプロンプトは元のX記事の付録で公開されているため、あなた自身で実験を再現できます。
キャラクターの一貫性を保つフェイススワップ術
参照フレームを作成する際、1つの実用的な問題に直面しました。それは「映画的な映像品質」と「キャラクターの一貫性」のトレードオフです。
Midjourneyの美学は、シネマティックなベースプレートとして依然として優れています。公式ライセンス版のYouchuan v8.1は、フィルムルックの質感をうまく表現します。しかし、キャラクターの一貫性は得意ではありません。5つの生成で同じキャラクターを出すと、5つの異なる顔が返ってきます。
解決策は、作業を3段階に分けることです。Midjourneyでシネマティックなベースプレートを生成し、Nano Banana 2の編集モードを使って、キャラクター参照画像から顔を入れ替えます。その際、編集プロンプトに「strictly preserve the same lighting（照明を厳密に維持すること）」という1行を加えます。
この1行があるだけで、違和感のない合成が可能になります。このレシピで3つの問題が解決します。Midjourneyの一貫性の欠如、ゼロから生成する際の編集モデルの美的限界、そして他の画像ツールでフレームが不当に制限される過剰なモデレーションです。各モデルが自分の得意な仕事だけを行うのです。
1つのAPIキーで音声優先ワークフロー全体を実行できるか？
このワークフローのモデルを数えてみましょう：音声にSeed-Audio 1.0、ベースプレートにYouchuan v8.1、フェイススワップにNano-Banana-2、動画にSeedance 2.0。3つのモダリティ（音声、画像、動画）にわたる4つのモデルです。
これらを4つのプラットフォームで個別に動かすと、摩擦がすぐに積み重なります。4つのアカウント、4つの課金ダッシュボード、4つのAPIキー形式、4つのレート制限。ワークフロー自体はショットあたり数分ですが、アカウント管理に時間がかかってしまいます。
ここで、統合モデルプラットフォームの価値が活きてきます。このパイプラインの4つのモデルはすべてAtlas Cloudのモデルプール内に存在するため、1つのAPIキーで最初から最後までチェーンを実行でき、モデルの切り替えもアカウントの移行ではなく、モデル文字列を書き換えるだけです。Liang氏が音声主導のワークフローが実務でスムーズに機能すると強調しているのは、まさにこの点です。パイプラインのスピードの半分は、ベンダー間のコンテキストスイッチを避けることで生まれます。
どのプラットフォームを使うにせよ、アーキテクチャ上のポイントは変わりません。音声優先ワークフローは小さなモデル呼び出しの連鎖であり、連鎖の速度はその中で最も遅い受け渡しに依存するのです。
FAQ：音声優先AI動画ワークフローの実践
Seedance 2.0の参照音声はどれくらいの長さにできますか？
参照動画モードでは、1回の生成につき最大3つの音声クリップ、合計15秒までです。これは1ショット分のセリフや効果音には十分です。長編の場合は、ショットごとに音声を生成し、編集ソフトで繋ぎ合わせます。5ショットのデモもこの方法で作成されました。
セリフのないシーンでも、音声優先ワークフローは使えますか？
はい、これこそがTTSベースのパイプラインに勝る点です。Seed-Audioは笑い声、歓声、風、環境音を「第一級の語彙」として扱います。冒頭のほうきの飛行シーンには言葉は一切ありませんが、風、疾走音、鐘の音、そして2人の笑い声がプロンプト1つから生成されています。
音声優先ワークフローで自分の声を使うことはできますか？
はい。約30秒の録音があれば、Seed-AudioのTA2Aモードで参照クリップとして機能します。プロンプトで@audio1とタグ付けすれば、モデルはその声で新しいセリフを喋ります。異なる言語のセリフや、録音したことのない「セリフ途中の笑い声」といった感情表現も可能です。
このワークフローを完結させるために必要なモデルは？
ドキュメント化されたパイプラインでは、Seed-Audio 1.0（音声）、Youchuan v8.1（シネマティックフレーム）、Nano-Banana-2（顔の一貫性編集）、Seedance 2.0（動画）の4つを使用しています。厳密には音声モデルと動画モデルがあれば十分ですが、画像モデルのペアは一貫したキャラクターを持つ映画的なフレームを作るために不可欠です。
最後に。デモ映画の中で、セリフの途中に蒸気の噴出音を滑り込ませたのはモデルの仕事です。その蒸気音の瞬間に案内人が振り向くべきだと決めたのは人間です。音声優先ワークフローは、クリエイティブな判断を自動化するわけではありません。タイムラインをより適したメディアに移し、その実行のハードルをクリエイティビティの足元にまで引き下げるだけなのです。
