شاهد ذلك المقطع مرة أخرى، ولكن مع تشغيل الصوت. الرياح، وأصوات المكنسة الطائرة، والجرس البعيد، وشخصان يضحكان في الغسق. لم يُضف أي من ذلك في مرحلة المونتاج، ولم يتم توليده بالتزامن مع الصورة. كل صوت في تلك اللقطة كان موجوداً قبل أن توجد إطارات الفيديو ذاتها.
هذا هو الانقلاب الذي يتناوله هذا المقال. تفشل معظم مطالبات (prompts) فيديو الذكاء الاصطناعي لنفس السبب الممل: أنت تطلب من مربع نص واحد القيام بثلاث مهام في وقت واحد:
- وصف المشهد.
- تصميم التوقيت.
- إخراج الصوت.
النتيجة هي "مطالبة ضخمة" (mega-prompt) ثانية بثانية تبدو كجدول بيانات، ومع ذلك تتركك في حيرة حول ما إذا كان يجب أن تكون اللقطة أربع ثوانٍ أم ثماني.
وثقت صانعة الأفلام بالذكاء الاصطناعي "كيانا ليانغ" مؤخراً طريقة أكثر دقة في تحليل سير عمل مفصل على منصة X، بعد إنتاج فيلم قصير من خمس لقطات دون كتابة مطالبة واحدة للجدول الزمني (timeline). لقد قامت بتوليد المسار الصوتي الكامل لكل لقطة باستخدام Seed-Audio 1.0 أولاً، ثم سلمت ذلك المسار إلى Seedance 2.0 كأصل مرجعي. أصبح الصوت هو المرتكز السردي، وتقلصت مطالبة الفيديو إلى فقرة طبيعية واحدة.
يستعرض هذا المقال سبب نجاح هذه الطريقة، وقاعدتي المطالبة اللتين تجعلانه موثوقاً، وكيفية تشغيل المسار بالكامل دون الحاجة للتنقل بين أربع منصات مختلفة. كل مقطع مدرج أدناه مأخوذ من ذلك الفيلم المكون من خمس لقطات.
نقاط رئيسية:
- الصوت يحمل الجدول الزمني. بمجرد تثبيت الحوار والمؤثرات الصوتية والموسيقى في مسار واحد، يقوم نموذج الفيديو بالأداء وفقاً له، مما يجعل "المطالبات الضخمة" التي تحتوي على تفاصيل مثل "من 0-3 ثوانٍ هذا، ومن 3-8 ثوانٍ ذاك" غير ضرورية.
- هناك قاعدتان غير بديهيتين للمطالبة مهمتان: حدد الموسيقى الخلفية بوضوح، واكتب التزامن داخل الجملة بدلاً من الإشارة إليه ضمنياً.
- التوقف عن التخمين في طول المقطع. قم بتوليد الصوت أولاً، ثم اضبط مدة الفيديو لتطابقه.
لماذا يستمر فشل سير عمل الذكاء الاصطناعي القائم على "المطالبة أولاً"؟
يسير المسار القياسي هكذا: كتابة سيناريو مصور (storyboard). توليد إطار أول، وربما إطار أخير أيضاً. ثم ضغط الجدول الزمني بأكمله في مطالبة نصية عملاقة: ما يحدث في أي ثانية، وكيف تتحرك الكاميرا، وأي سطر حواري يأتي قبل الآخر.
تظهر ثلاث مشاكل في كل مرة:
- أولاً، التوقيت يعيش في النثر، والنثر وعاء سيء للتوقيت. يجب على النموذج استنتاج الإيقاع من ترتيب الجمل، وغالباً ما يخطئ في النغمات.
- ثانياً، المدة مجرد تخمين أعمى. أربع ثوانٍ تبدو قصيرة جداً، وثماني ثوانٍ تبدو مهدرة، ولا تكتشف ذلك إلا بعد الرندرة.
- ثالثاً، الصوت فكرة لاحقة. يتعامل تحويل النص إلى كلام (TTS) التقليدي مع راوٍ واحد يقرأ نصاً واحداً. حوار الشخصيات المتعددة يعني توليد الأصوات بشكل منفصل وتركيبها في مرحلة المونتاج، والمؤثرات الصوتية والموسيقى هي مشكلة شخص آخر تماماً.
كل مشكلة من هذه المشاكل تعود إلى أصل واحد: يُطلب من الصورة تحديد الجدول الزمني، بينما الصوت أفضل بكثير في القيام بذلك.
ما هو Seed-Audio 1.0، ولماذا يحتاجه سير العمل القائم على الصوت أولاً؟
السبب في أن سير العمل هذا أصبح عملياً مؤخراً هو إصدار نموذج جديد. Seed-Audio 1.0 هو نموذج توليد الصوت العالمي من ByteDance، الذي كُشف عنه في يونيو 2026، ويقوم بتوليد الحوار والمؤثرات الصوتية والموسيقى الخلفية والأصوات المحيطة في تمريرة واحدة، لمدة تصل إلى دقيقتين لكل طلب.
خاصية "التمريرة الواحدة" هذه هي السر كله. هذا ليس مجرد تحويل نص إلى كلام مع إضافات. أنت تصف مشهداً بالنص، ويخرج النموذج مزيجاً نهائياً: شخصيات متعددة بأصوات مميزة، وموسيقى تعمل تحت الحوار، ومؤثرات متداخلة بينهما. الضحكات والتنهيدات والترددات ليست عينات ملصقة؛ بل يؤديها النموذج بناءً على مطالبتك.
يعمل في وضعين: T2A هو تحويل النص إلى صوت بحت، حيث تصف صوت كل شخصية بالكلمات. وTA2A هو وضع الصوت المرجعي، حيث تدخل ما يصل إلى ثلاث مقاطع وتوسمها بـ @audio1 أو @audio2 لتعيين من يتحدث بأي صوت. حوالي ثلاثين ثانية من تسجيلك الخاص كافية للعمل كمرجع صوتي مفيد.
النموذج متاح عبر الوصول المباشر لواجهة برمجة التطبيقات (API) على صفحة Seed-Audio في Atlas Cloud، جنباً إلى جنب مع وثائق المعلمات والأسعار.
مطالبة الصوت هي الجدول الزمني لسير عمل فيديو الذكاء الاصطناعي الخاص بك
صيغة المطالبة الرسمية لـ Seed-Audio تقرأ ببساطة: وصف الموسيقى الخلفية (BGM)، ثم وصف صوت الشخصية "أ" والسطر الحواري، ثم مؤثر صوتي، ثم الشخصية "ب"، وهكذا.
لكن هذه الصيغة لها خاصية لا توضحها الوثائق، وهي مفتاح كل شيء. اكتب المطالبة بترتيب سردي، وسيتبع الصوت المولد ذلك الترتيب. أي شخص يظهر أولاً في النص يصدر صوته أولاً في المسار.
هذا يحول مطالبة الصوت إلى جدول زمني. كل جملة تكتبها تهبط في موضع محدد في المزيج. كشفت تجارب "ليانغ" عن قاعدتين إضافيتين تجعلانه موثوقاً، ولا توجد أي منهما في الوثائق الرسمية.
سَمِّ الموسيقى الخلفية، وإلا ستختفي
اكتب فقط "موسيقى أوركسترالية دافئة ترتفع برفق" وقد يتعامل معها النموذج كمؤثر صوتي يتلاشى بعد بضع ثوانٍ. اسبقها بـ "Soundtrack:" أو "background music" وستصبح بشكل موثوق خلفية تعمل تحت المقطع بأكمله. تغيير بسيط في الصياغة، وسلوك مختلف تماماً.
اكتب التزامن صراحة، وليس ضمنياً
إليك حالة فشل ملموسة: صُممت لقطة بحيث في منتصف الجملة، يصدر محرك بخاري خلف المتحدث فحيحاً حاداً. كتبت المطالبة الأولى سطر الحوار كاملاً، ثم مؤثر البخار كجملة منفصلة. النتيجة: ينتهي من الكلام، ثم يخرج فحيح البخار. متتالٍ، وليس متزامناً.
الحل هيكلي. لإدراج مؤثر داخل سطر، قسّم السطر إلى نصفين وأدخل جملة المؤثر بين النصفين. أو اكتب "في نفس الوقت" صراحة. لن يستنتج النموذج التوازي من جملتين متجاورتين. المطالبة النهائية العاملة بدت هكذا:
Soundtrack: تبدأ موسيقى أوركسترالية دافئة برفق، وتنسج الأوتار والقيثارة لحناً غامضاً ورائعاً.
يقول الرجل (ذكر، في أوائل العشرينيات، صوت دافئ وواضح، لهجة إنجليزية، صادق ومرحب): "مرحباً بك على متن القطار، أيها الطالب الجديد!"
يصدر البخار فحيحاً حاداً مرة واحدة، ثم يتلاشى في ثرثرة خافتة على الرصيف.
"أراهن أنك لم ترَ محركاً بخارياً كهذا من قبل."
السطر مقسوم إلى نصفين. وفحيح البخار في المنتصف. يهبط الفحيح بالضبط بين نصفي الجملة، في كل مرة.
كيف يتم تشغيل سير عمل فيديو الذكاء الاصطناعي القائم على الصوت أولاً خطوة بخطوة؟
Seedance 2.0 هو نموذج الفيديو من ByteDance ببنية متعددة الوسائط موحدة تقبل النصوص، الصور، الصوت، والفيديو كمدخلات مرجعية. وضع "المرجع إلى فيديو" هو ما يتلقى المسار الصوتي. حدود المدخلات الحالية: ما يصل إلى 9 صور، ما يصل إلى 3 مقاطع فيديو بإجمالي 15 ثانية، وما يصل إلى 3 مقاطع صوتية بإجمالي 15 ثانية لكل عملية توليد (دليل مرجع Magic Hour Seedance، 2026).
الوصفة صارمة وبسيطة. كل لقطة تحصل على ثلاثة أشياء بالضبط:
- صورة واحدة. أي إطار يعمل. لا يحتاج إلى أن يكون إطاراً أولاً صارماً، ناهيك عن زوج إطار أول وأخير. التوقيت يعيش بالفعل في الصوت، لذا فإن وظيفة الصورة الوحيدة هي "هكذا تبدو الأشياء".
- مسار صوتي واحد. هذا يحل محل الجزء الأصعب من المطالبة القديمة. كل تصميم "من 0-3 ثوانٍ يحدث هذا، ومن 3-8 ثوانٍ يحدث ذاك" موجود الآن داخل الصوت. أي ثانية يهبط عليها السطر هي الثانية التي تصمم الحركة لها.
- مطالبة قصيرة واحدة. الحالة المزاجية، الإعداد، من هو من. فقرة طبيعية واحدة. الباقي يعود للصوت والصورة.
وهناك فائدة جانبية قد تكون أكثر ما يشعر به المبدعون: لا مزيد من تخمين طول المقطع. قم بتوليد الصوت أولاً، واضبط مدة الفيديو لتطابقه. بمجرد قفل الصوت، كل شيء يتم قفله.
إذا كان هذا يبدو مألوفاً، فيجب أن يكون كذلك. خط إنتاج الرسوم المتحركة في "بيكسار" يسجل الحوار ويضع موسيقى مؤقتة في شريط القصة قبل رسم الإطارات النهائية، بحيث يقف الفيلم بأكمله على الصوت أولاً. الصوت أولاً ليس اختراعاً جديداً. الفرق هو أن خط التجميع هذا كان يتطلب استوديو، أما الآن فهو يتطلب مطالبة.
خمس لقطات تختبر قوة سير العمل القائم على الصوت أولاً
الدليل يكمن فيما ينتجه سير العمل. فيلم "ليانغ" التجريبي، وهو تسلسل "اليوم الأول في مدرسة السحر" من منظور الشخص الأول، استخدم خمس لقطات لاستكشاف خمس قدرات مختلفة. كل منها يتوافق مع شيء عملي قد تحتاجه. شاهدها بالترتيب أدناه.
اللقطة 1: تحكم نصي بحت. الصوت، تزامن البخار، صافرة القطار، ثرثرة الرصيف، موسيقى الأوتار والقيثارة. كلها موصوفة بالكلمات، صفر أصول مرجعية. هذه هي القدرة الأساسية لـ T2A.
لاحظ حركة الشخصية وإيماءتها نحو القاطرة. تهبط بالضبط عند فحيح البخار، ولم يُكتب أي نص توقيت لها. تم تصميم الحركة بواسطة المسار الصوتي أدناه، والذي تم توليده قبل وجود الفيديو:
اللقطة 2: اتساق الصوت. قم بتنزيل صوت الشخصية الذي تم توليده في اللقطة 1، وأعد إدخاله كـ @audio1، وسيتم تثبيت صوته لكل لقطة تالية. الاسم الرسمي هو تسجيل الصوت. أي شخص يصنع كتباً صوتية أو بودكاست أو مسلسلات طويلة يعرف تماماً مدى إيلام تشتت الصوت. هذا يقضي عليه.
اللقطة 3: حوار بين متحدثين. يحتفظ المرشد بصوته المولد، بينما تستخدم الشخصية الثانية ثلاثين ثانية من تسجيل "ليانغ" الخاص، باللغة الصينية. كل صوت يحصل على مسار @audio خاص به. إليك التسجيل المرجعي الذي تم إدخاله:
النسخة النهائية تحتوي على صوتها وهي تنطق سطوراً إنجليزية لم تسجلها قط، بما في ذلك صرخة تتحول إلى ضحك في منتصف التنفس. أدى النموذج الضحكة بناءً على مطالبتك:
اللقطة 4: تحكم ديناميكي في الموسيقى. لحظة صمت تقريباً، ثم رنين واحد ولهجة أوركسترالية تهبط في اللحظة التي يزدهر فيها ضوء العصا السحرية. موسيقى تتفاعل مع الصورة، مكتوبة نصاً.
اللقطة 5: لا حوار على الإطلاق. فارسان على مكنستين فوق قلعة عند الغسق. رياح، أصوات طيران، جرس بعيد، وتصاعد أوركسترالي، وشخصان يهللان. هذا هو المقطع الذي شاهدته بالفعل في أعلى هذا المقال. إذا قدمت مشهداً بلا كلمات إلى تحويل النص إلى كلام التقليدي فلن يجد ما يعمل معه. بالنسبة لنموذج صوت توليدي، الضحك مجرد مفردات.
خمسة مسارات صوتية، خمس صور، خمس مطالبات قصيرة. Seedance 2.0 قدم الفيلم. كل مطالبة كاملة عامة في ملحق مقال X الأصلي، لذا يمكنك إعادة التجربة بنفسك.
وصفة لتبديل الوجوه لضمان اتساق الشخصيات
ظهرت مشكلة فرعية عملية أثناء بناء الإطارات المرجعية: جودة الصورة السينمائية واتساق الشخصيات غالباً ما يتعارضان.
لا تزال جماليات Midjourney صالحة للألواح الأساسية السينمائية. إصدارها المرخص رسمياً، Youchuan v8.1، يتعامل مع ملمس مظهر الفيلم بشكل جيد. لكن اتساق الشخصيات ليس نقطة قوتها. الشخصية نفسها عبر خمسة أجيال عادت بخمس وجوه مختلفة.
الوصفة العاملة تقسم المهمة إلى ثلاث خطوات. قم بتوليد اللوح الأساسي السينمائي باستخدام Midjourney. ثم استخدم وضع التعديل في Nano Banana 2 لتبديل الوجه من صورة مرجعية لشخصية واحدة. ثم أضف سطراً واحداً إلى مطالبة التعديل: "حافظ بصرامة على نفس الإضاءة".
سطر "الحفاظ بصرامة على نفس الإضاءة" هو الفرق بين عملية تركيب واضحة وأخرى متقنة. وصفة واحدة، ثلاث فجوات تم سدها: مشكلة اتساق Midjourney، والسقف الجمالي لنموذج التعديل عند التوليد من الصفر، والاعتدال الصارم الذي كان يضع علامات على الإطارات في أدوات صور أخرى. كل نموذج يقوم بمهمته الواحدة.
هل يمكن لمفتاح API واحد تشغيل مسار العمل القائم على الصوت أولاً بالكامل؟
احسب النماذج في سير العمل هذا: seed-audio-1.0 للصوت، youchuan v8.1 للألواح الأساسية، nano-banana-2 لتبديل الوجه، seedance-2.0 للفيديو. أربعة نماذج عبر ثلاث وسائط: الصوت والصورة والفيديو.
قم بتشغيل ذلك على أربع منصات منفصلة وسيتراكم الاحتكاك بسرعة. أربع حسابات، أربع لوحات معلومات للفواتير، أربع تنسيقات لمفاتيح API، أربع مجموعات من حدود الاستخدام. سير العمل نفسه يستغرق دقائق لكل لقطة، والتنقل بين الحسابات قد يستغرق وقتاً أطول.
هنا تستحق منصات النماذج الموحدة قيمتها. جميع النماذج الأربعة في هذا المسار موجودة في مجموعة نماذج Atlas Cloud، لذا يقوم مفتاح API واحد بتشغيل السلسلة من البداية إلى النهاية، وتغيير النماذج هو مجرد تعديل لسلسلة النموذج بدلاً من ترحيل الحسابات. تُعزى "ليانغ" هذا بالضبط إلى سبب عمل سير العمل المرتكز على الصوت بسلاسة في الممارسة العملية: نصف سرعة المسار هي عدم تبديل السياق بين البائعين.
أياً كانت المنصة التي تستخدمها، تظل النقطة المعمارية قائمة. سير العمل القائم على الصوت أولاً هو سلسلة من استدعاءات النماذج الصغيرة، والسلاسل سريعة بقدر أبطأ تسليم فيها.
الأسئلة الشائعة: سير عمل فيديو الذكاء الاصطناعي القائم على الصوت أولاً في الممارسة
كم يمكن أن تكون مدة الصوت المرجعي في Seedance 2.0؟
ما يصل إلى 3 مقاطع صوتية بإجمالي 15 ثانية لكل عملية توليد في وضع "المرجع إلى فيديو". هذا يكفي لحوار ومؤثرات لقطة واحدة. للأفلام الأطول، قم بتوليد الصوت لكل لقطة وجمّع اللقطات في محرر، وهي الطريقة التي تم بها بناء العرض التوضيحي المكون من خمس لقطات.
هل يعمل سير العمل القائم على الصوت أولاً للمشاهد التي لا تحتوي على حوار؟
نعم، وهنا يتفوق بوضوح على المسارات القائمة على TTS. يعامل Seed-Audio الضحك والتهليل والرياح والمؤثرات المحيطة كمفردات من الدرجة الأولى. رحلة المكنسة في أعلى هذا المقال لا تحتوي على كلمات على الإطلاق، فقط رياح، وأصوات طيران، وجرس بعيد، وشخصان يضحكان، تم توليدها من مطالبة نصية واحدة.
هل يمكنني استخدام صوتي الخاص في سير عمل فيديو الذكاء الاصطناعي القائم على الصوت أولاً؟
نعم. حوالي ثلاثين ثانية من التسجيل تعمل كمقطع مرجعي في وضع TA2A الخاص بـ Seed-Audio. قم بوسمه بـ @audio1 في المطالبة وسيقوم النموذج بأداء سطور جديدة بهذا الصوت، بما في ذلك سطور بلغة مختلفة ونغمات عاطفية مثل الضحك في منتصف الجملة التي لم تسجلها أبداً.
ما هي النماذج التي تحتاجها لتشغيل هذا من البداية إلى النهاية؟
يستخدم المسار الموثق أربعة: seed-audio-1.0 (صوت)، youchuan v8.1 (إطارات سينمائية)، nano-banana-2 (تعديلات اتساق الوجه)، وseedance-2.0 (فيديو). النماذج الصوتية والمرئية مطلوبة فقط بشكل صارم. زوج الصور هو للإطارات السينمائية ذات الشخصية المتسقة.
فكرة ختامية: في الفيلم التجريبي، كان إدراج فحيح البخار في منتصف جملة منطوقة من عمل النموذج. أما قرار أن يستدير المرشد عندما يخرج البخار فكان من عمل البشر. سير العمل القائم على الصوت أولاً لا يقوم بأتمتة الحكم الإبداعي. إنه ينقل الجدول الزمني إلى وسيط يحتفظ به بشكل أفضل، ويخفض مستوى التنفيذ حتى يستقر تماماً تحت أقدام الإبداع.
