Conversational Video Editing with gemini omni API

Gemini Omni API ช่วยให้นักพัฒนาสามารถเข้าถึงตระกูลการสร้างและตัดต่อวิดีโอแบบ native multimodal ของ Google DeepMind ผ่าน Atlas Cloud ได้ โดยขึ้นอยู่กับ endpoint ที่เลือก ระบบสามารถสร้างวิดีโอจากข้อความหรือภาพ ใช้สื่ออ้างอิง ตัดต่อฟุตเทจเดิม และสร้างเสียง native ที่ซิงโครไนซ์กับวิดีโอได้

Gemini Omni 1.1 Flash เพิ่มความสามารถในการต่อวิดีโอ การอินเตอร์โพเลตระหว่างเฟรมแรกและเฟรมสุดท้าย ความละเอียดเอาต์พุตตั้งแต่ 360p ถึง 4K และการควบคุมด้วยสื่ออ้างอิงที่ยืดหยุ่นยิ่งขึ้น โดย variant สำหรับต่อวิดีโอสามารถเพิ่มความยาวได้ 3 ถึง 10 วินาทีต่อคำขอ และนำมาต่อเนื่องกันเพื่อสร้างวิดีโอที่ต่อเนื่องเป็นเรื่องเดียวได้นานสูงสุด 40 วินาที

สร้างบัญชี Atlas Cloud เก็บ API key ไว้บนเซิร์ฟเวอร์ และเลือก model endpoint ที่ตรงกับ workflow ของคุณ Atlas Cloud มีคีย์ที่เข้ากันได้กับ OpenAI เพียงหนึ่งคีย์ ส่วน schema ที่เผยแพร่ของแต่ละ endpoint จะระบุ prompt, media input และการตั้งค่าการสร้างที่จำเป็น

เลือก text to video เมื่อเริ่มจาก prompt, image to video เมื่อต้องการทำให้ภาพนิ่งเคลื่อนไหว หรือ reference to video เมื่อต้องการควบคุมอัตลักษณ์และสไตล์ ใช้ video edit เพื่อปรับแก้ฟุตเทจเดิม และใช้ Gemini Omni 1.1 Flash video extend endpoint เพื่อดำเนินฉากต่อ

ข้อจำกัดของสื่ออ้างอิงจะแตกต่างกันไปตาม endpoint และเวอร์ชันของโมเดล Gemini Omni 1.1 Flash Reference to Video รองรับภาพอ้างอิงสูงสุด 10 ภาพและคลิปวิดีโออ้างอิง 3 คลิป ขณะที่ endpoint รุ่นก่อนหน้าอาจรองรับจำนวนแตกต่างกัน ดังนั้นควรตรวจสอบ schema ของ endpoint ที่เลือกก่อนส่งสื่อ

Gemini Omni 1.1 Flash รองรับเอาต์พุตความยาว 3 ถึง 10 วินาทีที่ 24 FPS พร้อมตัวเลือกความละเอียด 360p, 720p, 1080p ที่ขยายความละเอียดแล้ว และ 4K ที่ขยายความละเอียดแล้ว อัตราส่วนภาพที่รองรับคือ 16:9 และ 9:16 อย่างไรก็ตาม การควบคุมที่ใช้งานได้อาจแตกต่างกันตาม Atlas Cloud endpoint

ได้ โดย variant ของ video edit จะทำตามคำสั่งข้อความเพื่อเพิ่ม ลบ แทนที่ หรือปรับสไตล์องค์ประกอบต่าง ๆ ขณะคงฟุตเทจส่วนที่ prompt ไม่ได้กล่าวถึงไว้ สำหรับการปรับแก้หลายรอบ ให้ใช้คำสั่งที่เจาะจงและ interaction context ที่ workflow ที่เลือกนั้นรองรับ

หากต้องการดำเนินฉากต่อ ให้ส่งคลิปเดิมไปยัง Gemini Omni 1.1 Flash video extend endpoint และระบุให้เพิ่มอีก 3 ถึง 10 วินาที สามารถต่อวิดีโอเป็นลำดับได้จนมีความยาวรวมสูงสุด 40 วินาที ส่วน variant ของ image to video สามารถอินเตอร์โพเลตระหว่างเฟรมแรกและเฟรมสุดท้ายที่ส่งให้ระบบได้

ราคามาตรฐานของ Atlas Cloud สำหรับ Gemini Omni 1.1 Flash อยู่ที่ $0.041 ต่อวินาทีสำหรับ text to video, reference to video, video editing และ video extension ขณะที่ image to video มีค่าใช้จ่าย $0.043 ต่อวินาที ส่วน Gemini Omni Flash endpoint รุ่นก่อนหน้าเริ่มต้นที่ $0.112 ต่อวินาที โดยคิดค่าบริการตามการใช้งานและไม่จำเป็นต้องสมัครสมาชิก

วิดีโอที่สร้างขึ้นทุกไฟล์จะมีลายน้ำ SynthID แบบมองไม่เห็น ซึ่งสามารถตรวจจับได้ด้วยโปรแกรม ระบบใช้ safety filter กับทั้ง prompt และเอาต์พุตที่สร้างขึ้น ขณะที่เวลาในการประมวลผลจะแตกต่างกันตามระยะเวลา ความละเอียด และภาระงานของบริการ ไม่รองรับการควบคุม dedicated negative prompt, system instruction, temperature, top_p และ stop sequence ดังนั้นให้ระบุข้อยกเว้นไว้ใน prompt หลัก