Vuelve a ver ese clip, pero con sonido. El viento, el silbido de la escoba, la campana a lo lejos, dos personas riendo en el crepúsculo. Nada de eso se añadió en postproducción, y nada de eso se generó junto con la imagen. Cada sonido en esa toma ya existía antes de que existiera un solo fotograma.
Esa es la inversión de la que trata esta publicación. La mayoría de los prompts para vídeo mediante IA fallan por la misma razón aburrida: le pides a un cuadro de texto que haga tres trabajos a la vez.
- Describir la escena.
- Coreografiar los tiempos.
- Dirigir el sonido.
El resultado es un mega-prompt segundo a segundo que parece una hoja de cálculo y que, aun así, te deja dudando si la toma debería durar cuatro u ocho segundos.
La cineasta de IA Kiana Liang documentó recientemente una forma más limpia en un desglose de flujo de trabajo detallado en X, tras producir un cortometraje de cinco tomas sin escribir ni un solo prompt de línea de tiempo. Generó la pista de audio completa de cada toma con Seed-Audio 1.0 primero y luego entregó esa pista a Seedance 2.0 como activo de referencia. El audio se convirtió en el ancla narrativa. El prompt de vídeo se redujo a un solo párrafo natural.
Esta publicación explica por qué funciona, las dos reglas de prompt que lo hacen fiable y cómo ejecutar todo el proceso sin tener que hacer malabares con cuatro cuentas de plataformas diferentes. Cada clip incrustado a continuación proviene de ese cortometraje de cinco tomas.
Puntos clave
- El audio lleva la línea de tiempo. Una vez que los diálogos, efectos de sonido y música están fijados en una pista, el modelo de vídeo actúa en función de ellos, por lo que los mega-prompts tipo "0-3s esto, 3-8s aquello" se vuelven innecesarios.
- Dos reglas de prompt no tan obvias son fundamentales: etiqueta la música de fondo explícitamente y escribe la simultaneidad en la frase en lugar de darla por supuesta.
- La duración del clip deja de ser una suposición. Genera el audio primero y luego ajusta la duración del vídeo para que coincida.
¿Por qué el flujo de trabajo de vídeo con IA basado en prompts sigue fallando?
El proceso estándar es así: escribes un guion gráfico. Generas un primer fotograma, quizás también uno final. Luego, comprimes toda la línea de tiempo en un solo prompt de texto gigante: qué sucede en qué segundo, cómo se mueve la cámara, qué línea de diálogo va antes que cuál.
Tres problemas aparecen siempre:
- Primero, los tiempos residen en la prosa, y la prosa es un contenedor pésimo para los tiempos. El modelo tiene que inferir el ritmo a partir del orden de las frases, y a menudo se equivoca en los compases.
- Segundo, la duración es una suposición a ciegas. Cuatro segundos parecen poco, ocho parecen un desperdicio, y solo te enteras después del renderizado.
- Tercero, el sonido es una ocurrencia tardía. El TTS tradicional maneja a un narrador leyendo un guion. El diálogo entre varios personajes significa generar las voces por separado y unirlas en postproducción, y los efectos de sonido y la música son problema de otro.
Cada uno de estos problemas se remonta a la misma raíz: se le pide a la imagen que defina la línea de tiempo, cuando el sonido es mucho mejor para ello.
¿Qué es Seed-Audio 1.0 y por qué el flujo de audio primero lo necesita?
La razón por la que este flujo de trabajo se volvió práctico recientemente es el lanzamiento de un modelo. Seed-Audio 1.0 es el modelo universal de generación de audio de ByteDance, presentado en junio de 2026, que genera diálogos, efectos de sonido, música de fondo y sonido ambiental en una sola pasada, hasta dos minutos por petición.
Esa propiedad de una sola pasada es el truco completo. Esto no es un TTS con añadidos. Describes una escena con texto y el modelo genera una mezcla terminada: múltiples personajes con voces distintas, música de fondo bajo las voces, efectos intercalados. Las risas, suspiros y vacilaciones no son muestras pegadas; el modelo los interpreta a partir de tu prompt.
Funciona en dos modos. T2A es texto a audio puro, donde describes la voz de cada personaje con palabras. TA2A es el modo de audio de referencia, donde introduces hasta tres clips y los etiquetas como @audio1 o @audio2 para asignar quién habla con qué voz. Unos treinta segundos de tu propia grabación son suficientes para servir como referencia de voz útil.
El modelo está disponible con acceso API directo en la página de Seed-Audio de Atlas Cloud, junto con la documentación de parámetros y los precios.
El prompt de audio es la línea de tiempo de tu flujo de trabajo de vídeo con IA
La fórmula oficial del prompt para Seed-Audio es sencilla: descripción de la música de fondo (BGM), luego la descripción de voz y frase del Personaje A, luego un efecto de sonido, luego el Personaje B, y así sucesivamente.
Pero esa fórmula tiene una propiedad que la documentación no detalla, y es la clave de todo: escribe el prompt en orden narrativo y el audio generado seguirá ese orden. Quien aparece primero en el texto suena primero en la pista.
Eso convierte el prompt de audio en una línea de tiempo. Cada frase que escribes cae en una posición definida en la mezcla. Las pruebas de Liang descubrieron dos reglas adicionales que hacen que esto sea fiable, y ninguna está en la documentación oficial.
Nombra la música de fondo o desaparecerá
Escribe solo "música orquestal cálida sube suavemente" y el modelo puede tratarlo como un efecto de sonido que se desvanece tras unos segundos. Ponle el prefijo "Banda sonora:" o "música de fondo" y se convertirá de forma fiable en una base que suena durante todo el clip. Un pequeño cambio en la redacción, un comportamiento completamente diferente.
Escribe la simultaneidad explícitamente, no por implicación
Aquí hay un caso de fallo concreto. Una toma estaba diseñada para que, a mitad de frase, una máquina de vapor detrás del hablante soltara un silbido agudo. El primer prompt escribió la línea completa de diálogo y luego el efecto de vapor como una frase aparte. El resultado: termina de hablar y luego el vapor silba. Secuencial, no sincronizado.
La solución es estructural. Para colocar un efecto dentro de una línea, divide la línea en dos e inserta la frase del efecto entre las mitades. O escribe "al mismo tiempo" explícitamente. El modelo no inferirá paralelismo de dos frases adyacentes. El prompt final funcional quedó así:
Banda sonora: El tema orquestal cálido comienza suavemente, cuerdas y arpas tejiendo una melodía misteriosa y maravillosa.
El hombre (masculino, veintitantos años, voz cálida y clara, acento inglés, sincero y acogedor) dice: "¡Bienvenidos a bordo, primer año!"
El vapor silba bruscamente una vez y luego se desvanece entre el murmullo de fondo del andén.
"Apuesto a que nunca habéis visto una máquina de vapor como esta".
Línea dividida por la mitad. Silbido de vapor en medio. El silbido cae exactamente entre las dos mitades de la frase, en cada renderizado.
¿Cómo funciona el flujo de trabajo de vídeo con IA de "audio primero", paso a paso?
Seedance 2.0 es el modelo de vídeo de ByteDance con una arquitectura multimodal unificada que acepta texto, imágenes, audio y vídeo como entradas de referencia. Su modo de referencia a vídeo es el que recibe la pista de audio. Los límites actuales de entrada son: hasta 9 imágenes, hasta 3 clips de vídeo que sumen 15 segundos y hasta 3 clips de audio que sumen 15 segundos por generación (guía de referencia de Seedance de Magic Hour, 2026).
La receta es estricta y mínima. Cada toma recibe exactamente tres cosas.
- Una imagen. Cualquier fotograma funciona. No tiene que ser un primer fotograma estricto, ni mucho menos un par de primero y último. El tiempo ya vive en el audio, así que el único trabajo de la imagen es decir "aquí es como se ven las cosas".
- Una pista de audio. Esto reemplaza la parte más difícil del antiguo prompt. Toda la coreografía de "0-3s sucede esto, 3-8s sucede aquello" ahora está dentro del sonido. El segundo en el que cae una línea es el segundo para el que diseñas la acción.
- Un prompt corto. Estado de ánimo, escenario, quién es quién. Un párrafo natural. El resto pertenece al audio y a la imagen.
Y hay un beneficio adicional que podría ser lo que los creadores sientan más: no más adivinanzas sobre la duración del clip. Genera el audio primero, ajusta la duración del vídeo para que coincida. Una vez que el sonido está bloqueado, todo está bloqueado.
Si esto te suena familiar, debería. El proceso de animación de Pixar graba diálogos y coloca música temporal en un montaje de historia antes de que se dibujen los fotogramas finales, por lo que toda la película se sostiene primero en el sonido. El "sonido primero" no es un invento nuevo. La diferencia es que esta línea de montaje solía requerir un estudio. Ahora requiere un prompt.
Cinco tomas que ponen a prueba el flujo de trabajo de "audio primero"
La prueba está en lo que produce el flujo de trabajo. La película de demostración de Liang, una secuencia en primera persona del "primer día en una escuela de magia", utilizó cinco tomas para sondear cinco capacidades diferentes. Cada una se asigna a algo práctico que podrías necesitar. Míralas en orden a continuación.
Toma 1: control total por texto. Voz, sincronización de vapor, silbato de tren, murmullo de andén, partitura de cuerdas y arpa. Todo descrito con palabras, cero activos de referencia. Esta es la capacidad T2A básica.
Observa cómo el guía gira y gesticula hacia la locomotora. Coincide exactamente con el silbido del vapor, y no se escribió ningún texto de tiempo para ello. El movimiento fue coreografiado por la pista de audio a continuación, que se generó antes de que existiera el vídeo:
Toma 2: consistencia de voz. Descarga la voz del guía generada en la toma 1, vuelve a introducirla como @audio1, y su voz queda fijada para cada toma siguiente. El nombre oficial es registro de voz. Cualquiera que haga audiolibros, podcasts o series de formato largo sabe exactamente lo doloroso que es la deriva de voz. Esto lo soluciona.
Toma 3: diálogo de dos altavoces. El guía mantiene su voz generada, mientras que el segundo personaje utiliza treinta segundos de la grabación propia de Liang, en chino. Cada voz obtiene su propia pista @audio. Aquí está la grabación de referencia que se utilizó:
El montaje final tiene su voz diciendo líneas en inglés que ella nunca grabó, incluyendo un grito que se quiebra en risa a mitad de la respiración. La risa fue interpretada por el modelo:
Toma 4: control dinámico de la música. Un momento de casi silencio, luego una campanada y un acento orquestal aterrizan en el instante exacto en que florece la luz de la varita. Música que reacciona a la imagen, escrita en texto.
Toma 5: sin diálogo. Dos jinetes en escobas sobre un castillo al atardecer. Viento, silbidos, una campana lejana, un crescendo orquestal y dos personas vitoreando. Ese es el clip que ya viste al principio de esta publicación. Dale una escena sin palabras a un TTS tradicional y no tendrá nada con qué trabajar. Para un modelo de audio generativo, la risa es solo vocabulario.
Cinco pistas de audio, cinco imágenes, cinco prompts cortos. Seedance 2.0 entregó la película. Cada prompt completo es público en el apéndice del artículo original en X, por lo que puedes repetir todo el experimento tú mismo.
Una receta de intercambio de rostros para la consistencia de personajes
Un subproblema práctico surgió al construir los fotogramas de referencia: la calidad de imagen cinematográfica y la consistencia de los personajes tienden a entrar en conflicto.
La estética de Midjourney todavía destaca para las bases cinematográficas. Su edición con licencia oficial, Youchuan v8.1, maneja bien la textura de aspecto cinematográfico. Pero la consistencia de los personajes no es su punto fuerte. El mismo personaje en cinco generaciones regresaba con cinco rostros diferentes.
La receta de trabajo divide el trabajo en tres pasos. Genera la base cinematográfica con Midjourney. Luego usa el modo de edición de Nano Banana 2 para cambiar el rostro por una única imagen de referencia del personaje. Luego añade una línea al prompt de edición: "preservar estrictamente la misma iluminación".
Esa línea de "preservar estrictamente la misma iluminación" es la diferencia entre un injerto que se nota y uno que no. Una receta, tres parches: el problema de consistencia de Midjourney, el límite estético del propio modelo de edición al generar desde cero, y la moderación demasiado estricta que seguía marcando fotogramas en otras herramientas de imagen. Cada modelo hace su trabajo.
¿Puede una sola clave API ejecutar todo el flujo de trabajo de "audio primero"?
Cuenta los modelos en este flujo de trabajo: seed-audio-1.0 para el sonido, youchuan v8.1 para las bases, nano-banana-2 para el intercambio de rostros, seedance-2.0 para el vídeo. Cuatro modelos en tres modalidades: audio, imagen y vídeo.
Ejecuta eso en cuatro plataformas separadas y la fricción aumenta rápidamente. Cuatro cuentas, cuatro paneles de facturación, cuatro formatos de clave API, cuatro conjuntos de límites de tasa. El flujo de trabajo en sí lleva minutos por toma. Los malabares con las cuentas pueden llevar más tiempo.
Aquí es donde las plataformas de modelos consolidadas valen la pena. Los cuatro modelos en este proceso residen en la reserva de modelos de Atlas Cloud, por lo que una clave API ejecuta la cadena de principio a fin, y cambiar de modelo es solo editar una cadena de modelo en lugar de migrar cuentas. Liang atribuye a esto exactamente por qué el flujo de trabajo anclado en audio funciona sin problemas en la práctica: la mitad de la velocidad del proceso es simplemente no cambiar de contexto entre proveedores.
Sea cual sea la plataforma que utilices, el punto arquitectónico se mantiene: un flujo de trabajo de "audio primero" es una cadena de pequeñas llamadas a modelos, y las cadenas solo son tan rápidas como su traspaso más lento.
Preguntas frecuentes: El flujo de trabajo de "audio primero" en la práctica
¿Cuánto puede durar el audio de referencia en Seedance 2.0?
Hasta 3 clips de audio que sumen 15 segundos por generación en el modo de referencia a vídeo. Es suficiente para el diálogo y los efectos de una sola toma. Para películas más largas, genera el audio por toma y ensambla las tomas en un editor, que es como se construyó la demostración de cinco tomas.
¿Funciona el flujo de trabajo de "audio primero" para escenas sin diálogo?
Sí, y aquí es donde claramente supera a los procesos basados en TTS. Seed-Audio trata la risa, los gritos, el viento y los efectos ambientales como vocabulario de primera clase. El vuelo de la escoba al principio de esta publicación no contiene palabras en absoluto, solo viento, silbidos, una campana lejana y dos personas riendo, generado a partir de un solo prompt de texto.
¿Puedo usar mi propia voz en un flujo de trabajo de vídeo con IA de "audio primero"?
Sí. Aproximadamente treinta segundos de grabación funcionan como un clip de referencia en el modo TA2A de Seed-Audio. Etiquétalo como @audio1 en el prompt y el modelo interpretará nuevas líneas con esa voz, incluyendo líneas en un idioma diferente y matices emocionales como reír a mitad de frase que nunca grabaste.
¿Qué modelos necesitas para ejecutar esto de principio a fin?
El flujo de trabajo documentado utiliza cuatro: seed-audio-1.0 (audio), youchuan v8.1 (fotogramas cinematográficos), nano-banana-2 (ediciones de consistencia facial) y seedance-2.0 (vídeo). Solo los modelos de audio y vídeo son estrictamente necesarios. El par de imágenes es para fotogramas cinematográficos con un personaje consistente.
Una reflexión final: en la película de demostración, deslizar un silbido de vapor en medio de una línea hablada fue trabajo del modelo. Decidir que el guía debía girar cuando el vapor silba fue trabajo humano. El flujo de trabajo de "audio primero" no automatiza el juicio creativo. Simplemente mueve la línea de tiempo a un medio que la sostiene mejor y baja el umbral de ejecución hasta que se sitúa justo a los pies de la creatividad.
