Cuando compras a través de enlaces de afiliados en nuestra web, es posible que obtengamos una comisión sin coste adicional para ti. Aprende 
Ha sido un a?o de descubrimientos, en el que el mundo ha experimentado en masa el poder de la IA generativa.
Pero aunque la mayoría de la gente se haya expuesto a través de herramientas como ChatGPT, la aceleración que se ha producido en los últimos a?os en la generación de vídeos de IA es poco menos que increíble.
No hay mejor demostración de ello que el impresionante hilo de Rowan Cheung, fundador de The Rundown AI, que recopiló algunos de los mejores ejemplos de generación de vídeos de IA en acción en Twitter a principios de esta semana.
AI video generation is getting shockingly good.
In a couple of years, anyone will be able to create a movie from a smartphone- we’re entering a whole new era of film.
Here are some of the best examples I’ve seen:
— Rowan Cheung (@rowancheung) November 27, 2023
A continuación, vamos a ver el hilo y los ejemplos con más detalle y examinar cómo los desarrolladores y creativos de IA están utilizando soluciones de texto a imagen, de texto a vídeo y de imagen a vídeo para dar vida a sus ideas.
Reproduce los ejemplos a medida que avanzas, y considera por ti mismo cuánto poder se está desbloqueando y democratizando a partir de poco más que una idea y algo de ingeniería rápida.
-
- 1. Convertir imágenes de IA en vídeos con Midjourney y Motion Brush
- 2. Ocultar palabras en imágenes con Pika Labs
- 3. Presentación del nuevo modelo de texto a vídeo de Stable Diffusion
- 4. Dar vida a los memes
- 5. Fusionar varias herramientas
- 6. El vídeo musical de AI
- 7. A?adir animación a más memes
- 8. Extraterrestres fantásticos
- 9. Trailers de películas generados por IA
- 10. Dar vida a las fotos del perfil X
-
- 1. Convertir imágenes de IA en vídeos con Midjourney y Motion Brush
- 2. Ocultar palabras en imágenes con Pika Labs
- 3. Presentación del nuevo modelo de texto a vídeo de Stable Diffusion
- 4. Dar vida a los memes
- 5. Fusionar varias herramientas
- 6. El vídeo musical de AI
- 7. A?adir animación a más memes
- 8. Extraterrestres fantásticos
- 9. Trailers de películas generados por IA
- 10. Dar vida a las fotos del perfil X
10 increíbles ejemplos de vídeos generados por IA
1. Convertir imágenes de IA en vídeos con Midjourney y Motion Brush
1. Generating an AI image in Midjourney, and turning it into a video using Runway’s Motion Brush pic.twitter.com/i20SWZvjRr
— Rowan Cheung (@rowancheung) November 27, 2023
El primer ejemplo compartido en el post, publicado originalmente por Rory Flynn, mostraba cómo una imagen generada con Midjourney, en este caso, un pájaro, un coche y una hoja, podía convertirse en un vídeo animado utilizando Motion Brush de Runway.
Esencialmente, Midjourney utiliza un proceso de difusión, combinando el aprendizaje automático y la IA generativa para traducir una indicación de texto en una imagen. Después, el Pincel de Movimiento de Runway permite al usuario pintar sobre la imagen para a?adir un movimiento muy realista.
2. Ocultar palabras en imágenes con Pika Labs
2. Hidden words in images come to life using Pika Labs pic.twitter.com/r7iZXEOhSn
— Rowan Cheung (@rowancheung) November 27, 2023
El siguiente ejemplo, compartido originalmente por fofrAI, demuestra cómo se puede utilizar la IA para crear un clip encriptado con una palabra oculta. En este post, el creador utilizó Pika Labs para ocultar el término “FOMO” dentro de las camisas de la modelo.
El dise?o general ilustra un enfoque conocido como controllismo, donde las imágenes se crean con una herramienta como ControlNet (o Pika Labs), que intenta integrar palabras, formas o símbolos en el dise?o general.
3. Presentación del nuevo modelo de texto a vídeo de Stable Diffusion
3. Stable Diffusion’s new open-sourced text-to-video generation model pic.twitter.com/AJJ4YgIYfD
— Rowan Cheung (@rowancheung) November 27, 2023
Nuestro siguiente ejemplo procede de Javi López, fundador de Magnific AI, que ha mostrado cómo el recién anunciado modelo de generación de vídeo Stable Video Diffusion puede utilizarse para aplicar movimiento a imágenes estáticas.
En los comentarios, López explica que las imágenes del post se crearon utilizando una imagen de entrada Midjourney, escalándola a 1080p e interpolándola a 24 fotogramas por segundo.
4. Dar vida a los memes
4. Making memes come to life using the new Stable Diffusion Video pic.twitter.com/4DUibYfR6y
— Rowan Cheung (@rowancheung) November 27, 2023
Como parte de un ejercicio más desenfadado, fofrAI ha utilizado Stable Video Diffusion para a?adir movimiento al conocido meme Distracted Boyfriend.
En este caso, se puede ver a la mujer de rojo caminando hacia la cámara mientras la pareja se gira. También hay algo de movimiento facial básico, aunque éste parece muy poco natural en la pareja en particular.
5. Fusionar varias herramientas
5. Combining Midjourney images, Stable Diffusion Video, Topaz AI, and Magnific AI by @javilopen pic.twitter.com/4CPz7WgqbX
— Rowan Cheung (@rowancheung) November 27, 2023
En otro ejemplo, Cheung compartió un segmento compartido por Steve Mills, en el que imágenes creadas con Midjourney se han convertido en segmentos animados.
Para conseguir este efecto, Mills afirma que utilizó Magnific para aumentar la escala de la imagen generada con Midjourney y a?adir detalles adicionales y, a continuación, Topaz para interpolar secuencias desarrolladas con Stale Diffusion Video. Este último paso se utilizó para mejorar la suavidad general de la animación.
6. El vídeo musical de AI
6. A music video, created using AI with Runway pic.twitter.com/mCnMRI4UV2
— Rowan Cheung (@rowancheung) November 27, 2023
El siguiente ejemplo de Cheung, compartido originalmente por Nicolas Neubert, dise?ador de productos del Grupo VW, muestra un vídeo musical cinematográfico creado con el modelo multimodal GEN-2 de Runway.
En este caso, Neubert utilizó imagen a vídeo e imagen a texto para crear los activos utilizados en el vídeo final. Esto demuestra que los creativos no necesitan salir a rodar para desarrollar este tipo de contenidos.
7. A?adir animación a más memes
7. More memes pic.twitter.com/exmPv75bg2
— Rowan Cheung (@rowancheung) November 27, 2023
Basándose en el ejemplo anterior, el siguiente post, compartido originalmente por Pietro Schirano, fundador de everartai, revela cómo se puede animar el famoso meme This is Fine con Stable Diffusion Video.
Este ejemplo es notable porque el creador logró animar el fuego y la cabeza del perro sin salirse de la vista del panel del cómic.
8. Extraterrestres fantásticos
8. This entire clip was made with Runway’s AI video generation models pic.twitter.com/JokqRRUfgD
— Rowan Cheung (@rowancheung) November 27, 2023
En uno de los ejemplos más surrealistas de este hilo, el cineasta Dave Villalva compartió cómo las capacidades de generación de texto a imagen, texto a vídeo e imagen a vídeo de Runway podían utilizarse para desarrollar clips de criaturas alienígenas fantásticas, al estilo de Avatar, en exuberantes paisajes naturales inspirados en la ciencia ficción.
Los resultados se consiguieron introduciendo una indicación que detallaba el ángulo de la cámara (aéreo o primer plano), lo que mostraba la foto y etiquetas descriptivas como “amanecer surrealista, colorido, verde, morado, obra maestra”, que ayudaron a guiar el estilo general del contenido.
9. Trailers de películas generados por IA
9. A movie trailer generated by AI pic.twitter.com/dumR3wr6CD
— Rowan Cheung (@rowancheung) November 27, 2023
Quizá el ejemplo más destacado del hilo sea un tráiler generado por IA llamado THE OUTWORLD, creado por un usuario conocido bajo el alias X maxescu.
Este tráiler presenta imágenes detalladas de alta definición producidas por Leonardo AI, contenido de vídeo hecho en Runway y música tomada de Envato. En la sección de comentarios de la versión de YouTube del tráiler, Max afirma que la producción de todo el vídeo le llevó una sola tarde.
10. Dar vida a las fotos del perfil X
10. X profile pictures come to life pic.twitter.com/W74GnBFSgv
— Rowan Cheung (@rowancheung) November 27, 2023
Por último, este ejemplo compartido por un usuario conocido por el alias X Satya Nutella muestra cómo se puede utilizar la IA generativa para a?adir animación a las fotos de los perfiles sociales.
Aunque este ejemplo no está tan desarrollado como otros de esta lista, pone de relieve que el movimiento puede aplicarse a todo tipo de activos digitales para crear contenido emocionante.
Un vídeo cautivador siempre empieza con dos cosas: imaginación y una buena historia. Pero las herramientas que se muestran aquí simplemente no estaban disponibles hace unos a?os. Es probable que miles de narradores hayan visto cómo sus buenas ideas se marchitaban y morían en la enredadera porque se necesita un estudio y un ejército para hacer un buen programa o una buena película. ?Es demasiado exagerado pensar que una futura obra maestra de animación o de efectos especiales no vendrá de un estudio de VFX de Hollywood, sino mediante el uso cuidadoso e inteligente de herramientas de IA de vídeo?
Lo esencial
