Google lanza Lumiere, una IA que genera vídeos realistas de hasta 5 segundos

Escrito por:admin-barracuda

febrero, 2024

Google ha presentado Lumiere, una potente IA generativa capaz de transformar texto e imágenes en vídeos ultra realistas de hasta 5 segundos. Este modelo de difusión espacio-temporal ha sido entrenado con un conjunto de 30 millones de vídeos y puede generar 80 fotogramas a 16 fps.

En colaboración con el Instituto Weizmann de Ciencias y la Universidad de Tel Aviv, el equipo de investigadores de Google ha logrado desarrollar Lumiere, un modelo que destaca en la creación de vídeos realistas a partir de texto e imágenes estáticas.

A diferencia de otras IA generadoras de vídeo, Lumiere utiliza una arquitectura Espacio-Tiempo U-Net que permite construir el vídeo en su totalidad de una vez, obteniendo movimientos más naturales y coherentes.

Entre las funciones principales de Lumiere se encuentran:

  • Creación de nuevos estilos: el modelo genera vídeos que replican el estilo artístico de una imagen de referencia, permitiendo la inclusión de nuevos elementos.
  • Estilización de vídeo: Lumiere puede aplicar un estilo diferente a un objeto o persona en un vídeo existente. En el ejemplo del modelo, se muestra cómo convierte a una mujer y a un perro en figuras de origami o en bloques de madera.
  • Animación de imágenes estáticas: el modelo puede animar partes de una imagen estática. Por ejemplo, Lumiere puede hacer que una mariposa en una imagen mueva sus alas.
  • Completar vídeos reales: Lumiere puede rellenar con precisión vídeos inacabados o con zonas cortadas, expandiendo el contexto del vídeo.
  • Modificación en tiempo real: se pueden cambiar partes de un vídeo, como la ropa de una persona, a partir de una descripción en texto o incluso eliminar elementos no deseados.

Otras IAs generadoras de vídeo

En el mercado hay varias herramientas que generan vídeos a partir de texto e imágenes, como Runway Gen-2, Pika 1.0 y Stable Video Diffusion.

Todas prometen revolucionar la generación de vídeo a partir de texto, y ahora tienen un competidor fuerte: Lumiere, que tiene una naturalidad muy avanzada y será difícil de superar.

 

fuente: https://marketing4ecommerce.mx/google-presenta-lumiere-su-propia-ia-capaz-de-generar-videos-realistas/

 

Podría interesarte

Share This