Google anuncia el desarrollo de Lumiere, un generador de texto a vídeo de próxima generación basado en IA
 |
| Resultados de muestra generados por Lumiere, incluida la generación de texto a video (primera fila), imagen a video (segunda fila), generación con referencia de estilo y pintura de video (tercera fila; el cuadro delimitador indica la región de la máscara de pintura). Fuente: arXiv (2024). DOI: 10.48550/arxiv.2401.12945 |
Un equipo de investigadores de inteligencia artificial de Google Research ha desarrollado un generador de texto a video basado en inteligencia artificial de próxima generación llamado Lumiere. El grupo ha publicado un artículo que describe sus esfuerzos en el servidor de preimpresión arXiv .
26 enero 2024.- En los últimos años, las aplicaciones de inteligencia artificial han pasado del laboratorio de investigación a la comunidad de usuarios en general; los LLM como ChatGPT, por ejemplo, se han integrado con los navegadores, lo que permite a los usuarios generar texto de formas sin precedentes.
Más recientemente, los generadores de texto a imagen han permitido a los usuarios crear imágenes surrealistas. Y los generadores de texto a video han permitido a los usuarios generar videoclips cortos usando nada más que unas pocas palabras. En este nuevo esfuerzo, el equipo de Google ha llevado esta última categoría a nuevas alturas con el anuncio de un generador de texto a vídeo llamado Lumiere .
Lumiere, que probablemente lleva el nombre de los hermanos Lumiere, quienes fueron pioneros en los primeros equipos de fotografía, permite a los usuarios escribir una oración simple como "dos mapaches leyendo libros juntos" y obtener un video completamente terminado que muestra a dos mapaches haciendo precisamente eso, y lo hace en resolución sorprendentemente alta. El nuevo generador representa un siguiente paso en el desarrollo de generadores de texto a video al crear resultados mucho más atractivos.
Google describe la tecnología detrás del nuevo generador como una "arquitectura innovadora de espacio-tiempo U-Net". Fue diseñado para generar video animado en una sola pasada de modelo.
El video de demostración muestra que Google agregó funciones adicionales, como permitir a los usuarios editar un video existente resaltando una parte del mismo y escribiendo instrucciones, como "cambiar el color del vestido a rojo".
El generador también produce diferentes tipos de resultados, como estilizaciones, donde se crea el estilo de un tema en lugar de una representación a todo color. También permite subestilos, como diferentes referencias de estilo. También realiza imágenes cinematográficas, en las que un usuario puede resaltar parte o la totalidad de una imagen fija y animarla.
En su anuncio, Google no especificó si planea lanzar o distribuir Lumiere al público, probablemente debido a las obvias ramificaciones legales que podrían surgir debido a la posible creación de videos que violen las leyes de derechos de autor.
Más información: Omer Bar-Tal et al, Lumiere: A Space-Time Diffusion Model for Video Generation, arXiv (2024). DOI: 10.48550/arxiv.2401.12945
COMENTARIOS