Runway, una startup de inteligencia artificial (IA) generativa que co-creó el modelo Stable Diffusion de texto a imagen el año pasado, ha lanzado un modelo de IA que puede transformar videos existentes en nuevos aplicando cualquier estilo especificado por una descripción de texto o una imagen de referencia.
En una demostración publicada en su sitio web, Runway muestra cómo su software, llamado Gen-1, puede convertir clips de personas en la calle en títeres de plastilina o pilas de libros en una mesa en una ciudad nocturna. Runway espera que Gen-1 haga por el video lo que Stable Diffusion hizo por las imágenes. «Hemos visto una gran explosión en los modelos de generación de imágenes», dice el CEO y cofundador de Runway, Cristóbal Valenzuela. «Realmente creo que 2023 va a ser el año del video».
Fundada en 2018, Runway ha estado desarrollando software de edición de video impulsado por IA durante varios años. Sus herramientas son utilizadas por TikTokers, YouTubers, así como por estudios de cine y televisión convencionales. Los creadores de The Late Show with Stephen Colbert utilizaron el software de Runway para editar los gráficos del programa; el equipo de efectos visuales detrás de la exitosa película Everything Everywhere All at Once utilizó la tecnología de la empresa para ayudar a crear ciertas escenas.
En 2021, Runway colaboró con investigadores de la Universidad de Múnich para construir la primera versión de Stable Diffusion. Luego, Stability AI, una startup con sede en el Reino Unido, se encargó de pagar los costos de computación necesarios para entrenar el modelo con mucha más data. En 2022, Stability AI llevó Stable Diffusion a las masas, transformándolo de un proyecto de investigación en un fenómeno global.
Gen-1 representa un nuevo comienzo para Runway. Se sigue a una serie de modelos de texto a video revelados a finales del año pasado, incluyendo Make-a-Video de Meta y Phenaki de Google, ambos pueden generar clips de video muy cortos desde cero. También es similar a Dreamix, una IA generativa de Google revelada la semana pasada, que puede crear nuevos videos a partir de existentes aplicando estilos específicos. Pero al menos juzgando por el carrete de demostración de Runway, Gen-1 parece ser un paso adelante en la calidad del video. Debido a que transforma imágenes existentes, también puede producir videos mucho más largos que la mayoría de los modelos anteriores. (La compañía dice que publicará detalles técnicos sobre Gen-1 en su sitio web en los próximos días. Actualización: Ahora hay un artículo en línea).
A diferencia de Meta y Google, Runway ha construido su modelo pensando en los clientes. «Este es uno de los primeros modelos desarrollados muy de cerca con una comunidad de realizadores de video», dice Valenzuela. «Viene con años de conocimiento sobre cómo trabajan los cineastas y los editores de efectos visuales en la postproducción».
Gen-1, que se ejecuta en la nube a través del sitio web de Runway, se pondrá a disposición de algunos usuarios invitados hoy y se lanzará a todos en la lista de espera en unas pocas semanas.
La explosión del año pasado en la IA generativa fue impulsada por millones de personas que por primera vez tuvieron en sus manos herramientas creativas poderosas y compartieron lo que hicieron con ellas. Valenzuela espera que poner Gen-1 en manos de profesionales creativos tenga pronto un impacto similar en el video.
«Estamos muy cerca de tener películas completas generadas», dice. «Estamos cerca de un lugar donde la mayor parte del contenido que verás en línea será generado».
