El modelo de mundo Genie 4 de Google DeepMind añade sonido y edición de escenas en tiempo real
Google DeepMind lanzó el martes Genie 4, un “modelo de mundo” que genera escenas interactivas y explorables en tiempo real y que ahora produce audio acorde, según Google. Los usuarios pueden escribir instrucciones en plena simulación para cambiar el clima, mover la cámara o añadir personajes, informó TechCrunch. Se trata de una versión preliminar de investigación disponible por ahora solo para un grupo limitado de probadores.
Qué hace: Un modelo de mundo genera un entorno simulado por el que el usuario puede moverse y que puede cambiar, en lugar de un clip de vídeo fijo. Genie 4 genera sonido ambiente, música y diálogo interactivo sobre la marcha, según Google. Puede mantener una escena coherente durante hasta dos minutos, el doble del límite de su predecesor, Genie 3, según TechCrunch.
Cómo funciona: Genie 4 se basa en los modelos Gemini de Google, que ayudan a mantener la coherencia de una simulación, según Google. En un experimento de investigación vinculado a Gemini Robotics, un modelo Gemini dividió una tarea en pasos que Genie 4 simuló en tiempo real, lo que según TechCrunch muestra una posible forma de probar escenarios de robots antes de intentarlos en el mundo real.
Límites conocidos: El personal de Google DeepMind dijo que aún es pronto y que el producto final todavía no está claro, informó TechCrunch. Los detalles y objetos pueden desviarse cuanto más dura una simulación, y el equipo aún no ha resuelto cómo lograr que el audio sea preciso o que el texto dentro del mundo sea legible, según TechCrunch.
Quién puede usarlo: Genie 4 se está desplegando primero entre probadores de confianza, según Google. Llegará a los suscriptores de Google AI Ultra en Project Genie y a los socios de acceso anticipado de la API de Gemini y Google AI Studio, lo que según TechCrunch ocurrirá en las próximas semanas.