Le modèle de monde Genie 4 de Google DeepMind ajoute le son et la modification des scènes en temps réel
Google DeepMind a lancé mardi Genie 4, un « modèle de monde » qui génère en temps réel des scènes interactives et explorables et produit désormais un son assorti, selon Google. Les utilisateurs peuvent taper des instructions en pleine simulation pour changer la météo, déplacer la caméra ou ajouter des personnages, a rapporté TechCrunch. Il s’agit d’une préversion de recherche réservée pour l’instant à un groupe restreint de testeurs.
Ce qu’il fait : Un modèle de monde génère un environnement simulé dans lequel l’utilisateur peut se déplacer et qu’il peut modifier, plutôt qu’un clip vidéo figé. Genie 4 génère à la volée des sons d’ambiance, de la musique et des dialogues interactifs, selon Google. Il peut maintenir une scène cohérente jusqu’à deux minutes, soit le double de la limite de son prédécesseur, Genie 3, selon TechCrunch.
Comment il fonctionne : Genie 4 s’appuie sur les modèles Gemini de Google, qui aident à préserver la cohérence d’une simulation, selon Google. Dans une expérience de recherche liée à Gemini Robotics, un modèle Gemini a découpé une tâche en étapes que Genie 4 a simulées en temps réel, ce qui, selon TechCrunch, montre une façon possible de tester des scénarios robotiques avant de les essayer dans le monde réel.
Limites connues : Des membres de Google DeepMind ont déclaré qu’il était encore tôt et que le produit final n’était pas encore défini, a rapporté TechCrunch. Les détails et les objets peuvent dériver à mesure qu’une simulation se prolonge, et l’équipe n’a pas encore trouvé comment rendre le son fidèle ou le texte dans le monde lisible, selon TechCrunch.
Qui y a accès : Genie 4 est d’abord déployé auprès de testeurs de confiance, selon Google. Il arrivera chez les abonnés Google AI Ultra dans Project Genie et chez les partenaires en accès anticipé de l’API Gemini et de Google AI Studio, ce qui, selon TechCrunch, doit se faire dans les semaines à venir.