Créez une vidéo entière avec l’IA à partir de photos, Google lance Lumiere
Lumiere AI, l’intelligence artificielle innovante développée par Google en collaboration avec l’Institut des sciences Weizmann et l’Université de Tel Aviv pour créer des vidéos réalistes à partir de photos et d’instructions textuelles
La collaboration entre Googlel’Institut des sciences Weizmann et l’Université de Tel Aviv ont donné naissance à Lumiere AI, un modèle d’intelligence artificielle avancé dédié à création vidéo à partir de photographies et de commandes de texte. Ce projet porte le nom des pionniers du cinéma, les frères Lumière, en hommage à leur invention de la caméra et du projecteur de cinéma. La particularité de Lumiere AI réside dans sa capacité à générer des mouvements fluides et réalistes des sujets dans les vidéos, surmontant les limitations typiques d’autres logiciels tels que Stable Diffusion, connus pour leurs imperfections dans le maintien de la cohérence des images animées.
Google a introduit une solution technologique innovante pour Lumiere AI, appelée «Espace-Temps U-Net« . Cette architecture, de nature spatio-temporelle, est conçue pour traiter l’intégralité de la vidéo en un seul passage. Contrairement à d’autres méthodes créant des séquences intermédiaires, souvent affectées d’incohérences, Space-Time U-Net garantit une continuité fluide et logique entre les actions. Au centre de ce processus se trouve l’intelligence artificielle générative qui, après une analyse minutieuse des différents mouvements possibles, sélectionne l’option la plus appropriée. Ce choix est guidé par une vaste base de données dont disposent les modèles Google, permettant de générer des vidéos extrêmement réalistes.
La qualité vidéo impressionnante et les capacités créatives de Google Lumière en font un outil accessible à tous, même à ceux qui n’ont pas de compétences spécifiques en vidéo numérique ou en montage. Ce modèle offre un contrôle complet sur les images clés individuelles et sur l’ensemble de la vidéo, simplifiant considérablement les opérations d’édition. Grâce à Lumiere, il est possible de générer des vidéos à partir d’une seule image, en conservant le style graphique et les couleurs de l’image de départ, un processus défini comme génération stylisée.
Des fonctionnalités de pointe
Pour illustrer, en prenant en considération le cas d’une peluche : en insérant une photo de celui-ci dans Lumière et en demandant au programme de simuler son mouvement d’un point A à un point B, l’IA crée une séquence unique et harmonieuse. De cette façon, chaque mouvement est parfaitement synchronisé et intégré au contexte de la vidéo. L’efficacité de Lumiere AI est également démontrée par sa formation : le modèle a été développé à l’aide d’un ensemble de données composé de 30 millions de vidéos, chacune accompagnée de légendes de texte pertinentes.
Avec l’inpainting vidéo, Lumiere vous permet de changer les couleurs des vêtements, des objets et des détails à la volée, simplifiant ainsi les opérations qui nécessitaient auparavant des compétences spécifiques. Cependant, la simplicité d’utilisation de Lumiere soulève des questions sur le risque de créer du contenu faux ou trompeur. En conséquence, les chercheurs de Google soulignent l’importance de développer des outils de détection biais et les utilisations malveillantes, pour garantir une utilisation sûre et équitable de la technologie. Actuellement, Google Lumière n’est pas encore accessible au public. Le modèle a été formé sur 30 millions de vidéos avec des descriptions textuelles et peut générer des vidéos de cinq secondes à une résolution de 1 024 x 1 024 pixels.
Source: Lumière
