L’intelligence artificielle de Facebook extrait des personnages de vidéo pour qu’on puisse jouer avec

Des chercheurs de Facebook développent actuellement une technologie basée sur l’intelligence artificielle qui permet d’extraire un personnage d’une vidéo, pour le contrôler ensuite dans un autre environnement.

Facebook a mis au point une technologie qui, si elle continue d’être peaufinée, pourrait offrir d’intéressantes perspectives dans le monde du jeu vidéo, et pourquoi pas dans les mondes virtuels. Vid2Game est une intelligence artificielle qui analyse des vidéos de personnages accomplissant des actions spécifiques (un joueur de tennis, par exemple) pour les recréer et permettre de les contrôler ailleurs, dans un autre environnement.

Une technologie à perfectionner

Pour accomplir cette tâche, l’équipe a utilisé deux réseaux neuronaux. Le premier, Pose2Pose, s’occupe de la vidéo d’origine, il isole non seulement le personnage mais également ses différentes poses. Le second système, Pose2Frame, va incruster la personne dans une nouvelle scène et gérer les interactions avec les lieux (ombres, lumière, etc.) tout en évitant autant que possible les artefacts.

L’utilisateur peut ensuite contrôler les mouvements du joueur avec un joystick ou un clavier. Pour le moment, le résultat ressemble un peu aux premières incrustations sur fond vert, et puis il faut encore améliorer certaines animations (le personnage donne l’impression de « flotter » sur le sol).

Mais c’est un début intéressant, qui si la recherche va au bout, permettra d’insérer son sportif, acteur ou YouTubeur préféré dans une scène et jouer avec.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *