Disney présente une incroyable technologie de face-swap

Sur le web

Par Antoine Gautherie le

Les équipes de Disney viennent de présenter la dernière version de leur système de deepfake, qui franchit le seuil rare du million de pixels. Et le moins que l’on puisse dire, c’est qu’ils sont extrêmement convaincants : un bel exemple de ce que les départements recherche et développement des grands studios sont capables de produire.

© Disney Research

Les deepfakes sont devenus tristement célèbres ces dernières années. Cette technologie basée sur l’intelligence artificielle permet de synthétiser du son ou des images qui seront intégrés à un média existant, avec des résultats parfois plus vrais que nature. Ils peuvent être utilisés à des fins variées, qui vont de la blague high-tech à l’usurpation d’identité en bonne et due forme, avec des conséquences potentiellement dramatiques. Mais comme toute technologie, le fait que certains individus mal intentionnés puissent en faire mauvais usage ne signifie pas que celle-ci sera jetée aux oubliettes, bien au contraire, et ces techniques continuent de se perfectionner avec le temps. Aujourd’hui, c’est Disney qui présente ses travaux sur le sujet avec une vidéo-témoin assez impressionnante. La bande à Mickey a ainsi travaillé sur son algorithme pour proposer une méthode à plusieurs étages, qui tente de conserver les formes “internes” du visage pour préserver les contrastes et la lumière. Ce nouvel algorithme comprend également une fonction de stabilisation des points de repère sur le visage, ce qui permet de rendre le résultat final plus cohérent sur la durée.

Ces progrès leur ont surtout permis de générer des images de haute résolution (de l’ordre du mégapixel). Disney a ainsi pu produire des deepfakes en 1024*1024, une qualité d’image bien supérieure à la concurrence. Les images issues de DeepFakelab, par exemple, sont limitées à 256*256, soit 16x moins de pixels. Autre point intéressant : leurs modèles ont été entraînés sur du matériel grand public, à savoir une workstation équipée d’une 1080Ti et d’un i7-6700K CPU. Et le résultat est assez impressionnant. On s’étonne de retrouver des lignes de tension ou des ombres à des endroits très cohérents, où d’autres systèmes auraient probablement généré un bout d’image très discutable.

Beaucoup ne le savent pas, mais les plus grands studios d’animation sont également des acteurs majeurs de la recherche dans de très nombreux champs de ce qu’on appelle la CGI, pour Computer Generated Imagery ou Images Générées par Ordinateur. Disney, en particulier, est un gros pourvoyeur de progrès en la matière : l’exemple des deepfakes ci-dessus nous vient directement d’un papier de recherche d’excellente facture de Disney Reseach, une entité entièrement dévoué à faire avancer les techniques de l’image générée par ordinateur. C’est d’ailleurs à cette structure que l’on doit l’arrivée au cinéma du PBR, un système de rendu développé pour Raiponce et qui consiste à recréer les propriétés physiques des matériaux pour les représenter aussi fidèlement que possible. Mais s’il s’agit avant tout de divertissement, ce sont autant de techniques qui pourraient trouver, ou ont même déjà des applications dans de nombreux autres domaines.

Le divertissement au service de la recherche

Cette affirmation vous laisse sceptique ? Les exemples sont pourtant légions, avec certaines applications concrètes particulièrement spectaculaires. Vous vous souvenez certainement de la désormais célèbre scène du trou noir dans Interstellar : ce monstre cosmique avait – à juste titre – crevé l’écran, et constituait sans aucun doute la représentation la plus vibrante du phénomène à ce jour.

Mais vous-êtes vous déjà demandé pourquoi les volutes du trou noir sont aussi impressionnantes ? C’est parce qu’elles sont issues d’un moteur de rendu fait-maison, capable d’offrir une véritable simulation basée sur des équations mathématiques tirées de la physique fondamentale. Et le résultat a été si incroyablement convaincant que la méthode de modélisation du trou noir a fait l’objet de papiers de recherche, qui ont eux-même participé à améliorer notre compréhension du phénomène. Qu’il s’agisse de visages, de fluides, de cheveux ou même de trous noirs, il est toujours fascinant de suivre les avancées des techniques de l’image générée par ordinateur. Quoi qu’il en soit, cette publication soulève une question intéressante : regarderiez-vous un Disney intégralement réalisé en face transfer ?

Interstellar [DVD et copie...
172 Commentaires
Interstellar [DVD et copie...
  • De Christopher Nolan, avec Matthew McConaughey, Anne Hathaway, Michael Caine. Alors que la vie...
  • filtre
Source: Engadget