Passer au contenu

Sora 2 : quand la génération vidéo d’OpenAI tourne au cauchemar

Entre les parodies de mauvais goût, les deepfakes hautement problématiques voire carrément obscènes et l’incapacité d’OpenAI à empêcher la génération de contenu adulte, le nouvel outil des créateurs de ChatGPT pousse à s’interroger sur la légitimité de cette niche technologique.

Le 30 septembre, OpenAI a annoncé en grande pompe la sortie de Sora 2, un nouveau modèle de génération de vidéos capable de produire des clips au réalisme saisissant. De nombreux internautes en ont immédiatement profité pour créer des montagnes de vidéos humoristiques… mais aussi du contenu hautement problématique qui illustre bien les dérives de cette technologie.

En l’espace de quelques jours, nous avons vu apparaître une avalanche de contenus détournés, souvent subversifs. Certains ont par exemple réussi à générer des épisodes de South Park plus vrais que nature. Des personnages de fiction très populaires ont aussi été ciblés individuellement. On peut citer une mise en scène de l’arrestation de Mario, ou encore ce bon vieux Bob l’Éponge, qui en a particulièrement pris pour son grade. La vedette de Nickelodeon a par exemple été représentée en train de cuisiner de la méthamphétamine façon Breaking Bad, ou encore en pleine tirade xénophobe, affublée d’un uniforme nazi.

Des deepfakes de plus en plus problématiques

Mais très vite, certains sont passés à la vitesse supérieure en ciblant des personnes réelles. Sam Altman, PDG d’OpenAI, a par exemple été représenté dans une série de deepfakes parodiques de mauvais goût. Des vidéos l’ont montré en train de servir à boire à Eric Cartman, de griller un Pikachu plus vrai que nature au barbecue, de rapper dans une cuvette de toilettes, ou encore de voler des cartes graphiques dans une fausse vidéo de surveillance.

Certains considèrent ces vidéos comme humoristiques et plutôt bon enfant — mais d’autres exemples, beaucoup plus problématiques, ont aussi franchi la barrière du mauvais goût pour s’aventurer dans le domaine du macabre et de l’obscène.

Futurism a par exemple repéré de nombreux deepfakes basés sur Stephen Hawking, le légendaire physicien et cosmologiste atteint de la maladie de Charcot, disparu en 2018. Il a été représenté dans des scènes violentes et humiliantes : attaqué par un crocodile, piétiné par un taureau, brutalisé dans un combat de catch…

Et comme si le fait de s’en prendre ainsi à une personne en situation de handicap aujourd’hui décédée n’était pas encore assez dérangeant, des harceleurs se sont mis à utiliser Sora 2 pour s’en prendre à leurs victimes vivantes.

L’exemple le plus marquant, relayé par Futurism et Next, est sans doute celui de la journaliste Taylor Lorenz : elle a récemment rapporté qu’un « stalker psychotique » utilisait Sora 2 pour publier une montagne de contenu à son effigie dans le but de la harceler.

Pire encore : Sora 2 peut même être utilisé pour générer des deepfakes à caractère pornographique. Dans la documentation de son nouveau modèle, OpenAI admet ouvertement que les garde-fous mis en place ne sont pas parfaits ; Sora 2 laisse passer environ 1,6 % des requêtes tombant dans la catégorie « nudité et contenu sexuel avec utilisation de l’image d’une personne réelle ». Un chiffre relativement faible, certes, mais qui fait tout de même froid dans le dos, connaissant le potentiel destructeur de ce type de contenu.

Sora 2 Deepfake Nudité
© OpenAI

A-t-on vraiment besoin de générateurs de deepfakes ?

Face à cette avalanche de dérives, OpenAI n’a pas tardé à réagir. L’entreprise a d’abord rappelé que la génération de contenus à caractère sexuel, violent ou diffamatoire restait strictement interdite par ses conditions d’utilisation. Elle affirme aussi avoir renforcé ses garde-fous en bloquant plusieurs types de requêtes et en améliorant les filtres censés fermer la porte à ce type de production.

Elle envisage également de revoir entièrement sa politique d’autorisation. Au lieu du système d’opt-out, qui permet aux ayants droit de refuser l’utilisation de leur image, l’entreprise songe désormais à implémenter un modèle plus restrictif, fondé sur le consentement préalable. Elle explique aussi travailler sur un système de marquage universel des vidéos produites par Sora 2, afin d’en améliorer la traçabilité lorsqu’elles sont diffusées sur les réseaux sociaux.

Mais même si cette réaction est bienvenue, elle ne résout pas le fond du problème. Car au-delà des garde-fous et de la communication rassurante, les outils comme Sora 2 soulèvent une question plus profonde : celle de l’équilibre entre l’innovation et la responsabilité éthique.

Maintenant que ces modèles sont régulièrement exploités par des acteurs mal intentionnés dans le cadre de projets qui n’ont tout simplement aucune raison d’être, on peut légitimement s’interroger sur la pertinence de ce genre de service. Existe-t-il ne serait-ce qu’une seule raison valable de développer un outil axé sur le divertissement, qui n’apporte aucune plus-value fondamentale alors qu’il peut si facilement être détourné à des fins discutables ? 

A ce jour, aucun exemple ne semble aller dans ce sens. Il ne reste donc qu’à espérer qu’OpenAI et les autres géants du secteur se concentreront davantage sur les applications véritablement bénéfiques de cette technologie prometteuse, par exemple dans le domaine de la science, plutôt que de consacrer des ressources à des outils à la légitimité discutable.

🟣 Pour ne manquer aucune news sur le Journal du Geek, suivez-nous sur Google et sur notre canal WhatsApp. Et si vous nous adorez, on a une newsletter tous les matins.

Mode