ChatGPT et les outils d’IA générative ont beau faire la guerre aux deepfakes et aux contenus sexuellement explicites, les cybercriminels trouvent toujours le moyen de contourner les conditions générales d’utilisation. Récemment, rapporte The Guardian, un délinquant sexuel a été arrêté pour avoir réalisé un millier d’images pédopornographiques grâce à l’intelligence artificielle. À 48 ans, le Britannique a écopé d’une sanction inédite : en plus d’une ordonnance communautaire et d’une amende de 200£, le tribunal lui a en effet interdit d’utiliser des outils de génération d’image ou de texte, pour une durée minimale de cinq ans, sans l’autorisation préalable explicite des forces de l’ordre.
La décision vaut plus particulièrement pour les outils de deepfakes, capables de dénuder certaines photos, mais s’applique en réalité à tous les outils d’IA génératifs, comme ChatGPT, MidJourney, ou encore Meta AI. Parmi les outils existants, c’est Stable Diffusion qui est plus particulièrement pointé du doigt, pour sa capacité à créer du matériel ultra-réaliste d’abus sexuels sur mineurs.
Un premier pas vers l’interdiction des deepfakes
La semaine dernière, le gouvernement britannique a rendu illégal la création de deepfakes sexuellement explicite sans le consentement de la personne (majeure) concernée. En parallèle, la possession et le partage de matériel pornographique mettant en scène des mineurs est déjà interdit depuis les années 1990. Aux photos se sont ensuite ajoutés les photomontages, et les images réalistes réalisées avec des outils numériques. Il était donc logique que l’IA générative suive le même chemin, en étant, elle aussi, soumises aux mêmes interdictions. “Nous espérons que les poursuites enverront un message clair à ceux qui créent et distribuent ce contenu : il est illégal“, a martelé Susie Hargreaves, directrice générale de l’association Internet Watch Foundation (IWF). Pour le moment, les signalements pédocriminels liés à l’IA restent minoritaires, mais les cas sont de plus en plus fréquents, et les progrès techniques permettent de générer de fausses images de plus en plus difficiles à distinguer des vraies.
L’année dernière, l’Internet Watch Foundation a indiqué avoir trouvé 2 562 images artificielles pédocriminelles sur des forums du dark web. Ces dernières étaient “tellement réalistes” qu’elles méritaient d’être traitées comme du matériel pédopornographique classique, estime la fondation. De son côté, Stable Diffusion assure que les publications pornographiques générées via son outil sont imputables à une version ancienne de sa plateforme. Depuis 2022, elle affirme avoir investi dans des fonctionnalités visant à prévenir les utilisations abusives, notamment des “filtres pour intercepter les invites et les sorties dangereuses”.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
D’un autre côté, les IA génératives pourraient devenir un outil très efficace pour aider la police à aller à la pêche au pédophile. On pourrait imaginer des bots qui imiteraient la façon d’écrire des enfants pour débusquer des pédo, ça irait plus vite que la méthode manuelle actuelle où un gendarme ou policier est derrière l’écran.