Sur Discord, mieux valait éviter de chercher les problèmes ces dernières semaines. Des milliers d’utilisateurs ont été suspendus après avoir envoyé des images parfaitement anodines. On parle ici de captures d’inventaires dans Minecraft, d’échiquiers, de tableurs, de textures de jeux vidéo ou même de simples fonds transparents gris et blancs. En effet, un bug dans le système de modération automatisée de la plateforme a confondu ces images avec des contenus dangereux.
Le problème aurait touché des comptes depuis le mois de mai, mais il a explosé au grand jour après un week-end particulièrement chaotique. Environ 200 personnes auraient été bannies en quelques jours, parfois de manière définitive, avant que Discord ne reconnaisse publiquement le souci. Au total, plus de 8 000 utilisateurs auraient été victimes de ces faux positifs.
Des cases partout
Certains utilisateurs ont reçu une suspension associée à des accusations de partage de contenus pédopornographiques, alors qu’ils avaient simplement publié une capture d’écran de Minecraft. Autant dire que le message peut être particulièrement violent à recevoir, même lorsqu’il s’agit d’une erreur technique.
Discord explique que son système de sécurité compare les contenus envoyés sur la plateforme à des bases de données d’images illégales ou dangereuses déjà identifiées. Cette méthode permet de repérer rapidement certains contenus graves, notamment les images d’exploitation sexuelle de mineurs. Le problème, c’est qu’un système automatisé ne comprend pas vraiment une image comme un humain. Il analyse des formes, des motifs, des pixels et des correspondances statistiques.
Des internautes pensent que les motifs en grille ont pu devenir particulièrement sensibles parce qu’ils sont parfois utilisés pour tenter de masquer ou de contourner les outils de détection. L’hypothèse est crédible, mais elle montre surtout les limites du procédé. Une grille peut être un échiquier, un inventaire de jeu, une feuille Excel ou un contenu malveillant. Toute la difficulté est là.
Discord assure que des humains devaient vérifier les signalements
La plateforme affirme qu’une équipe humaine de Trust & Safety était censée examiner les contenus détectés avant qu’une sanction définitive ne soit appliquée. Sauf qu’un bug aurait empêché cette étape de corriger les faux signalements. Les comptes concernés sont donc restés bloqués, alors qu’ils auraient dû être rétablis après vérification.
Discord a depuis annoncé avoir identifié et corrigé le problème. Les utilisateurs touchés sont en cours de réintégration, tandis que l’entreprise promet de mettre en place de nouveaux garde-fous pour éviter qu’un incident similaire se reproduise.
À l’ère du numérique et de l’intelligence artificielle, la modération à grande échelle est devenue un vrai casse-tête pour les plateformes de discussion. Discord compte des centaines de millions d’utilisateurs et des volumes gigantesques de messages, d’images et de communautés à surveiller. Sans automatisation, il serait impossible de réagir assez vite face aux contenus réellement dangereux. Mais laisser un outil prendre seul une décision aussi lourde qu’un bannissement permanent reste tout aussi risqué.
L’IA est partout, mais elle ne peut pas encore tout décider
Discord évite soigneusement de qualifier son système d’IA, préférant parler de modération automatisée ou de machine learning. La nuance est surtout technique parce que dans les faits, presque aucune “intelligence artificielle” n’en est vraiment une actuellement. De plus, le débat reste le même. Les plateformes utilisent de plus en plus d’outils capables de trier, signaler et sanctionner automatiquement les contenus.
Instagram, Facebook, TikTok ou Tumblr ont eux aussi connu des vagues de suspensions contestées ces dernières années. À mesure que les entreprises réduisent leurs équipes de modération humaine ou leur confient uniquement les cas les plus complexes, les erreurs peuvent devenir beaucoup plus difficiles à contester.
🟣 Pour ne manquer aucune news sur le Journal du Geek, suivez-nous sur Google et sur notre canal WhatsApp. Et si vous nous adorez, on a une newsletter tous les matins.
