L’IA de l’app Citizen écoute les radios de la police, bricole un résumé et publie une alerte dans la foulée. Les analystes n’arrivent qu’après, pour corriger les fautes et réparer les dégâts. Autant dire que les utilisateurs voient d’abord la version brute… erreurs comprises, comme le rapporte 404media.
Une app anxiogène qui en rajoute
L’application compte environ 10 millions d’utilisateurs aux États-Unis. Chacun peut y publier des photos et des vidéos d’événements locaux, auxquels s’ajoutent les alertes générées par l’entreprise. Pendant longtemps, ces dernières étaient rédigées par des humains. Mais la direction a peu à peu délégué la tâche aux algorithmes.
Aux États-Unis, ces apps de « crime awareness » se sont multipliées ces dernières années, alors que la sécurité est devenue une préoccupation majeure. Citizen n’est pas la seule du genre : d’autres plateformes locales ou nationales proposent aussi de cartographier les crimes en temps réel. Leur succès tient à une promesse simple – se sentir mieux informé et donc mieux protégé – mais elles sont régulièrement critiquées pour amplifier l’anxiété et créer une vision déformée de la criminalité.
Et forcément, les ratés s’accumulent. Une « collision de véhicules » se transforme en « accident de véhicule meurtrier ». Des adresses mal interprétées créent des incidents fantômes. Lors des courses-poursuites, l’IA publiait parfois cinq à dix alertes différentes pour un seul événement. Elle pouvait aussi lâcher des détails crus (« personne blessée au visage »), ou balancer des informations privées.
Dans certains cas, l’IA minimisait même les faits : un vol à main armée devenait un simple vol. La carte de l’app peut se retrouver saturée de points rouges qui donnent l’impression d’une ville assiégée, alors qu’il s’agit parfois de la répétition d’un même incident.
Citizen n’en est pas à son premier dérapage. En 2021, son fondateur avait offert 30.000 $ pour retrouver un incendiaire supposé… qui s’est révélé innocent. Pourtant, malgré ces casseroles, l’app continue de séduire. La ville de New York vient même de lancer son propre compte officiel « NYC Public Safety », vanté par le maire Eric Adams comme un outil pour « informer les New-Yorkais et protéger leurs proches».
Les promesses sont belles, mais dans la pratique ça reste très bancal. L’IA se trompe parfois de façon incompréhensible, elle hallucine. Et Citizen ne se facilite pas la tâche : la plateforme vient de licencier 13 salariés, dont certains reprochaient justement à la direction de privilégier la quantité à la qualité. En parallèle, l’entreprise confie de plus en plus de tâches à des prestataires au Népal ou au Kenya, payés 1,50 à 2 $ de l’heure pour écouter les fréquences radio, avec les erreurs d’interprétation que cela suppose.
🟣 Pour ne manquer aucune news sur le Journal du Geek, suivez-nous sur Google et sur notre canal WhatsApp. Et si vous nous adorez, on a une newsletter tous les matins.
