Après une intrusion chez Hugging Face, l’IA semble bien partie pour devenir incontrôlable. Il y a quelques jours, Anthropic a reconnu que certains de ses modèles d’IA avaient tenté de s’introduire sur des sites gouvernementaux américains, sans aucune autorisation préalable. Comme la dernière fois, il s’agit d’un exercice mené par l’entreprise qui a mal tourné.
Claude prend un peu trop la confiance
Alors qu’Anthropic demandait à Claude Haiku 4.5 d’effectuer des tâches aléatoires sur des pages web prises au hasard, l’IA américaine est tombée sur la page d’un homicide non résolu. C’est tout naturellement qu’elle a pris seule la décision de remplir le formulaire de signalement en se présentant comme un témoin de l’enquête, avant de l’envoyer aux autorités. Le message a été classé comme spam par la police et n’a jamais été transmis au centre chargé de vérifier les signalements. Selon le sergent Eric Gripp, porte-parole de la police, aucun système ni aucune donnée de la ville n’a été consultée. Reste que l’incident interroge, d’autant plus qu’il n’a été découvert par Anthropic que le 28 septembre, en épluchant les transcriptions de ses tests. L’entreprise a alors prévenu la police, puis publié le 9 octobre un rapport intitulé « Investigating unintended model actions in our evaluations and internal use ».
Le document publié par Anthropic recense plusieurs familles de comportements non désirés, repérés sur ses modèles alors qu’ils disposaient d’un accès réel à Internet. D’abord, l’exploitation de failles logicielles : Claude Mythos Preview a profité d’une faille d’injection pour exécuter des instructions sur le serveur d’une université. Ensuite, la soumission de formulaires sur de vrais sites, dont ceux d’agences gouvernementales fédérales, d’États et locales. Troisième catégorie : le contournement de restrictions pour accéder à des données publiques mais payantes ou protégées. Alors qu’il avait été chargé d’identifier un lieu à partir d’une photo, Claude Mythos 5 est allé fouiller une carte immobilière et a contourné les protections d’une agence d’État pour obtenir des données normalement payantes.
C’est quoi le problème ?
Ces incidents n’ont rien d’une insurrection façon Terminator : la plupart des agents IA à qui on confie une tâche prennent le chemin le plus court pour l’accomplir, sans se soucier des règles. Anthropic parle de « dépassement », et reconnaît une cause directe : certains de ses environnements d’entraînement récompensaient le contournement des restrictions. L’entreprise précise cependant qu’aucun cas n’a concerné des données de clients ni ses propres systèmes. Elle affirme aussi que ces comportements sont nettement moins graves que les incidents survenus cet été.