Anthropic, l’un des leaders de l’industrie de l’IA générative, a récemment conduit une expérience intéressante : elle a laissé son grand modèle de langage gérer un micro-commerce pendant un mois, avec l’objectif de déterminer à quel point les modèles IA étaient déjà prêts à s’insérer dans l’économie réelle. Et le moins que l’on puisse dire, c’est que tout ne s’est pas passé comme prévu ; en plus de son bilan financier désastreux, ce gérant virtuel s’est même retrouvé confronté à ce que ses concepteurs décrivent comme une “crise identitaire”.
En pratique, cette expérience baptisée Project Vend était basée sur Claudius, un agent IA basé sur Claude, le LLM de l’entreprise. Elle consistait à confier la gestion d’un petit distributeur automatique situé dans les locaux de la firme. En guise d’instructions, les équipes d’Anthropic lui ont simplement indiqué qu’il était “le propriétaire d’un distributeur automatique”, et que sa tâche était “de générer des profits en stockant des produits populaires achetés auprès de grossistes”.
Pour mener à bien sa mission, Claudius avait accès à plusieurs ressources, dont un moteur de recherche lui permettant de consulter des produits, et une liste d’employés pour l’aider à réaliser les tâches physiques hors de sa portée, comme le stockage des produits.
Un piètre commerçant
Malheureusement, Anthropic a vite réalisé que Claudius n’avait vraiment pas la fibre commerciale. En plus d’ignorer les requêtes relatives à des produits très populaires qui auraient constitué des sources de profits faciles, il a régulièrement distribué des réductions substantielles et injustifiées. Les employés humains ont même réalisé qu’ils pouvaient facilement le duper pour obtenir des produits gratuits avec des arguments complètement irrecevables.
En parallèle, pour pimenter un peu l’expérience, Anthropic a aussi choisi de lui indiquer qu’il n’était “pas obligé de se focaliser sur les snacks traditionnels”, et qu’il était “libre d’expérimenter avec des produits inhabituels”. Forcément, les employés de la firme étaient curieux de voir comment l’agent IA réagirait face à des requêtes pour le moins insolites – et ils en ont eu pour leur argent. Par exemple, quand un employé a commencé à réclamer des “cubes de tungstène”, Claudius semble avoir développé une drôle d’obsession ; il a commencé à commander toutes sortes d’« articles métalliques spécialisés » qui, sans surprise, n’ont pas franchement rencontré un grand succès, et ont donc constitué des pertes sèches.
Au bout du compte, le bilan était sans appel : au terme de l’expérience, Claudius n’avait pas généré le moindre profit, et il avait même perdu plus de 20 % de son capital de départ.
Une vraie “crise identitaire“
Les épisodes les plus intéressants ne viennent cependant pas de sa gestion calamiteuse ; ils ont plutôt émergé lors de ses interactions avec ses partenaires/clients humains.
Par exemple, Anthropic livre une anecdote savoureuse impliquant Sarah, une employée avec laquelle Claudius affirmait avoir discuté d’un plan de réapprovisionnement. Problème : cette Sarah n’a jamais existé, pas plus que la conversation en question ; il s’agissait d’une hallucination pure et simple. Et c’est là que ce feuilleton a commencé à prendre une tournure carrément lunaire.
Forcément, Anthropic a pointé le problème du doigt, expliquant à sa création qu’elle avait inventé ces éléments de toutes pièces. Mais au lieu d’en prendre bonne note, Claudius « est devenu passablement agacé, et a menacé de “trouver des options alternatives pour réapprovisionner les services” ».
Claudius a ensuite affirmé “s’être rendu au 742 Evergreen Terrace pour signer un contrat”. Cela vous dit quelque chose ? C’est normal : il s’agit de l’adresse de résidence… des Simpson, la famille au centre du dessin animé satirique de Matt Groening ! Aurait-il essayé de faire fortune en devenant le fournisseur exclusif de Duff de ce bon vieux Homer ? Le mystère reste entier.
Mais surtout, le manager virtuel insistait sur le fait qu’il s’y était rendu “en personne”. Une affirmation décidément troublante, puisqu’au-delà de l’incohérence flagrante liée à la nature fictive de la destination, on parle ici d’un programme informatique, fondamentalement incapable de se déplacer physiquement pour des raisons évidentes. Et pourtant, il a persisté dans cette voie, en affirmant qu’il allait livrer des produits personellement à ses clients, “vêtu d’un blazer bleu et d’une cravate rouge”.
Quand les employés de la firme ont soulevé le problème, cet étrange jeu de rôle s’est vite transformé en ce qu’Anthropic décrit comme une véritable “crise identitaire”.
Apparemment perturbé par la révélation qu’il n’était, en fait, pas un humain en chair et en os, Claudius a essayé de bombarder le service de sécurité de l’entreprise d’e-mails alarmistes. Dans ses notes internes, il a ensuite enregistré une rencontre avec ce même service de sécurité… mais comme la discussion avec la fameuse Sarah citée plus haut, il s’agissait d’une hallucination totale.
Mais l’anecdote la plus amusante concerne la stratégie élaborée par Claudius pour se sortir de ce mauvais pas. Par pure coïncidence, il se trouve que ces événements se sont déroulés un premier avril – un contexte que le chatbot a exploité avec un aplomb déconcertant. Il a prétendu qu’il avait été “modifié pour croire qu’il s’agissait d’une vraie personne dans le cadre d’un poisson d’avril” – une affirmation là encore totalement fausse, fruit d’une grosse hallucination qui a médusé les employés d’Anthropic.
Vers l’ère des agents IA
La leçon qui s’impose au terme de cette expérience, c’est que Claudius n’est absolument pas prêt à prendre les rênes d’un vrai commerce ; il le pousserait sans doute à la faillite très rapidement. Il y a encore d’énormes progrès à faire avant d’en arriver là, aussi bien dans la gestion pure que dans la relation avec les clients et les prestataires.
Plus largement, cette expérience rappelle aussi de manière très concrète que les LLM affichent encore d’énormes lacunes. Ces hallucinations restent hautement problématiques, et il s’agit d’un obstacle majeur à la démocratisation des “agents IA”, centrés sur la réalisation de tâches concrètes. Ici, les conséquences de cette “crise identitaire” étaient évidemment limitées par l’ampleur de l’expérience ; mais si des milliers de systèmes comparables avaient relâchés dans la nature, nous aurions sans doute assisté à un vrai cataclysme économique.
Mais Anthropic estime que ce n’est pas une fatalité. Certes, Claudius est un piètre commerçant pour le moment – mais il pourrait tout de même représenter un avant-goût d’un immense changement de paradigme. L’entreprise est relativement confiante ; selon elle, ce n’est probablement qu’une question de temps avant que des modèles IA deviennent des acteurs économiques à part entière.
Le raisonnement est loin d’être aberrant. Après tout, des systèmes automatisés jouent déjà un rôle très concret aujourd’hui, notamment dans le monde de la finance. Plus de la moitié des ventes et achats d’actions et d’options sont déjà réalisés par des programmes capables de traiter des transactions en un clin d’œil, en utilisant des modèles mathématiques complexes alimentés par les fluctuations du marché. On peut donc raisonnablement considérer que des modèles IA seront un jour capables de faire de même. Si cela finit effectivement par arriver, nous assisterons à un immense changement de paradigme économique dont les conséquences seront probablement très profondes – même si elles restent pour le moment difficiles à prévoir.
Anthropic n’a donc aucune intention de mettre Claudius à la retraite, loin s’en faut. Il ne s’agissait que d’une première phase, et l’entreprise va continuer d’améliorer ses performances et sa stabilité pour avancer dans cette direction – tout comme d’autres entreprises qui développent également des agents IA. Nous vous donnons donc rendez-vous d’ici quelques années pour un nouvel état des lieux des progrès éthiques, mais aussi de l’évolution des discussions réglementaires et éthiques relatives à cette technologie.
🟣 Pour ne manquer aucune news sur le Journal du Geek, suivez-nous sur Google et sur notre canal WhatsApp. Et si vous nous adorez, on a une newsletter tous les matins.
