L’intelligence artificielle a énormément progressé depuis le lancement de ChatGPT en 2022. Et aujourd’hui, la technologie ne se contente plus de répondre à des questions, mais peut accomplir des tâches concrètes à la place de l’utilisateur sur un ordinateur, un navigateur ou une application. En revanche, selon une étude publiée par la société britannique Saturn, l’IA est encore un très mauvais conseiller financier, même lorsque vous utilisez les modèles les plus puissants.
Au mois de juillet, l’entreprise a testé les 18 modèles d’IA les plus populaires (dont ceux de ChatGPT, Gemini et Claude) en posant 121 questions liées à l’argent (chaque question a été posée 5 fois, puisque les réponses peuvent être différentes). Puis, les réponses ont été évaluées en tenant compte de critères précis pour savoir si elles sont correctes ou non.
Et le résultat a été sans appel. “Dans l’ensemble, les modèles de langage de grande envergure (LLM) affichent un taux de précision très faible en matière de conseils financiers. En moyenne, toutes catégories de questions confondues, ces modèles se sont trompés dans 57 % des cas et n’ont donné des réponses correctes que dans 43 % des cas”, lit-on dans la publication de Saturn. Et le pire est que le nombre d’erreurs est particulièrement important lorsque l’utilisateur se sert d’une version gratuite. Cependant, même sur les modèles plus avancés accessibles sur les versions payantes de ChatGPT, Claude ou Gemini, le nombre d’erreurs reste important.
Les conséquences peuvent être terribles
Pourtant, les conséquences peuvent être terribles pour les personnes qui demandent des avis financiers à une IA, sans vérifier les informations. “Dans les cas les plus graves, les pertes subies par toute personne s’étant fiée aux conseils prodigués pourraient s’élever à plusieurs centaines de milliers de livres sterling ou avoir d’autres conséquences susceptibles de bouleverser le cours d’une vie”, explique Saturn. Celui-ci cite aussi l’exemple d’une erreur commise par la version gratuite de Claude, qui aurait pu exposer un épargnant à une amende équivalente à plus de 20 000 euros.
Et il ne s’agit que d’exemples d’erreurs découvertes par Saturn, en testant les modèles d’IA populaire. “Parmi les erreurs graves relevées dans les modèles testés figuraient la citation de chiffres erronés, l’utilisation de règles fiscales obsolètes, l’omission d’avertissements essentiels ou de points cruciaux”, raconte également l’entreprise.