Passer au contenu

Intelligence artificielle : DeepMind rate un simple contrôle de math

Quand c’est pour coller une raclée à l’humanité au jeu de Go ou sur Starcraft II, il y a du monde, mais quand il faut réussir un contrôle d’algèbre, il n’y a plus PER-SON-NE.

 

Elle est capable de nous tenir la dragée haute à Pong, Starcraft II ou le jeu de Go. Reproduire une image ou détecter une maladie oculaire n’est pas un si grand défi pour ses capacités. On parle bien évidemment de DeepMind, la meilleure intelligence artificielle de Google.

Eh bien DeepMind, que certains voient comme un SkyNet en devenir, a échoué sur un contrôle de math’ destiné à des lycéens. Sur une question simple qui plus est.

Suite logique

En plus, les ingénieurs de Google ont joué fair-play puisque DeepMind a reçu un entrainement poussé sur l’algèbre, avec un accent mis sur les différents types d’opérations mathématiques (addition, soustraction, division, etc.).

Mais rien n’y a fait. Le mélange de mots, symboles et nombres a eu raison de la logique de l’intelligence artificielle de Google. Comme le soulignent les chercheurs, un problème mathématique simple requiert énormément de réflexion, car les humains apprennent à comprendre les opérations, à prioriser leur résolution et à transformer un problème en équation.

Avec son petit 14 sur 40, DeepMind a encore beaucoup à apprendre.

 

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.

28 commentaires
  1. Confirmation qu’il y a un gouffre en DeepLearning et IA.

    Aujourd’hui nous avons du DeepLearning, PAS de l’IA contrairement a ce que tout le monde veut nous faire croire….

  2. Le problème c’est qu’on est incapables de créer une IA généraliste. Elle est toujours très spécifique (Go, Echecs, Starcraft) mais est incapable de comprendre un sens global.

    C’est comme donner plusieurs milliers d’années d’expérience sur une tache précise à un singe. Il sera capable de le faire mieux que n’importe quel humain mais restera incapable de faire une autre tache similaire.

    Si je ne me trompe pas, les chercheurs ne sont pas certains de pouvoir un jour développer une IA généraliste. Au mieux on verra ca arriver dans plusieurs dizaines d’années, mais pas avant.

  3. Si cela se trouve, elle a très bien réussi le test, mais a choisi d’indiquer de mauvaises réponses. Skynet essaie de nous endormir !

  4. L’IA est dans une bulle spéculative, tout le monde prétend en faire pour influence les ventes ou le prix de ses actions en bourse.
    En réalité on à encore pas mal de chemin avant d’avoir quelque chose qui ressemble à une IA.

  5. Et pourtant, le deep Learning c’est de l’IA. La faute au public qui ne sait pas ce que veut dire « IA » et a la communauté scientifique qui a rebrand « machine learning » en « IA » pour attiser la curiosite

  6. C’est ce que j’allais dire!  On est sur un site technique et les mecs utilisent “Intelligence Artificiel” pour tout et n’importe quoi. Et ici c’est bien l’exemple type que ce n’est pas une IA à proprement parlé

  7. Le Deep Learning est dépassé, aujourd’hui la nouveauté c’est le Reinforcement learning.
    Sinon 14/40 c’est pas mal, on peut la considérer comme humaine 😀

  8. Le reinforcement lermarning est loi d’être nouveau. Le Deep Reinforcement Learning par contre, qui utilise le Deep Learning pour converger plus rapidement vers les choix de stratégie/action les plus efficaces, est assez récent.

    Quant à conclure que le Deep Learning est dépassé, c’est un peu rapide comme raisonnement. Question de cas d’usage.

  9. Je ne vois pas bien ce que le public a à voir avec ça. Ni le rebranding d’ailleurs (Data Science, ça c’est dans une large mesure du rebranding). Le Machine Learning, c’est un terme qui existe depuis belle lurette. Si tu veux faire dans la nuance (ce qui est en général une bonne idée), fais plutôt la distinction entre IA faible et IA forte…

  10. Un peu approximatif. La nuance se situe autour de la différence entre IA faible et IA forte.
    Quant à l’émergence d’une IA forte, elle me semble de toutes façons difficiles tant qu’on ne se sera pas affranchi des contraintes déterministes des ordinateurs actuels. Les ordinateurs quantiques, peut-être ?

  11. Une bonne grosse approximation dans cet article (en passant sur la référence moisie à Skynet). Dire que “Deepmind” a échoué, c’est faux. DeepMind, c’est l’entreprise. Ils ont publié un article scientifique expliquant qu’ils ont testé quelques modèles de réseaux de neurones récurrents (donc du Deep Learning), et qu’ils se sont tous plantés (pour résumer).

  12. Tu confonds IA généraliste et IA forte. L’IA forte c’est de la sci-fi.

    Quant aux calculateurs quantiques : pour le moment ils ne devraient avoir aucune influence, c’est le modèle de calcul qui pause problème surtout actuellement

  13. L’IA existait avant le machine Learning. Le terme IA s’est transformé en ML, puis à nouveau en IA.

    Le public a a voir que : regarde les commentaires ici par exemple. Les gens prennent tous l’IA pour de l’IA forte. Il faudrait qu’ils comprennent que IA = IA faible. Et que l’IA forte c’est de la scifi

  14. Oui, enfin, c’est plus compliqué que ça, hein.
    Le terme IA, au départ (quand le terme est apparu début 50), était une catégorie extrêmement générale, puisque ça désignait la capacité d’un calculateur à prendre une décision. Aujourd’hui, on parle simplement d’algorithmique. Le ML (dont le terme est quasi aussi ancien qu’IA, tout ça remontant aux années 50) s’intéresse aux processus d’apprentissage, ce qui exclue une approche déterministe, et il est quand même assez logique que le terme IA désigne aujourd’hui l’apprentissage automatique, puisque le but est d’imiter les processus cognitifs (donc l’intelligence), et notamment la capacité à apprendre. Rien à voir avec un quelconque rebranding de la communauté scientifique, qui a autre chose à faire. En opposition, on trouve la théorie des graphes, la recherche opérationnelle, la théorie des flots etc.

    Les média, en revanche, pourraient essayer de faire preuve d’un peu plus de pédagogie au lieu de faire dans le sensationnalisme. Prends le JdG, pas foutu de faire la différence entre un algorithme d’apprentissage et la boite qui l’a programmé (oui, DeepMind, c’est l’entreprise rachetée par Google récemment). C’est d’autant plus nécessaire que le paysage est compliqué. Prends la Recherche Opérationnelle. L’IA et la RO ont évolué en parallèle pendant des décennies, et leurs approches se ressemblent énormément sur plein d’aspects. Il y a même des choses communes comme les techniques de descente de gradient, ou la programmation dynamique. Autre domaine, les réseaux bayésiens, très utilisés en sureté de fonctionnement, peuvent être vus comme de l’algorithmique statistique, mélangée à de la théorie des graphes, mais sans apprentissage (sans transformation du graphe d’inférence). D’ailleurs, on essaye depuis quelques temps de faire des graphes d’inférences qui évoluent par régression sur les données d’exploitation. Est-ce de l’IA en soi, ou est-ce que ça utilise juste l’IA ?

    Bref, la situation est assez compliquée tant d’un point de vue scientifique qu’industriel, le public n’y est pas pour grand chose, et les commentaires ne
    me donnent pas l’impression que les gens croient comment tu le prétends
    en l’existence d’une IA forte, sensible et capable de conscience. En revanche, les commentaires raccourcis et les opinions à l’emporte pièce n’aident clairement pas la compréhension.

  15. Non non, ne t’inquiète pas, je ne confonds pas. Quant aux ordinateurs quantiques, c’est justement leur force de proposer un modèle de calcul non déterministe.

  16. Je pense pas que le public croit à l’IA forte. Je pense que les gens crient toujours « c’est pas de l’IA » car pour eux une IA c’est ce machin omnisciente façon IA forte.

    « Ce qui exclut une approche déterministe » « imiter les processus cognitifs » sans commentaire tellement c’est à côté de la plaque.
    Je suis désolé je vais pas élaborer sur téléphone. Mais ton premier paragraphe est totalement faux et à côté de la plaque. Je t’invite à lire entre autre Zachary Lipton qui a assez bien expliqué ce rebranding, c’est sur son blog.

  17. Du coup je comprends pas pourquoi tu t’es mis à parler IA forte alors que le premier commentaire ne parlait pas de ça.

    Okay, tu peux m’eclairer sur ce que ça apportera au domaine de l’IA? J’ai pas dit « du deep Learning » hein

  18. A l’heure où les GAN sont partout c’est en effet un peu prématuré d’enterrer le deep Learning. Même si je pense personnellement que ce n’est pas le meilleur axe de recherche pour le futur, en tant que grosse black box.

  19. Pour l’IA forte, OK, je vois ce que tu veux dire maintenant. Et oui, il y a des réactions de ce genre, je ne sais pas si elles sont représentatives.

    Quant à savoir d’où elles viennent, écoute, si tu ne veux pas élaborer de réponse, on va devoir s’arrêter là. Si tu ne veux pas me dire pourquoi d’après toi « Ce qui exclut une approche déterministe » est à côté de la plaque (c’est dommage, on aurait pu discuter des systèmes experts, et de leur appartenance à l’IA), je peux pas tellement justifier mon affirmation. Si tu ne me dis pas pourquoi le lien entre les processus cognitifs et l’IA te semble absurde, si plus globalement tu te contentes d’affirmer que je raconte n’importe quoi, on ne va pas aller bien loin.

    J’ai lu l’article de Zachary Lipton auquel tu fais référence, il y a effectivement des points intéressants (et un peu plus argumentés et nuancés qu’ici), et je note d’ailleurs qu’il n’attribue pas l’origine de la confusion entre  ML et IA aux scientifiques eux-mêmes à l’origine. Il critique en revanche le positionnement de la communauté scientifique sur ce sujet. Mais il y a des choses à répondre à cet article. Notamment sur l’historique du terme IA et le focus sur les années 80 et 90 du paragraphe concerné, qui passe quasiment sous silence l’époque des années 50 à 80 (ce n’est pas comme si cette époque avait joué un rôle majeur dans l’imaginaire collectif sur le sujet). Ou le fait qu’il y a deux fois plus d’articles publiés depuis 2015 et liés au mot-clé “Machine Learning” qu’à “Artificial Intelligence” que ce soit sur Google Scholar ou CiteSeerX (tendance inverse de celle qu’il observe sur Google Trends dans un autre article, là aussi il y a matière à discussion). Ou le rôle joué par les médias, qu’il a abordé de manière assez critique et que j’ai moi-même évoqué sans que tu réagisses. Un dernier point, très intéressant, et qu’il a soulevé sans tellement l’approfondir : le positionnement des organismes financeurs. Là, je n’ai pas de stats précises, mais en France j’ai l’impression de voir passer plus d’appels à projets avec le terme IA que ML, et ça me parait fondamental (si du moins mon observation se généralise). Parce que ça soulève une hypothèse : celle qu’il n’y a pas eu un rebranding de la part d’une communauté pour attirer l’attention du public (c’est quand même le but du rebranding), mais bien un glissement général dont les causes sont bien plus compliquées que ça. J’ai essayé de le faire valoir, sans succès.

    Mais ce n’est pas grave, si tu n’as rien de personnel à ajouter, j’irai en discuter directement avec Zachary Lipton sur son blog.

  20. Tout dépend de ce qu’on entend. En tant que sujet de recherche fondamental, probablement pas de manière indépendante. Dans le cadre du Reinforcement Learning, en revanche, je pense que si.
    Par contre, je pense qu’on va voir encore émerger pas mal de cas d’usage du ML. Mais effectivement, ce ne sera pas un sujet de recherche en soi.
    Par contre, le côté boite noire, c’est un peu le problème de toute approche stochastique. Certes, le DL est particulièrement mal loti de ce point de vue, mais c’est un inconvénient qu’on ne pourra jamais totalement écarter.

  21. Sans rancune hein, le « à côté de la plaque » était juste une manière brève d’exprimer que pour moi tu n’as pas attaqué le problème selon un angle pertinent au début de notre « débat ». J’essaierai de retrouver mes logs pour me connecter sur ordinateur et pouvoir argumenter.

    Donc je skip ça pour passer à Lipton. J’ai eu l’occasion d’en discuter avec lui et je pense qu’on est globalement en accord, donc j’ai préféré te rediriger vers son post : c’est de bien meilleur qualité que mes capacités rédactionnelles.
    A la serpe :
    * D’accord sur les années 50 à 80, mais cette genèse n’explique rien d’autre que le choix initial de « IA »
    * Les soumissions machine learning plutôt qu’IA c’est (selon moi) simplement car les scientifiques savent que IA est un mot vide est marketing. Je publie sous l’appellation ML, je n’oserai jamais écrire IA dans la moindre communication. En général je réserve ML aux scientifiques et IA au public
    * Entièrement et totalement d’accord avec toi pour les appels à projets. Et pour moi (il me semblait que Lipton le disait dans son article aussi) le rebranding IA n’est pas pour appâter le public mais les financeurs ! Donc par transitivité le public : le mot IA fait plaisir au public comme on le disait avant, donc les projets financent de l’IA, pour pouvoir claquer un mot qui fait bien. Le « Plan IA » de Villanni avait plus de wow factor que « Plan Deep Learning »

  22. J’ai l’impression qu’on se croise partout décidément ! Mais j’apprécie énormément chacun de tes commentaires, me retrouvant à disserter bien plus que je ne le prévois à chaque fois.

    Globalement d’accord avec toi à l’exception du fait qu’un algo stochastique n’est pas forcément non interprétable. Il y a plusieurs sens/critères à l’interpretabilité, et même si le non déterminisme nuit à l’interprétabilité, ça ne fait pas immédiatement d’un algo une boîte noire ! Le Kmeans clustering est stochastique et pourtant super interprétable à plein de points de vue

  23. Pas de soucis 😉
    On est d’accord sur pas mal d’observations, mais pas tellement sur l’ordre de causalité. Notamment “le rebranding IA n’est pas pour appâter le public mais les financeurs”. Parce que le mot IA, ce ne sont pas les scientifiques qui l’insèrent dans les appels à projets, ils se contentent d’y répondre en disant “oui oui, on fait de l’IA, pas de soucis. Même de la Data Science si vous voulez”. Ce n’est pas forcément très glorieux (en même temps, il faut bien financer son travail), mais on peut difficilement le leur reprocher. Tu me diras surement qu’il y a aussi des scientifiques, par exemple détachement à l’ANR dans les départements scientifiques, mais je ne suis pas sûr qu’ils soient en mesure d’influer là-dessus. Parce que l’ANR, finalement, doit lui aussi aller le chercher, son budget de financement. Après, on rentre dans des arcanes politiques qui m’échappent.

    On a surement un devoir, ou au moins une responsabilité, de pédagogie auprès du public. Mais les politiques, qui sont derrière la plupart des financements, en ont un aussi, et j’ai plus l’impression qu’on subit le marketing IA plus qu’autre chose. C’est un peu cynique de n’y voir qu’un opportunisme décomplexé. Lipton a évoqué le problème dans plusieurs articles, mais très rapidement, alors que je pense que c’est central.

    À ce sujet, “D’accord sur les années 50 à 80, mais cette genèse n’explique rien d’autre que le choix initial de « IA »”, typiquement, je ne suis pas d’accord. J’ai franchement l’impression que l’impact sur l’imaginaire collectif de ce terme date de l’époque des années 50, qui correspond aussi à l’age d’or de la SF, et qu’on n’a jamais arrêté de parler d’IA. Ce n’est pas délirant d’imaginer que cette symbolique a impacté avant tout les politiques, et que la communauté scientifique n’a fait que suivre. D’autant que, pour travailler aussi beaucoup avec des industriels, eux ne tombent pas dans le panneau.

    Et “Donc par transitivité le public”, dans une certaine mesure, oui. L’exemple de Villeni l’illustre bien. Mais je ne suis pas sût que ce soit central, à mon avis, c’est plus un effet de bord.
    En tous cas, ça illustre un phénomène qui est bien plus large et ne date pas d’hier : le gouffre entre la recherche scientifique et le regard qu’on porte dessus. D’un côté le public (sur qui on peut taper, mais c’est un peu facile), et d’autre part le politique (sur lequel taper est déjà beaucoup plus amusant).

  24. On est d’accord, je ne dis pas que le côté stochastique rend un algo impossible à interpréter, juste que ça complique forcément la tâche. Bon, OK, s’agissant de réseaux de neurones récurrents, ça commence à devenir un sacré paquet de spaghetti…
    En tous cas, ça fait plaisir de discuter de sujets un peu de fond sur un site grand public !

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *