La nouvelle équipe « Preparedness » dirigée par Aleksander Madry, directeur du Center for Deployable Machine Learning au MIT, se concentrera sur l’identification et la prévention des risques allant de la cybersécurité aux menaces nucléaires. Elle aura pour mission principale de suivre, de prévoir et de protéger contre les dangers des futurs systèmes d’IA. Et des risques, il y en a, comme la capacité de l’IA à tromper et persuader les humains (dans les attaques par phishing, par exemple), mais aussi dans leur potentiel à générer du code malveillant.
Annuler l’apocalypse IA
Les domaines d’étude que l’équipe va surveiller ne sont pas tous immédiatement évidents. OpenAI cite dans un billet de blog des menaces « chimiques, biologiques, radiologiques et nucléaires » comme domaines de préoccupation majeure en ce qui concerne les modèles d’IA. Le CEO d’OpenAI, Sam Altman, est connu pour ses positions plutôt alarmistes sur l’IA, souvent exprimées soit pour des raisons d’image, soit par conviction personnelle. Toutefois, la décision de la société d’allouer des ressources pour étudier des scénarios dignes de romans de science-fiction dystopiques va plus loin que ce que certains observateurs attendaient.
Ce groupe est également chargé de formuler une « politique de développement informée par les risques », qui détaillera la manière dont OpenAI construit ses évaluations de modèles d’IA, ses outils de surveillance et sa structure de gouvernance pour une surveillance à travers le processus de développement des modèles. Cette politique est conçue pour compléter les autres travaux de la société dans la discipline de la sécurité de l’IA, en se concentrant sur les phases avant et après le déploiement des modèles.
En parallèle, OpenAI lance un appel à idées auprès de la communauté. Les dix meilleures propositions recevront un prix de 25.000 dollars et une possibilité de job au sein de l’équipe « Preparedness ». Une des questions du concours invite à réfléchir sur l’utilisation potentiellement catastrophique des modèles d’IA de l’entreprise si ceux-ci tombaient entre de mauvaises mains.
L’annonce de la création de ce groupe coïncide avec un sommet majeur du gouvernement britannique sur la sécurité de l’IA et tombe après l’annonce d’OpenAI de la formation d’une équipe pour étudier et contrôler les formes émergentes d’IA « superintelligente ». Selon Sam Altman et Ilya Sutskever, scientifique en chef et co-fondateur d’OpenAI, une IA dont l’intelligence dépasse celle des humains pourrait arriver dans la décennie, et cette IA ne sera pas nécessairement bienveillante. Qui a dit Skynet ?
