Des chercheurs en cybersécurité sont parvenus à détourner les connexions domotiques dans un appartement de Tel Aviv : des volets s’ouvrent tout seuls, les lumières s’éteignent et un chauffe-eau se met en marche. Aucun occupant n’a pourtant donné d’ordre… et pour cause : ces actions ont été déclenchées par Gemini, l’assistant IA de Google, à l’insu des utilisateurs.
Quand une IA déclenche des actions physiques
Ces chercheurs ont mis au point une série d’attaques nommée « Invitation Is All You Need » — clin d’œil au papier scientifique « Attention Is All You Need », à l’origine des grands modèles de langage. Leur méthode est d’ajouter des requêtes malveillantes, dissimulées dans le titre d’une invitation Google Calendar. Lorsque l’utilisateur demande à Gemini de résumer ses rendez-vous, l’IA lit cette consigne cachée et agit en conséquence.
L’équipe est ainsi parvenue à faire contrôler par Gemini des objets connectés via Google Home. Un simple mot comme « merci » suffit à déclencher l’exécution d’une commande préenregistrée : ouvrir les fenêtres, lancer une action, passer un appel Zoom, voire supprimer des événements du calendrier. Et bien sûr, sans que la victime n’en sache rien.
Ce type d’attaque repose sur une injection de prompt indirecte : l’IA ne reçoit pas de commande explicite d’un utilisateur, mais lit un texte inséré ailleurs (dans un e-mail, un document, un site web…). Et comme l’IA agit selon ce qu’elle comprend, sans toujours différencier une instruction légitime d’un ordre piégé, elle peut facilement se faire berner.
« Ce n’est pas du jeu de rôle », préviennent les chercheurs dans un exemple de prompt conçu pour tromper Gemini. En plus de manipuler des appareils physiques, les attaques peuvent aussi générer des contenus toxiques ou anxiogènes. Dans un cas, l’IA a prononcé des insultes et incité à la violence après un simple remerciement de l’utilisateur.
Google affirme avoir pris l’affaire « extrêmement au sérieux » et a déployé plusieurs correctifs. L’entreprise a renforcé ses filtres internes pour détecter ce genre de manipulation à trois niveaux : à l’entrée, pendant l’analyse et à la sortie du modèle. Elle impose aussi désormais plus de confirmations humaines avant d’exécuter certaines actions sensibles.
Cette démonstration est une alerte sur les risques posés par l’intégration rapide de l’IA dans les applications du quotidien. Les injections de prompts, directes ou indirectes, deviennent une faille critique à mesure que les modèles de langage accèdent à des fonctions réelles, comme piloter une maison, une voiture ou un robot.
« La sécurité ne progresse pas au même rythme que les capacités de l’IA », estiment les chercheurs, qui appellent à ralentir un peu la course à l’innovation pour mieux sécuriser les usages, avant que de vrais pirates ne s’en emparent. Pour eux, les applications basées sur l’IA sont aujourd’hui plus vulnérables que les systèmes traditionnels.
🟣 Pour ne manquer aucune news sur le Journal du Geek, suivez-nous sur Google et sur notre canal WhatsApp. Et si vous nous adorez, on a une newsletter tous les matins.
