Le mercredi 18 juin, M. Li, au volant de la Xiaomi SU7 Max flambant neuve de sa sœur, a été la cible d’une vingtaine d’alertes vocales et visuelles lui enjoignant de « se concentrer sur la conduite ». La cause, selon lui, était évidente : ses yeux, d’une forme naturellement discrète, étaient constamment interprétés par l’IA comme des paupières lourdes ou fermées. « Quand j’ai forcé mes yeux à s’ouvrir en grand, l’alarme s’est arrêtée. Mais quand j’ai laissé mes yeux revenir à leur état normal, elle a recommencé », a-t-il confié, soulignant l’absurdité de la situation.
La vidéo de cette mésaventure, dans laquelle on entend sa sœur rire depuis le siège passager alors qu’il tente de garder les yeux écarquillés, a fait le tour des réseaux sociaux chinois. Elle met en lumière une lacune potentielle dans l’entraînement des algorithmes de détection de fatigue, particulièrement sensibles aux mouvements des yeux et aux expressions faciales via une caméra sur le volant. Si le système est conçu pour prévenir les accidents, notamment en ralentissant ou même en arrêtant la voiture si les alertes sont ignorées, il semble qu’il n’ait pas été suffisamment « éduqué » à la diversité des morphologies. La sœur du conducteur affirme d’ailleurs n’avoir jamais rencontré un tel problème avec le même véhicule.
Xiaomi admet que le système pourrait être « trop sensible »
Xiaomi a réagi en confirmant la présence de cette fonction dans toutes les SU7 Max, affirmant qu’elle vise à renforcer la sécurité. L’entreprise a admis une possible « sur-sensibilité » du système, offrant la possibilité de le désactiver manuellement (bien que déconseillé pour des raisons de sécurité).
L’incident de M. Li n’est d’ailleurs pas le premier à mettre la Xiaomi SU7 sous les feux des projecteurs pour des questions de sécurité et d’IA. En mars, un accident fatal impliquant trois étudiantes à bord d’une SU7, alors que le mode de pilotage assisté NOA (Navigate on Autopilot) était activé, avait déjà soulevé de vives inquiétudes. La voiture avait détecté un obstacle et freiné, mais avait tout de même percuté un élément latéral de la route à 97 km/h, menant au décès des occupants et à une chute du cours de l’action de Xiaomi. Ce drame avait déjà initié un débat sur la confiance aveugle accordée aux systèmes de conduite intelligente et sur la nécessité d’une vigilance accrue des conducteurs, même avec l’assistance de l’IA.
Ces événements conjugués poussent à s’interroger sur l’adéquation des tests effectués par les constructeurs automobiles chinois, et plus largement sur l’existence de biais dans les systèmes d’intelligence artificielle qui ne seraient pas suffisamment universels. L’IA embarquée, un atout majeur de la voiture moderne, doit encore prouver sa capacité à s’adapter à la richesse de l’humanité, au-delà des standards d’entraînement parfois limités.
🟣 Pour ne manquer aucune news sur le Journal du Geek, suivez-nous sur Google et sur notre canal WhatsApp. Et si vous nous adorez, on a une newsletter tous les matins.
