Google limite les réponses d'AI Overviews sur avis médical après enquête : « fournit des informations dangereuses »

Google impose des limites aux aperçus de l'IA pour les recherches médicales après que l'enquête du Guardian a révélé des réponses trompeuses et potentiellement dangereuses

Ces derniers mois, Google s'est fortement concentré sur les aperçus AI, les résumés automatiques qui apparaissent en haut des résultats de recherche pour fournir des réponses rapides. Mais lorsque ce système a commencé à toucher un domaine délicat comme celui de la santé, le mécanisme s’est révélé bien plus fragile que prévu. C'est lui qui a donné l'alarme Le gardienqui qualifiait certaines informations fournies par l’intelligence artificielle de «dangereux et alarmant», obligeant le géant de Mountain View à intervenir.

L'enquête du journal britannique a montré comment, dans certaines recherches médicales, les AI Overviews pouvaient renvoyer des données incomplètes, décontextualisées, voire incorrectes, avec le risque réel d'amener les utilisateurs à sous-estimer de graves problèmes. Suite à ces signalements, Google a décidé de supprimer plusieurs résumés liés à des requêtes de santé particulièrement sensibles.

Le cas des tests hépatiques

L’un des exemples les plus cités concerne les tests de la fonction hépatique. Lorsqu'on lui a demandé quelles étaient les valeurs normales des tests sanguins hépatiques, l'IA de Google a fourni une longue série de chiffres, mais sans indiquer d'éléments fondamentaux tels que l'âge, le sexe, l'origine ethnique ou géographique du patient. En médecine, ces facteurs sont cruciaux pour interpréter correctement les résultats, et leur absence peut conduire à des conclusions trompeuses.

Le risque souligné par le Guardian était clair : une personne ayant des valeurs réellement anormales aurait pu croire qu'elle était en bonne santé et décider de le faire, retardant ainsi le diagnostic et le traitement. Après la publication de l’enquête, certaines de ces recherches ont cessé d’afficher des aperçus IA, signe d’une première correction du système.

La réponse de Google

Face aux critiques, Google a choisi une ligne prudente. Un porte-parole, cité par Tuteura expliqué l'entreprise, mais a réitéré son engagement à améliorer les aperçus de l'IA lorsque ceux-ci ne tiennent pas compte du contexte. Selon l'entreprise, une grande partie des informations contestées seraient toujours étayées par des sources jugées fiables, mais le problème demeure dans la manière dont elles sont résumées et présentées aux utilisateurs. En pratique, les AI Overviews n’ont pas été totalement éliminés du thème santé, mais filtrés de manière plus sélective, notamment pour les requêtes les plus directes et potentiellement risquées.

Un moment délicat pour l’IA dans le domaine de la santé

Cette histoire survient à un moment où de plus en plus d’entreprises technologiques tentent d’entrer dans le secteur de la santé numérique, comme le démontre le lancement de ChatGpt Health par OpenAI. C’est précisément pour cette raison que l’épisode de Google montre combien il est complexe et délicat de confier la synthèse d’informations cliniques à une IA. Le message qui ressort de l'enquête sur Tuteur c'est clair : en matière de santé, même une réponse rapide et apparemment utile peut devenir un risque si le contexte médical nécessaire pour l'interpréter correctement fait défaut.

Source : Le Gardien