L'IA Med-Gemini de Google invente un organe, soulève des craintes

Le modèle d'intelligence artificielle de Google pour les soins de santé, Med-Gemini, a récemment généré une structure anatomique inexistante dans un rapport de diagnostic, une erreur que les experts médicaux soulignent comme une démonstration critique des risques associés au déploiement de l'IA dans les milieux cliniques. L'incident, initialement minimisé par Google comme une "faute de frappe", a déclenché une discussion plus large sur les "hallucinations" de l'IA et la sécurité des patients.

L'erreur spécifique est apparue dans un article de recherche de 2024 présentant Med-Gemini, où l'IA a diagnostiqué un "ancien infarctus du ganglion basilaire gauche". Le neurologue certifié et chercheur en IA Bryan Moore a identifié que "ganglion basilaire" est une fusion de deux structures cérébrales distinctes : les "ganglions de la base", qui aident au contrôle moteur et à l'apprentissage, et l'"artère basilaire", qui irrigue le tronc cérébral. Les affections touchant ces zones nécessitent des traitements très différents. Moore a signalé l'erreur à Google, qui a ensuite effectué une modification silencieuse et non reconnue de son article de blog d'accompagnement, changeant "ganglion basilaire" en "ganglions de la base". Suite à l'examen public de Moore, Google a annulé la modification de l'article de blog mais a ajouté une légende clarificatrice, attribuant l'erreur à une "fausse transcription courante" apprise des données d'entraînement. Il est crucial de noter que l'article de recherche original, co-écrit par plus de 50 personnes et révisé par des pairs, reste non corrigé.

Med-Gemini est une suite de modèles d'IA conçue pour aider les professionnels de la santé en résumant les données de santé, en générant des rapports de radiologie et en analysant les dossiers de santé électroniques. Google l'a initialement promu comme un "bond en avant" avec un "potentiel substantiel" dans divers domaines médicaux. Bien qu'il soit encore en phase d'essais préliminaires, avec son "programme de testeurs de confiance" susceptible de s'étendre à des scénarios pilotes réels, les implications des erreurs d'IA s'intensifient.

Les professionnels de la santé expriment une profonde inquiétude face à de telles inexactitudes. Maulin Shah, directeur de l'information médicale chez Providence, un grand système de soins de santé, a décrit l'erreur comme "super dangereuse", soulignant la différence critique que quelques lettres peuvent faire dans un contexte médical. Il a souligné le risque que l'IA propage des informations incorrectes, citant un exemple où l'IA pourrait diffuser une erreur humaine provenant de notes médicales, conduisant à des décisions basées sur des données erronées. Le porte-parole de Google, Jason Freidenfelds, a déclaré que l'entreprise s'associe à la communauté médicale et est transparente quant aux limites de ses modèles, qualifiant l'erreur spécifique de "clarification" d'une "pathologie manquée".

Le problème va au-delà de Med-Gemini. Un autre modèle de santé de Google, MedGemma, a récemment montré des incohérences. La Dre Judy Gichoya, professeure agrégée à l'École de médecine de l'Université Emory, a constaté que la précision diagnostique de MedGemma variait considérablement en fonction de la formulation des questions. Une requête détaillée pouvait produire un diagnostic correct, tandis qu'une requête plus simple pour la même image pouvait aboutir à une évaluation "normale", manquant des problèmes critiques comme le pneumopéritoine (gaz sous le diaphragme).

Les experts craignent que la précision générale des systèmes d'IA ne conduise les professionnels de la santé humains à la complaisance, un phénomène connu sous le nom de biais d'automatisation. Le Dr Jonathan Chen de la faculté de médecine de Stanford a décrit cela comme un "moment seuil très étrange" où les outils d'IA sont adoptés trop rapidement, malgré leur immaturité. Il a souligné que même si l'IA fonctionne parfois bien, ses résultats apparemment autoritaires mais incorrects peuvent être très trompeurs.

Le consensus parmi les experts médicaux est que l'IA dans les soins de santé doit être soumise à un standard significativement plus élevé que les taux d'erreur humains. Shah préconise des "alertes de confabulation" – des systèmes d'IA conçus pour identifier et signaler les hallucinations potentielles d'autres modèles d'IA, soit en retenant l'information, soit en émettant des avertissements. Gichoya a noté que la tendance de l'IA à "inventer des choses" plutôt que d'admettre "je ne sais pas" est un problème majeur dans des domaines à enjeux élevés comme la médecine. Le Dr Michael Pencina, scientifique en chef des données à Duke Health, considère l'erreur de Med-Gemini davantage comme une hallucination qu'une faute de frappe, soulignant les graves conséquences de telles erreurs dans les applications à haut risque. Il a comparé le stade actuel du développement de l'IA au "Far West".

Tout en reconnaissant les avantages potentiels, des experts comme Chen mettent en garde contre une confiance aveugle en l'IA, la comparant à l'analogie d'une voiture sans conducteur où la complaisance mène au danger. Ils soulignent que si l'IA peut augmenter les soins de santé, elle ne doit pas remplacer une supervision humaine critique. L'incident avec Med-Gemini souligne le besoin urgent de tests plus rigoureux, de corrections d'erreurs transparentes et d'une approche prudente et délibérée pour intégrer l'IA dans la pratique clinique, où même "l'imparfait peut sembler intolérable".