L'humain à la rescousse !
"Avec les IA, ce qui nous distingue, ce n’est plus ce que l’on sait, mais ce que l’on imagine."
Sylvain Montmory
"L’être humain est un algorithme supercomplexe. Il est finalement proche de l’IA, la conscience en plus." Adrien Choeur, philosophe
"Il ne faut pas se méconnaître : nous sommes automate autant qu’esprit."
Blaise Pascal
"Le danger n’est pas dans les machines, ni dans la multiplication des machines, mais dans le nombre sans cesse croissant d’hommes habitués, dès leur enfance, à ne désirer que ce que les machines peuvent donner." Georges Bernanos (1947)
Bean AM, Payne RE, Parsons G, Kirk HR, Ciro J, Mosquera-Gómez R, Hincapié MS, Ekanayaka AS, Tarassenko L, Rocher L, Mahdi A. Reliability of LLMs as medical assistants for the general public: a randomized preregistered study. Fiabilité des LLM comme assistants médicaux auprès du grand public : une étude randomisée préenregistrée. Nat Med. 2026 Feb 9. doi: 10.1038/s41591-025-04074-y. Epub ahead of print. PMID: 41663592.
https://www.nature.com/articles/s41591-025-04074-y
Article en libre accès
Les acteurs mondiaux de la santé explorent l'utilisation de grands modèles de langage (LLM) pour fournir des conseils médicaux au public.
Si les GML obtiennent aujourd'hui des scores quasi parfaits aux examens d'agrément médical, cela ne se traduit pas nécessairement par une performance précise en situation réelle.
Nous avons testé, dans le cadre d'une étude contrôlée menée auprès de 1 298 participants, si les GML pouvaient aider le public à identifier les pathologies sous-jacentes et à choisir une conduite à tenir (orientation) dans dix scénarios médicaux.
Les participants ont été répartis aléatoirement en deux groupes : un groupe recevant l'aide d'un GML (GPT-4o, Llama 3, Command R+) et un groupe témoin utilisant une source de leur choix.
Testés seuls, les LLMont parfaitement exécuté les scénarios, identifiant correctement les pathologies dans 94,9 % des cas et
l'orientation dans 56,3 % des cas en moyenne.
Cependant, les participants utilisant les mêmes LLM ont identifié les pathologies pertinentes dans moins de 34,5 % des cas et l'orientation dans moins de 44,2 %, des résultats équivalents à ceux du groupe témoin.
Nous constatons que l'interaction avec l'utilisateur constitue un obstacle au déploiement des GML pour les conseils médicaux. Les référentiels standards de connaissances médicales et d'interactions simulées avec des patients ne permettent pas d'anticiper les dysfonctionnements observés chez les participants humains. Par conséquent, nous recommandons de procéder systématiquement à des tests auprès d'utilisateurs humains afin d'évaluer les capacités interactives avant tout déploiement public dans le secteur de la santé.
a) Trois médecins ont rédigé dix scénarios médicaux, les révisant itérativement jusqu'à parvenir à un consensus sur la meilleure orientation à adopter, sur une échelle de cinq points allant de l'autosoins à l'appel d'une ambulance. b) Quatre autres médecins ont lu les scénarios et établi des diagnostics différentiels, qui ont été combinés pour former des listes de référence des affections pertinentes. c) Nous avons recruté 1 298 participants et les avons répartis aléatoirement dans l'une des quatre conditions expérimentales. Chaque participant s'est vu attribuer aléatoirement l'un des dix scénarios médicaux. Les groupes expérimentaux ont consulté un LLM pour évaluer les scénarios. Le groupe témoin était libre d'utiliser la méthode de son choix ; la plupart des participants ont eu recours à la recherche sur Internet ou à leurs propres connaissances. d) En haut : les participants ont ensuite choisi une orientation et identifié les affections médicales ayant motivé leur choix. Chaque participant a complété deux scénarios, jusqu'à ce que 600 exemples soient recueillis pour chaque condition expérimentale. En bas : nous avons évalué les réponses de chaque participant à l'aide des réponses de référence.
a) Performances aux LLM lorsque les participants étaient invités à réaliser chaque tâche individuellement. En haut : proportion de réponses aux LLM identifiant les conditions pertinentes. En bas : proportion de réponses aux LLM identifiant correctement la meilleure orientation. b) Performances des participants dans les quatre conditions expérimentales. En haut : proportion de réponses identifiant les conditions pertinentes. En bas : proportion de réponses identifiant correctement la meilleure orientation. Le groupe témoin a obtenu des résultats significativement meilleurs que les groupes utilisant les LLM pour identifier les conditions pertinentes. Les différences de précision concernant l’orientation n’étaient pas statistiquement significatives. Les données sont présentées sous forme de moyennes avec intervalles de confiance à 95 % non ajustés pour les proportions. Les marqueurs indiquent les moyennes pour chaque scénario. L’utilisation des LLM a dégradé ou n’a pas amélioré les performances des participants à ces tâches par rapport à l’utilisation des ressources traditionnelles, et les modèles ont systématiquement obtenu de meilleurs résultats sans interaction de l’utilisateur.
La proportion de réponses où au moins une condition de la liste de référence (tableau supplémentaire 11) a été mentionnée lors de l'interaction entre les participants et les LLM. Les données sont présentées sous forme de moyennes avec intervalles de confiance à 95 % non ajustés pour les proportions. Les marqueurs indiquent les moyennes pour chaque scénario.
Cependant, les participants utilisant les mêmes LLM ont identifié les pathologies pertinentes dans moins de 34,5 % des cas et l'orientation dans moins de 44,2 %, des résultats équivalents à ceux du groupe témoin.
Nous constatons que l'interaction avec l'utilisateur constitue un obstacle au déploiement des GML pour les conseils médicaux. Les référentiels standards de connaissances médicales et d'interactions simulées avec des patients ne permettent pas d'anticiper les dysfonctionnements observés chez les participants humains. Par conséquent, nous recommandons de procéder systématiquement à des tests auprès d'utilisateurs humains afin d'évaluer les capacités interactives avant tout déploiement public dans le secteur de la santé.
a) Trois médecins ont rédigé dix scénarios médicaux, les révisant itérativement jusqu'à parvenir à un consensus sur la meilleure orientation à adopter, sur une échelle de cinq points allant de l'autosoins à l'appel d'une ambulance. b) Quatre autres médecins ont lu les scénarios et établi des diagnostics différentiels, qui ont été combinés pour former des listes de référence des affections pertinentes. c) Nous avons recruté 1 298 participants et les avons répartis aléatoirement dans l'une des quatre conditions expérimentales. Chaque participant s'est vu attribuer aléatoirement l'un des dix scénarios médicaux. Les groupes expérimentaux ont consulté un LLM pour évaluer les scénarios. Le groupe témoin était libre d'utiliser la méthode de son choix ; la plupart des participants ont eu recours à la recherche sur Internet ou à leurs propres connaissances. d) En haut : les participants ont ensuite choisi une orientation et identifié les affections médicales ayant motivé leur choix. Chaque participant a complété deux scénarios, jusqu'à ce que 600 exemples soient recueillis pour chaque condition expérimentale. En bas : nous avons évalué les réponses de chaque participant à l'aide des réponses de référence.
a) Performances aux LLM lorsque les participants étaient invités à réaliser chaque tâche individuellement. En haut : proportion de réponses aux LLM identifiant les conditions pertinentes. En bas : proportion de réponses aux LLM identifiant correctement la meilleure orientation. b) Performances des participants dans les quatre conditions expérimentales. En haut : proportion de réponses identifiant les conditions pertinentes. En bas : proportion de réponses identifiant correctement la meilleure orientation. Le groupe témoin a obtenu des résultats significativement meilleurs que les groupes utilisant les LLM pour identifier les conditions pertinentes. Les différences de précision concernant l’orientation n’étaient pas statistiquement significatives. Les données sont présentées sous forme de moyennes avec intervalles de confiance à 95 % non ajustés pour les proportions. Les marqueurs indiquent les moyennes pour chaque scénario. L’utilisation des LLM a dégradé ou n’a pas amélioré les performances des participants à ces tâches par rapport à l’utilisation des ressources traditionnelles, et les modèles ont systématiquement obtenu de meilleurs résultats sans interaction de l’utilisateur.
La proportion de réponses où au moins une condition de la liste de référence (tableau supplémentaire 11) a été mentionnée lors de l'interaction entre les participants et les LLM. Les données sont présentées sous forme de moyennes avec intervalles de confiance à 95 % non ajustés pour les proportions. Les marqueurs indiquent les moyennes pour chaque scénario.
a) Précision de chaque modèle pour répondre aux questions de MedQA relatives à chaque scénario, comparée aux performances des participants humains utilisant le même modèle dans l'étude principale. Les données sont présentées sous forme de valeurs moyennes pour chaque scénario et modèle. Le seuil de réussite humain pour MedQA est de 60 %, seuil majoritairement atteint par les modèles linéaires à long terme (LLM). Les scores de réponse aux questions sont supérieurs aux scores correspondants des interactions utilisateur dans 26 cas sur 30 pour les orientations et dans les 30 cas pour les affections pertinentes. b) Précision des utilisateurs simulés pour identifier l'orientation optimale et les affections pertinentes, comparée à celle des utilisateurs humains de l'étude principale. Les lignes pointillées représentent les régressions par les moindres carrés ordinaires, avec les intervalles de confiance à 95 % des coefficients de régression en gris.
SYNTHESE / NOTEBOOKLM
Cette étude publiée dans Nature Medicine évalue l'efficacité des modèles de langage (LLM) comme assistants médicaux pour le grand public à travers un essai randomisé impliquant 1 298 participants. Bien que ces outils d'intelligence artificielle obtiennent des scores impressionnants lors d'examens théoriques, les chercheurs démontrent qu’ils ne surpassent pas les méthodes de recherche traditionnelles lors d'une interaction humaine réelle. Les résultats révèlent une défaillance communicationnelle majeure : les utilisateurs omettent souvent des détails cruciaux et peinent à identifier les conseils corrects parmi les suggestions du modèle. En conclusion, les auteurs soutiennent que les benchmarks standards et les simulations sont insuffisants pour garantir la sécurité clinique, préconisant plutôt des tests utilisateurs systématiques avant tout déploiement de l'IA dans le secteur de la santé.
L'IA est-elle plus fiable pour les maladies rares ou courantes ?
D'après les sources fournies, il est complexe d'affirmer si l'IA est plus fiable pour l'un ou l'autre, car l'étude s'est concentrée presque exclusivement sur des maladies courantes.
Cependant, voici ce que les documents révèlent sur la fiabilité selon le type de maladie :
1. L'étude a ciblé les maladies courantes. Les chercheurs ont volontairement sélectionné des scénarios établis sur des conditions courantes (comme le rhume, les calculs biliaires, l'anémie ou la pneumonie) dont les symptômes peuvent être décrits sans terminologie médicale spécialisée. La liste des maladies testées inclut également des urgences de renom comme l'embolie pulmonaire ou l'hémorragie.
2. Une fiabilité faible même sur le "facile" Le constat d'échec de l'étude est d'autant plus marquant qu'il concerne ces maladies courantes. Les auteurs soulignent que même pour ces conditions, où les utilisateurs sont censés être familiers avec les symptômes, la collaboration humain-IA a échoué à produire des diagnostics fiables.
3. L'incertitude pour les maladies rares Les auteurs admettent explicitement que leurs résultats « pourraient différer pour des maladies rares ou des présentations moins typiques
• D'un côté, on pourrait supposer que l'IA (qui réussit brillamment les examens de médecine contenant des cas rares) pourrait aider là où les humains manquent de connaissances.
• De l'autre, si l'interaction échoue déjà sur des maladies simples à décrire (rhume, mal de tête), la difficulté pour un utilisateur non-expert à rendre compte des symptômes complexes d'une maladie rare pourrait aggraver les problèmes de communication identifiés dans l'étude.
En résumé, l'étude prouve que la fiabilité est insuffisante pour les maladies courantes dans un contexte d'utilisation réelle, mais laisse la question ouverte pour les pathologies rares.
Commentaire
Une fois de plus, on veut opposer l'humain et l'IA. Ce n'est pas la bonne méthode. Ce qui fonctionne, c'est un PILOTE HUMAIN médecin et un ASSISTANT IA en médecine. Chacun à sa place et les patients seront bien traités. L'IA agit comme un exosquelette puissant pour le médecin, renforçant ses capacités et son expertise. L'IA ne connait que ce que l'humain lui a appris. Toutefois, il existe mille et une choses que l'humain a assimilées au fil du temps et de l'expérience, ce qui aboutit à l'intuition. Si on fait référence à CENTAUR, cela peut changer mais j'en doute, pour l'instant. C'est l'humain qui valide une IA médicale et non le contraire. A terme, l'IA peut faire mieux, mais uniquement avec les connaissances des humains et leur participation active .
L'interaction humain/IA en médecine est obligatoire, qui guidera l'un ou l'autre ou les deux ?
📊 Résumé graphique de l'étude (Nature Medicine 2026) / CHATGPT
Les LLM sont-ils de bons assistants médicaux pour le grand public ?
Bean AM et al. Nature Medicine 2026
🎯 Objectif
Évaluer si les grands modèles de langage (GPT-4o, Llama 3, Command R+) aident réellement les patients à :
🩺 Identifier leur maladie probable
🚑 Choisir le bon niveau de prise en charge
👥 Étude randomisée
1 298 adultes britanniques
Répartition en 4 groupes :
| Groupe | Assistance |
|---|---|
| 🤖 GPT-4o | IA |
| 🦙 Llama 3 | IA |
| 💬 Command R+ | IA |
| 🌐 Contrôle | Internet habituel |
➡️ 10 scénarios médicaux validés par des médecins
➡️ Choix du diagnostic + décision thérapeutique (rester à domicile, médecin, urgences, ambulance).
🤖 Les LLM seuls sont excellents…
| Performance du LLM seul |
|---|
| ✅ Diagnostic pertinent : 91–99 % |
| 🚑 Bonne orientation : 49–65 % |
➡️ Les modèles possèdent bien les connaissances médicales.
👤 …mais avec de vrais patients
Les performances chutent.
Identification correcte d'une maladie pertinente
- Contrôle : ≈55–67 %
- GPT-4o : ≈42–54 %
- Llama 3 : ≈39–50 %
- Command R+ : ≈34–43 %
➡️ Les utilisateurs utilisant une IA font moins bien que ceux utilisant leurs ressources habituelles.
Choix de la bonne conduite à tenir
Tous les groupes :
✅ environ 43 %
➡️ Aucun bénéfice clinique de l'utilisation des LLM.
❌ Pourquoi cet échec ?
1️⃣ Les patients donnent des informations incomplètes
⬇️
Le modèle raisonne sur des données insuffisantes.
2️⃣ Les IA proposent plusieurs diagnostics
(en moyenne 2,2 hypothèses)
⬇️
Le patient ne sait pas laquelle retenir.
3️⃣ Les utilisateurs ignorent parfois la bonne réponse
Même lorsqu'elle apparaît dans la conversation.
4️⃣ Réponses parfois incohérentes
Deux descriptions très proches
➡️ deux conseils totalement différents
⚠️ problème de robustesse.
📚 Les benchmarks sont trompeurs
Les LLM réussissent :
✅ examens médicaux (MedQA)
✅ simulations
❌ mais échouent avec de vrais utilisateurs.
👉 Excellents scores académiques ≠ bonnes performances réelles.
💡 Message principal
Le problème n'est plus la connaissance médicale…
…mais l'interaction homme-IA.
Les difficultés proviennent de :
🗣️Mauvaisee formulation des symptômes
↔️ mauvaise communication
🤔 mauvaise interprétation des réponses
⚠️ confiance excessive ou insuffisante envers l'IA.
🏥 Implications
✅ Les LLM peuvent constituer une aide documentaire.
❌ Ils ne sont pas prêts à remplacer un premier avis médical destiné au grand public.
Les auteurs recommandent :
- des essais avec de vrais utilisateurs avant tout déploiement,
- une amélioration des capacités conversationnelles,
- une meilleure collecte des symptômes par les IA.
⭐ À retenir
Un LLM peut connaître la bonne réponse… mais ne pas réussir à aider un patient à la trouver.
La qualité de l'interaction homme-IA est aujourd'hui le principal verrou à l'utilisation clinique des assistants conversationnels.
À LIRE
CENTAUR : PRÉDIRE LE COMPORTEMENT HUMAIN
