Daniela Amodei, présidente d’Anthropic : "Nous devons embrasser à la fois le côté positif et la part d’ombre de l’IA."

 

Rao AS, Esmail KP, Lee RS, Jiang S, Arraiza Carlo B, Gill J, Khanna P, Kalmowitz E, Montagnese B, Heydari K, Jiao Q, Bott E, Nguyen D, Wang G, Hood M, Landman AB, Succi MD. Large Language Model Performance and Clinical Reasoning Tasks.

Tâches de performance et de raisonnement clinique des grands modèles de langage

JAMA Netw Open. 2026 Apr 1;9(4):e264003. doi: 10.1001/jamanetworkopen.2026.4003. PMID: 41973425; PMCID: PMC13077515
https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2847679

 

 

 

 

 

Importance : Les grands modèles de langage (GML) sont de plus en plus commercialisés pour un usage clinique, mais leur capacité à reproduire l’ensemble du raisonnement clinique demeure incertaine. Les évaluations existantes reposent souvent sur des examens à choix multiples qui ne reflètent pas la complexité des soins aux patients.

Objectifs : Évaluer la capacité de raisonnement clinique longitudinal des LLM de pointe et introduire un point de référence multidimensionnel et cliniquement significatif pour l'intelligence artificielle (IA) de qualité clinique.

Conception, cadre et participants : Dans cette étude transversale, les performances ont été évaluées à l’aide de vignettes cliniques standardisées issues de la mise à jour de janvier 2025 du manuel MSD. Au total, 21 modèles de langage (LLM) prêts à l’emploi, dont les versions récemment publiées GPT-5, Claude 4.5 Opus, Gemini 3.0 Flash et Pro, et Grok 4, ont été évalués. Les modèles ont été évalués par des étudiants en médecine, en triple exemplaire, à chaque étape du flux de travail clinique standard. Les analyses ont été réalisées de janvier à décembre 2025.

Principaux résultats et mesures : Le critère d’évaluation principal était le score de l’indice proportionnel d’évaluation médicale pour les modèles de raisonnement clinique (PrIME-LLM), défini comme la surface polygonale normalisée représentant une précision équilibrée dans cinq domaines du raisonnement clinique : diagnostic différentiel, examens complémentaires, diagnostic final, prise en charge et questions diverses de raisonnement clinique. Des analyses de variance, des tests t et des modèles de régression ont été utilisés pour comparer les performances du modèle d’IA et les associations démographiques.

Résultats : Les modèles de raisonnement logique (LLM) ont été testés sur 29 vignettes cliniques (représentant un total de 16 254 réponses). Les scores PrIME-LLM variaient de 0,64 (intervalle : 0,63-0,65) (Gemini 1.5 Flash) à 0,78 (intervalle : 0,77-0,79) (Grok 4). Les modèles optimisés pour le raisonnement ont surpassé les modèles non optimisés, et les modèles GPT ont obtenu les meilleurs scores globaux. Le diagnostic différentiel était moins précis que les tests diagnostiques, tandis que le diagnostic final, la prise en charge et le raisonnement divers étaient plus précis. Les taux d’échec dépassaient 0,80 (intervalle : 0,90-1,00) pour le diagnostic différentiel dans tous les modèles, mais étaient inférieurs à 0,40 (intervalle : 0,09-0,39) pour le diagnostic final. Les performances multimodales étaient robustes ; la plupart des modèles LLM ont montré une précision accrue avec l’ajout d’images.

 

 

A. Les graphiques radar illustrent la précision dans 5 domaines du raisonnement clinique : diagnostic différentiel (DD), tests diagnostiques (DT), diagnostic final (FD), prise en charge (M) et questions diverses de raisonnement clinique (Q). Les scores PrIME-LLM ont été calculés comme la surface polygonale normalisée, synthétisant ainsi une performance équilibrée entre les différentes tâches.

B. Les graphiques à barres comparent la précision globale aux scores PrIME-LLM pour les vignettes cliniques testées. Les barres d’erreur représentent les erreurs standard de la moyenne (SEM)

 

 

 A. Le graphique à barres présente les scores moyens PrIME-LLM regroupés par famille de développeurs (GPT, Claude, DeepSeek, Gemini et Grok). Les barres d'erreur indiquent les erreurs standard de la moyenne (SEM). B. Le nuage de points illustre les trajectoires par version au sein de chaque famille de modèles, en présentant les versions successives par ordre chronologique. ANOVA indique l'analyse de la variance.

 

Conclusions et pertinence : Dans cette étude transversale portant sur 21 modèles de raisonnement logique (LLM), les LLM de pointe ont atteint une précision élevée pour les diagnostics finaux, mais ont présenté des performances médiocres pour la génération de diagnostics différentiels et la gestion de l’incertitude, comparativement aux autres étapes du raisonnement. Le cadre PrIME-LLM a permis une meilleure distinction que la simple précision, révélant des lacunes critiques dans le raisonnement, masquées par les outils d’évaluation traditionnels. Ainsi, malgré les améliorations liées aux différentes versions et les avantages des modèles optimisés pour le raisonnement, les LLM disponibles sur le marché n’ont pas encore atteint l’intelligence requise pour un déploiement sûr et restent limités dans la démonstration d’un raisonnement clinique avancé.

Points clés

Question :   Les grands modèles de langage (LLM) prêts à l’emploi peuvent-ils démontrer des performances fiables tout au long du flux de travail clinique ?

Résultats :   Dans cette étude transversale portant sur 21 modèles de raisonnement logique (LLM) de pointe testés sur 29 vignettes cliniques standardisées, Grok 4 et d’autres modèles optimisés pour le raisonnement ont obtenu les meilleurs scores, tandis que Gemini 1.5 Flash a obtenu les scores les plus faibles. Le diagnostic différentiel a systématiquement présenté les performances les plus faibles, tandis que le diagnostic final et la prise en charge ont affiché de meilleures performances.

Signification   Ces résultats suggèrent que, malgré les progrès réalisés, les modèles de diagnostic actuels restent limités dans le raisonnement diagnostique précoce et ne peuvent pas encore être utilisés pour la prise de décision clinique non supervisée en contact direct avec le patient.

 

 

 

 

 

 

 

 

Résumé de l'article . CHATGPT

Large Language Model Performance and Clinical Reasoning Tasks
JAMA Network Open, 2026

🎯 Objectif de l'étude

Évaluer si les modèles de langage (LLM) les plus récents sont capables de reproduire le raisonnement clinique complet d'un médecin, et et de répondre correctement à des questions d'examen. Les auteurs introduisent un nouvel indice de performance appelé PrIME-LLM, qui mesure l'équilibre des performances tout au long du parcours diagnostique.

---

Méthodologie

• 21 modèles évalués (GPT-5, GPT-4.5, Grok 4, Claude 4.5 Opus, Gemini 3.0, DeepSeek, etc.)
• 29 cas cliniques standardisés du MSD Manual
• 16 254 réponses analysées
• Chaque cas était évalué successivement selon les étapes normales du raisonnement médical :

1. Diagnostic différentiel
2. Examens complémentaires
3. Diagnostic final
4. Traitement
5. Questions générales de raisonnement clinique

Chaque vignette a été testée 3 fois pour chaque modèle.

---

Le nouvel indice : PrIME-LLM

Contrairement à une simple moyenne de bonnes réponses, le PrIME-LLM récompense les modèles capables d'être performants dans toutes les étapes du raisonnement clinique.

Un modèle excellent sur le diagnostic final mais mauvais sur le diagnostic différentiel obtient donc un score plus faible qu'avec les méthodes classiques.

---

Résultats principaux

Classement global

Les scores PrIME-LLM variaient de :

• Grok 4 : 0,78 (meilleur)
• GPT-5
• GPT-4.5
• Claude 4.5 Opus
• Gemini 3.0

jusqu'à

• Gemini 1.5 Flash : 0,64 (plus faible).

---

Le point faible majeur : le diagnostic différentiel

Tous les modèles présentent le même défaut :

Très bons pour :

• identifier le diagnostic final
• proposer le traitement
• répondre lorsque toutes les informations sont disponibles

Beaucoup moins bons pour :

• construire une liste de diagnostics possibles
• gérer l'incertitude
• raisonner progressivement comme un clinicien

Les taux d'échec dépassaient 80 % pour le diagnostic différentiel chez tous les modèles.

---

Les modèles de raisonnement ("Reasoning Models")

Les modèles explicitement conçus pour raisonner (GPT-5, Grok 4, Claude 4.5 Opus, Gemini 3.0 Pro, etc.) obtiennent des résultats significativement meilleurs que les modèles classiques.

Cependant :

l'amélioration reste modeste et ne corrige pas le déficit du diagnostic différentiel.

---

Performances multimodales

Les modèles capables d'interpréter des images (radiographies, ECG, scanners…) montrent une amélioration modérée.

Les meilleurs gains concernent :

• GPT-4.5
• Grok 4
• Gemini 3.0 Pro
• Gemini 3.0 Flash

Mais les bénéfices restent variables selon les modèles.

---

Pourquoi est-ce important ?

L'étude montre une différence fondamentale entre un médecin et un LLM.

Le clinicien :

• maintient plusieurs hypothèses
• accepte l'incertitude
• affine progressivement son raisonnement

Le LLM :

• converge rapidement vers une seule réponse
• explore insuffisamment les diagnostics alternatifs
• peut donner une impression trompeuse de certitude.

---

Message des auteurs

Les auteurs mettent en garde contre les affirmations selon lesquelles les LLM seraient prêts pour une utilisation autonome auprès des patients.

Selon eux :

• ils excellent dans certaines tâches ciblées,
• mais ils ne possèdent pas encore le raisonnement clinique complet nécessaire à une prise de décision indépendante.

Ils recommandent une utilisation sous supervision médicale, principalement pour :

• l'aide documentaire,
• la synthèse d'informations,
• certaines tâches présentant peu d'incertitude.

---

Limites de l'étude

• modèles testés sans accès au web ni outils externes ;
• pas d'utilisation de systèmes enrichis (RAG, recommandations, calculateurs médicaux) ;
• cas cliniques publics pouvant avoir été vus pendant l'entraînement des modèles ;
• absence de comparaison directe avec des médecins.

---

Conclusion

Cette étude montre que les meilleurs LLM de 2026 atteignent un niveau élevé pour le diagnostic final. Cependant, ils restent insuffisants pour l'étape la plus importante du raisonnement médical : élaborer un diagnostic différentiel et gérer l'incertitude clinique.

Le nouvel indice PrIME-LLM met en évidence ces faiblesses, souvent masquées par les mesures classiques de précision globale.

En pratique : les LLM sont désormais de puissants outils d'assistance au clinicien, mais ils ne peuvent pas encore remplacer le raisonnement médical humain dans la prise de décision diagnostique autonome.


Commentaire

Le doute en médecine "est obligatoire" . 

TEXTES sur le DOUTE :https://laphilodeluxe.blogspot.com/2015/10/textes-sur-le-doute.html

Le doute est le sel de l’esprit : sans la pointe du doute, toutes les connaissances sont bientôt pourries. J’entends aussi bien les connaissances les mieux fondées et les plus raisonnables. Douter quand on s’aperçoit qu’on s’est trompé ou que l’on a été trompé, c'est simple : je voudrais même dire que cela n’avance guère ; ce doute forcé est comme une violence qui nous est faite ; aussi c’est un doute triste : c’est un doute de faiblesse ; c’est un regret d’avoir cru, et une confiance trompée.

Le vrai, c’est qu’il ne faut jamais croire, et qu’il faut examiner toujours. L’incrédulité n’a pas encore donné sa mesure.

Croire est agréable. C’est une ivresse dont il faut se priver. Ou alors dites adieu à liberté, à justice, à paix.

Alain, Propos.

Réserver ou suspendre notre jugement, cela consiste à décider de ne pas permettre à un jugement provisoire de devenir définitif. Un jugement provisoire est un jugement par lequel je me représente qu’il y a plus de raison pour la vérité d’une chose que contre sa vérité, mais que cependant ces raisons ne suffisent pas encore pour que je porte un jugement déterminant ou définitif par lequel je décide franchement de sa vérité. Le jugement provisoire est donc un jugement dont on a conscience qu’il est simplement problématique.

On peut suspendre le jugement à deux fins : soit en vue de chercher les raisons du jugement définitif, soit en vue de ne jamais juger. Dans le premier cas la suspension du jugement s’appelle critique (…) ; dans le second elle est sceptique (…). Car le sceptique renonce à tout jugement, le vrai philosophe au contraire suspend simplement le sien tant qu’il n’a pas de raisons suffisantes de tenir quelque chose pour vrai.

Kant, Logique (1800)

 

Je ne sais si je dois vous entretenir des premières méditations que j’y ai faites ; car elles sont si métaphysiques et si peu communes, qu’elles ne seront peut-être pas au goût de tout le monde. Et toutefois, afin qu’on puisse juger si les fondements que j’ai pris sont assez fermes, je me trouve en quelque façon contraint d’en parler. J’avais dès longtemps remarqué que, pour les mœurs, il est besoin quelquefois de suivre des opinions qu’on sait fort incertaines, tout de même que si elles étaient indubitables, ainsi qu’il a été dit ci-dessus ; mais, parce qu’alors je désirais vaquer seulement à la recherche de la vérité, je pensai qu’il fallait que je fisse tout le contraire, et que je rejetasse, comme absolument faux, tout ce en quoi je pourrais imaginer le moindre doute afin de voir s’il ne resterait point, après cela, quelque chose en ma créance, qui fût entièrement indubitable. Ainsi, à cause que nos sens nous trompent quelquefois, je voulus supposer qu’il n’y avait aucune chose qui fût telle qu’ils nous la font imaginer. Et parce qu’il y a des hommes qui se méprennent en raisonnant, même touchant les plus simples matières de géométrie, et y font des paralogismes, jugeant que j’étais sujet à faillir, autant qu’aucun autre, je rejetai comme fausses toutes les raisons que j’avais prises auparavant pour démonstrations. Et enfin, considérant que toutes les mêmes pensées, que nous avons étant éveillés, nous peuvent aussi venir, quand nous dormons, sans qu’il y en ait aucune, pour lors, qui soit vraie, je me résolus de feindre que toutes les choses qui m’étaient jamais entrées en l’esprit n’étaient non plus vraies que les illusions de mes songes. Mais, aussitôt après, je pris garde que, pendant que je voulais ainsi penser que tout était faux, il fallait nécessairement que moi, qui le pensais, je fusse quelque chose. Et remarquant que cette vérité : je pense, donc je suis, était si ferme et si assurée, que toutes les plus extravagantes suppositions des sceptiques n’étaient pas capables de l’ébranler, je jugeai que je pouvais la recevoir, sans scrupule, pour le premier principe de la philosophie que je cherchais.

Descartes, Discours de la méthode, quatrième partie (1637)

Le doute en médecine est obligatoire.

Le doute en médecine  nait  dans  des moments incertains , ce qui est naturel et compréhensible. Le doute affine le jugement. L'ombre d'un doute est suffisante pour réfléchir, pour aller vers les vérités. Trop de certitudes engagent vers de mauvaises voies. Le doute fait partie de toute réflexion. Les certitudes obscurcissent la pensée, le doute illumine la pensée, car le doute nous oblige à penser, à réfléchir, à se poser des questions .La science, sans doute, n'est pas une science affirmée. Un politique qui ne doute jamais n'est pas en phase avec la réalité. Le doute emmène vers des certitudes renforcées. Ce qui est le cas en médecine. Une IA médicale a priori n'éprouvera pas le doute, elle ne connaît pas le doute car l'IA vit au royaume des certitudes et l'humain au royaume des incertitudes. C'est sa  force, son expérience , ses intuitions , ses caractéristiques qui l'amèneront au bon diagnostic. 

A LIRE

IA : LES MACHINES du DOUTE
https://framablog.org/2025/02/23/ia-les-machines-du-doute/