Importance : Les grands modèles de langage (MLL) sont mis en œuvre dans le secteur de la santé. Une précision accrue et des méthodes permettant de maintenir cette précision au fil du temps sont nécessaires pour maximiser les avantages des LLM.
Objectif Évaluer si les performances du LLM à l'examen de licence médicale américain (USMLE) peuvent être améliorées en incluant des connaissances cliniques sémantiques formellement représentées.
Conception, cadre et participants
Cette étude de recherche sur l'efficacité comparative a été menée entre juin 2024 et février 2025 au Département d'informatique biomédicale, Jacobs School of Medicine and Biomedical Sciences, Université de Buffalo, Buffalo, New York, en utilisant des exemples de questions des étapes 1, 2 et 3 de l'USMLE.
L'intelligence artificielle clinique sémantique (SCAI) a été développée pour insérer des connaissances cliniques sémantiques formellement représentées dans les LLM à l'aide de la génération augmentée de récupération (RAG).
Principaux résultats et mesures La méthode SCAI a été évaluée en comparant les performances de 3 LLM Llama (13B, 70B et 405B ; Meta) avec et sans SCAI RAG sur des questions textuelles des étapes 1, 2 et 3 de l'USMLE. La précision du LLM pour répondre aux questions a été déterminée en comparant la sortie du LLM avec la clé de réponse de l'USMLE.
Résultats Les LLM ont été testés sur 87 questions à l'étape 1 de l'USMLE, 103 à l'étape 2 et 123 à l'étape 3. Le LLM 13B amélioré par SCAI RAG a été associé à une amélioration significative des performances aux étapes 1 et 3, mais n'a atteint le seuil de réussite de 60 % qu'à l'étape 3 (74 questions correctes [60,2 %]). Les LLM 70B et 405B ont réussi toutes les étapes de l'USMLE avec et sans SCAI RAG. Français Le modèle SCAI RAG 70B a obtenu 80 questions (92,0 %) correctement à l'étape 1, 82 (79,6 %) à l'étape 2 et 112 (91,1 %) à l'étape 3. Le modèle SCAI RAG 405B a obtenu 79 (90,8 %) correctement à l'étape 1, 87 (84,5 %) à l'étape 2 et 117 (95,1 %) à l'étape 3. Des améliorations significatives associées au SCAI RAG ont été trouvées pour le modèle 13B aux étapes 1 et 3, le modèle 70B à l'étape 2 et le modèle de paramètres 405B à l'étape 3. Le modèle 70B était significativement meilleur que le modèle 13B et le modèle 405B n'était pas significativement meilleur que le modèle 70B.
Conclusions et pertinence Dans cette étude de recherche sur l'efficacité comparative, le SCAI RAG a été associé à des scores significativement améliorés aux étapes 1, 2 et 3 de l'USMLE. Le modèle 13B a réussi l'étape 3 avec RAG, et les modèles 70B et 405B ont réussi et obtenu de bons résultats aux étapes 1, 2 et 3 avec ou sans augmentation. De nouvelles formes de raisonnement par les LLM, comme le raisonnement sémantique, ont le potentiel d'améliorer la précision des performances des LLM sur des questions médicales importantes. L'amélioration des performances des LLM dans les soins de santé avec des connaissances cliniques ciblées et à jour est une étape importante dans la mise en œuvre et l'acceptation des LLM.
"13 millions de faits médicaux
SCAI contient 13 millions de faits médicaux, ainsi que toutes les interactions possibles entre ces faits. L'équipe a utilisé des faits cliniques de base appelés triplets sémantiques (sujet-relation-objet, comme « La pénicilline traite la pneumonie à pneumocoque ») pour créer des réseaux sémantiques. L'outil peut ensuite représenter ces réseaux sémantiques afin d'en tirer des inférences logiques.
« Nous avons appris à de grands modèles linguistiques à utiliser le raisonnement sémantique », explique Elkin."
Parmi les autres techniques ayant contribué à la SCAI, on trouve les graphes de connaissances, conçus pour identifier de nouveaux liens dans les données médicales ainsi que des schémas auparavant « cachés », ainsi que la génération augmentée par récupération, qui permet au modèle de langage étendu d'accéder à des informations provenant de bases de données de connaissances externes et de les intégrer avant de répondre à une invite. Cela réduit la « fabulation », cette tendance des outils d'IA à toujours répondre à une invite même lorsqu'ils ne disposent pas de suffisamment d'informations pour continuer.
Elkin ajoute que l’utilisation de la sémantique formelle pour informer le grand modèle de langage fournit un contexte important nécessaire à SCAI pour comprendre et répondre plus précisément à une question particulière.
« Il peut avoir une conversation avec vous »
« SCAI est différent des autres grands modèles de langage car il peut avoir une conversation avec vous et, en tant que partenariat homme-machine, peut contribuer à votre prise de décision et à votre réflexion en fonction de son propre raisonnement », explique Elkin.
Il conclut : « En ajoutant de la sémantique aux grands modèles de langage, nous leur donnons la capacité de raisonner de la même manière que nous le faisons lorsque nous pratiquons la médecine fondée sur des preuves. »
Parce qu’il peut accéder à de si grandes quantités de données, le SCAI a également le potentiel d’améliorer la sécurité des patients, d’améliorer l’accès aux soins et de « démocratiser les soins spécialisés », explique Elkin, en rendant les informations médicales sur les spécialités et les sous-spécialités accessibles aux prestataires de soins primaires et même aux patients.
Bien que la puissance du SCAI soit impressionnante, Elkin souligne que son rôle sera d’augmenter, et non de remplacer, les médecins."
Coordonnées des médias
SYNTHESE
"Cette étude compare les performances de modèles de langage de grande taille (LLM) sur le US Medical Licensing Examination (USMLE), avec et sans l'ajout de connaissances cliniques sémantiques structurées. En utilisant la génération augmentée par récupération (RAG) pour incorporer des informations médicales formalisées dans les LLM, les chercheurs ont évalué comment cela influençait la précision des réponses aux questions de l'examen. Les résultats indiquent que l'ajout de connaissances sémantiques, via leur méthode nommée Semantic Clinical Artificial Intelligence (SCAI), a significativement amélioré les scores des LLM, en particulier pour le modèle de plus petite taille, l'aidant à atteindre le seuil de réussite. Bien que les modèles plus grands aient bien réussi seuls, l'augmentation sémantique a constamment entraîné une amélioration de leurs performances également. Les auteurs suggèrent que l'intégration de raisonnements sémantiques pourrait grandement bénéficier à l'application des LLM dans le domaine de la santé." (NotebooKLM)
Analyse par PERPLEXITY IA
Avantages spécifiques de l’IA clinique sémantique par rapport aux modèles de langage natif à grande échelle
1. Raisonnement médical structuré et contextualisé
-
L’IA clinique sémantique repose sur une base de connaissances médicales structurées (par exemple, des triplets sémantiques comme « médicament X traite maladie Y »), ce qui lui permet de raisonner de façon analogue à la démarche médicale humaine et d’intégrer le contexte clinique réel dans ses réponses. Les LLM natifs, eux, génèrent des réponses à partir de corrélations statistiques apprises sur de vastes corpus généralistes, ce qui peut entraîner des erreurs de logique ou des réponses hors contexte dans des situations médicales complexes.
2. Réduction des erreurs et des hallucinations
-
Les modèles sémantiques cliniques, en s’appuyant sur des bases de faits médicaux validés, réduisent significativement le taux d’erreurs et d’hallucinations (inventions de faits ou d’informations erronées), un problème connu des LLM généralistes qui peuvent produire des réponses plausibles mais incorrectes, notamment en l’absence de réglage fin sur des données médicales spécifiques.
3. Meilleure pertinence et précision pour les tâches médicales
-
L’IA clinique sémantique est conçue pour répondre précisément à des cas d’usage médicaux, en intégrant l’intention de la requête et le contexte clinique, là où les LLM natifs peuvent manquer de pertinence ou de précision, surtout pour des questions spécialisées ou pointues du domaine médical.
4. Moins de biais issus de corpus généralistes
-
Les LLM natifs sont entraînés sur des données très larges et hétérogènes, ce qui peut introduire des biais ou des imprécisions non adaptés à la pratique médicale. L’IA clinique sémantique, en se basant sur des connaissances médicales validées et structurées, limite ces biais et offre une fiabilité accrue pour l’aide au diagnostic ou à la décision clinique
5. Adaptation rapide aux évolutions médicales
-
Grâce à l’intégration de bases de données médicales actualisées, l’IA sémantique clinique peut plus facilement être mise à jour avec les dernières recommandations, guidelines ou découvertes, alors que la mise à jour d’un LLM généraliste nécessite un réentraînement massif et coûteux.
6. Explicabilité et traçabilité des recommandations
-
Les réponses générées par l’IA clinique sémantique sont généralement plus traçables et explicables (on peut remonter à la source du fait médical utilisé), ce qui est essentiel dans un contexte clinique. Les LLM natifs, eux, fonctionnent souvent comme des « boîtes noires » et peinent à justifier précisément leurs recommandations.
En résumé, l’IA clinique sémantique surpasse les grands modèles de langage natifs pour les applications médicales en offrant une précision accrue, une réduction des erreurs, une meilleure adaptation au contexte clinique et une explicabilité essentielle pour la pratique médicale, là où les LLM généralistes restent limités par leur approche statistique et leur manque de spécialisation.
Commentaire
Aulmenter les performances de l'IA par l'apport de données médicales pour mieux comprendre la dialectique médicale, si particulière, c'est le rôle de la sémantique. Ainsi il est possible de consulter avec une IA dédiée, mais cela reste "un collaborateur" et non un "ordonnateur". La sématique augmente les performances médicales de l'IA type LLM. Il s'agit d'un apprentissage progressif mais nécessaire si on veut utiliser l'IA lors d'une consultation médicale. La sémantique c'est "nourrir" l'IA LLM , norrir de médecine !
A LIRE
Intelligence clinique et intelligence artificielle
Une question de nuance
Clinical intelligence and artificial intelligence: a question of nuance
Copyright : Dr Jean Pierre Laroche /2025
