L'IA peut-elle dire « J'ignore » ?

 https://www.nejm.org/doi/pdf/10.1056/NEJMp2517624

« Nous pensons que les systèmes d’intelligence artificielle clinique devraient être entraînés à exprimer une incertitude calibrée, de manière à compléter et à signaler la nécessité d'une humilité épistémique chez les utilisateurs humains — et leurs performances dans ces domaines devraient être évaluées.

Les systèmes n’ayant pas la capacité de manifester des comportements liés à l’incertitude continueront de produire des fictions persuasives précisément au moment où les patients ont besoin que leurs cliniciens marquent une pause et demandent de l’aide. Les modèles de langage (LLM) contemporains ont réussi de nombreux tests de Turing, mais réussiront-ils cette épreuve moderne consistant à admettre qu'ils ne savent pas ? Nous l’ignorons. »

Informations complémentaires

Note : Les formulaires de divulgation fournis par les auteurs sont disponibles sur NEJM.org.

Affiliations des auteurs :

1. École de médecine de l'université du Colorado, Aurora ;

2. Département de biostatistique, Harvard T.H. Chan School of Public Health, Boston ;

3. Brigham and Women’s Hospital, Boston ;

4. Harvard Medical School, Boston.

L'expression de l'incertitude chez les cliniciens et les grands modèles de langage (LLM)

« Face à un terme inconnu, tel qu’un nom de médicament qu’ils ne reconnaissent pas, les cliniciens faisant preuve d’humilité épistémique marquent généralement un temps d’arrêt pour effectuer des vérifications.

À l’inverse, les grands modèles de langage génèrent des réponses basées sur des modèles statistiques textuels plutôt que sur une compréhension concrète du domaine.

Par conséquent, ils peuvent fournir des conseils incluant des informations erronées ou fabriquées (par exemple, traiter un nom de Pokémon comme un véritable médicament), à moins que des comportements explicites de gestion de l’incertitude ne soient déclenchés. »

Analyse NOTEBOOKLM

Cet article explore la nécessité cruciale pour l’intelligence artificielle médicale de reconnaître ses propres limites, une vertu humaine appelée humilité épistémique. Tandis que les médecins apprennent à admettre leur ignorance pour éviter des erreurs graves, les modèles de langage actuels ont tendance à générer des réponses erronées avec assurance plutôt que de signaler une incertitude. Les auteurs proposent d'intégrer l'aveu de l'ignorance comme une compétence clinique mesurable, soumettant ainsi les machines aux mêmes standards d'évaluation que les praticiens en formation. En mettant en place des protocoles imposant à l’IA de ne pas répondre en cas d’ambiguïté, le système de santé pourrait faire de ces outils technologiques des partenaires fiables et favorables à une réflexion analytique approfondie.

Commentaire

Réflexion : Friedrich Nietzsche, Le Gai Savoir, 1882....à propos de la vertu...et du savoir, remplacez vertu par savoir......

"Nous disons bonnes les vertus d'un homme, non pas à cause des résultats qu'elles peuvent avoir pour lui, mais à cause des résultats qu'elles peuvent avoir pour nous et pour la société : dans l'éloge de la vertu on n'a jamais été bien « désintéressé », on n'a jamais été bien « altruiste » ! On aurait remarqué, sans cela, que les vertus (comme l'application, l'obéissance, la chasteté, la piété, la justice) sont généralement nuisibles à celui qui les possède. En effet, ce sont des instincts qui règnent en lui trop violemment, trop avidement, et ne veulent à aucun prix se laisser contrebalancer raisonnablement par les autres. Quand on possède une vertu, une vraie vertu, une vertu complète (non une tendance modeste à l'avoir), on est victime de cette vertu ! Et c'est précisément pourquoi le voisin en fait la louange ! On loue l'homme zélé bien que son zèle gâte sa vue, qu'il use la spontanéité et la fraîcheur de son esprit : On vante, on plaint le jeune homme qui s'est « tué à la tâche » . En effet on pense : « Pour l'ensemble social, perdre la meilleure unité n'est encore qu'un petit sacrifice ! Il est fâcheux que ce sacrifice soit nécessaire ! Mais il serait bien plus fâcheux que l'individu pensât différemment, qu'il attachât plus d'importance à se conserver et à se développer qu'à travailler au service de tous ! » On ne plaint donc pas ce jeune homme à cause de lui-même. Cependant, sa mort a privé la société d’un instrument obéissant, indifférent à lui‑même, en un mot d’un « brave homme », comme on dit.

Après le classique "je ne sais pas", phrase culte qui appartient à la bible des médecins, le "je ne sais plus" est très tendance. On ne sait plus quoi penser de la science tant les informations s'entrechoquent chaque jour et conduisent à la désinformation médicale. Les informations sont publiées à un rythme effréné dans la presse scientifique et dans la presse grand public avec trop d' inexactitudes. Les spécialistes ne sont pas d'accord entre eux. Les journalistes dits scientifiques en perdent leur latin. Le patient devant sa TV est saoulé de toutes ces informations  souvent incompréhensibles pour lui. La peur entretenue par les autorités en rajoute une couche. Nous avons maintenant en France 60 millions de virologues, l'Antahvirus n'a qu à bien se tenir.  autant que de sélectionneurs  de l'équipe de France de football....

Une IA dire "Je ne sais pas" ou "Je ne sais plus " c'est impossible ! 

Les "vérités alternatives " chères à Orwell et Trump , voilà ce qu'il faut éviter à tout prix et pourtant elles se multiplient… Avec la pandémie et tous les porte-paroles des médias, il est toujours aisé de trouver un échappatoire tant on entend tout et le contraire de tout. En restant totalement dans la vérité , dans le vrai, voilà la bonne  solution.

L'IA et les vérités alternatives, qui sont en réalité des hallucinations, soulèvent des préoccupations majeures. 

La "parole médicale" ne doit pas devenir de la "parole politique " qui, elle, s'autorise à n'importe quoi, … trop souvent ... la parole de l'IA quand elle ne sait pas elle invente, comme les politiques. Mais, c'est normal car ce sont des humains qui ont créé l'IA !