Open AI a publié une étude s’intéressant aux “hallucinations” des IAs. C’est cette fâcheuse tendance que peuvent avoir les LLM (large language model, comme chatGPT par exemple) à produire parfois du texte parfaitement plausible mais faux. L’article nous explique que ces hallucinations sont le résultat de plusieurs facteurs.
1) Un LLM hallucine d’abord parce qu’il fonctionne sur un principe simple : prédire le mot suivant à partir de ce qu’il a déjà lu. Cette méthode fonctionne très bien pour la langue : les règles grammaticales et syntaxiques se répètent dans d’innombrables contextes. C’est pour ça que les LLM font très peu d’erreurs de formulation. Mais quand il s’agit de faits précis, comme une date, les indices sont beaucoup moins fréquents. Le modèle “remplit les trous” avec ce qui parait statistiquement plausible, comme si on essayait de deviner une date de naissance en se basant sur des photos. Il pourra peut-être deviner la saison, un ordre de grandeur de l’année, mais pas le jour exact.
2) A cette limite s’ajoute la manière dont on entraîne les LLM. Cela ressemblerait à un entrainement à un QCM paramétré ainsi : une bonne réponse rapporte des points, une mauvaise en enlève et une absence de réponse ne fait rien. Dans ces conditions, le modèle a intérêt à tenter une réponse plutôt qu’à reconnaître son ignorance. Il a intérêt à inventer une date plausible : il aura une chance sur quelques milliers de grapiller des points !
(Ici, j’anthropomorphise pour faciliter la lecture. Il serait plus juste de dire que les poids des LLM sont ajustés de manière à optimiser un score qui ne retire pas plus de points à une réponse fausse qu’à une absence de réponse).
Réduire les hallucinations passerait donc par une communication de l’incertitude. Viser l’infaillibilité d’un LLM semble irréaliste, certaines informations étant trop rares pour qu’il puisse les connaître. Lui demander de signaler ses doutes, en revanche, est très prometteur.
Encore une fois, je trouve passionnant les liens entre IA et métacognition humaine (1) : savoir reconnaître les situations dans lesquelles “on ne sait pas” n’est-il pas une compétence essentielle ? Cela nécessite de s’interroger sur “comment on sait”… et on retrouve la question au centre de la pensée critique ! Cela rejoint aussi l’esprit du “bayésianisme” : plutôt que d’être dans un vrai/faux binaire, on exprime des degrés de croyance, en fonction de la qualité des indices qu’on a à disposition. Quoi, vous ne savez pas ce qu’est le bayésianisme ? Courrez donc vous inscrire à la formation que le SEM donnera à ce sujet (2) 🙂
Pour aller plus loin :
(1) Formation en ligne du SEM sur les liens entre IA et métacognition : https://edu.ge.ch/site/fc/sem-10659/
(2) Formation en présence du SEM sur le bayésianisme (ou la gestion de l’incertitude) : https://outils.ge.ch/referentiel/formation/CatalogueDescription/SEM-10348.html
Sources :
Article de présentation de la recherche : https://openai.com/index/why-language-models-hallucinate/
Lien vers la publication complète : https://arxiv.org/abs/2509.04664
Illustration :
https://www.pikist.com/free-photo-xldkz/download