FB

ChatGPT et l’effet de halo

de

Il y a quelques mois, j’ai reçu un article à relire. Il s’agissait d’un article analysant un sondage : la récolte de données avait été faite manuellement et l’analyse était générée par des modèles de langage (IA).
J’ai été bluffée par la qualité de l’analyse et les jolis graphiques qui l’accompagnaient.
Bluffée… c’est vraiment le bon mot ! Car, après relecture, il y avait beaucoup d’erreurs et d’incohérences. Heureusement, des relecteurs plus attentifs que moi les ont relevées. Pour ma part, je n’ai vu la médiocrité de l’article qu’après qu’on m’encourage à y être attentive.

Pourquoi peut-on se faire si facilement avoir par une production d’IA médiocre ? Parce que, globalement, nos cerveaux ne sont pas bien difficiles à convaincre ! Les illusions d’optique sont un bon support pour nous le rappeler.

Ces deux tables sont de même forme : difficile à croire à moins d’utiliser un gabarit !

Dans le cas précis que je raconte, je vois un “biais cognitif” à l’œuvre : l’effet de halo.
On a tendance à attribuer tout un tas de qualités à des personnes sur simple observation d’une de leur qualité. Par exemple, on aura l’impression qu’une personne belle doit être aussi intelligente, consciencieuse, etc. Comme tous les biais cognitifs, il affecte notre jugement sans qu’on en soit conscients. (2)

Lire la suite

Les Entretiens du SEM : Les risques existentiels liés aux IA avec Jérémy Perret

de
⚠️ information pour les personnes qui étaient inscrites pour écouter la redifusion : une fois que vous avez écouté le podcast, n'oubliez pas d'envoyer un mail à sem.formation@edu.ge.ch pour faire valider le suivi dans le cursus de formation SIRH 

Le mercredi 3 décembre, le SEM a accueilli Jérémy Perret pour un entretien du SEM. On y a parlé d'un sujet brûlant : faut-il brider l'intelligence artificielle pour le bien de l'humanité?

Ingénieur et docteur en intelligence artificielle, ainsi que spécialiste des questions de sécurité, Jérémy Perret possède un parcours professionnel qui alterne recherche et développement en IA, d'un côté, enseignement et vulgarisation, de l'autre. Désormais, la sûreté et la gouvernance de l'IA occupent la majorité de ses activités. Il est donc bien placé pour nous alerter sur les dangers potentiels de l'IA. Il fait d'ailleurs partie du mouvement Pause IA, qui demande un moratoire sur le développement de l'intelligence artificielle.

Lire la suite

Des LLM éthiques, ça existe ?

de

Vous vous êtes peut-être déjà demandé quel LLM utiliser ? A vrai dire, cette question est mal posée ! Un LLM (large language model), c’est un modèle de langage auquel on n’accède pas directement mais via une interface [A]. Par exemple sur chatGPT, vous accédez aux modèles d’Open AI (gpt 5.1 ou 5.2 à l’heure où j’écris ce billet).

Alors, recommençons : pour une utilisation personnelle, ou en classe devant les élèves, ou pour les élèves eux-mêmes, quels outils de génération de texte utiliser ?
ChatGPT est l’interface la plus connue [1], qui accède à ses modèles GPT. Mais c’est un service propriétaire, américain. Notamment dans un cadre scolaire, son utilisation pose question.

Lire la suite

Un confessionnal pour les IA ?

de

Dans cet article, je vous faisais part d’une étude d’OpenAI expliquant que la manière dont les IA sont entrainées explique en partie les hallucinations. En effet, lors de l’entrainement, les modèles sont plus “récompensés” pour donner une bonne réponse que “punis” pour en donner une mauvaise. Ils ont donc toujours intérêt à tenter une réponse et à prétendre qu’ils sont sûrs d’eux (le vocabulaire anthropomorphique est utilisé ici pour simplifier la formulation mais, vous le savez, les LLM n’ont pas d’intentions, au sens humain).

Open AI vient de publier le résultat d’une expérimentation où ils ont ajouté un second système de récompenses, distinct de celui qui guide la réponse principale. Ce second système n’évalue pas la qualité de la réponse : il est entraîné à revenir sur une réponse déjà produite et en repérer les erreurs, dans une autocritique qu’OpenAI appelle “confession“.

Pourquoi séparer les deux systèmes ? Parce qu’un seul signal de récompense pousse le modèle à cacher ses incertitudes. En avouant qu’il se trompe, le modèle diminuerait la qualité de la réponse et se verrait pénalisé sur cet aspect-là. En fait, la multiplicité des critères à optimiser est un problème profond qui est une des causes des hallucinations des modèles de langage. Ils doivent à la fois maximiser la justesse de la réponse, son utilité, le respect des règles, les préférences des utilisateurs, etc.
Ici, donc, Open AI a séparé le système de récompenses lié à l’honnêteté des confessions. Le premier système n’est pas pénalisé par la “confession” d’un mensonge ou d’une erreur par le deuxième système. La détection d’erreur est traîtée à part, ce qui évite que le modèle ait intérêt à dissimuler ses fautes pour optimiser un score global.

Open AI propose de creuser cette piste, qu’ils trouvent prometteuse, relevant pour l’instant assez peu de faux négatifs ou de faux positifs.

J’aime bien vous parler des recherches qui se font en sécurité de l’IA… quand je les comprends ! Je trouve que cette recherche a le mérite d’être très accessible. Par ailleurs, j’y vois un écho intéressant avec notre métier d’enseignant : les élèves progressent quand ils comprennent leurs erreurs, pas s’ils les dissimulent. Une partie de notre travail consiste, je crois, à mettre en place un climat de confiance qui invite les élèves à repérer leurs erreurs, les partager éventuellement, et les voir comme une opportunité de progresser. Ce n’est pas possible s’ils sont évalués à ce moment là !

 

Source : https://openai.com/index/how-confessions-can-keep-language-models-honest/

Illustration : exemple provenant de l’article principal https://cdn.openai.com/pdf/6216f8bc-187b-4bbb-8932-ba7c40c5553d/confessions_paper.pdf

Pour aller plus loin : formation en ligne “sécurité des IA”, https://edu.ge.ch/site/fc/securite-intelligences-artificielles-sem-10346/

 

Voir chatGPT comme un simulateur, pas comme un interlocuteur

de

Andrej Karpathy est chercheur en IA qui a notamment travaillé pour Open AI. Il est intéressé par la vulgarisation autour de l’IA et on a déjà parlé ici de ses excellentes vidéos de vulgarisation sur le fonctionnement des IA.

Dans un tweet récent, Andrej Karpathy suggère d’interagir avec des modèles de langages (comme chatGPT) en les considérant comme des simulateurs et non pas des interlocuteurs.

Il donne l’exemple d’un prompt “que penses-tu de xyz” ? Or l’IA n’a pas de pensée de type humain. Et d’ailleurs, ce n’est probablement pas “son” point de vue qui nous intéresse (pour autant que ça ait un sens). On aurait donc meilleur temps de remplacer par une question du genre : “Quels spécialistes pourrait-on consulter sur xyz ? Que diraient-ils?“.
Le modèle de langage produira alors la suite de texte la plus plausible, puisque c’est ce qu’il a été entraîné à faire. Dans le contexte de ce prompt, on obtiendra une imitation d’une réponse qu’un expert pourrait donner. (Notez que cela n’élimine pas les risques d’hallucinations et que, si c’est important, étonnant ou si vous envisagez de partager l’information, elle doit absolument être vérifiée !)

Ce conseil me semble pertinent à deux titres. D’une part, il peut améliorer les résultats. D’autre part, il nous invite à nous souvenir que l’IA n’est pas humaine et qu’il convient de ne pas l’anthropomorphiser.

 

 

***********************

 

Source : tweet du 7 décembre https://x.com/karpathy/status/1997731268969304070

Image d’illustration : générée par gemini le 10 décembre 2025

Pour aller plus loin : en avril, nous organiserons un mercredi à thème “sous le capot des IA”, on expliquera comment le fonctionnement des LLM permet d’anticiper certains comportements des LLM et donne des pistes sur comment mieux les utiliser.

Pourquoi les IA hallucinent-elles ?

de

Open AI a publié une étude s’intéressant aux “hallucinations” des IAs. C’est cette fâcheuse tendance que peuvent avoir les LLM (large language model, comme chatGPT par exemple) à produire parfois du texte parfaitement plausible mais faux. L’article nous explique que ces hallucinations sont le résultat de plusieurs facteurs.

Lire la suite

Entretien du SEM : comment dominer le jeu vidéo?

de

Le mercredi 28 mai,  nous avons accueilli Lucien Ding, responsable genevois de l’Académie Noétic, lors d’un «entretien du SEM»

Noétic? Cette association propose des cours de jeux vidéo pour les jeunes. Bien au-delà d’un travail de «virtuosité» pour les joueurs, l’académie a pour vocation d’accompagner les adolescents dans une pratique raisonnée des jeux vidéo. A chaque cours, des thèmes tels que les achats dans les jeux vidéo, l’économie de l’attention, les conflits autour des écrans avec les parents, etc. sont abordés.

Lucien Ding, ancien joueur de haut niveau et doté d’une expérience de travailleur social, est un coach qui plaît aux jeunes et rassure les parents.

Lire la suite

Un entraînement sans humain

de

Il y a quelques semaines, je vous parlais de l’analogie d’Andrej Karpathy à propos de l’entraînement des IA qui ressemble l’apprentissage des élèves : lire son cours, faire des exercices corrigés, puis des exercices avec la solution non détaillée.
Une équipe de recherche de l’université de Tsinghua (Chine) a récemment présenté ce qu’elle a appelé le “zero human training”. Si on file la métaphore, les élèves laisseraient de côté profs et manuels scolaires pour travailler sur leurs propres exercices inventés. (Ce que font parfois… les meilleurs élèves ?)

Lire la suite

République et canton de Genève | DIP connexion |