Sur la chaine youtube Alexandre TL, on trouve une intéressante rétrospective de l’IA en 2025. L’article qui suit en résume les principaux éléments.
IA
Des LLM éthiques, ça existe ?
Vous vous êtes peut-être déjà demandé quel LLM utiliser ? A vrai dire, cette question est mal posée ! Un LLM (large language model), c’est un modèle de langage auquel on n’accède pas directement mais via une interface [A]. Par exemple sur chatGPT, vous accédez aux modèles d’Open AI (gpt 5.1 ou 5.2 à l’heure où j’écris ce billet).
Alors, recommençons : pour une utilisation personnelle, ou en classe devant les élèves, ou pour les élèves eux-mêmes, quels outils de génération de texte utiliser ?
ChatGPT est l’interface la plus connue [1], qui accède à ses modèles GPT. Mais c’est un service propriétaire, américain. Notamment dans un cadre scolaire, son utilisation pose question.
Voir chatGPT comme un simulateur, pas comme un interlocuteur
Andrej Karpathy est chercheur en IA qui a notamment travaillé pour Open AI. Il est intéressé par la vulgarisation autour de l’IA et on a déjà parlé ici de ses excellentes vidéos de vulgarisation sur le fonctionnement des IA.
Dans un tweet récent, Andrej Karpathy suggère d’interagir avec des modèles de langages (comme chatGPT) en les considérant comme des simulateurs et non pas des interlocuteurs.
Il donne l’exemple d’un prompt “que penses-tu de xyz” ? Or l’IA n’a pas de pensée de type humain. Et d’ailleurs, ce n’est probablement pas “son” point de vue qui nous intéresse (pour autant que ça ait un sens). On aurait donc meilleur temps de remplacer par une question du genre : “Quels spécialistes pourrait-on consulter sur xyz ? Que diraient-ils?“.
Le modèle de langage produira alors la suite de texte la plus plausible, puisque c’est ce qu’il a été entraîné à faire. Dans le contexte de ce prompt, on obtiendra une imitation d’une réponse qu’un expert pourrait donner. (Notez que cela n’élimine pas les risques d’hallucinations et que, si c’est important, étonnant ou si vous envisagez de partager l’information, elle doit absolument être vérifiée !)
Ce conseil me semble pertinent à deux titres. D’une part, il peut améliorer les résultats. D’autre part, il nous invite à nous souvenir que l’IA n’est pas humaine et qu’il convient de ne pas l’anthropomorphiser.
***********************
Source : tweet du 7 décembre https://x.com/karpathy/status/1997731268969304070
Image d’illustration : générée par gemini le 10 décembre 2025
Pour aller plus loin : en avril, nous organiserons un mercredi à thème “sous le capot des IA”, on expliquera comment le fonctionnement des LLM permet d’anticiper certains comportements des LLM et donne des pistes sur comment mieux les utiliser.
Un entraînement sans humain
Il y a quelques semaines, je vous parlais de l’analogie d’Andrej Karpathy à propos de l’entraînement des IA qui ressemble l’apprentissage des élèves : lire son cours, faire des exercices corrigés, puis des exercices avec la solution non détaillée.
Une équipe de recherche de l’université de Tsinghua (Chine) a récemment présenté ce qu’elle a appelé le “zero human training”. Si on file la métaphore, les élèves laisseraient de côté profs et manuels scolaires pour travailler sur leurs propres exercices inventés. (Ce que font parfois… les meilleurs élèves ?)
LLM sous microscope
Dans quelle langue réfléchissent les LLM* ?
Est-ce que ces modèles peuvent “planifier” au-delà du prochain mot ?
Exposent-ils fidèlement leurs raisonnements quand on les leur demande ?
(*LLM : large language model, comme chatGPT par exemple)
Performance actuelle des LLM : 1 heure
Le METR (Model Evaluation and Testing for Reliability), organisation dédiée à l’évaluation des modèles d’intelligence artificielle, vient de publier un article synthétisant des recherches vraiment intéressantes. L’objectif était de mesurer l’évolution des capacités des LLM (Large Language Model, les modèles de language qu’on retrouve par exemple dans chatGPT)
Le paradoxe des gros modèles de langages
Il y a quelques semaines, Algorithmic Simplicity a publié une vidéo s’intéressant à un étrange paradoxe : plus un modèle est gros, moins il devrait être capable de généraliser, et ce n’est pourtant pas ce qu’on constate.
D’abord, pourquoi un modèle gros devrait-il être moins bon ? C’est peut être ça qui vous paraitra paradoxal. Eh bien, si un modèle possède beaucoup de paramètres, il peut “apprendre par cœur” ses données d’entraînement sans trouver de liens entre elles. C’est un peu comme si un élève avait un cerveau assez gros pour tout mémoriser, sans faire de liens entre ses connaissances. Un tel modèle serait excellent lors de l’entraînement mais incapable de généraliser quand on lui donne de nouvelles données. C’est ce qu’on appelle l’overfitting.
Les IA qui apprennent un peu comme des élèves
Andrej Karpathy (1) a publié il y a quelques mois une longue vidéo (3 heures 30 !) sur le fonctionnement des modèles de langage tels que chatGPT (LLM : large language model). Au cours de cette vidéo, il utilise une analogie, que je trouve parlante, sur les différents types d’apprentissage de ces modèles : apprendre pour une IA, ce serait un peu comme apprendre pour un élève :
1) Lire le cours
C’est la première phase : le pré-entraînement. L’IA “lit” des tonnes de textes (livres, sites universitaires, encyclopédies, etc.). Elle apprend à reconnaître des structures, des phrases, des concepts. Comme un élève qui lit son manuel pour se familiariser avec les bases. A cette étape, elle ne fait qu’ “ingurgiter” l’information lue.
Bien sûr, analogie oblige, ce vocabulaire est très anthropomorphique et il serait plus correct de dire qu’à cette étape, on cherche un programme capable de prédire le mot suivant lorsqu’on lui donne un début de texte, ce qui nécessite d’encoder des régularités statistiques dans les structures, les phrases, les concepts. J’ai fait une animation pour bien comprendre ce qui se passe dans cette phase de “pre-training”, vous la trouverez ici : https://espritcritique.fbfb.eu/fonctionnementLLM/
A l’issue de cette étape, un modèle de langage est presque inutilisable. Il a ingurgité les données mais ne saurait pas les “communiquer”. Par exemple, il risque de prédire que le texte qui vient à la suite d’une question est une autre question car, dans ses données d’entrainement, les questions viennent souvent par listes. Il faut donc passer à la deuxième étape.
Quand les IA génératives sont-elles utiles ? (P versus NP ?!)
Les IA génératives sont impressionnantes, mais on sent que leur utilité varie selon les contextes. Une première idée serait de ne les utiliser que dans les domaines dans lesquels on est expert. Mais il me semble que, plus précisément, les IA génératives sont utiles dans les situations où vérifier est plus simple que produire.
Écrire un texte peut prendre des heures, mais repérer une incohérence ou une faute de style se fait souvent en quelques secondes. De même, générer un code informatique complexe est une tâche ardue, mais tester s’il fonctionne est souvent immédiat; Dans les situations où il y a une telle asymétrie, les IA peuvent proposer une solution rapide, et l’on tranche en un instant si c’est correct et pertinent ou non.
Cela signifierait que les IA ne sont pas utiles à tous pour les même taches. A titre personnel, je les utilise énormément pour coder (il faudra d’ailleurs que je vous en parle: la possibilité de créer en quelques heures des activités numériques pour les élèves me semble un changement potentiellement profond dans l’enseignement !). Pour cet article, créer une image d’illustration aurait pu être un véritable casse-tête, mais vérifier que l’image générée par chatGPT convient – d’après le prompt: “Génère une image qui montre un robot qui donne une copie à un humain qui semble sur le point de la vérifier” – est d’une simplicité enfantine (j’en profite pour créditer l’image!). Les IA génératives sont également très efficaces pour la génération d’idées, toujours suivant la même règle: c’est généralement facile d’évaluer la pertinence et l’intérêt des idées présentées, mais difficile de les avoir.
Peut être que le principe “utilisez des IA génératives dans les cas où vérifier est plus simple que produire” pourrait aider nos élèves à faire un meilleur usage des IA ? Ce n’est qu’une hypothèse, à discuter et tester !
Post-scriptum :
Nos lecteurs informaticiens trouveront probablement que cela rappelle le problème ouvert “P = NP ?”, et si vous trouvez cela intrigant, je vous recommande cette vidéo de sciences étonnantes: