Andrej Karpathy (1) a publi\u00e9 il y a quelques mois une longue vid\u00e9o (3 heures 30 !) sur le fonctionnement des mod\u00e8les de langage tels que chatGPT (LLM : large language model). Au cours de cette vid\u00e9o, il utilise une analogie, que je trouve parlante, sur les diff\u00e9rents types d’apprentissage de ces mod\u00e8les : apprendre pour une IA, ce serait un peu comme apprendre pour un \u00e9l\u00e8ve :<\/p>\n
1) Lire le cours<\/span> <\/p>\n 2) \u00c9tudier des exercices corrig\u00e9s<\/span> 3) Faire ses devoirs\u2026 sans la correction<\/span> <\/p>\n Comprendre comment on entra\u00eene une IA me semble important car cela permet de mieux anticiper les limites et les risques. Chaque \u00e9tape \u2014 pr\u00e9-entra\u00eenement, rlhf, renforcement \u2014 fa\u00e7onne un type d\u2019intelligence<\/em> (ce mot est probablement tr\u00e8s mal choisi !) diff\u00e9rent, avec ses forces et ses faiblesses. Le comprendre permet d’\u00eatre plus rationnel face aux capacit\u00e9s r\u00e9elles de ces syst\u00e8mes qui sont \u00e0 la fois fascinants et limit\u00e9s, \u00e0 la fois “nunuches” et inqui\u00e9tants ! Pour un enseignant, cela signifie pouvoir expliquer aux \u00e9l\u00e8ves pourquoi ces mod\u00e8les peuvent produire des textes convaincants mais parfois erron\u00e9s, pourquoi ils peuvent r\u00e9soudre certains probl\u00e8mes complexes tout en \u00e9chouant sur des t\u00e2ches apparemment simples. Pour un citoyen, c’est la possibilit\u00e9 d’adopter une posture critique face aux discours contradictoires qu’on peut entendre et de prendre la mesure des risques associ\u00e9s aux IA. <\/p>\n Sources:<\/p>\n (1) Andrej Karpathy<\/a> L’image pour l’article a \u00e9t\u00e9 g\u00e9n\u00e9r\u00e9e par chatGPT le 13 avril 2025<\/p>\n Cet article se base essentiellement sur cette vid\u00e9o de Andrej Karpathy :<\/p>\n
\nC\u2019est la premi\u00e8re phase : le pr\u00e9-entra\u00eenement. L\u2019IA “lit” des tonnes de textes (livres, sites universitaires, encyclop\u00e9dies, etc.). Elle apprend \u00e0 reconna\u00eetre des structures, des phrases, des concepts. Comme un \u00e9l\u00e8ve qui lit son manuel pour se familiariser avec les bases. A cette \u00e9tape, elle ne fait qu’ “ingurgiter” l’information lue.
\nBien s\u00fbr, analogie oblige, ce vocabulaire est tr\u00e8s anthropomorphique et il serait plus correct de dire qu’\u00e0 cette \u00e9tape, on cherche un programme capable de pr\u00e9dire le mot suivant lorsqu’on lui donne un d\u00e9but de texte, ce qui n\u00e9cessite d’encoder des r\u00e9gularit\u00e9s statistiques dans les structures, les phrases, les concepts. J’ai fait une animation pour bien comprendre ce qui se passe dans cette phase de “pre-training”, vous la trouverez ici : https:\/\/espritcritique.fbfb.eu\/fonctionnementLLM\/<\/a>
\nA l’issue de cette \u00e9tape, un mod\u00e8le de langage est presque inutilisable. Il a ingurgit\u00e9 les donn\u00e9es mais ne saurait pas les “communiquer”. Par exemple, il risque de pr\u00e9dire que le texte qui vient \u00e0 la suite d’une question est une autre question car, dans ses donn\u00e9es d’entrainement, les questions viennent souvent par listes. Il faut donc passer \u00e0 la deuxi\u00e8me \u00e9tape.<\/p>\n
\nDeuxi\u00e8me \u00e9tape : l\u2019apprentissage par imitation. Cette fois, on montre au programme des exemples d\u2019exercices avec leurs solutions parfaites, \u00e9crites par des experts humains. L\u2019IA apprend en imitant<\/em>. Elle est entra\u00een\u00e9e \u00e0 reproduire la forme attendue.
\nDans les faits, cette \u00e9tape regroupe deux techniques distinctes:
\n– le fine-tuning supervis\u00e9 \u2014 o\u00f9 l\u2019on montre au mod\u00e8le des consignes accompagn\u00e9es de bonnes r\u00e9ponses \u00e0 imiter. Si on file la m\u00e9taphore, on pourrait dire que ce serait comme un cours avec un prof particulier qui montre des exemples soigneusement r\u00e9dig\u00e9s.
\n– et, du Reinforcement Learning with Human Feedback (RLHF), o\u00f9 les IA essayent d’am\u00e9liorer la qualit\u00e9 de leurs r\u00e9ponses en se basant sur la “note” donn\u00e9e par des humains. (2). Comme un \u00e9l\u00e8ve s’am\u00e9liorerait gr\u00e2ce au retour du correcteur sur son \u00e9valuation.
\nUne partie du travail n\u00e9cessite que ces experts humains se penchent sur des contenus violents, haineux ou sexuellement explicites \u2014 un travail \u00e9prouvant, parfois externalis\u00e9 dans des pays \u00e0 bas co\u00fbt, o\u00f9 les conditions psychologiques sont peu encadr\u00e9es (3).<\/p>\n
\nTroisi\u00e8me \u00e9tape : l\u2019apprentissage par renforcement. On donne \u00e0 l’IA des exercices avec la solution mais sans les \u00e9tapes interm\u00e9diaires. Juste la consigne, et la bonne r\u00e9ponse \u00e0 la fin. Elle essaie diff\u00e9rentes approches et quand elle tombe sur la solution, elle est \u00ab r\u00e9compens\u00e9e \u00bb : ses param\u00e8tres sont ajust\u00e9s pour qu\u2019elle ait plus de chances de refaire pareil. Car probablement, si elle a trouv\u00e9 la bonne solution, c’est qu’elle a appliqu\u00e9 une strat\u00e9gie qui marche.
\nLes facult\u00e9s de “raisonnement” semblent alors nettement s’am\u00e9liorer. L’IA se trompe, recommence, progresse. Comme un \u00e9l\u00e8ve qui apprend en se confrontant \u00e0 la difficult\u00e9. Les mod\u00e8les qui incluent cette troisi\u00e8me phase dans leur entrainement sont ceux qui r\u00e9ussissent le mieux dans des t\u00e2ches complexes (4).
\nCar quelque chose de nouveau appara\u00eet. L\u2019IA n\u2019imite plus : elle d\u00e9couvre<\/em>. Elle d\u00e9veloppe ses propres strat\u00e9gies, parfois plus efficaces que celles des humains. Comme AlphaGo, qui avait trouv\u00e9 une strat\u00e9gie in\u00e9dite (le fameux \u00ab coup 37 \u00bb (5)) \u00e0 laquelle les meilleurs joueurs de go n\u2019avaient jamais pens\u00e9.
\nJe reprends mon avertissement : quand je dis que “l\u2019IA d\u00e9veloppe ses propres strat\u00e9gies”, cela n’implique pas qu\u2019elle pense ou comprend, en tous cas clairement pas \u00e0 la mani\u00e8re dont penserait ou comprendrait un humain.
\nMais cette troisi\u00e8me \u00e9tape a \u00e9t\u00e9 d\u00e9terminante dans les r\u00e9cents mod\u00e8les capables de raisonnement. C\u2019est aussi l\u00e0 que peuvent \u00e9merger des comportements inattendus, efficaces\u2026 ou probl\u00e9matiques (6).<\/p>\n
\nAvec cette analogie, il me semble qu’on a une porte d’entr\u00e9e accessible, \u00e0 nous et aux \u00e9l\u00e8ves. Et pour ceux qui sont int\u00e9ress\u00e9s, il ne reste plus qu’\u00e0 creuser, par exemple en visionnant l\u2019enti\u00e8ret\u00e9 de la vid\u00e9o d’Andrej Karpathy ou en s’inscrivant \u00e0 des formations du SEM \ud83d\ude42<\/p>\n
\n(2) Une explication tr\u00e8s claire sur le RLHF<\/a> (en anglais)
\n(3) A propos des conditions de travail des “entra\u00eeneurs” de l’IA, voir par exemple cet article de frandroid<\/a>
\n(4) En fran\u00e7ais, la cha\u00eene youtube Alexandre TL fait un gros travail de vulgarisation sur l’apprentissage par renforcement. Cette vid\u00e9o fait le lien avec les LLM (large language model) : https:\/\/youtu.be\/88GqOhq5iKE?si=-8tGSQ-x086J9Dx5<\/a>
\n(5) A propos du coup 37, voir par exemple cette vid\u00e9o de Sciences Etonnantes : https:\/\/scienceetonnante.com\/blog\/2019\/01\/23\/ia-creativite\/<\/a>
\n(6) Voir par exemple la chaine youtube de Rob Miles : https:\/\/www.youtube.com\/@RobertMilesAI ,<\/a> ce sujet est tr\u00e8s important et m\u00e9ritera un article (ou plusieurs)<\/p>\n