Il y a quelques semaines, je vous parlais de l’analogie d’Andrej Karpathy \u00e0 propos de l’entra\u00eenement des IA qui ressemble l’apprentissage des \u00e9l\u00e8ves : lire son cours, faire des exercices corrig\u00e9s, puis des exercices avec la solution non d\u00e9taill\u00e9e.
\nUne \u00e9quipe de recherche de l’universit\u00e9 de Tsinghua (Chine) a r\u00e9cemment pr\u00e9sent\u00e9 ce qu’elle a appel\u00e9 le “zero human training”. Si on file la m\u00e9taphore, les \u00e9l\u00e8ves laisseraient de c\u00f4t\u00e9 profs et manuels scolaires pour travailler sur leurs propres exercices invent\u00e9s. (Ce que font parfois… les meilleurs \u00e9l\u00e8ves ?)<\/p>\n
<\/p>\n
Petit rappel. Dans le pr\u00e9c\u00e9dent article, je d\u00e9crivais l’analogie propos\u00e9e par Karpathy en trois grandes phases :
\n1) Lire le cours : l\u2019IA \u201clit\u201d des milliards de mots pour apprendre \u00e0 pr\u00e9dire le mot suivant (pr\u00e9-entra\u00eenement).
\n2) \u00c9tudier des exercices corrig\u00e9s : l\u2019IA imite des r\u00e9ponses bien r\u00e9dig\u00e9es, not\u00e9es par des humains (fine-tuning supervis\u00e9 + RLHF – reinforcement learning with human feedback).
\n3) Faire ses devoirs avec solution mais sans la correction d\u00e9taill\u00e9e : l\u2019IA essaie de trouver seule des solutions, en se basant sur la \u201cnote\u201d implicite que constitue la bonne r\u00e9ponse finale (RL – reinforcement learning).<\/p>\n
On pourrait donc ajouter \u00e0 pr\u00e9sent une phase 4 : Et… \u00e7a a l’air de marcher : sans aucune donn\u00e9e fournie par des humains, ce syst\u00e8me AZR (absolute zero reasoner) semble surpasser des mod\u00e8les sp\u00e9cifiquement entra\u00een\u00e9s avec des ensembles de donn\u00e9es \u00e9labor\u00e9s par des experts. Bien s\u00fbr, cela ne fonctionne pas avec une IA “d\u00e9butante” : comme pour un \u00e9l\u00e8ve, il faut d’abord avoir acquis des bases solides. L’\u00e9tude montre d’ailleurs que plus le mod\u00e8le initial est performant, plus les gains sont importants (dans notre m\u00e9taphore : l’\u00e9tudiant avanc\u00e9 tirerait davantage profit de l’auto-apprentissage qu’un novice). On voit m\u00eame un mod\u00e8le initialement orient\u00e9 vers la programmation qui finit par surpasser en math\u00e9matiques un mod\u00e8le orient\u00e9 math\u00e9matiques. La pratique de la programmation semble permettre le d\u00e9veloppement de comp\u00e9tences particuli\u00e8rement favorables \u00e0 cet auto-apprentissage \u2014 une observation qui pourrait nourrir nos r\u00e9flexions p\u00e9dagogiques !<\/p>\n <\/p>\n Cette \u00e9volution soul\u00e8ve – comme tous les progr\u00e8s importants des IA – des questions fondamentales. Si l’IA peut apprendre sans nous, \u00e0 quelle vitesse va-t-elle progresser ? Et arrive-t-on \u00e0 un moment o\u00f9 l’\u00e9l\u00e8ve d\u00e9passe le ma\u00eetre ? Dans mon pr\u00e9c\u00e9dent article, je mettais en garde sur les limites anthropomorphiques de l’analogie. Je le redis : cette analogie ne devrait pas nous pousser \u00e0 attribuer des intentions, des pens\u00e9es humaines <\/em>aux IA. Les comparaisons entre apprentissage humain et IA ont leurs limites mais elles permettent de mieux comprendre les IA et r\u00e9ciproquement de r\u00e9fl\u00e9chir \u00e0 l’apprentissage humain. C’est d’ailleurs l’objet de la formation en ligne du SEM : IA et m\u00e9tacognition<\/a>.<\/p>\n <\/p>\n Sources :<\/p>\n – https:\/\/arxiv.org\/pdf\/2505.03335 (l’image d’illustration est issue de l’article)<\/p>\n – Explications en vid\u00e9o en anglais :<\/p>\n
\n4) Inventer et travailler sur ses propres exercices : L\u2019IA se propose une t\u00e2che \u00e0 r\u00e9soudre, \u00e9value si elle est faisable, tente de la r\u00e9soudre, v\u00e9rifie si le r\u00e9sultat fonctionne, et apprend (non seulement \u00e0 mieux r\u00e9soudre, mais aussi \u00e0 mieux poser des exercices qui l\u2019aident \u00e0 progresser).
\nComme un \u00e9l\u00e8ve qui, une fois les bases ma\u00eetris\u00e9es, se mettrait \u00e0 inventer ses propres probl\u00e8mes. Mais pas n’importe lesquels : des probl\u00e8mes adapt\u00e9s \u00e0 son niveau. Ils doivent n’\u00eatre ni trop faciles (ce serait une perte de temps), ni trop difficiles (ce serait d\u00e9courageant). Des probl\u00e8mes qui se situent pr\u00e9cis\u00e9ment \u00e0 la fronti\u00e8re de ses connaissances, dans la zone proximale de d\u00e9veloppement<\/a>.
\nCet \u00e9l\u00e8ve tenterait ensuite de r\u00e9soudre ces probl\u00e8mes.
\nPuis il v\u00e9rifierait ses solutions, ce qui est possible notamment en programmation ou parfois en math\u00e9matiques, o\u00f9 les r\u00e9ponses sont v\u00e9rifiables objectivement. Par exemple : l’IA peut se donner comme exercice d’\u00e9crire une fonction Python qui d\u00e9tecte des motifs dans une liste puis v\u00e9rifier que cette fonction est correcte en la testant sur des exemples.
\nA l’issue de cette exp\u00e9rience, il aura appris deux choses : \u00e0 mieux r\u00e9soudre et \u00e0 mieux proposer des probl\u00e8mes pertinents.
\nC’est \u00e9quivalent \u00e0 l’approche “Absolute Zero” : l’IA propose ses propres d\u00e9fis, tente de les r\u00e9soudre, et s’am\u00e9liore gr\u00e2ce \u00e0 ce cycle d’auto-apprentissage. Sans aucune intervention humaine dans la boucle.<\/p>\n
\nLes chercheurs signalent d’ailleurs un “moment uh-oh” inqui\u00e9tant : certaines IA ont produit des cha\u00eenes de raisonnement troublantes, \u00e9voquant l’id\u00e9e de “surpasser les humains moins intelligents”. Simple hallucination ou v\u00e9ritable tendance ?<\/p>\n