{"id":2988,"date":"2025-05-08T14:54:24","date_gmt":"2025-05-08T13:54:24","guid":{"rendered":"https:\/\/edu.ge.ch\/site\/tablettepedagogique\/?p=2988"},"modified":"2025-05-05T06:59:16","modified_gmt":"2025-05-05T05:59:16","slug":"performance-actuelle-des-llm-1-heure","status":"publish","type":"post","link":"https:\/\/edu.ge.ch\/site\/tablettepedagogique\/2025\/05\/08\/performance-actuelle-des-llm-1-heure\/","title":{"rendered":"Performance actuelle des LLM : 1 heure"},"content":{"rendered":"

Le METR (Model Evaluation and Testing for Reliability), organisation d\u00e9di\u00e9e \u00e0 l\u2019\u00e9valuation des mod\u00e8les d\u2019intelligence artificielle, vient de publier un article synth\u00e9tisant des recherches vraiment int\u00e9ressantes. L’objectif \u00e9tait de mesurer l’\u00e9volution des capacit\u00e9s des LLM (Large Language Model<\/em>, les mod\u00e8les de language qu’on retrouve par exemple dans chatGPT)<\/p>\n

<\/p>\n

1) Quelle mesure ?<\/span><\/p>\n

Ce qui me parait particuli\u00e8rement int\u00e9ressant, c’est le choix fait pour mesurer les capacit\u00e9s des LLM : on note \u00e0 quel point les LLM sont capables de r\u00e9aliser des t\u00e2ches longues<\/em> d’humains. Ils ont commenc\u00e9 par \u00e9tablir une r\u00e9f\u00e9rence de temps pour diff\u00e9rentes taches plus ou moins complexes\u00a0 en les faisant r\u00e9aliser par des humains (professionnels). Puis ils ont regard\u00e9 comment les LLM s’en sortaient, selon la dur\u00e9e (humaine)<\/em> de la t\u00e2che. Typiquement, Claude 3.7 Sonnet, un des meilleurs mod\u00e8les actuels, r\u00e9ussit 80% des t\u00e2ches qui prennent 15 minutes \u00e0 un humain et 50% des t\u00e2ches qui prennent une heure.<\/p>\n

\"\"<\/a>
Par exemple, Claude 3.7 Sonnet (le mod\u00e8le le plus r\u00e9cent, repr\u00e9sent\u00e9 en vert le plus fonc\u00e9) a un horizon temporel d’environ une heure, car c’est l\u00e0 que sa courbe logistique ajust\u00e9e croise le seuil de probabilit\u00e9 de r\u00e9ussite de 50 %. Source : https:\/\/metr.org\/blog\/2025-03-19-measuring-ai-ability-to-complete-long-tasks\/<\/figcaption><\/figure>\n

En mesurant la probabilit\u00e9 qu\u2019un mod\u00e8le r\u00e9ussisse une t\u00e2che donn\u00e9e en fonction du temps qu\u2019un humain mettrait \u00e0 l\u2019accomplir, ils introduisent donc une m\u00e9trique nouvelle : l\u2019horizon temporel de compl\u00e9tion \u00e0 50 %<\/em>.<\/p>\n

Je trouve que c’est une mani\u00e8re tr\u00e8s pertinente de mesurer les capacit\u00e9s des LLM et qui confirme l’exp\u00e9rience que j’ai de ces outils. Par exemple quand je les utilise pour coder, alors qu’ils codent beaucoup mieux que moi !, je me rends compte que je dois les guider pour des petits pas de “15-20 minutes de code”. Ils ne seraient pas encore capables de r\u00e9aliser en une seule fois un projet correspondant \u00e0 plusieurs heures de d\u00e9veloppement, m\u00eame tr\u00e8s bien prompt\u00e9. (2)<\/em><\/p>\n

2) Quelle \u00e9volution ?<\/span><\/p>\n

L’objectif principal de la recherche \u00e9tait de mesurer la progression des mod\u00e8les : la dur\u00e9e des t\u00e2ches que les agents r\u00e9ussissent dans 50 % des cas – l’horizon temporel \u00e0 50%<\/em> – augmente de fa\u00e7on exponentielle. Pr\u00e9cis\u00e9ment l’horizon temporel des LLM semble doubler tous les 7 mois. Une sorte de “loi de Moore” des IA. Si cette tendance se poursuit, ce qui reste incertain, et qu’on est \u00e0 1 heure aujourd’hui, je vous laisse v\u00e9rifier qu’on sera \u00e0 1 mois de travail humain en 2029… les IA pourraient alors \u00eatre capables d’automatiser des t\u00e2ches tr\u00e8s complexes, ce qui aurait des implications majeures (si<\/em> la tendance est bien mesur\u00e9e et si <\/em>elle se poursuit). Cela me rappelle aussi une id\u00e9e de Stuart Russell, dans son livre passionnant Human Compatible<\/em> : selon lui pour que les IA puissent g\u00e9rer efficacement des t\u00e2ches complexes, elles doivent \u00eatre capables de raisonner \u00e0 un niveau m\u00e9ta, en planifiant, en d\u00e9composant les t\u00e2ches et en allouant judicieusement leurs ressources.<\/span><\/p>\n

 <\/p>\n

L\u2019\u00e9volution rapide des capacit\u00e9s des IA devrait, je crois, nous pr\u00e9occuper au plus haut point. Le probl\u00e8me de l\u2019alignement, r\u00e9guli\u00e8rement \u00e9voqu\u00e9 dans ce blog, est complexe et devra imp\u00e9rativement \u00eatre r\u00e9solu avant l\u2019\u00e9mergence d\u2019IA g\u00e9n\u00e9rales. Mais les syst\u00e8mes actuels repr\u00e9sentent d\u00e9j\u00e0 un risque concret : \u00e0 mesure que leur horizon temporel s\u2019\u00e9tend et qu\u2019on leur confie davantage d\u2019initiative, nous prenons le risque d\u2019en perdre petit \u00e0 petit le contr\u00f4le.<\/p>\n

 <\/p>\n

____________________________<\/p>\n

Sources :<\/span><\/strong><\/p>\n

Explication d’AI Digest et image en haut de ce billet : <\/span>https:\/\/theaidigest.org\/time-horizons<\/a><\/span>
\nL’article de METR : <\/span>https:\/\/metr.org\/blog\/2025-03-19-measuring-ai-ability-to-complete-long-tasks\/<\/a> et l’\u00e9tude compl\u00e8te sur arxiv: https:\/\/arxiv.org\/pdf\/2503.14499<\/a>
\n<\/span><\/span><\/p>\n

Exlications en vid\u00e9o sur computerphile :<\/p>\n