{"id":2978,"date":"2025-04-30T17:07:28","date_gmt":"2025-04-30T16:07:28","guid":{"rendered":"https:\/\/edu.ge.ch\/site\/tablettepedagogique\/?p=2978"},"modified":"2025-05-02T17:53:35","modified_gmt":"2025-05-02T16:53:35","slug":"le-paradoxe-des-gros-modeles-de-langages","status":"publish","type":"post","link":"https:\/\/edu.ge.ch\/site\/tablettepedagogique\/2025\/04\/30\/le-paradoxe-des-gros-modeles-de-langages\/","title":{"rendered":"Le paradoxe des gros mod\u00e8les de langages"},"content":{"rendered":"

Il y a quelques semaines, Algorithmic Simplicity a publi\u00e9 une vid\u00e9o s\u2019int\u00e9ressant \u00e0 un \u00e9trange paradoxe : plus un mod\u00e8le est gros, moins il devrait \u00eatre capable de g\u00e9n\u00e9raliser, et ce n’est pourtant pas ce qu’on constate.<\/p>\n

D’abord, pourquoi un mod\u00e8le gros devrait-il \u00eatre moins bon ? C’est peut \u00eatre \u00e7a qui vous paraitra paradoxal. Eh bien, si un mod\u00e8le poss\u00e8de beaucoup de param\u00e8tres, il peut “apprendre par c\u0153ur” ses donn\u00e9es d’entra\u00eenement sans trouver de liens entre elles. C’est un peu comme si un \u00e9l\u00e8ve avait un cerveau assez gros pour tout m\u00e9moriser, sans faire de liens entre ses connaissances. Un tel mod\u00e8le serait excellent lors de l’entra\u00eenement mais incapable de g\u00e9n\u00e9raliser quand on lui donne de nouvelles donn\u00e9es. C’est ce qu’on appelle l’overfitting<\/em>.<\/p>\n

<\/p>\n

Vous commencez \u00e0 sentir le paradoxe ? On a longtemps pens\u00e9 qu’augmenter la taille des mod\u00e8les ne permettrait pas d’en am\u00e9liorer les performances. Et pourtant les mod\u00e8les actuels sont “\u00e9normes”, et il semble qu’ils puissent finalement \u00eatre plus performants quand ils sont plus gros ! Apr\u00e8s le passage par une d\u00e9gradation, les performances se remettent \u00e0 s’am\u00e9liorer avec la taille :<\/p>\n

\"\"<\/a>
sur cette image, extraite de la vid\u00e9o, on voit que le taux d’erreur baisse d’abord quand on a des mod\u00e8les plus gros, qu’il remonte, puis qu’il rebaisse finalement<\/figcaption><\/figure>\n

Pourquoi ? Dans sa vid\u00e9o, Algorithmic Simplicity \u00e9voque deux explications :<\/p>\n

1) Pour comprendre la premi\u00e8re explication, il faut comprendre que lorsqu’on entra\u00eene une IA, on r\u00e9sout un probl\u00e8me d’optimisation : on cherche, parmi les mod\u00e8les possibles, un mod\u00e8le qui soit performant (\u00e0 la place de mod\u00e8le, vous pouvez penser “formule”, “fonction”, “programme”). Dans de grands mod\u00e8les, l’espace des solutions devient tellement vaste qu’il est plus facile de tomber sur des solutions simples et efficaces que sur des “pi\u00e8ges” compliqu\u00e9s.<\/p>\n

2) L’overfitting se produit si le mod\u00e8le est tr\u00e8s grand en comparaison des donn\u00e9es. Comme on augmente \u00e9galement le nombre de donn\u00e9es d’entra\u00eenement, il y a moins de possibilit\u00e9s d’ “apprentissage par c\u0153ur”.<\/p>\n

 <\/p>\n

Une question reste en suspens : est-ce qu’on atteint un nouveau palier, sans reprise cette fois-ci, si l’on grossit encore le mod\u00e8le ? Ou les techniques actuelles d’intelligence artificielle nous am\u00e8neront-elles \u00e0 des IA g\u00e9n\u00e9rales ?<\/p>\n

 <\/p>\n

Source : vid\u00e9o d’Algorithmic Simplicity<\/p>\n