Eric Vanoncini

Difficile de ne pas être impressionné par les évolutions successives des IA génératives. Difficile de ne pas être ébloui par certaines de leurs capacités ou prouesses techniques. Difficile encore de ne pas s’accoutumer progressivement à leur omniprésence, non seulement dans le paysage numérique, mais aussi, de plus en plus, dans notre quotidien hors-écran, à l’image de ces jouets pour enfants boostés à l’IA.

Force est de constater que, trois ans après la sortie publique de ChatGPT, que nous le voulions ou non, l’IA générative est partout et fait partie de notre quotidien.

Cette normalisation occulte en grande partie une question essentielle qui n’est presque jamais abordée : où va-t-on ? et à quel prix ?

En reprenant les recherches récentes, et plus particulièrement le rapport AI 2027, cet article vous propose un voyage temporel dans les années à venir pour essayer de comprendre (ou plutôt d’imaginer) vers quoi l’humanité se dirige.

Dans le célèbre roman jeunesse <em>Harry Potter et la Chambre des secrets</em>, la petite Ginny Weasley confie longuement ses états d’âme à un journal intime enchanté ayant appartenu au mystérieux Tom Jedusor, et manque d’y laisser la vie. Son père, apprenant ce qui s’est passé, s’écrie : « Qu'est-ce que je t'ai toujours dit ? Ne fais jamais confiance à quelque chose qui peut penser par lui-même si tu ne peux pas voir où il garde son cerveau? » Difficile de ne pas faire le lien avec un événement récent dans le monde « moldu ».

Il y a quelques semaines, je vous parlais de l'analogie d'Andrej Karpathy à propos de l'entraînement des IA qui ressemble l'apprentissage des élèves : lire son cours, faire des exercices corrigés, puis des exercices avec la solution non détaillée.
Une équipe de recherche de l'université de Tsinghua (Chine) a récemment présenté ce qu'elle a appelé le "zero human training". Si on file la métaphore, les élèves laisseraient de côté profs et manuels scolaires pour travailler sur leurs propres exercices inventés. (Ce que font parfois... les meilleurs élèves ?)

Le METR (Model Evaluation and Testing for Reliability), organisation dédiée à l’évaluation des modèles d’intelligence artificielle, vient de publier un article synthétisant des recherches vraiment intéressantes. L'objectif était de mesurer l'évolution des capacités des LLM (Large Language Model, les modèles de language qu'on retrouve par exemple dans chatGPT)

Il y a quelques semaines, Algorithmic Simplicity a publié une vidéo s’intéressant à un étrange paradoxe : plus un modèle est gros, moins il devrait être capable de généraliser, et ce n'est pourtant pas ce qu'on constate.

D'abord, pourquoi un modèle gros devrait-il être moins bon ? C'est peut être ça qui vous paraitra paradoxal. Eh bien, si un modèle possède beaucoup de paramètres, il peut "apprendre par cœur" ses données d'entraînement sans trouver de liens entre elles. C'est un peu comme si un élève avait un cerveau assez gros pour tout mémoriser, sans faire de liens entre ses connaissances. Un tel modèle serait excellent lors de l'entraînement mais incapable de généraliser quand on lui donne de nouvelles données. C'est ce qu'on appelle l'overfitting.

Andrej Karpathy (1) a publié il y a quelques mois une longue vidéo (3 heures 30 !) sur le fonctionnement des modèles de langage tels que chatGPT (LLM : large language model). Au cours de cette vidéo, il utilise une analogie, que je trouve parlante, sur les différents types d'apprentissage de ces modèles : apprendre pour une IA, ce serait un peu comme apprendre pour un élève :

1) Lire le cours
C’est la première phase : le pré-entraînement. L’IA "lit" des tonnes de textes (livres, sites universitaires, encyclopédies, etc.). Elle apprend à reconnaître des structures, des phrases, des concepts. Comme un élève qui lit son manuel pour se familiariser avec les bases. A cette étape, elle ne fait qu' "ingurgiter" l'information lue.
Bien sûr, analogie oblige, ce vocabulaire est très anthropomorphique et il serait plus correct de dire qu'à cette étape, on cherche un programme capable de prédire le mot suivant lorsqu'on lui donne un début de texte, ce qui nécessite d'encoder des régularités statistiques dans les structures, les phrases, les concepts. J'ai fait une animation pour bien comprendre ce qui se passe dans cette phase de "pre-training", vous la trouverez ici : https://espritcritique.fbfb.eu/fonctionnementLLM/
A l'issue de cette étape, un modèle de langage est presque inutilisable. Il a ingurgité les données mais ne saurait pas les "communiquer". Par exemple, il risque de prédire que le texte qui vient à la suite d'une question est une autre question car, dans ses données d'entrainement, les questions viennent souvent par listes. Il faut donc passer à la deuxième étape.