IA

Andrej Karpathy (1) a publié il y a quelques mois une longue vidéo (3 heures 30 !) sur le fonctionnement des modèles de langage tels que chatGPT (LLM : large language model). Au cours de cette vidéo, il utilise une analogie, que je trouve parlante, sur les différents types d’apprentissage de ces modèles : apprendre pour une IA, ce serait un peu comme apprendre pour un élève :

1) Lire le cours
C’est la première phase : le pré-entraînement. L’IA “lit” des tonnes de textes (livres, sites universitaires, encyclopédies, etc.). Elle apprend à reconnaître des structures, des phrases, des concepts. Comme un élève qui lit son manuel pour se familiariser avec les bases. A cette étape, elle ne fait qu’ “ingurgiter” l’information lue.
Bien sûr, analogie oblige, ce vocabulaire est très anthropomorphique et il serait plus correct de dire qu’à cette étape, on cherche un programme capable de prédire le mot suivant lorsqu’on lui donne un début de texte, ce qui nécessite d’encoder des régularités statistiques dans les structures, les phrases, les concepts. J’ai fait une animation pour bien comprendre ce qui se passe dans cette phase de “pre-training”, vous la trouverez ici : https://espritcritique.fbfb.eu/fonctionnementLLM/
A l’issue de cette étape, un modèle de langage est presque inutilisable. Il a ingurgité les données mais ne saurait pas les “communiquer”. Par exemple, il risque de prédire que le texte qui vient à la suite d’une question est une autre question car, dans ses données d’entrainement, les questions viennent souvent par listes. Il faut donc passer à la deuxième étape.

Lire la suite

Les IA génératives sont impressionnantes, mais on sent que leur utilité varie selon les contextes. Une première idée serait de ne les utiliser que dans les domaines dans lesquels on est expert. Mais il me semble que, plus précisément, les IA  génératives sont utiles dans les situations où vérifier est plus simple que produire.

Écrire un texte peut prendre des heures, mais repérer une incohérence ou une faute de style se fait souvent en quelques secondes. De même, générer un code informatique complexe est une tâche ardue, mais tester s’il fonctionne est souvent immédiat; Dans les situations où il y a une telle asymétrie, les IA peuvent proposer une solution rapide, et l’on tranche en un instant si c’est correct et pertinent ou non.

Cela signifierait que les IA ne sont pas utiles à tous pour les même taches. A titre personnel, je les utilise énormément pour coder (il faudra d’ailleurs que je vous en parle: la possibilité de créer en quelques heures des activités numériques pour les élèves me semble un changement potentiellement profond dans l’enseignement !). Pour cet article, créer une image d’illustration aurait pu être un véritable casse-tête, mais vérifier que l’image générée par chatGPT convient – d’après le prompt: “Génère une image qui montre un robot qui donne une copie à un humain qui semble sur le point de la vérifier” – est d’une simplicité enfantine (j’en profite pour créditer l’image!). Les IA génératives sont également très efficaces pour la génération d’idées, toujours suivant la même règle: c’est généralement facile d’évaluer la pertinence et l’intérêt des idées présentées, mais difficile de les avoir.

Peut être que le principe “utilisez des IA génératives dans les cas où vérifier est plus simple que produire” pourrait aider nos élèves à faire un meilleur usage des IA ? Ce n’est qu’une hypothèse, à discuter et tester !

Post-scriptum :
Nos lecteurs informaticiens trouveront probablement que cela rappelle le problème ouvert “P = NP ?”, et si vous trouvez cela intrigant, je vous recommande cette vidéo de sciences étonnantes: