AUTOCOMPLETION
Lorsqu’on présente l’agent conversationnel chatGPT, on compare son fonctionnement à celui d’une application de messagerie qui devine le mot le plus approprié pour compléter la phrase que l’on est en train d’écrire. Or, une courte expérience suffira à nous faire comprendre que la faculté d’autocomplétion de chatGPT est très différente de celle que l’on observe lorsqu’on tape une recherche dans Google ou dans son logiciel de messagerie, des outils qui utilisent également des techniques d’intelligence artificielle.
À la phrase « la tomate est rouge, le citron est… », l’application de messagerie propose des mots comme « cuits » ou « à » alors que chatGPT nous proposera tout simplement « jaune ».
Si derrière ces réponses, il y a chaque fois un traitement statistique à partir de données disponibles, il n’est pas comparable. Le « moteur » de chatGPT est un modèle de langage capable « deviner » la réponse par inférence à partir des maigres indices disponibles alors que l’outil d’autocomplétion de nos messageries nous offre des propositions peu convaincantes.
Qu’est-ce qui se cache derrière ce saut qualitatif ?
REGURGITATION
Une seconde petite expérience révèle un peu plus la différence qui sépare un modèle de langage d’une application de messagerie. Entrer le début d’un texte connu dans votre requête… chatGPT vous donne la suite !
Essayez avec un proverbe ou une fable, c’est amusant…
Mais qu’on ne s’y trompe pas. Un modèle de langage comme chatGPT ne puise pas dans une base de texte. Il ne contient aucun texte ! Il n’est pas construit autour d’une base de données de textes dans lequel il va puiser !
Lorsqu’il répond, il ne cite pas, il régurgite des connaissances… On lui demande implicitement de continuer le texte et c’est ce pour quoi il a été entrainé.
APPRENTISSAGE
Comment un modèle de langage est-il entrainé ?
Sans entrer dans les détails techniques, des millions de pages de textes ont été ingurgités et « littéralement » explosés en fragment de mots ou « Tokens » dans un processus d’apprentissage complexe. Lorsqu’une phrase est soumise, les mots sont séparés. Chaque mot est caractérisé par sa proximité ou sa distance mesurée statistiquement avec d’autres mots, ce qui se traduira par une suite de nombres..
Imaginer que ce processus se déroule sur les milliards de mots présents dans des millions de pages… Chaque mot est décrit par sa distance avec des milliers d’autres mots.
Associer allons+ enfant + patrie + jour + gloire… le mot le plus probable qui suivra a de fortes chances d’être celui que l’on pense… Si je vous cite le début d’un proverbe, vous allez sans doute spontanément compléter la phrase.
Dans l’exemple à droite, le modèle de langage ne dispose plus de la phrase originale, mais d’une “cartographie numérique” où tous les mots sont éclatés ou regrouper.
CONFABULATION !
Parfois, les indices sont suffisamment marqués et les mots suffisamment “proche” pour que chatGPT embraye statistiquement sur une piste sans qu’aucun indice supplémentaire ne lui soit fourni. 
Le terme d‘hallucination » souvent utilisé pour caractériser les dérapages de cet outil parait inadéquat; le terme de confabulation serait plus juste…
De fait, ChatGPT va produire sa version du texte intégral1 en respectant le renversement proposé :
Maître Renard sur un arbre perché
Tenait en son bec un fromage.
Maître Corbeau, par l’odeur alléché,
Lui tint à peu près ce langage :
« Hé ! Bonjour, Monsieur du Renard.
Que vous êtes joli ! que vous me semblez beau !
Sans mentir, si votre ramage
Se rapporte à votre plumage,
Vous êtes le Phénix des hôtes de ces bois. »
À ces mots le Renard ne se sent pas de joie ;
Et pour montrer sa belle voix,
Il ouvre un large bec, laisse tomber sa proie.
Le Corbeau, honteux et confus,
Jura, mais un peu tard, qu’on ne l’y prendrait plus.
EN PHASE D’APPRENTISSAGE, TOUT CE DONT VOUS AVEZ BESOIN, C’EST DE L’ATTENTION !
En 2017, un groupe de chercheurs spécialisés dans le développement d’outils de traduction automatique publie un article scientifique « Attention is All you need » qui va remettre en lumière le mécanisme de l’attention élaborée pour la première fois dans les années 1990 et qui est devenu un élément central de ce que l’on appelle le modèle « Transformer ».2 Les traducteurs automatiques avaient jusqu’à la beaucoup de difficultés à gérer la polysémie de nombreux mots figurant dans un texte. Pour choisir correctement la bonne traduction, il faut développer une « compréhension » plus générale du texte.
D. Vorotyntsev3 résume ainsi ce mécanisme d’attention : « Le mécanisme d’attention tente d’améliorer certaines parties des données d’entrée tout en diminuant d’autres parties. En effet, certaines parties de l’entrée sont plus critiques que d’autres. Nous devrions donc leur accorder plus d’attention. Comprendre quelle partie est la plus importante dépend du contexte, et le modèle essaie de l’apprendre. »
Pour illustrer l’effet du mécanisme d’attention, voici un exemple tiré de l’article précité. Il s’agit d’un texte décrivant l’offre d’un hôtel, analysé selon deux contextes différents par le programme: un requête sur la location de l’hôtel et une requête sur sa propreté. Les mots sont mis en évidence en fonction des scores d’attention. Les phrases en gras sont les mots considérés comme pertinents pour la tâche ou les justifications humaines. On observe l’effet des requêtes qui module l’analyse du texte.
Les chercheurs ont développés de nouveaux modèles de langage naturel en appliquant ses principes. Avec l’augmentation progressive de la taille des modèles (jusqu’à 540 Gigas de données pour chatGPT3), ils observent une connaissance toujours plus fine des relations sémantiques et syntaxiques dans le langage naturel. À partir de 2022, chatGPT est également entrainé avec des conversations et des chats. Dans le cadre d’une conversation, Chat GPT intègre les informations que l’utilisateur lui fournit et adapte ses réponses au contexte donné, ce qui donne cette impression de continuité lorsqu’on converse avec cet agent conversationnel.
- Lorsqu’on lui le demande, ChatGPT attribue cette version inédite à Jean de La Fontaine !
- Transformer donne le T de chatGPT
- Is Attention Explanation? Toward data science 21 juin 2022 https://towardsdatascience.com/is-attention-explanation-b609a7b0925c