![\"\"](\"https:\/\/edu.ge.ch\/site\/tablettepedagogique\/wp-content\/uploads\/sites\/7\/2024\/02\/comparMes-chatGPT.jpg\")
<\/a>Lorsqu\u2019on pr\u00e9sente l\u2019agent conversationnel chatGPT, on compare son fonctionnement \u00e0 celui d\u2019une application de messagerie qui devine le mot le plus appropri\u00e9 pour compl\u00e9ter la phrase que l\u2019on est en train d\u2019\u00e9crire. Or, une courte exp\u00e9rience suffira \u00e0 nous faire comprendre que la facult\u00e9 d\u2019autocompl\u00e9tion de chatGPT est tr\u00e8s diff\u00e9rente de celle que l\u2019on observe lorsqu\u2019on tape une recherche dans Google ou dans son logiciel de messagerie, des outils qui utilisent \u00e9galement des techniques d\u2019intelligence artificielle.<\/p>\n\u00c0 la phrase \u00ab\u00a0la tomate est rouge, le citron est\u2026\u00a0\u00bb, l\u2019application de messagerie propose des mots comme \u00ab\u00a0cuits\u00a0\u00bb ou \u00ab\u00a0\u00e0\u00a0\u00bb alors que chatGPT nous proposera tout simplement \u00ab\u00a0jaune\u00a0\u00bb.<\/p>\n
Si derri\u00e8re ces r\u00e9ponses, il y a chaque fois un traitement statistique \u00e0 partir de donn\u00e9es disponibles, il n\u2019est pas comparable. Le \u00ab\u00a0moteur\u00a0\u00bb de chatGPT est un mod\u00e8le de langage capable \u00ab\u00a0deviner\u00a0\u00bb la r\u00e9ponse par inf\u00e9rence \u00e0 partir des maigres indices disponibles alors que l\u2019outil d\u2019autocompl\u00e9tion de nos messageries nous offre des propositions peu convaincantes.<\/p>\n
Qu\u2019est-ce qui se cache derri\u00e8re ce saut qualitatif ?<\/p>\n <\/p>\n Une seconde petite exp\u00e9rience r\u00e9v\u00e8le un peu plus la diff\u00e9rence qui s\u00e9pare un\u00a0 mod\u00e8le de langage d\u2019une application de messagerie. Entrer le d\u00e9but d\u2019un texte connu dans votre requ\u00eate\u2026 chatGPT vous donne la suite !<\/p>\n Essayez avec un proverbe ou une fable, c\u2019est amusant\u2026<\/p>\n Mais qu\u2019on ne s\u2019y trompe pas. Un mod\u00e8le de langage comme chatGPT ne puise pas dans une base de texte. Il ne contient aucun texte ! Il n’est pas construit autour d’une base de donn\u00e9es de textes dans lequel il va puiser !<\/p>\n Lorsqu\u2019il r\u00e9pond, il ne cite pas, il r\u00e9gurgite des connaissances\u2026 On lui demande implicitement de continuer le texte et c\u2019est ce pour quoi il a \u00e9t\u00e9 entrain\u00e9.<\/p>\n <\/p>\n Sans entrer dans les d\u00e9tails techniques, des millions de pages de textes ont \u00e9t\u00e9 ingurgit\u00e9s et \u00ab litt\u00e9ralement \u00bb explos\u00e9s en fragment de mots ou \u00ab Tokens \u00bb\u00a0 dans un processus d\u2019apprentissage complexe. Lorsqu\u2019une phrase est soumise, les mots sont s\u00e9par\u00e9s. Chaque mot est caract\u00e9ris\u00e9 par sa proximit\u00e9 ou sa distance mesur\u00e9e statistiquement avec d\u2019autres mots, ce qui se traduira par une suite de nombres..<\/p>\n Imaginer que ce processus se d\u00e9roule sur les milliards de mots pr\u00e9sents dans des millions de pages\u2026 Chaque mot est d\u00e9crit par sa distance avec des milliers d\u2019autres mots.<\/p>\n Associer allons+ enfant + patrie + jour + gloire\u2026 le mot le plus probable qui suivra a de fortes chances d\u2019\u00eatre celui que l\u2019on pense\u2026 Si je vous cite le d\u00e9but d\u2019un proverbe, vous allez sans doute spontan\u00e9ment compl\u00e9ter la phrase.<\/p>\n Dans l’exemple \u00e0 droite, le mod\u00e8le de langage ne dispose plus de la phrase originale, mais d’une “cartographie num\u00e9rique”\u00a0 o\u00f9 tous les mots sont \u00e9clat\u00e9s ou regrouper.<\/p>\n <\/p>\n Parfois, les indices sont suffisamment marqu\u00e9s et les mots suffisamment “proche” pour que chatGPT embraye statistiquement sur une piste sans qu\u2019aucun indice suppl\u00e9mentaire ne lui soit fourni. Le terme d\u2018hallucination \u00bb souvent utilis\u00e9 pour caract\u00e9riser les d\u00e9rapages de cet outil parait inad\u00e9quat; le terme de confabulation serait plus juste\u2026<\/p>\n De fait, ChatGPT va produire sa version du texte int\u00e9gral1<\/sup> en respectant le renversement propos\u00e9 :<\/p>\n Ma\u00eetre Renard sur un arbre perch\u00e9<\/em> En 2017, un groupe de chercheurs sp\u00e9cialis\u00e9s dans le d\u00e9veloppement d\u2019outils de traduction automatique publie un article scientifique \u00ab\u00a0Attention is All you need\u00a0\u00bb qui va remettre en lumi\u00e8re le m\u00e9canisme de l\u2019attention<\/em> \u00e9labor\u00e9e pour la premi\u00e8re fois dans les ann\u00e9es 1990 et qui est devenu un \u00e9l\u00e9ment central de ce que l\u2019on appelle le mod\u00e8le \u00ab\u00a0Transformer\u00a0\u00bb.2<\/sup> Les traducteurs automatiques avaient jusqu\u2019\u00e0 la beaucoup de difficult\u00e9s \u00e0 g\u00e9rer la polys\u00e9mie de nombreux mots figurant dans un texte. Pour choisir correctement la bonne traduction, il faut d\u00e9velopper une \u00ab compr\u00e9hension \u00bb plus g\u00e9n\u00e9rale du texte.<\/p>\n D. Vorotyntsev3<\/sup> r\u00e9sume ainsi ce m\u00e9canisme d\u2019attention : \u00ab\u00a0Le m\u00e9canisme d\u2019attention tente d\u2019am\u00e9liorer certaines parties des donn\u00e9es d\u2019entr\u00e9e tout en diminuant d\u2019autres parties. En effet, certaines parties de l\u2019entr\u00e9e sont plus critiques que d\u2019autres. Nous devrions donc leur accorder plus d\u2019attention. Comprendre quelle partie est la plus importante d\u00e9pend du contexte, et le mod\u00e8le essaie de l\u2019apprendre.\u00a0\u00bb<\/p>\n Pour illustrer l\u2019effet du m\u00e9canisme d\u2019attention, voici un exemple tir\u00e9 de l\u2019article pr\u00e9cit\u00e9. Il s\u2019agit d\u2019un texte d\u00e9crivant l\u2019offre d\u2019un h\u00f4tel, analys\u00e9 selon deux contextes diff\u00e9rents par le programme: un requ\u00eate sur la location de l\u2019h\u00f4tel et une requ\u00eate sur sa propret\u00e9. Les mots sont mis en \u00e9vidence en fonction des scores d\u2019attention. Les phrases en gras sont les mots consid\u00e9r\u00e9s comme pertinents pour la t\u00e2che ou les justifications humaines. On observe l\u2019effet des requ\u00eates qui module l\u2019analyse du texte.<\/p>\n Les chercheurs ont d\u00e9velopp\u00e9s de nouveaux mod\u00e8les de langage naturel en appliquant ses principes. Avec l\u2019augmentation progressive de la taille des mod\u00e8les (jusqu\u2019\u00e0 540 Gigas de donn\u00e9es pour chatGPT3), ils observent une connaissance toujours plus fine des relations s\u00e9mantiques et syntaxiques dans le langage naturel. \u00c0 partir de 2022, chatGPT est \u00e9galement entrain\u00e9 avec des conversations et des chats. Dans le cadre d\u2019une conversation, Chat GPT int\u00e8gre les informations que l\u2019utilisateur lui fournit et adapte ses r\u00e9ponses au contexte donn\u00e9, ce qui donne cette impression de continuit\u00e9 lorsqu\u2019on converse avec cet agent conversationnel.<\/p>\n<\/a><\/p>\n<\/h4>\n
REGURGITATION<\/h4>\n
<\/h4>\n
<\/h4>\n
APPRENTISSAGE<\/h4>\n
<\/a>Comment un mod\u00e8le de langage est-il entrain\u00e9 ?<\/p>\nCONFABULATION !<\/h4>\n
<\/a><\/p>\n
\nTenait en son bec un fromage.<\/em>
\nMa\u00eetre Corbeau, par l\u2019odeur all\u00e9ch\u00e9,<\/em>
\nLui tint \u00e0 peu pr\u00e8s ce langage :<\/em>
\n\u00ab\u00a0H\u00e9 ! Bonjour, Monsieur du Renard.<\/em>
\nQue vous \u00eates joli ! que vous me semblez beau !<\/em>
\nSans mentir, si votre ramage<\/em>
\nSe rapporte \u00e0 votre plumage,<\/em>
\nVous \u00eates le Ph\u00e9nix des h\u00f4tes de ces bois.\u00a0\u00bb<\/em>
\n\u00c0 ces mots le Renard ne se sent pas de joie ;<\/em>
\nEt pour montrer sa belle voix,<\/em>
\nIl ouvre un large bec, laisse tomber sa proie.<\/em>
\nLe Corbeau, honteux et confus,<\/em>
\nJura, mais un peu tard, qu\u2019on ne l\u2019y prendrait plus.<\/em><\/p>\nEN PHASE D\u2019APPRENTISSAGE, TOUT CE DONT VOUS AVEZ BESOIN, C\u2019EST DE L\u2019ATTENTION !<\/h4>\n
<\/a><\/p>\n\n