Que se passe-t-il sous le capot des modèles de langages générés par l'IA?

Que se passe-t-il lorsque l'on consulte un LLM (large language model, grand modèle de langage), tels que Chat GPT, entre le moment où l'on pose la question - désormais on parle de prompt - et celui où l'on obtient la réponse?

C'est ce que propose d'explorer un mercredi à thème, sur inscription, qui aura lieu

le 10 décembre de 13h30 à 17h. 

Les participantes et participants pourront notamment se familiariser, via différentes activités, avec les notions

• d'apprentissage automatique: approche mathématique et statistique qui donne aux ordinateurs la capacité d'«apprendre» à partir de données;
• de tokenisation: transformation de textes en nombre;
• de fine tuning: phase d’ajustement où un modèle déjà entraîné est spécialisé pour devenir un assistant utile pour nos activités courantes

A travers ces concepts et quelques autres, qui n'ont rien de magique, nous verrons pourquoi certains biais sont fréquents et comment il est possible d'anticiper les erreurs. Nous testerons différents modèles (avec et sans fine tuning, vieux et plus récents, avec ou sans capacités de recherche) pour illustrer les aspects techniques et les comportements qui en découlent.

Au final, comprendre (un peu) ce qu'il y a sous le capot des LLM peut permettre une approche plus rationnelle de l'utilisation de ces outils d'intelligence artificielle. 

Inscription obligatoire à l'adresse sem.formation [at] edu.ge.ch (subject: Inscription%20au%20mercredi%20%C3%A0%20th%C3%A8me%20%C2%ABSous%20le%20capot%20des%20LLM%C2%BB) (sem[dot]formation[at]edu[dot]ge[dot]ch)

Aucun prérequis technique exigé, cette formation s'adresse à toute personne intéressée par les LLMs.