ChatGPT repose sur un modèle de langage entraîné à minimiser l’erreur de prédiction du mot suivant étant donné un début de phrase.
Pour faire (très) simple: lors de la phase d’entraînement, on a donné des textes tronqués à GPT qui devait “deviner” le mot suivant (précisément, le “token” suivant). Selon sa réponse, on a ajusté les paramètres pour le “corriger” et améliorer la prédiction. Une fois la phase d’entraînement terminée, on donne un texte nouveau à chatGPT qui, bien paramétré, prédit une suite souhaitable, mot à mot.
ChatGPT génère donc des phrases plausibles, cohérentes syntaxiquement et généralement pertinentes. Mais… il n’est pas conçu pour ressortir des connaissances.
