Plausible ≠ Correct

ChatGPT repose sur le modèle de langage GPT entraîné à minimiser l'erreur de prédiction du mot suivant étant donné un début de phrase.

Pour faire (très) simple: lors de la phase d'entraînement, on a donné des textes tronqués à GPT qui devait "deviner" le mot suivant (précisément, le "token" suivant) selon sa réponse, on ajustait les paramètres pour le "corriger" et améliorer la prédiction. Une fois la phase d'entraînement terminée, on donne un nouveau texte à chatGPT qui, bien paramétré, prédit une suite souhaitable, mot à mot.

ChatGPT génère donc des phrases plausibles, cohérentes syntaxiquement et généralement pertinentes. Mais... il n'est pas conçu pour ressortir des connaissances.

Si on lui demande, par exemple, la distance entre Genève et Versailles, il répondra, parce que c'est plausible :

ChatGPT n'a pas "compris" qu'on lui demandait une distance et il n'est pas allé chercher dans une base de connaissance cette distance. Il a juste... écrit une phrase.

Voyez par exemple la différence lorsqu'on pose une question similaire à Wolfram Alpha:

Wolfram Alpha comprend qu'on parle de deux villes et qu'on cherche la distance. Il cherche dans sa base de données les coordonnées GPS et il fait un calcul (pas évident) pour en déduire la distance entre les deux villes. C'est ce qu'on appelle un moteur de calcul formel.

On pourra s'étonner (voire même être fasciné: je le suis!) que chatGPT puisse, dans ces conditions, être capable de telles prouesses. Car souvent, en prédisant une réponse plausible, il tombe juste! C'est assez fou....

Mais cette illusion de justesse à toute épreuve est peut-être encore plus dangereuse: ne perdons pas de vue que, pour l'instant en tous cas, chatGPT "baratine".

Complément: une vidéo de Monsieur Phi très éclairante le "baratin" de ChatGPT