Flippant !
Le problème de l’alignement, pour les IA, consiste à s’assurer qu’en poursuivant les objectifs qu’on leur donne, elles produisent bien ce que nous voulons réellement.
Activité
Dans cette activité, vous réaliserez que ce n’est pas si simple si l’objectif est complexe !
A retenir:
- une mesure ne devrait pas être un objectif (loi de Goodhart);
- les objectifs spécifiés sont des ‘proxys’, il est possible de faire du « reward hacking »;
- si un objectif n’est pas spécifié, il est ignoré;
- l’IA fait ce qu’on lui demande, pas ce qu’on veut.
L’usine à trombones
Dans cette vidéo, Ego rentre en détail dans les risques liés à un mauvais alignement des IA.
Le jeu dont il est question se trouve ici. Attention, il est addictif !