IA

Avec le mot “convergence”, l’expression “convergence instrumentale” a un petit côté maths qui n’est pas pour me déplaire. Derrière l’expression, un concept assez élégant et je trouvais qu’il méritait un billet de blog !

La “convergence instrumentale”, dans le domaine des IA, c’est “la tendance hypothétique de la plupart des agents suffisamment intelligents (humains ou non) à poursuivre des objectifs instrumentaux similaires (par exemple survivre ou acquérir des ressources), même si leurs objectifs ultimes sont différents” [1]

Ça mérite quelques explications : les IA ont généralement un “objectif” principal à atteindre. Faisons simple et imaginons qu’on souhaite fabriquer une IA capable de nous faire le café. Pour faire ce café, elle devra : réunir des ressources (argent, café), comprendre la psychologie humaine (est-ce que les utilisateurs sont contents de son café ?), ne pas laisser un ingénieur modifier son objectif, ne pas laisser un ingénieur l’éteindre. Et oui, comme dirait Stuart Russell : on ne peut pas aller chercher le café si on est mort [1] !

Lire la suite

Il y a quelques jours, la RTS a publié un article “L’humanité face à une intelligence artificielle supérieure: un débat qui quitte la science-fiction” [1] dont je recommande vivement la lecture.

Vous y lirez les craintes de Geoffrey Hinton et Yoshua Bengio, deux spécialistes de l’IA (les deux ont reçu le “prix Turing”, récompense parfois considérée comme l’équivalent du prix Nobel pour l’informatique [2]).

Geoffrey Hinton estime entre 10 à 20% la probabilité que l’IA contribue à l’extinction de l’humanité dans les 30 prochaines années. C’est quelque chose qui ne se disait pas aussi “ouvertement” il y a quelques années.

Mais les progrès récents semblent avoir changé la donne et ces risques sont maintenant entrés dans “la fenêtre d’Overton” [3,4]. La “fenêtre d’Overton”, qu’est-ce donc ? Il s’agit d’un concept formalisant l’idée qu’à chaque époque, il existe un certain ensemble d’idées dont on peut discuter publiquement, sans passer pour un farfelu. C’est ce qui est à l’intérieur de la fenêtre. Au contraire, ce qui n’est pas dans la fenêtre est écarté des débats : pas assez sérieux, trop extrême. On a un effet de renforcement car on regarde ce qui est admissible avant de prendre la parole.  Et ceux qui s’inquiètent des sujets hors de la fenêtre s’en inquiètent alors en privé. Robert Miles l’explique très bien dans une vidéo [4] dont je tire l’illustration suivante :

Puisque la fenêtre d’Overton est grande ouverte sur les risques existentiels liés à l’IA (et puisque nous parlions déjà de ces sujets sur ce blog avant qu’elle le soit 🙂 ), parlons-en. Il me semble intéressant de les catégoriser en deux groupes :

– les mauvais usages qu’on peut faire de l’IA : cyberattaques, manipulation de l’information, aide à fabriquer des armes biologiques, etc.
A propos des armes biologiques, une lettre ouverte vient d’être publiée demandant de mieux contrôler la fabrication d’ADN de synthèse [5]. Elle est signée par des acteurs tels que Dario Amodei, Sam Altman, etc.

– la perte de contrôle d’une IA mal “alignée”, c’est-à-dire dont les objectifs ne sont plus compatibles avec les nôtres [6]. En troisième partie de l’article de la RTS, Stuart Russell, autre grand nom de l’IA, défend l’idée de machines qui restent sous notre surveillance en acceptant qu’on les corrige et qu’on les éteigne.

La RTS qui écrit un article sur le sujet, Yoshua Bengio reçu sur HugoDécrypte [7] … je me réjouis que les médias aient ouvert la fenêtre mais m’inquiète qu’elle ait besoin de l’être…

Pour aller plus loin :

• Formation du SEM : Problèmes liés aux biais et à la sécurité des intelligences artificielles / SEM-10346 https://edu.ge.ch/site/fc/securite-intelligences-artificielles-sem-10346/
• Notre entretien du SEM avec Jérémy Perret : https://edu.ge.ch/site/tablettepedagogique/2026/01/19/les-entretiens-du-sem-les-risques-existentiels-lies-aux-ia-avec-jeremy-perret/

Sources:

[1] Article de la RTS “L’humanité face à une intelligence artificielle supérieure: un débat qui quitte la science-fiction” : https://www.rts.ch/info/sciences-tech/2026/article/l-humanite-face-a-une-intelligence-artificielle-superieure-un-debat-qui-quitte-la-science-fiction-29261082.html

[2] Page wikipedia sur le prix Turing : https://fr.wikipedia.org/wiki/Prix_Turing

[3] Page wikipedia sur la fenêtre d’Overton :  https://fr.wikipedia.org/wiki/Fen%C3%AAtre_d%27Overton

[4] Vidéo de Robert Miles, autour de la minute 18, il parle spécifiquement de la fenêtre d’Overton en ce qui concerne les risques liés aux IA : https://www.youtube.com/watch?v=2ziuPUeewK0

[5] Lettre ouverte : “In Support of Mandatory Nucleic Acid Synthesis Screening and Recordkeeping” https://prod-i.a.dj.com/public/resources/documents/dnaletter.pdf

[6] Pour en savoir plus, voici deux vidéos extraites du cours du SEM sur la sécurité des IA : https://youtu.be/rGscZ4lSrQw?si=V5a0Y5mrew0ux8b3  et https://youtu.be/Tm1IAPMHM28?si=OMx47-KpnNs6YhbI

[7] Yoshua Bengio reçu par HugoDécrypte : https://www.youtube.com/watch?v=ZSvt0NoOlDY

Crédits :
Images : screenshot d’une vidéo Robert Miles : https://www.youtube.com/watch?v=2ziuPUeewK0
Merci à ma collègue qui m’a envoyé l’article de la RTS avec le commentaire “La fenêtre d’Overton englobe désormais l’extinction de l’humanité par l’IA : ça passe à la RTS ! “

Il y a quelques mois, j’ai reçu un article à relire. Il s’agissait d’un article analysant un sondage : la récolte de données avait été faite manuellement et l’analyse était générée par des modèles de langage (IA).
J’ai été bluffée par la qualité de l’analyse et les jolis graphiques qui l’accompagnaient.
Bluffée… c’est vraiment le bon mot ! Car, après relecture, il y avait beaucoup d’erreurs et d’incohérences. Heureusement, des relecteurs plus attentifs que moi les ont relevées. Pour ma part, je n’ai vu la médiocrité de l’article qu’après qu’on m’encourage à y être attentive.

Pourquoi peut-on se faire si facilement avoir par une production d’IA médiocre ? Parce que, globalement, nos cerveaux ne sont pas bien difficiles à convaincre ! Les illusions d’optique sont un bon support pour nous le rappeler.

Dans le cas précis que je raconte, je vois un “biais cognitif” à l’œuvre : l’effet de halo.
On a tendance à attribuer tout un tas de qualités à des personnes sur simple observation d’une de leur qualité. Par exemple, on aura l’impression qu’une personne belle doit être aussi intelligente, consciencieuse, etc. Comme tous les biais cognitifs, il affecte notre jugement sans qu’on en soit conscients. (2)

Lire la suite

Il y a quelques semaines, je vous parlais de l’analogie d’Andrej Karpathy à propos de l’entraînement des IA qui ressemble l’apprentissage des élèves : lire son cours, faire des exercices corrigés, puis des exercices avec la solution non détaillée.
Une équipe de recherche de l’université de Tsinghua (Chine) a récemment présenté ce qu’elle a appelé le “zero human training”. Si on file la métaphore, les élèves laisseraient de côté profs et manuels scolaires pour travailler sur leurs propres exercices inventés. (Ce que font parfois… les meilleurs élèves ?)

Lire la suite