{"id":291,"date":"2026-03-18T11:23:35","date_gmt":"2026-03-18T10:23:35","guid":{"rendered":"https:\/\/edu.ge.ch\/site\/ia\/?page_id=291"},"modified":"2026-08-18T16:24:33","modified_gmt":"2026-08-18T14:24:33","slug":"quels-risques-existentiels","status":"publish","type":"page","link":"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/","title":{"rendered":"Quels risques existentiels?"},"content":{"rendered":"\n<h2><i><span style=\"color: #e30613\">Flippant !<\/span><\/i><\/h2>\n\n\n<p><span data-text=\"Le probl\u00e8me de l\u2019alignement, pour les IA, consiste \u00e0 s\u2019assurer qu\u2019en poursuivant les objectifs qu\u2019on leur donne, elles produisent bien ce que nous voulons r\u00e9ellement. On a vu plusieurs probl\u00e8mes :\">Le probl\u00e8me de l\u2019alignement, pour les IA, consiste \u00e0 s\u2019assurer qu\u2019en poursuivant les objectifs qu\u2019on leur donne, elles produisent bien ce que nous voulons r\u00e9ellement. <\/span><\/p>\n<h3>Activit\u00e9<\/h3>\n<p><span data-text=\"Le probl\u00e8me de l\u2019alignement, pour les IA, consiste \u00e0 s\u2019assurer qu\u2019en poursuivant les objectifs qu\u2019on leur donne, elles produisent bien ce que nous voulons r\u00e9ellement. On a vu plusieurs probl\u00e8mes :\"><a href=\"https:\/\/espritcritique.fbfb.eu\/alignementIA\/index.html\" target=\"_blank\" rel=\"noopener\">Dans cette activit\u00e9<\/a>, vous r\u00e9aliserez que ce n&rsquo;est pas si simple si l&rsquo;objectif est complexe !<\/span><\/p>\n<p>A retenir:<\/p>\n<ul>\n<li><span data-text=\"Une mesure ne devrait pas \u00eatre un objectif (loi de Goodhart)\">une mesure ne devrait pas \u00eatre un objectif (loi de Goodhart);<\/span><\/li>\n<li><span data-text=\"Les objectifs sp\u00e9cifi\u00e9s sont des 'proxys', il est possible de faire du &quot;reward hacking&quot;.\">les objectifs sp\u00e9cifi\u00e9s sont des &lsquo;proxys&rsquo;, il est possible de faire du \u00ab\u00a0reward hacking\u00a0\u00bb;<\/span><\/li>\n<li><span data-text=\"Si un objectif n'est pas sp\u00e9cifi\u00e9, il est ignor\u00e9\">si un objectif n&rsquo;est pas sp\u00e9cifi\u00e9, il est ignor\u00e9;<\/span><\/li>\n<li><span data-text=\"L'IA fait ce qu'on lui demande, pas ce qu'on veut\">l&rsquo;IA fait ce qu&rsquo;on lui demande, pas ce qu&rsquo;on veut.<\/span><\/li>\n<\/ul>\n<h3>L&rsquo;usine \u00e0 trombones<\/h3>\n<p>Dans cette vid\u00e9o,\u00a0<em>Ego<\/em> rentre en d\u00e9tail dans les risques li\u00e9s \u00e0 un mauvais alignement des IA.<\/p>\n<p><iframe loading=\"lazy\" title=\"L&#039;horreur existentielle de l&#039;usine \u00e0 trombones.\" width=\"1200\" height=\"675\" src=\"https:\/\/www.youtube.com\/embed\/ZP7T6WAK3Ow?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe><\/p>\n<p>Le jeu dont il est question <a href=\"https:\/\/www.decisionproblem.com\/paperclips\/index2.html\" target=\"_blank\" rel=\"noopener\">se trouve ici<\/a>.\u00a0Attention, il est addictif !<\/p>","protected":false},"excerpt":{"rendered":"<p>Flippant ! Le probl\u00e8me de l\u2019alignement, pour les IA, consiste \u00e0 s\u2019assurer qu\u2019en poursuivant les objectifs qu\u2019on leur donne, elles produisent bien ce que nous voulons r\u00e9ellement. Activit\u00e9 Dans cette activit\u00e9, vous r\u00e9aliserez que ce n&rsquo;est pas si simple si l&rsquo;objectif est complexe ! A retenir: une mesure ne devrait pas \u00eatre un objectif (loi &#8230; <a title=\"Quels risques existentiels?\" class=\"read-more\" href=\"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/\" aria-label=\"En savoir plus sur Quels risques existentiels?\">Lire la suite<\/a><\/p>\n","protected":false},"author":344,"featured_media":0,"parent":171,"menu_order":12,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-291","page","type-page","status-publish"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.8 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Quels risques existentiels? - IA et enseignement, un site du SEM<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Quels risques existentiels? - IA et enseignement, un site du SEM\" \/>\n<meta property=\"og:description\" content=\"Flippant ! Le probl\u00e8me de l\u2019alignement, pour les IA, consiste \u00e0 s\u2019assurer qu\u2019en poursuivant les objectifs qu\u2019on leur donne, elles produisent bien ce que nous voulons r\u00e9ellement. Activit\u00e9 Dans cette activit\u00e9, vous r\u00e9aliserez que ce n&rsquo;est pas si simple si l&rsquo;objectif est complexe ! A retenir: une mesure ne devrait pas \u00eatre un objectif (loi ... Lire la suite\" \/>\n<meta property=\"og:url\" content=\"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/\" \/>\n<meta property=\"og:site_name\" content=\"IA et enseignement, un site du SEM\" \/>\n<meta property=\"article:modified_time\" content=\"2026-08-18T14:24:33+00:00\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data1\" content=\"1 minute\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/expo-ia\\\/quels-risques-existentiels\\\/\",\"url\":\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/expo-ia\\\/quels-risques-existentiels\\\/\",\"name\":\"Quels risques existentiels? - IA et enseignement, un site du SEM\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/#website\"},\"datePublished\":\"2026-03-18T10:23:35+00:00\",\"dateModified\":\"2026-08-18T14:24:33+00:00\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/expo-ia\\\/quels-risques-existentiels\\\/#breadcrumb\"},\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/expo-ia\\\/quels-risques-existentiels\\\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/expo-ia\\\/quels-risques-existentiels\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Accueil\",\"item\":\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Expo IA: L&rsquo;IA et nous\",\"item\":\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/expo-ia\\\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Quels risques existentiels?\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/#website\",\"url\":\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/\",\"name\":\"IA et enseignement, un site du SEM\",\"description\":\"\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/edu.ge.ch\\\/site\\\/ia\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"fr-FR\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Quels risques existentiels? - IA et enseignement, un site du SEM","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/","og_locale":"fr_FR","og_type":"article","og_title":"Quels risques existentiels? - IA et enseignement, un site du SEM","og_description":"Flippant ! Le probl\u00e8me de l\u2019alignement, pour les IA, consiste \u00e0 s\u2019assurer qu\u2019en poursuivant les objectifs qu\u2019on leur donne, elles produisent bien ce que nous voulons r\u00e9ellement. Activit\u00e9 Dans cette activit\u00e9, vous r\u00e9aliserez que ce n&rsquo;est pas si simple si l&rsquo;objectif est complexe ! A retenir: une mesure ne devrait pas \u00eatre un objectif (loi ... Lire la suite","og_url":"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/","og_site_name":"IA et enseignement, un site du SEM","article_modified_time":"2026-08-18T14:24:33+00:00","twitter_card":"summary_large_image","twitter_misc":{"Dur\u00e9e de lecture estim\u00e9e":"1 minute"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/","url":"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/","name":"Quels risques existentiels? - IA et enseignement, un site du SEM","isPartOf":{"@id":"https:\/\/edu.ge.ch\/site\/ia\/#website"},"datePublished":"2026-03-18T10:23:35+00:00","dateModified":"2026-08-18T14:24:33+00:00","breadcrumb":{"@id":"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/#breadcrumb"},"inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/quels-risques-existentiels\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Accueil","item":"https:\/\/edu.ge.ch\/site\/ia\/"},{"@type":"ListItem","position":2,"name":"Expo IA: L&rsquo;IA et nous","item":"https:\/\/edu.ge.ch\/site\/ia\/expo-ia\/"},{"@type":"ListItem","position":3,"name":"Quels risques existentiels?"}]},{"@type":"WebSite","@id":"https:\/\/edu.ge.ch\/site\/ia\/#website","url":"https:\/\/edu.ge.ch\/site\/ia\/","name":"IA et enseignement, un site du SEM","description":"","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/edu.ge.ch\/site\/ia\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"fr-FR"}]}},"_links":{"self":[{"href":"https:\/\/edu.ge.ch\/site\/ia\/wp-json\/wp\/v2\/pages\/291","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/edu.ge.ch\/site\/ia\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/edu.ge.ch\/site\/ia\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/edu.ge.ch\/site\/ia\/wp-json\/wp\/v2\/users\/344"}],"replies":[{"embeddable":true,"href":"https:\/\/edu.ge.ch\/site\/ia\/wp-json\/wp\/v2\/comments?post=291"}],"version-history":[{"count":7,"href":"https:\/\/edu.ge.ch\/site\/ia\/wp-json\/wp\/v2\/pages\/291\/revisions"}],"predecessor-version":[{"id":702,"href":"https:\/\/edu.ge.ch\/site\/ia\/wp-json\/wp\/v2\/pages\/291\/revisions\/702"}],"up":[{"embeddable":true,"href":"https:\/\/edu.ge.ch\/site\/ia\/wp-json\/wp\/v2\/pages\/171"}],"wp:attachment":[{"href":"https:\/\/edu.ge.ch\/site\/ia\/wp-json\/wp\/v2\/media?parent=291"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}