L'article est intéressant, mais avec énormément d'erreurs d'analyse. Difficile de savoir par quel bout commencer, tant il y a à redire.

"nous sommes confrontés à des limites à la vitesse d’innovation avec l’IA" : aujourd'hui, les modèles d'IA ont une croissance plus qu'exponentielle. Quelle est donc cette limite ?

"très souvent, “l’écart entre la capacité et la fiabilité” reste fort" : C'est très relatif. Dans certains domaines on observe le contraire, comme récemment dans le domaine de la cyber. Après que o3 ait découvert une zero-day dans le noyau Linux en toute autonomie, c'est maintenant l'agent IA XBOW qui est arrivé n°1 mondial de bug bounty, loin devant tous les experts. L'écart entre capacité et fiabilité est en train de chuter.

"Même dans le domaine de la recommandation sur les réseaux sociaux, le fait qu’elle s’appuie sur des modèles d’apprentissage automatique n’a pas supprimé la nécessité de coder les algorithmes de recommandation" : très bon exemple qui ne s'applique plus. L'IA étant aujourd'hui développée à 70% par des IA. Les IA des algorithmes de recommandation n'étaient pas capables de développer de nouveau code pour s'auto-améliorer. Les LLM, si. Et c'est là le principal changement de paradigme à l'origine des craintes existentielles : si l'IA s'auto-développe, on ne sait pas ce que ça va donner à long terme.

"les systèmes d’IA ne seront pas significativement plus performants que les humains agissant avec l’aide de l’IA, prédisent les deux chercheurs" : c'est déjà faux, puisqu'une étude a montré que les médecins qui utilisent l'IA pour poser des diagnostics étaient moins bons que l'IA toute seule.

"rien ne permet d’affirmer que nous perdions demain la main sur l’IA. D’abord parce que le contrôle reste fort" : Cela contredit Yoshua Bengio qui explique que l'IA n'est presque pas contrôlée, elle l'est moins que les sandwichs...

"Les méthodes de vérification formelle garantissent que les codes critiques pour la sécurité fonctionnent conformément à leurs spécifications ; elles sont désormais utilisées pour vérifier l’exactitude du code généré par l’IA" : en quoi cette vérification prouve que l'IA ne nous échappera pas ? Si l'IA produit un code pour s'échapper et s'auto-répliquer sur d'autres serveurs, que les méthodes de vérification formelle approuvent le caractère fonctionnel du code, cela vient juste renforcer la qualité du code de l'IA... Donc sa capacité à s'échapper.

"On peut également imaginer de nouvelles idées pour assurer la sécurité, comme le développement de systèmes qui apprennent à transmettre les décisions aux opérateurs humains..." : Le problème, c'est que si un pays adverse fait sauter le contrôle humain, il deviendra plus rapide et donc plus "puissant". Les autres pays suivront donc. De ce fait, dans une conception idéaliste, ce serait bien. Dans la pratique, ce n'est pas possible d'assurer cela.

"un nombre croissant d’emplois et de tâches humaines seront affectés au contrôle de l’IA" : aujourd'hui, on travaille plutôt à créer des IA (spécialisées ?) pour vérifier des IA. Donc c'est un peu dépassé comme vision. Pourquoi une IA pour surveiller une IA ? Parce que l'IA a de très bonnes capacités de manipulation de l'homme. Donc comment s'assurer que l'homme ne se fasse pas duper par l'IA ? Notons qu'on est ici dans un scénario de sécurité de l'IA, qui contrôle les capacités de l'IA pour éviter qu'elle nous échappe.

"Les IA mal contrôlées risquent surtout d’introduire trop d’erreurs pour rester rentables" : c'est tout le problème de l'IA. Aujourd'hui, on s'attend à ce que l'IA puisse se contrôler elle-même, permettant donc d'automatiser cette phase de "contrôle" des résultats de l'IA et donc de réduire les erreurs.

"il n’y a pas que l’Europe qui régule" : des sources plus récentes pour les États-Unis et la Chine auraient été les bienvenues. Il s'est passé beaucoup d'événements pour faire sauter ou contourner les réglementations en vigueur (en tout cas, aux USA).

"Quant à la course aux armements, elle se concentre surtout sur l’invention des modèles, pas sur l’adoption ou la diffusion qui demeurent bien plus déterminantes pourtant." : ce n'est pas ce qu'on observe dans le développement d'armes autonomes.

"Pour nous défendre contre ces risques-ci, pour empêcher la concentration du pouvoir et des ressources, il nous faut rendre l’IA puissante plus largement accessible" : remplacez "IA" par "arme nucléaire". La phrase garde tout son sens. L'IA, puisqu'elle est plus puissante et fiable (comme nous l'avons répondu plus tôt), elle rendra accessible la création d'attaques cyber plus puissantes et complexes (on peut espérer que des systèmes de défense gérés par l'IA soient déployés avant, mais ce n'est pas suffisant). De même pour la création de virus biologiques aux conséquences imprévisibles sur l'humanité. On pourrait trouver de nombreux autres exemples. L'IA peut donc être utilisée comme une arme de destruction massive, puisque, comme le soulignent les chercheurs, l'alignement se situe en aval du modèle. Or cet outil donne à l'individu qui l'a entre les mains des capacités surhumaines dans tous les sens : positifs, comme négatifs. Pour ces derniers, on n'est pas prêts à prendre le risque.

Pour conclure, après avoir lu l'article, il me semble que les chercheurs n'analysent l'IA que comme un outil contrôlé par l'homme, incapable d'évolution autonome. Passent ainsi à la trappe les sujets de l'auto-réplication et des comportements d'auto-préservation observés sur les LLM. Plus ces modèles grossissent, plus ils ont de telles capacités.