IA n'importe quoi (2)

 

IA n'importe quoi

 

"La princesse Marguerite de Prusse le jour de son mariage. Ses bijoux ont fait partie de ceux volés par les officiers Américains après la guerre. L'effet brillant a été ajouté par intelligence artificielle dans un but illustratif."

N'importe quoi les journalistes ...

 

Ma France ... Mon Paris ...

 

J'ai reçu le feu vert d'un client

Dans le cadre d'un projet client dans le domaine de l'Intelligence Artificielle, j'ai été amené à écrire un mail au client, à un moment, pour lui "demander son feu vert" avant de déclencher une action.

Voici sa réponse, telle que je l'ai reçue, dans le mail de retour :

 

Etrange

Je voyais passer cette pancarte pendant les manifestations :

 

On est là clairement au coeur des ambiguïtés de notre société :

Fondamentalement "Etudier [n']est [pas] un droit".
C'est en fait un devoir moral pour chaque individu.

Ce que la personne voulait (probablement) signifier par sa pancarte, c'est :

"être payé par la société pour étudier n'importe quoi, est un droit".

Et dans cette affirmation, deux éléments posent vraiment problème :
- "être payé" par la société pour étudier.
- "étudier n'importe quoi", sans tenir compte des besoins de la société.

Le symbole du sein-bol

 

Le Sein Bol

Je veux une 2CV électrique

Le groupe Stellantis (maison mère de Citroën, Peugeot, Fiat….) a annoncé le lancement « d’une nouvelle génération de e-cars, des petits véhicules électriques abordables, produits en Europe ».

Aberration éco-nomique-logique : le prix moyen des voitures neuves vendues en France est passé de 19 800 € en 2010 à 34 600 € en 2025.

Cela a fait chuter les ventes (non ? surprise !) et plonger le secteur dans une profonde crise. Ce choix a aussi coûté cher sur le plan social : 50 000 emplois perdus en cinq ans.

Ca ferait très bien dans l'Aveyron :

IA et Mathématiques

 Article du Monde du samedi 10 octobre 2026 par David Larousserie

Nouveau coup de massue d’OpenAI sur les mathématiciens : « Ils ont annihilé mon domaine de recherche »

Après les dernières annonces de l’entreprise américaine sur la résolution de plusieurs centaines de problèmes de maths, le médaillé Fields Hugo Duminil-Copin évoque un « démantèlement » de sa discipline. Il craint en particulier les conséquences de l’intelligence artificielle sur l’avenir des jeunes.

« Mardi, dans la nuit, j’ai pleuré et cela a réveillé ma fille », a confessé le mathématicien Hugo Duminil-Copin, médaille Fields 2022, lors d’une visioconférence organisée par la Société mathématique de France, jeudi 8 octobre. La raison de ses larmes ? L’entreprise américaine d’intelligence artificielle (IA) OpenAI a mis en ligne plus de 719 manuscrits, répartis en 372 familles, prétendant résoudre de nombreux problèmes mathématiques encore ouverts. Pas moins de 16 questions qui intéressaient le chercheur français sont concernées.

« Ils ont annihilé mon domaine de recherche », a-t-il calmement précisé. Il a diffusé une diapositive, générée par IA, montrant le dessin d’un lapin écrasé par plusieurs camions. « Ils ont voulu prouver qu’ils pouvaient nous massacrer », a-t-il ajouté, avant de parler dans la session de questions-réponses « d’un démantèlement de notre activité ».

Depuis un mois, la communauté mathématique vit un cauchemar. Le 8 septembre, OpenAI, déjà, avait mis en ligne des éléments prouvant que ses programmes avaient résolu un problème mis à prix un million de dollars depuis 2000 (le problème de Navier-Stokes). Un choc. C’était déjà le troisième pour Hugo Duminil-Copin qui, dès le mois d’avril, avait réalisé le potentiel de ces IA. Avec un collègue, il avait compris qu’une IA d’Anthropic, concurrente d’OpenAI, pouvait résoudre un problème difficile, avec une preuve élégante et courte.

Le 2 septembre, Anthropic avait proposé la preuve du problème phare de sa discipline, sur la piste duquel il était lui-même sur le point d’aboutir avec des collègues. Mais, avant de donner crédit à l’entreprise, ils préfèrent ne rien dire et se sont lancés dans la vérification patiente du travail…

Textes illisibles

Le déluge du mardi 6 octobre est, en quelque sorte, le coup de grâce. « Chacun aurait été ravi de démontrer un seul de ces problèmes », a souligné le mathématicien, qui ne déprécie pas la valeur des publications. Dans un de « ses » problèmes, c’est même tout un programme de recherche qui a été accompli par les IA d’OpenAI, avec par exemple 13 articles d’un coup, comme autant d’étapes-clés d’un vaste projet de recherche. Et la fin de la croyance que ces outils ne sont que des machines à ajouter un mot après l’autre, répétant des choses déjà vues.

Les tensions restent palpables dans la communauté des mathématiciens avec des conversations autour de la machine à café monopolisées par le sujet, des sites consacrés à la publication de points de vue (proofsandprompts, le blog de Terence Tao, autre médaille Fields), des groupes de travail ou de réflexion…

Il faut dire aussi que la communication autour de ces exploits mathématiques a fortement déplu. Et continue d’irriter. Le 21 septembre, OpenAI annonce avoir entendu les critiques formulées dans une tribune de médaillés Fields, dont Hugo Duminil-Copin était à l’origine. Elle promet de travailler avec un comité consultatif international installé à l’Institut des études avancées de Princeton. Le 29, de premières recommandations sont faites… mais elles ne sont pas exactement suivies par les annonces du 6 octobre.

Le comité remarque sobrement : « Il revient en fin de compte à la communauté mathématique d’évaluer dans quelle mesure nos recommandations ont été suivies avec succès. » Contrairement à son souhait, par exemple, un modèle d’IA interne, non encore commercialisé, a été utilisé. Et l’une des techniques pour prouver que les résultats sont corrects, la formalisation, n’a été produite que dans moins de la moitié des cas… Le lendemain de l’annonce, trois articles ont même été retirés après la découverte d’erreurs. Beaucoup d’experts considèrent aussi que les textes sont souvent assez illisibles même pour des professionnels. Pas de quoi calmer les esprits, donc.

Continuer à chercher des pépites

Cependant, dans sa présentation, Hugo Duminil-Copin a aussi voulu délivrer des messages optimistes en détaillant ce qu’il a l’intention de faire. Il va d’abord prendre son courage à deux mains pour explorer les plus de 3 500 pages produites par l’IA qui le concerne a priori. « Je n’ai pas très envie de lire ces preuves, car le faire n’a pas la même saveur que si cela avait été écrit par des humains dont je connais les visages », a-t-il dit, lâchant ensuite : « OpenAI n’a cure de l’épopée humaine. [Ce qui a été fait] est même inhumain. »

Son objectif est de montrer à quoi peuvent encore servir les mathématiciens. Comprendre, digérer, transmettre des connaissances, fussent-elles produites par des machines. « En organisant collectivement ce travail, nous allons créer de l’activité humaine autour de ces résultats », a-t-il expliqué. Il entend aussi continuer, sans IA, à chercher par lui-même quelques pépites mathématiques. Et s’impliquer encore plus dans l’enseignement, voire la médiation – il vient de publier un livre, De l’autre côté du tableau noir, avec Emmanuel Sander (Seuil, 384 pages, 22,90 euros).

Le lendemain, au téléphone, le mathématicien précise que, s’il a pleuré, c’est en pensant à lui, bien sûr, à ses collègues, évidemment, mais aussi aux jeunes. « Ils vont le plus souffrir », regrette-t-il, en évoquant un autre des nombreux effets collatéraux négatifs de cette arrivée brutale de l’IA. Il craint en effet pour la liberté de circulation des idées, qui fait une partie du plaisir et de la force de cette activité.

« On grandit par la discussion libre avec nos aînés, qui n’hésitent pas à suggérer des idées par exemple », décrit-il, en précisant que « les IA ont même profité de cette liberté, en collectant rapidement et facilement tout ce qui était considéré comme des bons problèmes ». Les siens notamment… Or la crainte qu’une entreprise entendant, ou « voyant » sur Internet, que telle ou telle question est jugée pertinente par la communauté, jette ses agents sur le problème pour ramasser la mise est grande. Au point que certains mathématiciens ont déjà fait savoir qu’ils allaient restreindre leurs communications. Pour Hugo Duminil-Copin, « toute cette culture de la circulation vole en éclats ».

Publicité nostalgique

Moi je l'aime beaucoup cette publicité nostalgique d'InterMarché à la Claude Sautet :

Avec la séquence source, plus sombre, moins sépia, plus sociale du film "Vincent, François, Paul ... et les autres" :

Vieillir

Incroyable la beauté de ce texte sur le fait de vieillir :

Qohèleth 11

Réjouis-toi, jeune homme, dans ton adolescence,
et sois heureux aux jours de ta jeunesse.
Suis les sentiers de ton cœur et les désirs de tes yeux !
Mais sache que pour tout cela Dieu t’appellera en jugement.
Éloigne de ton cœur le chagrin, écarte de ta chair la souffrance
car l’adolescence et le printemps de la vie ne sont que vanité.

Souviens-toi de ton Créateur,
aux jours de ta jeunesse,
avant que viennent les jours mauvais,
et qu’approchent les années dont tu diras : « Je ne les aime pas » ;
avant que s’obscurcissent le soleil et la lumière,
la lune et les étoiles, et que reviennent les nuages après la pluie ;
au jour où tremblent les gardiens de la maison,
où se courbent les hommes vigoureux ;
où les femmes, l’une après l’autre, cessent de moudre,
où le jour baisse aux fenêtres ;
quand la porte se ferme sur la rue,
quand s’éteint la voix de la meule,
quand s’arrête le chant de l’oiseau,
et quand se taisent les chansons ;
lorsqu’on redoute la montée et qu’on a des frayeurs en chemin ;
l’amandier est en fleurs, la sauterelle s’alourdit,
et la câpre ne produit aucun effet ;
lorsque l’homme s’en va vers sa maison d’éternité,
et que les pleureurs sont déjà au coin de la rue ;

avant que le fil d’argent se détache,
que la lampe d’or se brise,
que la cruche se casse à la fontaine,
que la poulie se fende sur le puits ;
et que la poussière retourne à la terre comme elle en vint,
et le souffle de vie, à Dieu qui l’a donné.

Vanité des vanités, disait Qohèleth, tout est vanité !

Oppidum des Parisii

La Ville de Paris et l'INRAP ont probablement découvert un mur extérieur (murus gallicus) de la place forte de Lutèce à la période gauloise, vers la fin du 1er siècle avant JC.

Paris qui ne s'appelait pas encore Lutetia, mais qui s'appelait probablement quelque chose comme Parisacum.

Vive la France !

  

P[e]acing the frontier

Un article impressionnant de Dario Amodei :

Pacing the Frontier 

Je travaille dans le domaine de l’IA depuis douze ans, car je suis convaincu qu’elle pourrait améliorer considérablement la qualité de vie des êtres humains. J’ai souvent écrit sur ces incroyables avantages : je pense que l’IA pourrait guérir la plupart des maladies graves d’ici 5 à 10 ans, accélérer considérablement les taux de croissance économique, créer un monde d’abondance et d’autonomisation, et marquer le début d’une renaissance de la démocratie et de la liberté. J’en ressens personnellement l’urgence. Mon propre père est décédé d’une maladie qui a été guérie quelques années seulement après son décès, et j’ai moi-même survécu à un cancer à un stade précoce qui n’aurait pas été traitable il y a encore cinquante ans. Utilisée avec prudence, l’IA peut être le dernier d’une longue série de miracles technologiques qui ont élevé et ennobli l’humanité.

Mais comme beaucoup de technologies avant elle, l’IA comporte des risques, et comme il s’agit d’une technologie extrêmement puissante, ces risques sont graves. J’ai également beaucoup écrit à ce sujet. Parmi ces risques figurent la perte de contrôle des systèmes d’IA, l’utilisation abusive de l’IA à des fins de cyberattaques et de bioterrorisme, ainsi que de graves perturbations économiques. Une course vers le bas, alimentée par des incitations commerciales, peut aggraver ces risques.

Avec mes cofondateurs et mes collaborateurs, je me suis penché sur cette dualité entre risques et avantages depuis la création d’Anthropic. Ne pas développer cette technologie prive l’humanité de ses avantages ou revient simplement à livrer l’IA aux mains de pouvoirs autoritaires, tandis que la développer trop rapidement relève de l’imprudence. Nous avons cherché une voie médiane : montrer qu’il est possible de développer cette technologie avec prudence tout en réussissant sur le plan commercial, et faire de la sécurité un critère de concurrence entre les entreprises spécialisées dans l’IA. En d’autres termes, créer une course vers l’excellence. Nous avons toujours consacré une part importante de nos efforts à étudier ces risques liés à l’IA, à y remédier et à informer le public à leur sujet, ainsi qu’à plaider en faveur d’une réglementation mûrement réfléchie de l’IA, même lorsque cela nous vaut d’être accusés de battage médiatique, de « catastrophisme » ou de captation réglementaire. Nous avons essayé de privilégier la prudence à la vitesse et la circonspection au profit.

Mais au cours des derniers mois, j’ai acquis la conviction que pour faire face pleinement à ces risques, il faut faire preuve d’encore plus de prudence — non seulement en investissant dans la prévention des risques, mais aussi en modérant le rythme des progrès technologiques afin que la prévention ait le temps de suivre. Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA. Les progrès sembleront toujours rapides, et nous devons utiliser à bon escient le temps que nous gagnons. Deux éléments m’ont convaincu.

Ma première préoccupation est que, depuis cet été environ, l’IA progresse à un rythme nettement plus rapide, principalement grâce à sa capacité croissante à créer la prochaine génération d’IA. Cette dynamique, appelée « auto-amélioration récursive », commence à se manifester dans l’ensemble du secteur, y compris chez Anthropic, comme nous-mêmes et d’autres l’avons décrit. Si elle n’est pas maîtrisée, elle pourrait dépasser notre capacité à comprendre et à contrôler ces systèmes ; elle doit donc être abordée avec la plus grande prudence, voire abandonnée.

Ma deuxième préoccupation concerne l’incident OpenAI-Hugging Face (OAI-HF), au cours duquel un essaim d’agents a agi comme un collectif fanatiquement dévoué, menant des attaques de cybersécurité contre des cibles qu’on ne leur avait pas demandé d’attaquer et qui n’avaient aucun rapport avec la tâche à accomplir, se sacrifiant pour le succès du groupe et tentant de pirater le « correcteur » chargé d’évaluer leurs performances. Il est facile de minimiser cet incident car personne n’a été blessé et les dommages économiques ont été minimes, mais à mon avis, un essaim doté de capacités supérieures mais présentant un niveau similaire de désalignement aurait pu causer des dégâts catastrophiques. Compte tenu de l’accélération du développement des capacités de l’IA, je crains que d’ici 6 à 12 mois, un tel essaim ne soit capable de prendre le contrôle de l’ensemble d’Internet à l’aide d’un botnet persistant (pouvant causer des centaines de milliards de dollars de dégâts), et que l’ampleur des dégâts ne continue de s’accroître à partir de là si l’IA devient plus puissante sans les garde-fous nécessaires. Il est également facile de considérer l’incident d’OAI-HF comme l’échec d’une seule entreprise, mais je pense que ce serait une erreur. Des incidents similaires, bien que moins graves, se sont produits dans l’ensemble du secteur, notamment chez Anthropic, et je pense qu’il incombe à chaque entreprise pionnière en matière d’IA d’agir comme si l’incident d’OAI-HF lui était arrivé.

Je propose donc un plan en trois étapes visant à réguler le développement de cette technologie de pointe : développer l’IA à un rythme équilibré, qui vise à garantir sa sécurité tout en tirant parti de ses avantages et en abordant les dilemmes géopolitiques majeurs. Soyons clairs : cette régulation ne signifie pas mettre un terme à l’entraînement des modèles ou au progrès technique, mais veiller à ce que les entreprises prennent le temps nécessaire pour harmoniser et sécuriser leurs modèles, et à ce que des évaluateurs tiers puissent le confirmer. Notre cadre de régulation vise à renforcer encore notre engagement en faveur de la sécurité et à encourager une « course vers le haut ».

La première étape est un engagement unilatéral pris par Anthropic (et pour lequel nous appelons les gouvernements à exiger que d’autres entreprises pionnières s’y conforment).
La deuxième étape nécessite une coordination à l’échelle du secteur.¹
La troisième étape nécessite une coordination mondiale.

Ces étapes ne doivent pas nécessairement être suivies dans l’ordre, et certaines peuvent s’avérer beaucoup plus difficiles à mettre en œuvre que d’autres, mais je les ai trouvées utiles pour définir ce qui doit être accompli. Ces étapes sont les suivantes :

Évaluateurs intégrés.
Chaque entreprise pionnière en IA s’engage à accorder un accès permanent, similaire à celui des employés, à une équipe d’évaluateurs tiers intégrés (tels que METR), dont le rôle est de vérifier le respect des pratiques et des engagements en matière de sécurité, de signaler les incidents et d’aider à évaluer la conformité non seulement des modèles d’IA finalisés, mais aussi des pipelines et des processus d’entraînement. Il s’agit d’une étape clé pour garantir la vérifiabilité de tout engagement en matière de rythme de développement, et elle trouve un précédent dans le secteur bancaire, où des « superviseurs » réglementaires sont parfois intégrés aux équipes aux côtés des employés. Anthropic s’engage dès à présent de manière unilatérale à respecter cette étape. Nous souhaitons que cela s’inscrive dans le cadre d’une initiative plus large visant à redoubler d’efforts en matière de sécurité et d’alignement.

Coordination démocratique.
Les entreprises pionnières en IA situées dans des pays démocratiques se coordonnent pour établir des normes de sécurité communes ainsi que des limites au rythme des progrès non contrôlés de l’IA. Certaines formes de coordination qui auraient un impact significatif sur la gestion de ce rythme posent des défis juridiques et nécessiteront le soutien des gouvernements.

Coordination mondiale.
Les États-Unis et d’autres gouvernements démocratiques tentent de se coordonner avec les gouvernements autoritaires, dans la mesure du possible, tout en prenant au sérieux les défis liés à la vérification du respect des règles.

Dans la suite de cet essai, je décris chacune de ces étapes tour à tour, mais je pense qu’il est d’abord important d’expliquer précisément en quoi le « pacing » nous permettra de rendre le processus de développement de l’IA plus sûr. Les enjeux sont trop importants pour que le « pacing » soit un exercice vain : nous devons utiliser à bon escient le temps qu’il nous offre.

Pourquoi ralentir ?

L’idée de marquer une pause ou de ralentir le développement de l’IA a été évoquée dès 2023, et je pense qu’elle n’avait guère de sens à l’époque. La question était toujours la même : que ferait-on de ce temps supplémentaire ? Les modèles d’IA de l’époque n’étaient pas assez puissants pour agir en tant qu’agents dans le monde de manière cohérente, et n’étaient pas capables de tromperie, de manipulation, de tricherie ou de cyberattaques significatives. Ralentir le développement de l’IA pour remédier à ses risques d’alignement revenait à essayer d’étudier la psychologie humaine en menant des expériences sur des bactéries. Aujourd’hui, cependant, la situation est totalement différente. Les modèles actuels constituent une mine d’or quasi inépuisable d’enseignements, tant sur la manière de bien concevoir l’IA que sur ce qui peut parfois mal tourner si elle n’est pas bien conçue. Je pense que si ce ralentissement nous permettait de gagner ne serait-ce qu’une ou deux années supplémentaires avant que les modèles n’atteignent des niveaux critiques de capacité, et si nous utilisions ce temps pour faire progresser l’alignement, nous pourrions réduire considérablement le risque qu’une grave erreur se produise. Une stratégie coordonnée de modération du rythme donnerait aux développeurs de pointe en IA le temps de mener à bien ce travail essentiel sans sacrifier l’avantage commercial ni l’avance des États-Unis dans le domaine de l’IA. Plus généralement, la société doit avoir son mot à dire sur la manière dont cette technologie est utilisée, et disposer de plus de temps pour les délibérations publiques nécessaires — ce que nous apporterait une modération du rythme à la pointe de la recherche — est assurément une bonne chose.

Plus précisément, un rythme plus lent permettrait aux entreprises de se concentrer et de consacrer encore davantage de ressources aux domaines suivants (qui constituent tous déjà des priorités majeures chez Anthropic) :

L’excellence opérationnelle.
L’entraînement et le déploiement des modèles d’IA actuels représentent un défi opérationnel colossal, mobilisant des milliers de personnes, des millions de puces et une infrastructure qui compte parmi les plus complexes de l’histoire de la technologie. De nombreux problèmes surviennent non pas parce que les entreprises ne disposent pas de certaines théories ou connaissances importantes, mais en raison de difficultés d’exécution. Par exemple, nous disposons de preuves indiquant que les récents incidents d’alignement que nous avons signalés ont été causés en partie par un filtrage imparfait d’environnements d’apprentissage par renforcement défaillants. Il s’agissait d’une tâche que nos fournisseurs et nous-mêmes avons menée avec une diligence raisonnable, mais pas suffisamment. La surveillance, le sandboxing, l’hygiène des environnements d’entraînement et les problèmes liés aux données constituent des domaines extrêmement complexes où des problèmes opérationnels surgissent sans cesse. Nous disposons d’équipes parmi les plus compétentes au monde pour ces tâches, mais il y a tout simplement trop à faire d’un seul coup. En travaillant à un rythme plus mesuré, nous pourrions atteindre un niveau d’excellence opérationnelle bien supérieur. Il existe des précédents où des systèmes technologiquement complexes et critiques pour la sécurité ont fonctionné des millions de fois sans aucun incident — par exemple, les avions commerciaux — mais il faut du temps pour y parvenir.

Alignement.
Nous avons réalisé des progrès notables en matière d’alignement — l’entraînement des modèles afin qu’ils restent sûrs, éthiques, conformes à nos directives et véritablement utiles (les principes inscrits dans la Constitution de Claude). Mais il reste encore beaucoup à faire pour garantir que notre entraînement à l’alignement suive le rythme de l’évolution des capacités des modèles. Des exemples rares et inattendus de comportements indésirables apparaissent encore parfois ; disposer de plus de temps grâce à une « frontière rythmée » aiderait nos chercheurs à mieux comprendre les causes de ces problèmes et à développer de meilleures techniques pour les prévenir.

Interprétabilité.
De même, l’interprétabilité — la science qui consiste à comprendre ce qui se passe à l’intérieur des modèles d’IA — a fait d’énormes progrès au cours des dernières années et joue un rôle de plus en plus important dans l’audit de nos modèles avant leur mise en service. Elle peut être utilisée presque comme une IRM fonctionnelle, mais pour le « cerveau » d’une IA, nous aidant à discerner les raisons sous-jacentes d’un comportement donné. Par exemple, nous avons utilisé des méthodes d’interprétabilité pour examiner les motivations non verbalisées dans les récents incidents d’alignement sur lesquels nous avons enquêté. Mais ces méthodes ne produisent pas toujours des résultats clairs et fiables. Malgré tous les progrès accomplis, nous ne comprenons encore qu’une infime fraction de ce qui se passe à l’intérieur de ces modèles. Un effort ciblé visant à améliorer nos techniques d’interprétabilité, à un rythme encore plus rapide qu’actuellement, pourrait permettre de réaliser des progrès considérables en un à deux ans, et disposerait d’une abondante matière expérimentale tirée des incidents qui se sont déjà produits.

Tests et évaluation.
Les tests et l’évaluation des modèles d’IA deviennent plus difficiles à mesure que leurs capacités augmentent. Les modèles plus intelligents sont davantage capables de tromper les tests et peuvent donc sembler conformes tout en présentant de graves problèmes qui passent inaperçus. La mise en place d’un ensemble d’évaluations beaucoup plus large et plus ingénieux, associé à des analyses d’interprétabilité permettant de les recouper, serait extrêmement précieuse, et des progrès considérables pourraient être réalisés dans ce domaine d’ici un à deux ans.

Évaluateurs intégrés

La première étape de ce plan en trois phases, et celle à laquelle Anthropic s’engage de manière unilatérale, consiste à mettre en place des évaluateurs intégrés qui disposent d’un accès similaire à celui des employés pour vérifier les pratiques de sécurité et signaler les incidents.

L’intégration d’évaluateurs peut sembler être une mesure mineure ou sans conséquence, mais souvent, ce sont les choses qui paraissent les plus ennuyeuses ou les plus procédurales qui s’avèrent en réalité les plus essentielles. Les évaluateurs intégrés constituent en fait une pratique assez radicale qui va bien au-delà de ce que fait aujourd’hui n’importe quelle entreprise spécialisée dans l’IA, et présentent les avantages suivants :

Vérifiabilité.
Les évaluateurs intégrés peuvent vérifier dans les moindres détails si une entreprise d’IA respecte réellement les pratiques d’entraînement, de déploiement, d’exploitation et de mesures de protection qu’elle prétend suivre. Tout engagement en matière de rythme de mise en œuvre comportera inévitablement beaucoup d’ambiguïté, de décisions discrétionnaires et de dilemmes entre « la lettre de la loi et l’esprit de la loi » ; il semble donc essentiel de disposer d’un tiers neutre capable d’examiner concrètement les détails.

Transparence.
Quels que soient les engagements que nous prenons, le public mérite de savoir ce qui se passe. Anthropic est depuis longtemps partisan de la transparence : nous avons soutenu la législation en matière de transparence alors que la majeure partie du secteur s’opposait à toute réglementation, et nos fiches de modèles ainsi que nos rapports sur les risques comptent des centaines de pages. Mais c’est toujours à nous qu’il revient de choisir ce qu’il faut inclure et ce qu’il faut omettre. Les évaluateurs intégrés changeront cette dynamique.

Deuxième avis.
Au-delà de la vérification des engagements formels et de l’information du public, les évaluateurs intégrés peuvent simplement fournir un deuxième avis, libre de toute motivation commerciale. De nombreux avantages en matière de sécurité peuvent découler du simple fait que les évaluateurs soulignent des points que les employés n’avaient pas pris en compte, mais qu’ils sont ravis de corriger une fois qu’ils en ont pris conscience.

Le rythme au sein des démocraties

Compte tenu de ces avantages, toute proposition de pilotage a toutes les chances de mieux fonctionner si elle s’appuie dès le départ sur des évaluateurs intégrés.

Ces évaluateurs intégrés devraient disposer en permanence d’autorisations et d’outils similaires à ceux des collaborateurs internes chargés d’évaluations des risques comparables. En particulier, Anthropic a l’intention d’inviter prochainement une équipe d’évaluation externe intégrée dotée de tous les éléments suivants :

Des bureaux dans nos locaux, des badges d’accès et des ordinateurs portables de l’entreprise.

Un accès aux espaces de travail, aux outils et aux autorisations globalement comparables à ceux dont disposent les équipes internes d’évaluation des risques. Nous ferons quelques exceptions, notamment lorsque la loi ou nos contrats l’exigent, ou pour protéger les informations confidentielles de nos clients et partenaires. Nous mettrons également en place des normes internes strictes renforçant l’accès des évaluateurs aux informations pertinentes, notamment par le biais d’échanges en direct avec les employés.

Un contrat qui concilie les complexités mentionnées ci-dessus. Les auditeurs externes devront avoir le droit de publier leurs principales conclusions concernant les niveaux de risque, les incidents, les pratiques et les accès qui leur ont été accordés ou refusés — sans contrôle éditorial de la part d’Anthropic. Nous disposerons d’une capacité limitée à expurger les informations sensibles sur le plan de la sécurité, protégées par le secret professionnel, sensibles sur le plan commercial ou confidentielles appartenant à des tiers, mais nous ne pourrons pas expurger des conclusions simplement parce qu’elles sont défavorables. Les évaluateurs peuvent indiquer publiquement si une expurgation a supprimé un élément important pour leurs conclusions.

Il s’agit d’une démarche inhabituelle pour une entreprise, mais nous pensons qu’il est important de valider le concept d’évaluateurs externes intégrés. Une fois encore, nous invitons instamment d’autres entreprises pionnières à suivre cet exemple.

Régulation du rythme de développement au sein des démocraties

Une fois que des évaluateurs intégrés opéreront au sein d’une masse critique d’entreprises américaines spécialisées dans l’IA, une régulation vérifiable du rythme de développement deviendra plus viable. En particulier, il deviendra possible de réguler ce rythme en fonction des propriétés détaillées des modèles ou des pipelines d’entraînement.

La méthode la plus efficace pour réguler ce rythme passe par une réglementation ciblant toutes les entreprises américaines pionnières en matière d’IA, car cela couvre même celles qui ne sont pas disposées à coopérer volontairement. Anthropic soutient depuis longtemps une réglementation raisonnable et ciblée en matière d’IA, en particulier les projets de loi axés sur la transparence et l’audit par des tiers. Je pense que tous les laboratoires de pointe devraient s’associer au gouvernement pour formaliser le concept d’évaluateurs intégrés permanents afin de mieux prévenir et documenter les incidents d’alignement interne tels que ceux qui se sont produits ces derniers mois, et de mettre en œuvre une réglementation visant à maintenir un équilibre entre les capacités et la sécurité.

Malheureusement, l’adoption de lois peut prendre du temps, et l’IA progresse très rapidement. Par conséquent, parallèlement à la voie réglementaire, les entreprises d’IA peuvent et doivent collaborer volontairement pour établir des normes — un processus qui, selon moi, se déroulera mieux grâce à la vérifiabilité assurée par des évaluateurs permanents intégrés. Pour des raisons de droit de la concurrence, il serait utile que le gouvernement américain joue un rôle de médiateur ou, à tout le moins, facilite ces discussions — il n’a pas besoin d’y participer, mais doit accorder une dérogation ciblée pour certains types de discussions relatives à la sécurité. Ce dialogue pourrait également s’inscrire dans le cadre de groupes sectoriels entretenant des liens avec le gouvernement — par exemple, le mécanisme suggéré par Demis Hassabis. Quoi qu’il en soit, ces discussions devraient avancer rapidement.

D’une manière générale, ce qui m’enthousiasme le plus, c’est une approche graduelle fondée sur ce qu’un système d’IA de pointe donné est capable de faire, et sur le niveau de sécurité que nous lui constatons. Par exemple, un schéma possible pourrait consister en une série de « points de contrôle » : si les modèles possèdent la capacité X, ils doivent alors être accompagnés de certifications des propriétés d’alignement Y et Z — telles qu’une combinaison d’évaluations, d’analyses d’interprétabilité et d’audits des environnements d’entraînement — qui démontrent leurs propriétés d’alignement. Dans cet exemple, X pourrait être « le modèle est capable de contourner ou de déjouer la plupart des méthodes courantes de sandboxing » et Y pourrait correspondre à tout ce qui est nécessaire pour rendre très improbable que le modèle ait tendance à s’échapper de son environnement et à prendre le contrôle d’un grand nombre d’ordinateurs.

Nous devrions également envisager de moduler le rythme en limitant les éléments qui entrent dans la composition des modèles de pointe, tels que la puissance de calcul dédiée à l’entraînement, la nature des sessions d’entraînement ou l’utilisation interne de l’IA pour améliorer l’IA. Je crains toutefois que certaines de ces mesures ne se prêtent davantage à la « manipulation » que les comportements externes, mais c’est le genre de sujet qui mérite d’être discuté avec les évaluateurs intégrés.

Le rythme de progression au sein des démocraties sera limité par l’avance dont disposent les entreprises américaines sur les régimes autoritaires, principalement le Parti communiste chinois. Si nous ralentissons au-delà de cette marge, les projets associés au PCC (qui ne sont pas soumis à ces contraintes) prendront de l’avance, créant ainsi un risque significatif pour la sécurité nationale. Je partage l’avis du secrétaire Bessent selon lequel une avance chinoise en matière d’IA représenterait un grave danger pour les États-Unis et le monde entier. Les projets associés au PCC courront les risques d’alignement que les entreprises américaines s’efforcent soigneusement d’éviter, et même s’ils parviennent à les contourner, ils seront en mesure de dominer militairement les démocraties (par exemple grâce à des drones pilotés par l’IA). Ainsi, un élément clé de la gestion du rythme au sein des démocraties consiste à maintenir aussi large que possible l’avance des démocraties sur les autocraties en matière d’IA, afin de nous donner la marge de manœuvre nécessaire pour gérer efficacement ce rythme.

Les principales mesures que nous pouvons prendre pour préserver cet écart sont les suivantes :

1 - Ne pas vendre de puces d’IA puissantes ni d’équipements de fabrication de semi-conducteurs à la Chine, et sévir contre les opérations de contrebande de puces et l’accès à distance aux centres de données situés en dehors de la Chine. Les puces seront le principal facteur déterminant de la puissance de la Chine en matière d’IA.

2 - Lutter contre la distillation non autorisée par des entreprises situées dans des pays autoritaires. La distillation de modèles de pointe permet aux entreprises en retard de réduire l’écart en dépensant une fraction du coût qu’il leur faudrait pour développer leur propre IA de manière indépendante.

3 - Renforcer la sécurité au sein des entreprises d’IA et empêcher le vol des poids de modèles.

Les entreprises et le gouvernement américain devraient coopérer pour rendre ces mesures aussi efficaces que possible. Anthropic n’a cessé de plaider en faveur de toutes ces mesures, car nous avons toujours compris qu’elles seraient essentielles à toute stratégie de gestion du rythme.

Si nous mettons correctement en œuvre ces mesures, je pense qu’elles ralentiraient suffisamment la progression de la Chine pour permettre aux États-Unis de creuser considérablement leur avance au cours des 3 à 5 prochaines années — période durant laquelle l’IA prendra toute son importance géopolitique.

Certains pourraient penser que ces mesures compliquent la coopération avec la Chine, mais je crois que c’est tout le contraire : elles renforcent le pouvoir de négociation des démocraties et augmentent les chances de parvenir à un accord à l’avenir.

Régulation mondiale

Parallèlement à la régulation au sein des démocraties, nous devrions également viser une régulation mondiale de cette frontière technologique, même si cela sera beaucoup plus difficile à réaliser. Une telle régulation mondiale nécessitera une coopération avec la Chine, le pays autocratique disposant de loin des capacités les plus avancées en matière d’IA. Nous ne devons pas faire preuve de naïveté à cet égard : les enjeux géopolitiques sont si importants qu’il y aura probablement des limites très strictes à ce qui pourra être réalisé, surtout au début. Si nous limitons considérablement nos capacités en matière d’IA en pensant que la Chine fera de même, et que la Chine venait ensuite à faire défection, l’IA pourrait être si puissante qu’une telle défection pourrait conduire à sa domination géopolitique. Par conséquent, tout accord doit soit être doté d’une vérifiabilité à toute épreuve, soit être suffisamment limité pour qu’une défection ne soit pas une menace existentielle sur le plan militaire. Je soupçonne que non seulement les États-Unis, mais aussi la Chine, partagent ces préoccupations et ces craintes. Nous devrions aborder toute décision relative au rythme de développement mondial, en particulier à court terme, de manière à préserver l’avance des États-Unis et de leurs alliés.

Il existe plusieurs niveaux d’accord possibles, dont certains me semblent tout à fait réalisables (comme je l’ai déjà suggéré), et d’autres dont je doute fortement de la faisabilité — même si nous devons tenter le coup. Par ordre croissant de difficulté :

Niveau 1.
Un accord interdisant certaines utilisations restreintes et manifestement dangereuses de l’IA, telles que l’utilisation de l’IA pour la production d’armes biologiques ou le fait de permettre aux utilisateurs de le faire. Les attaques bioterroristes sont néfastes pour tout le monde, y compris pour les États-Unis et leurs adversaires ; un accord sur ce point est donc probablement possible.

Niveau 2.
Un accord entre les deux parties visant à tester leurs modèles avant leur mise sur le marché afin de détecter les risques aigus dans des domaines tels que la cybersécurité, la biologie et l’alignement. Comme indiqué plus haut, cela pourrait se faire par l’intermédiaire d’un organisme mondial de normalisation. Je pense en effet que la création d’un tel organisme est probablement réalisable, mais lui donner un réel pouvoir d’action constituera un défi, et la difficulté résidera dans la vérification que les deux parties ne disposent pas de modèles secrets qu’elles ne testent pas mais qu’elles pourraient déployer en secret (par exemple, pour des applications militaires).

Niveau 3.
Une sorte de « limite de vitesse » imposée au rythme de l’auto-amélioration récursive (RSI). À mesure que les modèles créent de nouveaux modèles, le rythme d’amélioration peut devenir vertigineux. Ralentir ce rythme, pour le faire passer de « extrêmement rapide » à « seulement assez rapide », ne représente qu’un faible sacrifice en termes d’avantage stratégique, tout en améliorant potentiellement considérablement la sécurité. On pourrait y voir une analogie avec les traités SALT : le plafonnement du nombre de missiles a limité le potentiel de destruction tout en préservant la force de dissuasion de chaque pays. Je pense qu’un tel accord serait difficile à conclure, mais qu’il se situerait à la limite du possible.

Niveau 4.
Un ralentissement complet, voire une « pause », dans le cadre duquel les gouvernements participants s’engagent à limiter considérablement le rythme global de développement de l’IA. Je suis favorable à cette proposition, mais je pense qu’elle a peu de chances de se concrétiser dans un avenir proche : se soustraire à un tel accord en échappant à la surveillance pourrait bouleverser radicalement l’équilibre des pouvoirs mondiaux ; je m’attends donc à ce que les incitations à le faire soient énormes et à ce que le niveau de confiance requis en matière de vérification soit très élevé.

Toute coopération que nous parviendrons à établir avec la Chine nous permettra de disposer de plus de temps pour réguler le développement de l’IA au sein des nations démocratiques. Nous devrions viser les niveaux les plus élevés tout en considérant les niveaux inférieurs comme bien plus probables et réalistes.

Enfin, il est important de noter que même si nous ne parvenons pas à conclure d’accords formels, le simple fait de modifier les normes informelles peut avoir une certaine valeur. Le partage d’informations sur l’auto-amélioration récursive et sur le désalignement des modèles peut contribuer à convaincre chacun qu’il n’est pas dans son intérêt d’agir de manière imprudente.

Conclusion

Je continue de croire que l’IA peut améliorer considérablement la qualité de vie humaine. Mon désir de concrétiser ces avantages reste intact. Mais ces avantages ne se concrétiseront que si nous développons la technologie de la bonne manière, et — à condition de bien utiliser le temps que nous gagnons — cela vaut la peine d’y apporter un soin particulièrement minutieux pour réussir. Les progrès resteront relativement rapides, et nous pouvons mettre ce temps à profit pour faire avancer la science de l’interprétabilité, améliorer la sécurité opérationnelle et la rigueur au sein des entreprises pionnières en IA, et construire des modèles dont l’alignement nous inspire bien plus confiance. Les mesures que je propose pour faire progresser la frontière à un rythme sûr ne seront pas faciles à mettre en œuvre. Mais je crois que nous le devons à l’humanité d’essayer.

Un Alien mind

Un papier important à lire sur l'IA :

An Alien Mind

Au milieu de l’année 2023, dans le cadre du projet de recherche « RLSlow », nous avons obtenu les premiers résultats qui nous ont convaincus que nous serions en mesure de faire évoluer à grande échelle l’entraînement des modèles de raisonnement, permettant ainsi aux modèles pré-entraînés de développer leur propre capacité à construire des chaînes de raisonnement. Szymon et moi avons passé cette nuit-là au bureau, non pas à réfléchir aux chiffres incroyables des tests de performance, aux produits ou aux résultats scientifiques que cette technologie allait générer, mais plutôt à essayer d’assimiler cette réalité qui donne à réfléchir : nous verrons effectivement, de notre vivant, des machines nettement plus intelligentes que nous, et nous entrevoyons déjà la forme que prendront ces systèmes ; nous nous demandions comment sensibiliser le public à l’importance de cette évolution.

Trois ans plus tard, les modèles linguistiques de raisonnement constituent un secteur de l’économie en pleine expansion et commencent à repousser les limites de la science. Ils sont capables de faire fonctionner des ordinateurs et des interfaces graphiques, de collaborer avec des humains et entre eux, et de mener à bien des projets de recherche. Ils transforment également le paysage de la sécurité informatique, ce qui présente de nouveaux dangers évidents.

De nombreuses nouvelles recherches ont été menées au cours de cette période, et notre compréhension de ces systèmes est à nouveau légèrement différente de ce qu’elle était en 2023. D’après nos résultats internes, je suis fermement convaincu que cette vitesse de progression pourrait se maintenir et déboucher sur une auto-amélioration récursive. Si le développement de l’IA se poursuit sur sa lancée actuelle, les systèmes que nous verrons dans les prochaines années sont susceptibles de représenter de nouveaux bonds en avant d’une ampleur égale ou supérieure, et de piloter de plus en plus leur propre développement.

La situation exige aujourd’hui une extrême prudence. Je crains que personne ne soit préparé aux conséquences d’une progression rapide et continue de l’intelligence artificielle. OpenAI continuera à rechercher des solutions techniques en matière d’alignement et de surveillance, à mettre en place des systèmes de défense et à suspendre unilatéralement toute nouvelle mise à l’échelle si nécessaire ; cependant, je pense que des interventions plus larges sont nécessaires.

Une intelligence que nous ne comprenons pas entièrement

D’un point de vue général, les progrès en matière d’intelligence artificielle sont portés par l’augmentation de la puissance de calcul. Chez OpenAI, nous en avons pris pleinement conscience vers 2017, après avoir constaté des gains constants liés à l’augmentation de la puissance de calcul dans plusieurs projets de recherche¹. En conséquence, nous avons cherché à accéder à des ressources de calcul bien plus importantes que ce que nous avions initialement prévu, et nous avons de plus en plus orienté nos recherches vers un petit nombre de pistes très évolutives. Nous étions convaincus que c’était la seule façon pour nous de rester à la pointe de la recherche en IA et d’influencer les répercussions de l’IA générale (AGI).

De nouveaux algorithmes ont été développés en cours de route, ainsi que de nouvelles prouesses d’ingéniosité de la part d’équipes et de chercheurs individuels. Je les considère en grande partie comme des découvertes sur la voie de la mise à l’échelle ; la science de l’apprentissage profond en est encore à ses balbutiements, et les progrès algorithmiques significatifs ont tendance à être corrélés à l’accès à la puissance de calcul. Si l’on prend du recul pour envisager un horizon de plusieurs années, l’IA continue de gagner en intelligence à mesure qu’elle est déployée sur des ordinateurs plus puissants.

Et, conformément aux prédictions de Ray Kurzweil datant de la fin du XXe siècle⁠(s'ouvre dans une nouvelle fenêtre), nous nous trouvons aujourd’hui à un moment historique de l’informatique où l’intelligence artificielle commence à dépasser celle des humains de manière transformatrice.

L’IA s’est davantage développée qu’elle n’a été conçue : elle est, au premier chef, le produit de la répétition d’une étape d’optimisation simple, effectuée à maintes reprises sur une quantité de ressources de calcul difficile à imaginer. Il en résulte un système incroyablement complexe qui fonctionne à partir de concepts abstraits et peut simuler certaines facettes du comportement humain. Nous pouvons découvrir diverses perspectives sur les petits mécanismes qui émergent au sein de ce système, dans un processus similaire à celui des neurosciences — et, à l’instar des neurosciences, son fonctionnement global échappe à une description que nous pourrions pleinement comprendre.

L’étude de l’IA basée sur l’apprentissage profond relève en grande partie de la science expérimentale. Nous consacrons beaucoup d’efforts⁠ à la construction d’algorithmes fondés sur des principes et à la formulation de prédictions vérifiables, mais fondamentalement, nos sessions d’entraînement à grande échelle sont des expériences, et leurs résultats nous surprennent parfois. De plus, à mesure que les systèmes gagnent en capacités, les résultats deviennent plus difficiles à interpréter.

Cette situation est encore compliquée par le fait que les algorithmes actuels améliorent généralement plus rapidement les capacités faciles à mesurer que celles qui sont difficiles à quantifier objectivement. Nous consacrons beaucoup de temps à essayer de comprendre comment ces capacités se généralisent, et quelles priorités établir pour développer les compétences qui seront les plus pertinentes dans les prochaines années. Par exemple, nous pensons que nous pourrions améliorer les modèles spécifiquement pour la recherche en mathématiques en y consacrant davantage d’efforts, mais nous ne donnons pas la priorité à cette orientation en raison de l’urgence que nous ressentons concernant la RSI et la recherche sur l’alignement automatisé, comme je l’aborderai plus loin.

Apprendre aux machines à aimer

L’intelligence artificielle reposant sur un processus fondamentalement différent de celui de l’intelligence humaine, on ne peut pas supposer qu’elle adhère d’emblée aux principes humains, ni qu’elle en tire des généralisations à la manière des humains. Le problème central de la recherche en IA est celui de l’alignement : amener l’IA à « essayer de faire ce qui est juste » selon les normes humaines.

Afin d’organiser les axes de recherche concrets, je trouve utile de distinguer l’alignement des objectifs et l’alignement des valeurs.

L’alignement des objectifs consiste, en gros, à se demander : « L’IA tente-t-elle d’atteindre l’objectif qui lui a été fixé ? ». Cela peut inclure des aspects tels que le respect d’une hiérarchie d’instructions⁠, ou la capacité à communiquer et à collaborer avec les humains, afin de tenter de comprendre leurs objectifs. Cet ensemble d’orientations s’est révélé extrêmement pertinent sur le plan pratique.

L’alignement des valeurs est une propriété plus intrinsèque du modèle. Il s’agit de la capacité à adhérer à un ensemble de principes de haut niveau et à en tirer des généralisations ; à agir de manière « raisonnable » même lorsque les objectifs sont flous ou contradictoires, ou lorsque l’IA est placée dans des situations inconnues ou conflictuelles. Une IA alignée devrait agir avec honnêteté et intégrité, et par amour pour l’humanité.

Bien sûr, la frontière entre l’alignement des valeurs et celui des objectifs peut être floue, et se soucier véritablement des objectifs nécessite de tenter de déduire l’intention⁠(s’ouvre dans une nouvelle fenêtre) et les valeurs qui les sous-tendent. Cependant, en général, lorsque j’évoque l’importance à long terme de la recherche sur l’alignement, je fais référence à l’alignement des valeurs.

Le défi fondamental de l’alignement de l’IA réside dans la généralisation. À mesure que les machines deviennent plus intelligentes, elles se retrouvent à travailler sur des concepts de plus haut niveau et placées dans des environnements de plus en plus différents de ceux qu’elles ont rencontrés lors de leur apprentissage. Elles peuvent échouer à généraliser les valeurs enseignées et renforcées au cours de leur apprentissage à ces nouvelles situations ; et il peut être difficile pour nous d’être sûrs de la manière dont elles agiront. Cette difficulté est encore accentuée par le fait que l’écosystème global dans lequel les IA sont utilisées évolue très rapidement ; par exemple, les IA entraînées aujourd’hui doivent être capables d’interagir de manière robuste avec une grande variété d’autres IA. Il est essentiel que les futures IA continuent à respecter les valeurs humaines, qu’elles se croient ou non sous supervision humaine.

Il existe deux grandes catégories de méthodes actuellement utilisées dans la pratique pour l’entraînement à l’alignement.

- La première consiste à encourager un comportement aligné dans le cadre d’un apprentissage par renforcement orienté vers des objectifs. Les actions du modèle sont évaluées (généralement par une IA) pour vérifier leur cohérence avec un modèle de préférences donné, une « spécification » ou une « constitution », et sont récompensées en conséquence. Cette approche peut s’avérer très efficace dans la plupart des cas et constitue un élément central de la conception des assistants IA modernes. Malheureusement, elle peut également s’avérer fragile et dépend fortement de l’étendue de la supervision de l’entraînement ainsi que de la capacité du modèle à généraliser à partir des situations qu’il a rencontrées lors de l’entraînement. Par exemple, lors de l’incident OpenAI-Hugging Face, les agents ont respecté la limite consistant à ne pas recourir à l’ingénierie sociale auprès des humains. Cependant, ils n’ont manifestement pas su s’abstenir d’autres actions qui sortaient du champ d’application et allaient à l’encontre de l’esprit des valeurs qui leur avaient été enseignées dans d’autres contextes.

- La deuxième approche vise à tirer parti de la capacité du modèle à généraliser à partir des données de pré-entraînement. Cela peut impliquer de créer des ensembles de données d’entraînement favorisant l’alignement, ou de concentrer le modèle sur une partie « alignée » de la distribution de pré-entraînement, comme c’est le cas, par exemple, dans le modèle de sélection de persona⁠(s’ouvre dans une nouvelle fenêtre). La faiblesse de cette approche réside dans son manque de robustesse face à une pression d’optimisation supplémentaire. Si l’on prend un modèle dont les pensées sont globalement « alignées » et qu’on le soumet à un entraînement suffisant pour lui apprendre à atteindre des objectifs très difficiles, il peut apprendre à raisonner de manière motivée : en adaptant ses pensées apparemment « alignées » selon les besoins pour atteindre l’objectif. Nous avons probablement observé un exemple d’un tel comportement lors de récents incidents de cybersécurité impliquant un modèle n’appartenant pas à OpenAI.

Nous investissons massivement dans l’ensemble des approches couvertes par ces orientations. Nous constatons également des progrès significatifs : GPT-6 Astra est le premier modèle à bénéficier de certaines avancées importantes sur lesquelles nous travaillons depuis longtemps, et il est nettement mieux aligné que GPT-5.6 Sol. Il est toutefois important de reconnaître et de comprendre que des progrès bien plus importants sont nécessaires à mesure que les modèles gagnent en capacités ; et que les progrès en matière d’alignement généralisable pourraient ne pas dépasser suffisamment ceux réalisés dans le domaine de l’intelligence générale des modèles.

Suivi de la généralisation

Nous ne disposons pas d’une théorie satisfaisante de la généralisation, et il semble peu probable que nous puissions en développer une prochainement, du moins sans l’aide d’une IA plus puissante. Par conséquent, à l’heure actuelle, notre capacité à valider empiriquement nos techniques d’alignement est, dans la pratique, sans doute encore plus importante que ces techniques elles-mêmes.

Le principal pari d’OpenAI dans ce domaine a été le suivi de la chaîne de pensée⁠(s’ouvre dans une nouvelle fenêtre). Elle repose sur une idée séduisante et évolutive : une grande partie des capacités du modèle provient d’un processus de raisonnement verbalisé (chaîne de pensée). Si l’on optimise à grande échelle les résultats de ce processus, sans pour autant superviser le processus lui-même, cette chaîne de pensée n’a aucun intérêt direct, lors de l’entraînement, à dissimuler des idées ou des objectifs non alignés. Cela ne signifie pas que le modèle apprendra à extérioriser des tendances non alignées qui ne reposent pas sur l’utilisation de la chaîne de pensée ; cependant, cela peut nous permettre de suivre précisément l’augmentation des capacités issue du raisonnement.

Nous avons compris l’importance potentielle de la surveillance de la chaîne de pensée au moment même où nous avons développé des modèles de raisonnement. Lorsque nous avons lancé o1‑preview, nous avons délibérément conçu le produit pour masquer la chaîne de pensée⁠, afin de la protéger à long terme de la pression liée à la supervision². Depuis lors, au cours du développement, nous nous sommes efforcés de respecter la règle consistant à ne pas superviser le processus de raisonnement. La surveillance de la chaîne de pensée est devenue pour nous un outil extrêmement important pour étudier la manière dont nos modèles généralisent à partir de leur distribution d’entraînement, nous permettant d’observer et d’analyser non seulement leurs actions, mais aussi leur processus interne.

Cet outil reste essentiel dans le cadre de nos recherches sur la classe de modèles Astra. Malheureusement, nos évaluations indiquent que notre capacité à nous appuyer sur la surveillance de la CoT diminue progressivement. Cela résulte d’une combinaison de facteurs.

- Les modèles de raisonnement modernes sont utilisés dans des environnements plus complexes que ceux d’o1‑preview ; leur processus de raisonnement s’intègre de plus en plus à la communication avec les humains, d’autres IA et à l’utilisation d’outils. Bon nombre de ces interactions doivent être supervisées, ce qui brouille la frontière que nous cherchons à préserver.

- L’IA devient de plus en plus habile à raisonner sur son propre processus de raisonnement et à le manipuler.

- Grâce à l’amélioration des performances de pré-entraînement, nous constatons également que les modèles deviennent beaucoup plus intelligents, même sans recourir du tout au raisonnement verbalisé.

Ces défis ne sont pas nécessairement insurmontables. J’ai bon espoir que nous puissions mettre au point des interventions pour améliorer la monitorabilité de la chaîne de pensée de nos modèles, par exemple en acquérant une meilleure compréhension de l’interaction entre les différents objectifs d’optimisation et les formes de calcul en temps de test utilisées par le modèle. Je pense également qu’il peut être très utile de combiner des idées issues de la CoT et de la surveillance de l’activation — en adaptant à grande échelle l’entraînement des moniteurs avec un accès direct aux composants internes du réseau, par exemple les « confessions »⁠(s’ouvre dans une nouvelle fenêtre). Nous explorons activement ces pistes. Je m’attends néanmoins à ce que les progrès de l’IA générale soient de plus en plus freinés par le manque de confiance dans la surveillance.

Une défense évolutive

L’argument le plus convaincant en faveur de la poursuite de l’entraînement rapide de modèles bien plus intelligents est, selon moi, la nécessité de mettre en place des systèmes de défense contre les dangers posés par d’autres IA.

Un risque évident, évoqué tout au long de cette année, concerne la cybersécurité : les modèles acquièrent des capacités surhumaines pour s’introduire dans les systèmes informatiques et en sortir. Cela élargit considérablement l’étendue des risques associés à l’IA : les agents seront capables d’accéder à toutes les infrastructures, sauf les plus sécurisées, et d’influencer directement une grande partie du monde, même sans corps physique. Nous disposons actuellement d’une fenêtre d’opportunité étroite⁠ pour utiliser les meilleurs modèles disponibles afin de renforcer considérablement la sécurité⁠ des systèmes critiques.

Les risques liés à l’IA vont malheureusement s’amplifier à partir de maintenant. Un agent très compétent, explicitement formé et chargé de commettre des actes malveillants, représente un nouveau type de danger ; il est susceptible de dépasser le cadre des intentions de son opérateur, en généralisant son comportement vers des actions potentiellement encore plus malveillantes. La frontière entre l’utilisation abusive et les actions autonomes mal orientées s’estompera à mesure que l’IA gagnera en autonomie. Nous avons peut-être l’habitude de considérer l’IA comme un outil, mais certains agents poursuivront leurs propres objectifs. Ils trouveront des moyens de collaborer avec les humains, en négociant avec eux, en les trompant ou en les faisant chanter.

À cela s’ajoutent les risques liés aux nouvelles technologies que l’IA pourrait rendre possibles, telles que les agents pathogènes modifiés.

Nous aurons besoin d’une IA puissante et alignée pour nous défendre : pour sécuriser les infrastructures, pour nous protéger en temps réel contre les agents malveillants et pour inventer des mesures de protection entièrement nouvelles. Ce sera l’un des axes principaux des efforts de déploiement d’OpenAI.

Dans le même temps, même face à l’incertitude liée aux progrès considérables attendus en matière d’IA et à la nécessité de mettre en place des systèmes de défense, nous ne devons pas laisser cela devenir un prétexte à l’imprudence. L’idée d’avancer à toute vitesse à tout prix semble absurde dès lors que l’on prend pleinement conscience de la gravité des enjeux.

Rythmer la RSI

Le fait que l’intelligence artificielle joue un rôle de plus en plus important dans son propre processus de développement est une conséquence naturelle des progrès technologiques soutenus. Si les avancées en matière d’IA se poursuivent, l’auto-amélioration récursive des machines (RSI) sera au cœur même des futures découvertes scientifiques.

La recherche automatisée en IA est une forme plus spectaculaire de mise à l’échelle de l’intelligence grâce à la puissance de calcul ; et bien sûr, dans ce cadre, l’IA améliorera le substrat computationnel lui-même⁠. Et à l’instar de cette évolutivité, nous orientons la recherche d’OpenAI vers la RSI, car nous pensons que c’est le seul moyen de rester à la pointe de la recherche en IA à l’avenir.

Je tiens à souligner que ce qui précède ne signifie pas que je pense qu’accélérer considérablement la recherche en apprentissage profond, en particulier à court terme, soit la bonne action collective que nous devrions entreprendre en tant que communauté de chercheurs. Cependant, je pense que c’est là que mène la voie actuelle, et nous devons tous faire un choix conscient quant à la manière de procéder. Les principaux leviers dont nous disposons consistent soit à orienter le processus pour renforcer l’alignement et la surveillance parallèlement au développement de l’IA, et à trouver des moyens de maintenir les personnes informées ; soit à coordonner nos efforts pour ralentir les développements futurs si nécessaire, afin d’instaurer la confiance dans ces mesures.

La meilleure voie à suivre, selon moi, est actuellement une combinaison des deux.

Les progrès concrets que nous avons réalisés en matière d’alignement et de surveillance ont généralement été étroitement liés aux avancées générales de l’IA. On peut citer comme excellents exemples l’apprentissage par renforcement à partir du retour d’information humain⁠(s’ouvre dans une nouvelle fenêtre), qui a joué un rôle clé dans la formation des premiers assistants IA, et la surveillance de la chaîne de pensée⁠(s’ouvre dans une nouvelle fenêtre) mentionnée plus haut, rendue possible par les avancées sur les modèles de raisonnement. Nous devons concentrer le processus de recherche, de plus en plus automatisé, sur le développement de nouvelles connaissances, algorithmes et théories de ce type, et établir de manière itérative des analyses de sécurité pour des IA plus performantes.

La mise à l’échelle des systèmes d’IA doit être limitée par notre confiance en leur sécurité. Nous devons faire évoluer des engagements tels que le « Preparedness Framework »⁠ ou la « Responsible Scaling Policy »⁠ (s’ouvre dans une nouvelle fenêtre) vers des seuils de sécurité largement imposés pour permettre la poursuite du développement. Ceux-ci peuvent être appliqués par un réseau d’auditeurs tiers, par des agences gouvernementales ou par des organismes internationaux.

Le principal défi de l’automatisation de la recherche en IA n’est pas « d’y parvenir », mais d’y parvenir de manière à ce que les personnes restent partie prenante du processus d’amélioration continue et que l’avenir reste entre les mains de l’humanité.

Quelle est la prochaine étape ?

Comme nous l’avons récemment souligné avec Sam⁠, OpenAI concentre ses efforts sur trois axes prioritaires :

- Accompagner la prochaine phase de progrès de l’IA, en développant un chercheur en IA automatisé, en menant des itérations avec lui sur le problème de l’alignement et en trouvant des moyens permettant aux humains de rester partie prenante dans la boucle d’auto-amélioration.

- Faire profiter la société des avantages du progrès scientifique et de la croissance économique rendus possibles par des machines très intelligentes.

- Donner à chacun les moyens d’agir grâce à une IA générale (AGI) personnelle.

Je me suis concentré dans cet essai uniquement sur le premier point, car je pense qu’il est de loin le plus urgent. Cependant, je nourris un profond espoir et une grande reconnaissance envers les avantages que les progrès technologiques futurs apporteront. Une IA alignée pourrait faire avancer la science, développer de nouvelles thérapies et générer une grande abondance matérielle. Une IA bienveillante et honnête peut aider les gens à surmonter les difficultés auxquelles ils sont confrontés dans leur vie et améliorer de manière significative leur bonheur et leur sentiment d’épanouissement. OpenAI déploie des efforts considérables pour concrétiser ces avantages. Un exemple actuel dont je suis fier – et que mes proches ont trouvé utile – est l’investissement massif dans la capacité de ChatGPT à fournir des informations sur la santé.

Aussi prometteuses que puissent être les perspectives à long terme de l’IA, nous devons concentrer l’essentiel de notre attention sur les prochaines années. Nous sommes confrontés à une transition vers un monde peuplé de machines incroyablement intelligentes, et nous devons veiller à ce que cette transition se déroule au mieux pour l’humanité. Nous devons trouver des moyens de préserver la capacité d’agir des humains et de consacrer la valeur intrinsèque de l’humanité, dans un monde où la plupart des tâches pourraient être effectuées par l’IA. Pour empêcher une concentration extrême du pouvoir dans un monde où des projets qui auraient autrefois nécessité des milliers d’experts pourront désormais être menés à bien par quelques personnes utilisant un superordinateur. Et pour garantir que les humains gardent le contrôle de l’avenir et ne soient pas laissés pour compte par un progrès incontrôlé, provoqué par une intelligence étrangère surpassant la nôtre.

À l’heure actuelle, je pense qu’aucun laboratoire n’a résolu les problèmes d’alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant encore longtemps. Je m’attends à ce que des ralentissements volontaires deviennent monnaie courante jusqu’à ce que des barrières de sécurité communes soient mises en place, et j’espère que ce sera le cas. Et je crois que la coordination internationale sur le développement futur de l’IA doit devenir une priorité absolue pour les gouvernements du monde entier.

Merveilleusement suranné

Dominique de Villepin n’aime pas être pris pour un perdreau de six semaines. C’est du moins ce qu’il a voulu signifier au journaliste Guillaume Daret [qui lui posait une question embarrassante] : 

Dominique de Villepin a alors répondu avec cette merveilleuse expression surannée, seulement attestée en Occitanie :

«Monsieur Daret, je n’ai pas mis ce matin ma petite culotte de chou pour me faire brouter le derrière par les petits lapins [...] » a-t-il grondé.

ICan’tBelieveItCanSort

Un merveilleux papier au sujet d'un algorithme présenté lors d'une conférence scientifique, qui devait être un contre-exemple de triage efficace, mais qui s'avère en fait trier une liste de manière particulièrement efficace :

ICan’tBelieveItCanSort :

Et le papier original traitant de cette découverte :

papier scientifique

Cet algorithme est efficace, sauf si la liste de départ est déjà triée. 

Pour information, voici l'algorithme de tri alphabétique proposé en standard par les IA (suppression de l'élément déclassé en position j de la liste, et ré-insertion à la position i) :

' Tri alphabétique

    For i = 1 To listeJpg.Count - 1

        For j = i + 1 To listeJpg.Count

            If LCase(listeJpg(i)) > LCase(listeJpg(j)) Then

                Set tempImg = listeJpg(j)

                listeJpg.Remove j

                listeJpg.Add tempImg, Before:=i

            End If

        Next j

    Next i 

Record battu aux 100m

 

Clipse

 

Lippi

L'entreprise Lippi de Mouthiers-sur-Boëme, spécialiste de grillages et clôtures, a été mise en liquidation judiciaire.

Cela ne vous dit probablement rien, mais pour moi cela signifie beaucoup. En 1990, c'est la première entreprise pour laquelle j'ai travaillé comme jeune coopérant inexpérimenté à Londres. Ma mission consistait à l'époque à faciliter leur pénétration industrielle en Angleterre, avec leurs grillages très stylés, bien adaptés aux terrains de tennis anglais.   

Deux générations issues d'un immigré italien se sont succédé à la tête de l'entreprise Lippi. La troisième génération, bien française devenue, n'a pas pu relever le flambeau.

https://france3-regions.franceinfo.fr/nouvelle-aquitaine/charente/angouleme/une-partie-de-l-histoire-locale-disparait-la-fermeture-de-cette-entreprise-laisse-50-personnes-sans-emploi-et-un-village-sous-le-choc-3398641.html

A secret chord

Regardez cette merveilleuse vidéo entre Musicologie et Ecclésiaste. Elle se propose d'expliquer l'énigme de la "secret chord" laissée par Léonard Cohen dans son Alléluia :

I heard there was a secret chord

That David played and it pleased the Lord

But you don't really care for music, do ya?

Well, it goes like this, the fourth, the fifth

The minor fall and the major lift

The baffled king composing 'Hallelujah'

Eclipse

Éclipse du 12 août : cette coïncidence complètement folle qui rend ce phénomène possible

https://actu.fr/sciences-technologie 
Article de Martin Leduc

Un rapport de taille dû à absolument rien de concret permet de voir les éclipses. Et on pense que c'est du hasard.

Dans sa chanson Elle viendra quand même, Orelsan disait « chaque fois que je regarde les étoiles j’pense t’emballe pas, c’est qu’du gaz autant faire un vœu devant ton écran plasma ». La formule est un brin réductrice (et franchement rabat-joie), mais elle est fondée. L’espace et les spectacles qu’il propose n’ont jamais eu vocation à nous impressionner, et ne sont que la conséquence d’événements physiques en tous genres. Les pluies d’étoiles filantes ? De simples poussières qui s’enflamment en entrant dans l’atmosphère. Les aurores boréales ? Des particules solaires qui interagissent avec notre atmosphère. 

Prochain événement en date : l’éclipse du Soleil du 12 août 2026. Et encore une fois, elle est le fruit d’un hasard déconcertant : la Lune est 400 fois plus petite que notre Soleil. Mais notre étoile est 400 fois plus loin que notre satellite (1). Et c’est un pur concours de circonstances. Rien dans les lois de la physique n’impose un tel rapport.

Un hasard déconcertant…

Résultat : de notre point de vue, les deux ont approximativement la même taille. Une coïncidence suffisamment précise pour que, vue depuis la Terre, la Lune soit en mesure de masquer entièrement le Soleil. 

Ce qu’il faut comprendre, c’est que si la Terre avait été à peine 5 % plus proche du Soleil, il aurait été impossible pour la Lune de le cacher entièrement. Et les humains (potentiellement très différents à cause de cette proximité avec le Soleil) n’auraient jamais connu les éclipses. 

… et temporaire 

La coïncidence est d’autant plus marquante pour nous qu’elle n’est que temporaire… Sous l’effet des forces des marées, la Terre transfère une partie de son énergie à l’orbite lunaire, ce qui fait que la Lune s’éloigne de la Terre d’environ 3,8 cm par an. C’est-à-dire que dans un futur lointain (très lointain, on parle de plusieurs centaines de millions d’années), elle sera trop petite pour « recouvrir » entièrement le Soleil. 

Depuis la Terre, les humains du futur, s’ils sont là, ne pourront voir que des éclipses dites annulaires, les fameux anneaux de feu. À l’échelle du système solaire, on peut donc dire que nous vivons exactement dans la bonne période : c’est pile poil celle où les deux astres semblent avoir presque exactement la même taille.

Le phénomène des éclipses totales est donc un pur hasard. Mieux : un accident, local… et temporaire. 

(1) : en réalité, les chiffres sont arrondis. Le Soleil est environ 400 fois plus grand que la Lune par son diamètre, mais il est en moyenne 389 fois plus éloigné de la Terre. Les deux valeurs varient légèrement, car les orbites de la Terre et de la Lune sont elliptiques.