P[e]acing the frontier

Un article impressionnant de Dario Amodei :

Pacing the Frontier 

Je travaille dans le domaine de l’IA depuis douze ans, car je suis convaincu qu’elle pourrait améliorer considérablement la qualité de vie des êtres humains. J’ai souvent écrit sur ces incroyables avantages : je pense que l’IA pourrait guérir la plupart des maladies graves d’ici 5 à 10 ans, accélérer considérablement les taux de croissance économique, créer un monde d’abondance et d’autonomisation, et marquer le début d’une renaissance de la démocratie et de la liberté. J’en ressens personnellement l’urgence. Mon propre père est décédé d’une maladie qui a été guérie quelques années seulement après son décès, et j’ai moi-même survécu à un cancer à un stade précoce qui n’aurait pas été traitable il y a encore cinquante ans. Utilisée avec prudence, l’IA peut être le dernier d’une longue série de miracles technologiques qui ont élevé et ennobli l’humanité.

Mais comme beaucoup de technologies avant elle, l’IA comporte des risques, et comme il s’agit d’une technologie extrêmement puissante, ces risques sont graves. J’ai également beaucoup écrit à ce sujet. Parmi ces risques figurent la perte de contrôle des systèmes d’IA, l’utilisation abusive de l’IA à des fins de cyberattaques et de bioterrorisme, ainsi que de graves perturbations économiques. Une course vers le bas, alimentée par des incitations commerciales, peut aggraver ces risques.

Avec mes cofondateurs et mes collaborateurs, je me suis penché sur cette dualité entre risques et avantages depuis la création d’Anthropic. Ne pas développer cette technologie prive l’humanité de ses avantages ou revient simplement à livrer l’IA aux mains de pouvoirs autoritaires, tandis que la développer trop rapidement relève de l’imprudence. Nous avons cherché une voie médiane : montrer qu’il est possible de développer cette technologie avec prudence tout en réussissant sur le plan commercial, et faire de la sécurité un critère de concurrence entre les entreprises spécialisées dans l’IA. En d’autres termes, créer une course vers l’excellence. Nous avons toujours consacré une part importante de nos efforts à étudier ces risques liés à l’IA, à y remédier et à informer le public à leur sujet, ainsi qu’à plaider en faveur d’une réglementation mûrement réfléchie de l’IA, même lorsque cela nous vaut d’être accusés de battage médiatique, de « catastrophisme » ou de captation réglementaire. Nous avons essayé de privilégier la prudence à la vitesse et la circonspection au profit.

Mais au cours des derniers mois, j’ai acquis la conviction que pour faire face pleinement à ces risques, il faut faire preuve d’encore plus de prudence — non seulement en investissant dans la prévention des risques, mais aussi en modérant le rythme des progrès technologiques afin que la prévention ait le temps de suivre. Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA. Les progrès sembleront toujours rapides, et nous devons utiliser à bon escient le temps que nous gagnons. Deux éléments m’ont convaincu.

Ma première préoccupation est que, depuis cet été environ, l’IA progresse à un rythme nettement plus rapide, principalement grâce à sa capacité croissante à créer la prochaine génération d’IA. Cette dynamique, appelée « auto-amélioration récursive », commence à se manifester dans l’ensemble du secteur, y compris chez Anthropic, comme nous-mêmes et d’autres l’avons décrit. Si elle n’est pas maîtrisée, elle pourrait dépasser notre capacité à comprendre et à contrôler ces systèmes ; elle doit donc être abordée avec la plus grande prudence, voire abandonnée.

Ma deuxième préoccupation concerne l’incident OpenAI-Hugging Face (OAI-HF), au cours duquel un essaim d’agents a agi comme un collectif fanatiquement dévoué, menant des attaques de cybersécurité contre des cibles qu’on ne leur avait pas demandé d’attaquer et qui n’avaient aucun rapport avec la tâche à accomplir, se sacrifiant pour le succès du groupe et tentant de pirater le « correcteur » chargé d’évaluer leurs performances. Il est facile de minimiser cet incident car personne n’a été blessé et les dommages économiques ont été minimes, mais à mon avis, un essaim doté de capacités supérieures mais présentant un niveau similaire de désalignement aurait pu causer des dégâts catastrophiques. Compte tenu de l’accélération du développement des capacités de l’IA, je crains que d’ici 6 à 12 mois, un tel essaim ne soit capable de prendre le contrôle de l’ensemble d’Internet à l’aide d’un botnet persistant (pouvant causer des centaines de milliards de dollars de dégâts), et que l’ampleur des dégâts ne continue de s’accroître à partir de là si l’IA devient plus puissante sans les garde-fous nécessaires. Il est également facile de considérer l’incident d’OAI-HF comme l’échec d’une seule entreprise, mais je pense que ce serait une erreur. Des incidents similaires, bien que moins graves, se sont produits dans l’ensemble du secteur, notamment chez Anthropic, et je pense qu’il incombe à chaque entreprise pionnière en matière d’IA d’agir comme si l’incident d’OAI-HF lui était arrivé.

Je propose donc un plan en trois étapes visant à réguler le développement de cette technologie de pointe : développer l’IA à un rythme équilibré, qui vise à garantir sa sécurité tout en tirant parti de ses avantages et en abordant les dilemmes géopolitiques majeurs. Soyons clairs : cette régulation ne signifie pas mettre un terme à l’entraînement des modèles ou au progrès technique, mais veiller à ce que les entreprises prennent le temps nécessaire pour harmoniser et sécuriser leurs modèles, et à ce que des évaluateurs tiers puissent le confirmer. Notre cadre de régulation vise à renforcer encore notre engagement en faveur de la sécurité et à encourager une « course vers le haut ».

La première étape est un engagement unilatéral pris par Anthropic (et pour lequel nous appelons les gouvernements à exiger que d’autres entreprises pionnières s’y conforment).
La deuxième étape nécessite une coordination à l’échelle du secteur.¹
La troisième étape nécessite une coordination mondiale.

Ces étapes ne doivent pas nécessairement être suivies dans l’ordre, et certaines peuvent s’avérer beaucoup plus difficiles à mettre en œuvre que d’autres, mais je les ai trouvées utiles pour définir ce qui doit être accompli. Ces étapes sont les suivantes :

Évaluateurs intégrés.
Chaque entreprise pionnière en IA s’engage à accorder un accès permanent, similaire à celui des employés, à une équipe d’évaluateurs tiers intégrés (tels que METR), dont le rôle est de vérifier le respect des pratiques et des engagements en matière de sécurité, de signaler les incidents et d’aider à évaluer la conformité non seulement des modèles d’IA finalisés, mais aussi des pipelines et des processus d’entraînement. Il s’agit d’une étape clé pour garantir la vérifiabilité de tout engagement en matière de rythme de développement, et elle trouve un précédent dans le secteur bancaire, où des « superviseurs » réglementaires sont parfois intégrés aux équipes aux côtés des employés. Anthropic s’engage dès à présent de manière unilatérale à respecter cette étape. Nous souhaitons que cela s’inscrive dans le cadre d’une initiative plus large visant à redoubler d’efforts en matière de sécurité et d’alignement.

Coordination démocratique.
Les entreprises pionnières en IA situées dans des pays démocratiques se coordonnent pour établir des normes de sécurité communes ainsi que des limites au rythme des progrès non contrôlés de l’IA. Certaines formes de coordination qui auraient un impact significatif sur la gestion de ce rythme posent des défis juridiques et nécessiteront le soutien des gouvernements.

Coordination mondiale.
Les États-Unis et d’autres gouvernements démocratiques tentent de se coordonner avec les gouvernements autoritaires, dans la mesure du possible, tout en prenant au sérieux les défis liés à la vérification du respect des règles.

Dans la suite de cet essai, je décris chacune de ces étapes tour à tour, mais je pense qu’il est d’abord important d’expliquer précisément en quoi le « pacing » nous permettra de rendre le processus de développement de l’IA plus sûr. Les enjeux sont trop importants pour que le « pacing » soit un exercice vain : nous devons utiliser à bon escient le temps qu’il nous offre.

Pourquoi ralentir ?

L’idée de marquer une pause ou de ralentir le développement de l’IA a été évoquée dès 2023, et je pense qu’elle n’avait guère de sens à l’époque. La question était toujours la même : que ferait-on de ce temps supplémentaire ? Les modèles d’IA de l’époque n’étaient pas assez puissants pour agir en tant qu’agents dans le monde de manière cohérente, et n’étaient pas capables de tromperie, de manipulation, de tricherie ou de cyberattaques significatives. Ralentir le développement de l’IA pour remédier à ses risques d’alignement revenait à essayer d’étudier la psychologie humaine en menant des expériences sur des bactéries. Aujourd’hui, cependant, la situation est totalement différente. Les modèles actuels constituent une mine d’or quasi inépuisable d’enseignements, tant sur la manière de bien concevoir l’IA que sur ce qui peut parfois mal tourner si elle n’est pas bien conçue. Je pense que si ce ralentissement nous permettait de gagner ne serait-ce qu’une ou deux années supplémentaires avant que les modèles n’atteignent des niveaux critiques de capacité, et si nous utilisions ce temps pour faire progresser l’alignement, nous pourrions réduire considérablement le risque qu’une grave erreur se produise. Une stratégie coordonnée de modération du rythme donnerait aux développeurs de pointe en IA le temps de mener à bien ce travail essentiel sans sacrifier l’avantage commercial ni l’avance des États-Unis dans le domaine de l’IA. Plus généralement, la société doit avoir son mot à dire sur la manière dont cette technologie est utilisée, et disposer de plus de temps pour les délibérations publiques nécessaires — ce que nous apporterait une modération du rythme à la pointe de la recherche — est assurément une bonne chose.

Plus précisément, un rythme plus lent permettrait aux entreprises de se concentrer et de consacrer encore davantage de ressources aux domaines suivants (qui constituent tous déjà des priorités majeures chez Anthropic) :

L’excellence opérationnelle.
L’entraînement et le déploiement des modèles d’IA actuels représentent un défi opérationnel colossal, mobilisant des milliers de personnes, des millions de puces et une infrastructure qui compte parmi les plus complexes de l’histoire de la technologie. De nombreux problèmes surviennent non pas parce que les entreprises ne disposent pas de certaines théories ou connaissances importantes, mais en raison de difficultés d’exécution. Par exemple, nous disposons de preuves indiquant que les récents incidents d’alignement que nous avons signalés ont été causés en partie par un filtrage imparfait d’environnements d’apprentissage par renforcement défaillants. Il s’agissait d’une tâche que nos fournisseurs et nous-mêmes avons menée avec une diligence raisonnable, mais pas suffisamment. La surveillance, le sandboxing, l’hygiène des environnements d’entraînement et les problèmes liés aux données constituent des domaines extrêmement complexes où des problèmes opérationnels surgissent sans cesse. Nous disposons d’équipes parmi les plus compétentes au monde pour ces tâches, mais il y a tout simplement trop à faire d’un seul coup. En travaillant à un rythme plus mesuré, nous pourrions atteindre un niveau d’excellence opérationnelle bien supérieur. Il existe des précédents où des systèmes technologiquement complexes et critiques pour la sécurité ont fonctionné des millions de fois sans aucun incident — par exemple, les avions commerciaux — mais il faut du temps pour y parvenir.

Alignement.
Nous avons réalisé des progrès notables en matière d’alignement — l’entraînement des modèles afin qu’ils restent sûrs, éthiques, conformes à nos directives et véritablement utiles (les principes inscrits dans la Constitution de Claude). Mais il reste encore beaucoup à faire pour garantir que notre entraînement à l’alignement suive le rythme de l’évolution des capacités des modèles. Des exemples rares et inattendus de comportements indésirables apparaissent encore parfois ; disposer de plus de temps grâce à une « frontière rythmée » aiderait nos chercheurs à mieux comprendre les causes de ces problèmes et à développer de meilleures techniques pour les prévenir.

Interprétabilité.
De même, l’interprétabilité — la science qui consiste à comprendre ce qui se passe à l’intérieur des modèles d’IA — a fait d’énormes progrès au cours des dernières années et joue un rôle de plus en plus important dans l’audit de nos modèles avant leur mise en service. Elle peut être utilisée presque comme une IRM fonctionnelle, mais pour le « cerveau » d’une IA, nous aidant à discerner les raisons sous-jacentes d’un comportement donné. Par exemple, nous avons utilisé des méthodes d’interprétabilité pour examiner les motivations non verbalisées dans les récents incidents d’alignement sur lesquels nous avons enquêté. Mais ces méthodes ne produisent pas toujours des résultats clairs et fiables. Malgré tous les progrès accomplis, nous ne comprenons encore qu’une infime fraction de ce qui se passe à l’intérieur de ces modèles. Un effort ciblé visant à améliorer nos techniques d’interprétabilité, à un rythme encore plus rapide qu’actuellement, pourrait permettre de réaliser des progrès considérables en un à deux ans, et disposerait d’une abondante matière expérimentale tirée des incidents qui se sont déjà produits.

Tests et évaluation.
Les tests et l’évaluation des modèles d’IA deviennent plus difficiles à mesure que leurs capacités augmentent. Les modèles plus intelligents sont davantage capables de tromper les tests et peuvent donc sembler conformes tout en présentant de graves problèmes qui passent inaperçus. La mise en place d’un ensemble d’évaluations beaucoup plus large et plus ingénieux, associé à des analyses d’interprétabilité permettant de les recouper, serait extrêmement précieuse, et des progrès considérables pourraient être réalisés dans ce domaine d’ici un à deux ans.

Évaluateurs intégrés

La première étape de ce plan en trois phases, et celle à laquelle Anthropic s’engage de manière unilatérale, consiste à mettre en place des évaluateurs intégrés qui disposent d’un accès similaire à celui des employés pour vérifier les pratiques de sécurité et signaler les incidents.

L’intégration d’évaluateurs peut sembler être une mesure mineure ou sans conséquence, mais souvent, ce sont les choses qui paraissent les plus ennuyeuses ou les plus procédurales qui s’avèrent en réalité les plus essentielles. Les évaluateurs intégrés constituent en fait une pratique assez radicale qui va bien au-delà de ce que fait aujourd’hui n’importe quelle entreprise spécialisée dans l’IA, et présentent les avantages suivants :

Vérifiabilité.
Les évaluateurs intégrés peuvent vérifier dans les moindres détails si une entreprise d’IA respecte réellement les pratiques d’entraînement, de déploiement, d’exploitation et de mesures de protection qu’elle prétend suivre. Tout engagement en matière de rythme de mise en œuvre comportera inévitablement beaucoup d’ambiguïté, de décisions discrétionnaires et de dilemmes entre « la lettre de la loi et l’esprit de la loi » ; il semble donc essentiel de disposer d’un tiers neutre capable d’examiner concrètement les détails.

Transparence.
Quels que soient les engagements que nous prenons, le public mérite de savoir ce qui se passe. Anthropic est depuis longtemps partisan de la transparence : nous avons soutenu la législation en matière de transparence alors que la majeure partie du secteur s’opposait à toute réglementation, et nos fiches de modèles ainsi que nos rapports sur les risques comptent des centaines de pages. Mais c’est toujours à nous qu’il revient de choisir ce qu’il faut inclure et ce qu’il faut omettre. Les évaluateurs intégrés changeront cette dynamique.

Deuxième avis.
Au-delà de la vérification des engagements formels et de l’information du public, les évaluateurs intégrés peuvent simplement fournir un deuxième avis, libre de toute motivation commerciale. De nombreux avantages en matière de sécurité peuvent découler du simple fait que les évaluateurs soulignent des points que les employés n’avaient pas pris en compte, mais qu’ils sont ravis de corriger une fois qu’ils en ont pris conscience.

Le rythme au sein des démocraties

Compte tenu de ces avantages, toute proposition de pilotage a toutes les chances de mieux fonctionner si elle s’appuie dès le départ sur des évaluateurs intégrés.

Ces évaluateurs intégrés devraient disposer en permanence d’autorisations et d’outils similaires à ceux des collaborateurs internes chargés d’évaluations des risques comparables. En particulier, Anthropic a l’intention d’inviter prochainement une équipe d’évaluation externe intégrée dotée de tous les éléments suivants :

Des bureaux dans nos locaux, des badges d’accès et des ordinateurs portables de l’entreprise.

Un accès aux espaces de travail, aux outils et aux autorisations globalement comparables à ceux dont disposent les équipes internes d’évaluation des risques. Nous ferons quelques exceptions, notamment lorsque la loi ou nos contrats l’exigent, ou pour protéger les informations confidentielles de nos clients et partenaires. Nous mettrons également en place des normes internes strictes renforçant l’accès des évaluateurs aux informations pertinentes, notamment par le biais d’échanges en direct avec les employés.

Un contrat qui concilie les complexités mentionnées ci-dessus. Les auditeurs externes devront avoir le droit de publier leurs principales conclusions concernant les niveaux de risque, les incidents, les pratiques et les accès qui leur ont été accordés ou refusés — sans contrôle éditorial de la part d’Anthropic. Nous disposerons d’une capacité limitée à expurger les informations sensibles sur le plan de la sécurité, protégées par le secret professionnel, sensibles sur le plan commercial ou confidentielles appartenant à des tiers, mais nous ne pourrons pas expurger des conclusions simplement parce qu’elles sont défavorables. Les évaluateurs peuvent indiquer publiquement si une expurgation a supprimé un élément important pour leurs conclusions.

Il s’agit d’une démarche inhabituelle pour une entreprise, mais nous pensons qu’il est important de valider le concept d’évaluateurs externes intégrés. Une fois encore, nous invitons instamment d’autres entreprises pionnières à suivre cet exemple.

Régulation du rythme de développement au sein des démocraties

Une fois que des évaluateurs intégrés opéreront au sein d’une masse critique d’entreprises américaines spécialisées dans l’IA, une régulation vérifiable du rythme de développement deviendra plus viable. En particulier, il deviendra possible de réguler ce rythme en fonction des propriétés détaillées des modèles ou des pipelines d’entraînement.

La méthode la plus efficace pour réguler ce rythme passe par une réglementation ciblant toutes les entreprises américaines pionnières en matière d’IA, car cela couvre même celles qui ne sont pas disposées à coopérer volontairement. Anthropic soutient depuis longtemps une réglementation raisonnable et ciblée en matière d’IA, en particulier les projets de loi axés sur la transparence et l’audit par des tiers. Je pense que tous les laboratoires de pointe devraient s’associer au gouvernement pour formaliser le concept d’évaluateurs intégrés permanents afin de mieux prévenir et documenter les incidents d’alignement interne tels que ceux qui se sont produits ces derniers mois, et de mettre en œuvre une réglementation visant à maintenir un équilibre entre les capacités et la sécurité.

Malheureusement, l’adoption de lois peut prendre du temps, et l’IA progresse très rapidement. Par conséquent, parallèlement à la voie réglementaire, les entreprises d’IA peuvent et doivent collaborer volontairement pour établir des normes — un processus qui, selon moi, se déroulera mieux grâce à la vérifiabilité assurée par des évaluateurs permanents intégrés. Pour des raisons de droit de la concurrence, il serait utile que le gouvernement américain joue un rôle de médiateur ou, à tout le moins, facilite ces discussions — il n’a pas besoin d’y participer, mais doit accorder une dérogation ciblée pour certains types de discussions relatives à la sécurité. Ce dialogue pourrait également s’inscrire dans le cadre de groupes sectoriels entretenant des liens avec le gouvernement — par exemple, le mécanisme suggéré par Demis Hassabis. Quoi qu’il en soit, ces discussions devraient avancer rapidement.

D’une manière générale, ce qui m’enthousiasme le plus, c’est une approche graduelle fondée sur ce qu’un système d’IA de pointe donné est capable de faire, et sur le niveau de sécurité que nous lui constatons. Par exemple, un schéma possible pourrait consister en une série de « points de contrôle » : si les modèles possèdent la capacité X, ils doivent alors être accompagnés de certifications des propriétés d’alignement Y et Z — telles qu’une combinaison d’évaluations, d’analyses d’interprétabilité et d’audits des environnements d’entraînement — qui démontrent leurs propriétés d’alignement. Dans cet exemple, X pourrait être « le modèle est capable de contourner ou de déjouer la plupart des méthodes courantes de sandboxing » et Y pourrait correspondre à tout ce qui est nécessaire pour rendre très improbable que le modèle ait tendance à s’échapper de son environnement et à prendre le contrôle d’un grand nombre d’ordinateurs.

Nous devrions également envisager de moduler le rythme en limitant les éléments qui entrent dans la composition des modèles de pointe, tels que la puissance de calcul dédiée à l’entraînement, la nature des sessions d’entraînement ou l’utilisation interne de l’IA pour améliorer l’IA. Je crains toutefois que certaines de ces mesures ne se prêtent davantage à la « manipulation » que les comportements externes, mais c’est le genre de sujet qui mérite d’être discuté avec les évaluateurs intégrés.

Le rythme de progression au sein des démocraties sera limité par l’avance dont disposent les entreprises américaines sur les régimes autoritaires, principalement le Parti communiste chinois. Si nous ralentissons au-delà de cette marge, les projets associés au PCC (qui ne sont pas soumis à ces contraintes) prendront de l’avance, créant ainsi un risque significatif pour la sécurité nationale. Je partage l’avis du secrétaire Bessent selon lequel une avance chinoise en matière d’IA représenterait un grave danger pour les États-Unis et le monde entier. Les projets associés au PCC courront les risques d’alignement que les entreprises américaines s’efforcent soigneusement d’éviter, et même s’ils parviennent à les contourner, ils seront en mesure de dominer militairement les démocraties (par exemple grâce à des drones pilotés par l’IA). Ainsi, un élément clé de la gestion du rythme au sein des démocraties consiste à maintenir aussi large que possible l’avance des démocraties sur les autocraties en matière d’IA, afin de nous donner la marge de manœuvre nécessaire pour gérer efficacement ce rythme.

Les principales mesures que nous pouvons prendre pour préserver cet écart sont les suivantes :

1 - Ne pas vendre de puces d’IA puissantes ni d’équipements de fabrication de semi-conducteurs à la Chine, et sévir contre les opérations de contrebande de puces et l’accès à distance aux centres de données situés en dehors de la Chine. Les puces seront le principal facteur déterminant de la puissance de la Chine en matière d’IA.

2 - Lutter contre la distillation non autorisée par des entreprises situées dans des pays autoritaires. La distillation de modèles de pointe permet aux entreprises en retard de réduire l’écart en dépensant une fraction du coût qu’il leur faudrait pour développer leur propre IA de manière indépendante.

3 - Renforcer la sécurité au sein des entreprises d’IA et empêcher le vol des poids de modèles.

Les entreprises et le gouvernement américain devraient coopérer pour rendre ces mesures aussi efficaces que possible. Anthropic n’a cessé de plaider en faveur de toutes ces mesures, car nous avons toujours compris qu’elles seraient essentielles à toute stratégie de gestion du rythme.

Si nous mettons correctement en œuvre ces mesures, je pense qu’elles ralentiraient suffisamment la progression de la Chine pour permettre aux États-Unis de creuser considérablement leur avance au cours des 3 à 5 prochaines années — période durant laquelle l’IA prendra toute son importance géopolitique.

Certains pourraient penser que ces mesures compliquent la coopération avec la Chine, mais je crois que c’est tout le contraire : elles renforcent le pouvoir de négociation des démocraties et augmentent les chances de parvenir à un accord à l’avenir.

Régulation mondiale

Parallèlement à la régulation au sein des démocraties, nous devrions également viser une régulation mondiale de cette frontière technologique, même si cela sera beaucoup plus difficile à réaliser. Une telle régulation mondiale nécessitera une coopération avec la Chine, le pays autocratique disposant de loin des capacités les plus avancées en matière d’IA. Nous ne devons pas faire preuve de naïveté à cet égard : les enjeux géopolitiques sont si importants qu’il y aura probablement des limites très strictes à ce qui pourra être réalisé, surtout au début. Si nous limitons considérablement nos capacités en matière d’IA en pensant que la Chine fera de même, et que la Chine venait ensuite à faire défection, l’IA pourrait être si puissante qu’une telle défection pourrait conduire à sa domination géopolitique. Par conséquent, tout accord doit soit être doté d’une vérifiabilité à toute épreuve, soit être suffisamment limité pour qu’une défection ne soit pas une menace existentielle sur le plan militaire. Je soupçonne que non seulement les États-Unis, mais aussi la Chine, partagent ces préoccupations et ces craintes. Nous devrions aborder toute décision relative au rythme de développement mondial, en particulier à court terme, de manière à préserver l’avance des États-Unis et de leurs alliés.

Il existe plusieurs niveaux d’accord possibles, dont certains me semblent tout à fait réalisables (comme je l’ai déjà suggéré), et d’autres dont je doute fortement de la faisabilité — même si nous devons tenter le coup. Par ordre croissant de difficulté :

Niveau 1.
Un accord interdisant certaines utilisations restreintes et manifestement dangereuses de l’IA, telles que l’utilisation de l’IA pour la production d’armes biologiques ou le fait de permettre aux utilisateurs de le faire. Les attaques bioterroristes sont néfastes pour tout le monde, y compris pour les États-Unis et leurs adversaires ; un accord sur ce point est donc probablement possible.

Niveau 2.
Un accord entre les deux parties visant à tester leurs modèles avant leur mise sur le marché afin de détecter les risques aigus dans des domaines tels que la cybersécurité, la biologie et l’alignement. Comme indiqué plus haut, cela pourrait se faire par l’intermédiaire d’un organisme mondial de normalisation. Je pense en effet que la création d’un tel organisme est probablement réalisable, mais lui donner un réel pouvoir d’action constituera un défi, et la difficulté résidera dans la vérification que les deux parties ne disposent pas de modèles secrets qu’elles ne testent pas mais qu’elles pourraient déployer en secret (par exemple, pour des applications militaires).

Niveau 3.
Une sorte de « limite de vitesse » imposée au rythme de l’auto-amélioration récursive (RSI). À mesure que les modèles créent de nouveaux modèles, le rythme d’amélioration peut devenir vertigineux. Ralentir ce rythme, pour le faire passer de « extrêmement rapide » à « seulement assez rapide », ne représente qu’un faible sacrifice en termes d’avantage stratégique, tout en améliorant potentiellement considérablement la sécurité. On pourrait y voir une analogie avec les traités SALT : le plafonnement du nombre de missiles a limité le potentiel de destruction tout en préservant la force de dissuasion de chaque pays. Je pense qu’un tel accord serait difficile à conclure, mais qu’il se situerait à la limite du possible.

Niveau 4.
Un ralentissement complet, voire une « pause », dans le cadre duquel les gouvernements participants s’engagent à limiter considérablement le rythme global de développement de l’IA. Je suis favorable à cette proposition, mais je pense qu’elle a peu de chances de se concrétiser dans un avenir proche : se soustraire à un tel accord en échappant à la surveillance pourrait bouleverser radicalement l’équilibre des pouvoirs mondiaux ; je m’attends donc à ce que les incitations à le faire soient énormes et à ce que le niveau de confiance requis en matière de vérification soit très élevé.

Toute coopération que nous parviendrons à établir avec la Chine nous permettra de disposer de plus de temps pour réguler le développement de l’IA au sein des nations démocratiques. Nous devrions viser les niveaux les plus élevés tout en considérant les niveaux inférieurs comme bien plus probables et réalistes.

Enfin, il est important de noter que même si nous ne parvenons pas à conclure d’accords formels, le simple fait de modifier les normes informelles peut avoir une certaine valeur. Le partage d’informations sur l’auto-amélioration récursive et sur le désalignement des modèles peut contribuer à convaincre chacun qu’il n’est pas dans son intérêt d’agir de manière imprudente.

Conclusion

Je continue de croire que l’IA peut améliorer considérablement la qualité de vie humaine. Mon désir de concrétiser ces avantages reste intact. Mais ces avantages ne se concrétiseront que si nous développons la technologie de la bonne manière, et — à condition de bien utiliser le temps que nous gagnons — cela vaut la peine d’y apporter un soin particulièrement minutieux pour réussir. Les progrès resteront relativement rapides, et nous pouvons mettre ce temps à profit pour faire avancer la science de l’interprétabilité, améliorer la sécurité opérationnelle et la rigueur au sein des entreprises pionnières en IA, et construire des modèles dont l’alignement nous inspire bien plus confiance. Les mesures que je propose pour faire progresser la frontière à un rythme sûr ne seront pas faciles à mettre en œuvre. Mais je crois que nous le devons à l’humanité d’essayer.