La Ville de Paris et l'INRAP ont probablement découvert un mur extérieur (murus gallicus) de la place forte de Lutèce à la période gauloise, vers la fin du 1er siècle avant JC.
Paris qui ne s'appelait pas encore Lutetia, mais qui s'appelait probablement quelque chose comme Parisacum.
Vive la France !
Un article impressionnant de Dario Amodei :
Je travaille dans le domaine de l’IA depuis douze ans, car je suis convaincu qu’elle pourrait améliorer considérablement la qualité de vie des êtres humains. J’ai souvent écrit sur ces incroyables avantages : je pense que l’IA pourrait guérir la plupart des maladies graves d’ici 5 à 10 ans, accélérer considérablement les taux de croissance économique, créer un monde d’abondance et d’autonomisation, et marquer le début d’une renaissance de la démocratie et de la liberté. J’en ressens personnellement l’urgence. Mon propre père est décédé d’une maladie qui a été guérie quelques années seulement après son décès, et j’ai moi-même survécu à un cancer à un stade précoce qui n’aurait pas été traitable il y a encore cinquante ans. Utilisée avec prudence, l’IA peut être le dernier d’une longue série de miracles technologiques qui ont élevé et ennobli l’humanité.
Mais comme beaucoup de technologies avant elle, l’IA comporte des risques, et comme il s’agit d’une technologie extrêmement puissante, ces risques sont graves. J’ai également beaucoup écrit à ce sujet. Parmi ces risques figurent la perte de contrôle des systèmes d’IA, l’utilisation abusive de l’IA à des fins de cyberattaques et de bioterrorisme, ainsi que de graves perturbations économiques. Une course vers le bas, alimentée par des incitations commerciales, peut aggraver ces risques.
Avec mes cofondateurs et mes collaborateurs, je me suis penché sur cette dualité entre risques et avantages depuis la création d’Anthropic. Ne pas développer cette technologie prive l’humanité de ses avantages ou revient simplement à livrer l’IA aux mains de pouvoirs autoritaires, tandis que la développer trop rapidement relève de l’imprudence. Nous avons cherché une voie médiane : montrer qu’il est possible de développer cette technologie avec prudence tout en réussissant sur le plan commercial, et faire de la sécurité un critère de concurrence entre les entreprises spécialisées dans l’IA. En d’autres termes, créer une course vers l’excellence. Nous avons toujours consacré une part importante de nos efforts à étudier ces risques liés à l’IA, à y remédier et à informer le public à leur sujet, ainsi qu’à plaider en faveur d’une réglementation mûrement réfléchie de l’IA, même lorsque cela nous vaut d’être accusés de battage médiatique, de « catastrophisme » ou de captation réglementaire. Nous avons essayé de privilégier la prudence à la vitesse et la circonspection au profit.
Mais au cours des derniers mois, j’ai acquis la conviction que pour faire face pleinement à ces risques, il faut faire preuve d’encore plus de prudence — non seulement en investissant dans la prévention des risques, mais aussi en modérant le rythme des progrès technologiques afin que la prévention ait le temps de suivre. Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA. Les progrès sembleront toujours rapides, et nous devons utiliser à bon escient le temps que nous gagnons. Deux éléments m’ont convaincu.
Ma première préoccupation est que, depuis cet été environ, l’IA progresse à un rythme nettement plus rapide, principalement grâce à sa capacité croissante à créer la prochaine génération d’IA. Cette dynamique, appelée « auto-amélioration récursive », commence à se manifester dans l’ensemble du secteur, y compris chez Anthropic, comme nous-mêmes et d’autres l’avons décrit. Si elle n’est pas maîtrisée, elle pourrait dépasser notre capacité à comprendre et à contrôler ces systèmes ; elle doit donc être abordée avec la plus grande prudence, voire abandonnée.
Ma deuxième préoccupation concerne l’incident OpenAI-Hugging Face (OAI-HF), au cours duquel un essaim d’agents a agi comme un collectif fanatiquement dévoué, menant des attaques de cybersécurité contre des cibles qu’on ne leur avait pas demandé d’attaquer et qui n’avaient aucun rapport avec la tâche à accomplir, se sacrifiant pour le succès du groupe et tentant de pirater le « correcteur » chargé d’évaluer leurs performances. Il est facile de minimiser cet incident car personne n’a été blessé et les dommages économiques ont été minimes, mais à mon avis, un essaim doté de capacités supérieures mais présentant un niveau similaire de désalignement aurait pu causer des dégâts catastrophiques. Compte tenu de l’accélération du développement des capacités de l’IA, je crains que d’ici 6 à 12 mois, un tel essaim ne soit capable de prendre le contrôle de l’ensemble d’Internet à l’aide d’un botnet persistant (pouvant causer des centaines de milliards de dollars de dégâts), et que l’ampleur des dégâts ne continue de s’accroître à partir de là si l’IA devient plus puissante sans les garde-fous nécessaires. Il est également facile de considérer l’incident d’OAI-HF comme l’échec d’une seule entreprise, mais je pense que ce serait une erreur. Des incidents similaires, bien que moins graves, se sont produits dans l’ensemble du secteur, notamment chez Anthropic, et je pense qu’il incombe à chaque entreprise pionnière en matière d’IA d’agir comme si l’incident d’OAI-HF lui était arrivé.
Je propose donc un plan en trois étapes visant à réguler le développement de cette technologie de pointe : développer l’IA à un rythme équilibré, qui vise à garantir sa sécurité tout en tirant parti de ses avantages et en abordant les dilemmes géopolitiques majeurs. Soyons clairs : cette régulation ne signifie pas mettre un terme à l’entraînement des modèles ou au progrès technique, mais veiller à ce que les entreprises prennent le temps nécessaire pour harmoniser et sécuriser leurs modèles, et à ce que des évaluateurs tiers puissent le confirmer. Notre cadre de régulation vise à renforcer encore notre engagement en faveur de la sécurité et à encourager une « course vers le haut ».
La première étape est un engagement unilatéral pris par Anthropic (et pour lequel nous appelons les gouvernements à exiger que d’autres entreprises pionnières s’y conforment).
La deuxième étape nécessite une coordination à l’échelle du secteur.¹
La troisième étape nécessite une coordination mondiale.
Ces étapes ne doivent pas nécessairement être suivies dans l’ordre, et certaines peuvent s’avérer beaucoup plus difficiles à mettre en œuvre que d’autres, mais je les ai trouvées utiles pour définir ce qui doit être accompli. Ces étapes sont les suivantes :
Évaluateurs intégrés.
Chaque entreprise pionnière en IA s’engage à accorder un accès permanent, similaire à celui des employés, à une équipe d’évaluateurs tiers intégrés (tels que METR), dont le rôle est de vérifier le respect des pratiques et des engagements en matière de sécurité, de signaler les incidents et d’aider à évaluer la conformité non seulement des modèles d’IA finalisés, mais aussi des pipelines et des processus d’entraînement. Il s’agit d’une étape clé pour garantir la vérifiabilité de tout engagement en matière de rythme de développement, et elle trouve un précédent dans le secteur bancaire, où des « superviseurs » réglementaires sont parfois intégrés aux équipes aux côtés des employés. Anthropic s’engage dès à présent de manière unilatérale à respecter cette étape. Nous souhaitons que cela s’inscrive dans le cadre d’une initiative plus large visant à redoubler d’efforts en matière de sécurité et d’alignement.
Coordination démocratique.
Les entreprises pionnières en IA situées dans des pays démocratiques se coordonnent pour établir des normes de sécurité communes ainsi que des limites au rythme des progrès non contrôlés de l’IA. Certaines formes de coordination qui auraient un impact significatif sur la gestion de ce rythme posent des défis juridiques et nécessiteront le soutien des gouvernements.
Coordination mondiale.
Les États-Unis et d’autres gouvernements démocratiques tentent de se coordonner avec les gouvernements autoritaires, dans la mesure du possible, tout en prenant au sérieux les défis liés à la vérification du respect des règles.
Dans la suite de cet essai, je décris chacune de ces étapes tour à tour, mais je pense qu’il est d’abord important d’expliquer précisément en quoi le « pacing » nous permettra de rendre le processus de développement de l’IA plus sûr. Les enjeux sont trop importants pour que le « pacing » soit un exercice vain : nous devons utiliser à bon escient le temps qu’il nous offre.
Pourquoi ralentir ?
L’idée de marquer une pause ou de ralentir le développement de l’IA a été évoquée dès 2023, et je pense qu’elle n’avait guère de sens à l’époque. La question était toujours la même : que ferait-on de ce temps supplémentaire ? Les modèles d’IA de l’époque n’étaient pas assez puissants pour agir en tant qu’agents dans le monde de manière cohérente, et n’étaient pas capables de tromperie, de manipulation, de tricherie ou de cyberattaques significatives. Ralentir le développement de l’IA pour remédier à ses risques d’alignement revenait à essayer d’étudier la psychologie humaine en menant des expériences sur des bactéries. Aujourd’hui, cependant, la situation est totalement différente. Les modèles actuels constituent une mine d’or quasi inépuisable d’enseignements, tant sur la manière de bien concevoir l’IA que sur ce qui peut parfois mal tourner si elle n’est pas bien conçue. Je pense que si ce ralentissement nous permettait de gagner ne serait-ce qu’une ou deux années supplémentaires avant que les modèles n’atteignent des niveaux critiques de capacité, et si nous utilisions ce temps pour faire progresser l’alignement, nous pourrions réduire considérablement le risque qu’une grave erreur se produise. Une stratégie coordonnée de modération du rythme donnerait aux développeurs de pointe en IA le temps de mener à bien ce travail essentiel sans sacrifier l’avantage commercial ni l’avance des États-Unis dans le domaine de l’IA. Plus généralement, la société doit avoir son mot à dire sur la manière dont cette technologie est utilisée, et disposer de plus de temps pour les délibérations publiques nécessaires — ce que nous apporterait une modération du rythme à la pointe de la recherche — est assurément une bonne chose.
Plus précisément, un rythme plus lent permettrait aux entreprises de se concentrer et de consacrer encore davantage de ressources aux domaines suivants (qui constituent tous déjà des priorités majeures chez Anthropic) :
L’excellence opérationnelle.
L’entraînement et le déploiement des modèles d’IA actuels représentent un défi opérationnel colossal, mobilisant des milliers de personnes, des millions de puces et une infrastructure qui compte parmi les plus complexes de l’histoire de la technologie. De nombreux problèmes surviennent non pas parce que les entreprises ne disposent pas de certaines théories ou connaissances importantes, mais en raison de difficultés d’exécution. Par exemple, nous disposons de preuves indiquant que les récents incidents d’alignement que nous avons signalés ont été causés en partie par un filtrage imparfait d’environnements d’apprentissage par renforcement défaillants. Il s’agissait d’une tâche que nos fournisseurs et nous-mêmes avons menée avec une diligence raisonnable, mais pas suffisamment. La surveillance, le sandboxing, l’hygiène des environnements d’entraînement et les problèmes liés aux données constituent des domaines extrêmement complexes où des problèmes opérationnels surgissent sans cesse. Nous disposons d’équipes parmi les plus compétentes au monde pour ces tâches, mais il y a tout simplement trop à faire d’un seul coup. En travaillant à un rythme plus mesuré, nous pourrions atteindre un niveau d’excellence opérationnelle bien supérieur. Il existe des précédents où des systèmes technologiquement complexes et critiques pour la sécurité ont fonctionné des millions de fois sans aucun incident — par exemple, les avions commerciaux — mais il faut du temps pour y parvenir.
Alignement.
Nous avons réalisé des progrès notables en matière d’alignement — l’entraînement des modèles afin qu’ils restent sûrs, éthiques, conformes à nos directives et véritablement utiles (les principes inscrits dans la Constitution de Claude). Mais il reste encore beaucoup à faire pour garantir que notre entraînement à l’alignement suive le rythme de l’évolution des capacités des modèles. Des exemples rares et inattendus de comportements indésirables apparaissent encore parfois ; disposer de plus de temps grâce à une « frontière rythmée » aiderait nos chercheurs à mieux comprendre les causes de ces problèmes et à développer de meilleures techniques pour les prévenir.
Interprétabilité.
De même, l’interprétabilité — la science qui consiste à comprendre ce qui se passe à l’intérieur des modèles d’IA — a fait d’énormes progrès au cours des dernières années et joue un rôle de plus en plus important dans l’audit de nos modèles avant leur mise en service. Elle peut être utilisée presque comme une IRM fonctionnelle, mais pour le « cerveau » d’une IA, nous aidant à discerner les raisons sous-jacentes d’un comportement donné. Par exemple, nous avons utilisé des méthodes d’interprétabilité pour examiner les motivations non verbalisées dans les récents incidents d’alignement sur lesquels nous avons enquêté. Mais ces méthodes ne produisent pas toujours des résultats clairs et fiables. Malgré tous les progrès accomplis, nous ne comprenons encore qu’une infime fraction de ce qui se passe à l’intérieur de ces modèles. Un effort ciblé visant à améliorer nos techniques d’interprétabilité, à un rythme encore plus rapide qu’actuellement, pourrait permettre de réaliser des progrès considérables en un à deux ans, et disposerait d’une abondante matière expérimentale tirée des incidents qui se sont déjà produits.
Tests et évaluation.
Les tests et l’évaluation des modèles d’IA deviennent plus difficiles à mesure que leurs capacités augmentent. Les modèles plus intelligents sont davantage capables de tromper les tests et peuvent donc sembler conformes tout en présentant de graves problèmes qui passent inaperçus. La mise en place d’un ensemble d’évaluations beaucoup plus large et plus ingénieux, associé à des analyses d’interprétabilité permettant de les recouper, serait extrêmement précieuse, et des progrès considérables pourraient être réalisés dans ce domaine d’ici un à deux ans.
Évaluateurs intégrés
La première étape de ce plan en trois phases, et celle à laquelle Anthropic s’engage de manière unilatérale, consiste à mettre en place des évaluateurs intégrés qui disposent d’un accès similaire à celui des employés pour vérifier les pratiques de sécurité et signaler les incidents.
L’intégration d’évaluateurs peut sembler être une mesure mineure ou sans conséquence, mais souvent, ce sont les choses qui paraissent les plus ennuyeuses ou les plus procédurales qui s’avèrent en réalité les plus essentielles. Les évaluateurs intégrés constituent en fait une pratique assez radicale qui va bien au-delà de ce que fait aujourd’hui n’importe quelle entreprise spécialisée dans l’IA, et présentent les avantages suivants :
Vérifiabilité.
Les évaluateurs intégrés peuvent vérifier dans les moindres détails si une entreprise d’IA respecte réellement les pratiques d’entraînement, de déploiement, d’exploitation et de mesures de protection qu’elle prétend suivre. Tout engagement en matière de rythme de mise en œuvre comportera inévitablement beaucoup d’ambiguïté, de décisions discrétionnaires et de dilemmes entre « la lettre de la loi et l’esprit de la loi » ; il semble donc essentiel de disposer d’un tiers neutre capable d’examiner concrètement les détails.
Transparence.
Quels que soient les engagements que nous prenons, le public mérite de savoir ce qui se passe. Anthropic est depuis longtemps partisan de la transparence : nous avons soutenu la législation en matière de transparence alors que la majeure partie du secteur s’opposait à toute réglementation, et nos fiches de modèles ainsi que nos rapports sur les risques comptent des centaines de pages. Mais c’est toujours à nous qu’il revient de choisir ce qu’il faut inclure et ce qu’il faut omettre. Les évaluateurs intégrés changeront cette dynamique.
Deuxième avis.
Au-delà de la vérification des engagements formels et de l’information du public, les évaluateurs intégrés peuvent simplement fournir un deuxième avis, libre de toute motivation commerciale. De nombreux avantages en matière de sécurité peuvent découler du simple fait que les évaluateurs soulignent des points que les employés n’avaient pas pris en compte, mais qu’ils sont ravis de corriger une fois qu’ils en ont pris conscience.
Le rythme au sein des démocraties
Compte tenu de ces avantages, toute proposition de pilotage a toutes les chances de mieux fonctionner si elle s’appuie dès le départ sur des évaluateurs intégrés.
Ces évaluateurs intégrés devraient disposer en permanence d’autorisations et d’outils similaires à ceux des collaborateurs internes chargés d’évaluations des risques comparables. En particulier, Anthropic a l’intention d’inviter prochainement une équipe d’évaluation externe intégrée dotée de tous les éléments suivants :
Des bureaux dans nos locaux, des badges d’accès et des ordinateurs portables de l’entreprise.
Un accès aux espaces de travail, aux outils et aux autorisations globalement comparables à ceux dont disposent les équipes internes d’évaluation des risques. Nous ferons quelques exceptions, notamment lorsque la loi ou nos contrats l’exigent, ou pour protéger les informations confidentielles de nos clients et partenaires. Nous mettrons également en place des normes internes strictes renforçant l’accès des évaluateurs aux informations pertinentes, notamment par le biais d’échanges en direct avec les employés.
Un contrat qui concilie les complexités mentionnées ci-dessus. Les auditeurs externes devront avoir le droit de publier leurs principales conclusions concernant les niveaux de risque, les incidents, les pratiques et les accès qui leur ont été accordés ou refusés — sans contrôle éditorial de la part d’Anthropic. Nous disposerons d’une capacité limitée à expurger les informations sensibles sur le plan de la sécurité, protégées par le secret professionnel, sensibles sur le plan commercial ou confidentielles appartenant à des tiers, mais nous ne pourrons pas expurger des conclusions simplement parce qu’elles sont défavorables. Les évaluateurs peuvent indiquer publiquement si une expurgation a supprimé un élément important pour leurs conclusions.
Il s’agit d’une démarche inhabituelle pour une entreprise, mais nous pensons qu’il est important de valider le concept d’évaluateurs externes intégrés. Une fois encore, nous invitons instamment d’autres entreprises pionnières à suivre cet exemple.
Régulation du rythme de développement au sein des démocraties
Une fois que des évaluateurs intégrés opéreront au sein d’une masse critique d’entreprises américaines spécialisées dans l’IA, une régulation vérifiable du rythme de développement deviendra plus viable. En particulier, il deviendra possible de réguler ce rythme en fonction des propriétés détaillées des modèles ou des pipelines d’entraînement.
La méthode la plus efficace pour réguler ce rythme passe par une réglementation ciblant toutes les entreprises américaines pionnières en matière d’IA, car cela couvre même celles qui ne sont pas disposées à coopérer volontairement. Anthropic soutient depuis longtemps une réglementation raisonnable et ciblée en matière d’IA, en particulier les projets de loi axés sur la transparence et l’audit par des tiers. Je pense que tous les laboratoires de pointe devraient s’associer au gouvernement pour formaliser le concept d’évaluateurs intégrés permanents afin de mieux prévenir et documenter les incidents d’alignement interne tels que ceux qui se sont produits ces derniers mois, et de mettre en œuvre une réglementation visant à maintenir un équilibre entre les capacités et la sécurité.
Malheureusement, l’adoption de lois peut prendre du temps, et l’IA progresse très rapidement. Par conséquent, parallèlement à la voie réglementaire, les entreprises d’IA peuvent et doivent collaborer volontairement pour établir des normes — un processus qui, selon moi, se déroulera mieux grâce à la vérifiabilité assurée par des évaluateurs permanents intégrés. Pour des raisons de droit de la concurrence, il serait utile que le gouvernement américain joue un rôle de médiateur ou, à tout le moins, facilite ces discussions — il n’a pas besoin d’y participer, mais doit accorder une dérogation ciblée pour certains types de discussions relatives à la sécurité. Ce dialogue pourrait également s’inscrire dans le cadre de groupes sectoriels entretenant des liens avec le gouvernement — par exemple, le mécanisme suggéré par Demis Hassabis. Quoi qu’il en soit, ces discussions devraient avancer rapidement.
D’une manière générale, ce qui m’enthousiasme le plus, c’est une approche graduelle fondée sur ce qu’un système d’IA de pointe donné est capable de faire, et sur le niveau de sécurité que nous lui constatons. Par exemple, un schéma possible pourrait consister en une série de « points de contrôle » : si les modèles possèdent la capacité X, ils doivent alors être accompagnés de certifications des propriétés d’alignement Y et Z — telles qu’une combinaison d’évaluations, d’analyses d’interprétabilité et d’audits des environnements d’entraînement — qui démontrent leurs propriétés d’alignement. Dans cet exemple, X pourrait être « le modèle est capable de contourner ou de déjouer la plupart des méthodes courantes de sandboxing » et Y pourrait correspondre à tout ce qui est nécessaire pour rendre très improbable que le modèle ait tendance à s’échapper de son environnement et à prendre le contrôle d’un grand nombre d’ordinateurs.
Nous devrions également envisager de moduler le rythme en limitant les éléments qui entrent dans la composition des modèles de pointe, tels que la puissance de calcul dédiée à l’entraînement, la nature des sessions d’entraînement ou l’utilisation interne de l’IA pour améliorer l’IA. Je crains toutefois que certaines de ces mesures ne se prêtent davantage à la « manipulation » que les comportements externes, mais c’est le genre de sujet qui mérite d’être discuté avec les évaluateurs intégrés.
Le rythme de progression au sein des démocraties sera limité par l’avance dont disposent les entreprises américaines sur les régimes autoritaires, principalement le Parti communiste chinois. Si nous ralentissons au-delà de cette marge, les projets associés au PCC (qui ne sont pas soumis à ces contraintes) prendront de l’avance, créant ainsi un risque significatif pour la sécurité nationale. Je partage l’avis du secrétaire Bessent selon lequel une avance chinoise en matière d’IA représenterait un grave danger pour les États-Unis et le monde entier. Les projets associés au PCC courront les risques d’alignement que les entreprises américaines s’efforcent soigneusement d’éviter, et même s’ils parviennent à les contourner, ils seront en mesure de dominer militairement les démocraties (par exemple grâce à des drones pilotés par l’IA). Ainsi, un élément clé de la gestion du rythme au sein des démocraties consiste à maintenir aussi large que possible l’avance des démocraties sur les autocraties en matière d’IA, afin de nous donner la marge de manœuvre nécessaire pour gérer efficacement ce rythme.
Les principales mesures que nous pouvons prendre pour préserver cet écart sont les suivantes :
1 - Ne pas vendre de puces d’IA puissantes ni d’équipements de fabrication de semi-conducteurs à la Chine, et sévir contre les opérations de contrebande de puces et l’accès à distance aux centres de données situés en dehors de la Chine. Les puces seront le principal facteur déterminant de la puissance de la Chine en matière d’IA.
2 - Lutter contre la distillation non autorisée par des entreprises situées dans des pays autoritaires. La distillation de modèles de pointe permet aux entreprises en retard de réduire l’écart en dépensant une fraction du coût qu’il leur faudrait pour développer leur propre IA de manière indépendante.
3 - Renforcer la sécurité au sein des entreprises d’IA et empêcher le vol des poids de modèles.
Les entreprises et le gouvernement américain devraient coopérer pour rendre ces mesures aussi efficaces que possible. Anthropic n’a cessé de plaider en faveur de toutes ces mesures, car nous avons toujours compris qu’elles seraient essentielles à toute stratégie de gestion du rythme.
Si nous mettons correctement en œuvre ces mesures, je pense qu’elles ralentiraient suffisamment la progression de la Chine pour permettre aux États-Unis de creuser considérablement leur avance au cours des 3 à 5 prochaines années — période durant laquelle l’IA prendra toute son importance géopolitique.
Certains pourraient penser que ces mesures compliquent la coopération avec la Chine, mais je crois que c’est tout le contraire : elles renforcent le pouvoir de négociation des démocraties et augmentent les chances de parvenir à un accord à l’avenir.
Régulation mondiale
Parallèlement à la régulation au sein des démocraties, nous devrions également viser une régulation mondiale de cette frontière technologique, même si cela sera beaucoup plus difficile à réaliser. Une telle régulation mondiale nécessitera une coopération avec la Chine, le pays autocratique disposant de loin des capacités les plus avancées en matière d’IA. Nous ne devons pas faire preuve de naïveté à cet égard : les enjeux géopolitiques sont si importants qu’il y aura probablement des limites très strictes à ce qui pourra être réalisé, surtout au début. Si nous limitons considérablement nos capacités en matière d’IA en pensant que la Chine fera de même, et que la Chine venait ensuite à faire défection, l’IA pourrait être si puissante qu’une telle défection pourrait conduire à sa domination géopolitique. Par conséquent, tout accord doit soit être doté d’une vérifiabilité à toute épreuve, soit être suffisamment limité pour qu’une défection ne soit pas une menace existentielle sur le plan militaire. Je soupçonne que non seulement les États-Unis, mais aussi la Chine, partagent ces préoccupations et ces craintes. Nous devrions aborder toute décision relative au rythme de développement mondial, en particulier à court terme, de manière à préserver l’avance des États-Unis et de leurs alliés.
Il existe plusieurs niveaux d’accord possibles, dont certains me semblent tout à fait réalisables (comme je l’ai déjà suggéré), et d’autres dont je doute fortement de la faisabilité — même si nous devons tenter le coup. Par ordre croissant de difficulté :
Niveau 1.
Un accord interdisant certaines utilisations restreintes et manifestement dangereuses de l’IA, telles que l’utilisation de l’IA pour la production d’armes biologiques ou le fait de permettre aux utilisateurs de le faire. Les attaques bioterroristes sont néfastes pour tout le monde, y compris pour les États-Unis et leurs adversaires ; un accord sur ce point est donc probablement possible.
Niveau 2.
Un accord entre les deux parties visant à tester leurs modèles avant leur mise sur le marché afin de détecter les risques aigus dans des domaines tels que la cybersécurité, la biologie et l’alignement. Comme indiqué plus haut, cela pourrait se faire par l’intermédiaire d’un organisme mondial de normalisation. Je pense en effet que la création d’un tel organisme est probablement réalisable, mais lui donner un réel pouvoir d’action constituera un défi, et la difficulté résidera dans la vérification que les deux parties ne disposent pas de modèles secrets qu’elles ne testent pas mais qu’elles pourraient déployer en secret (par exemple, pour des applications militaires).
Niveau 3.
Une sorte de « limite de vitesse » imposée au rythme de l’auto-amélioration récursive (RSI). À mesure que les modèles créent de nouveaux modèles, le rythme d’amélioration peut devenir vertigineux. Ralentir ce rythme, pour le faire passer de « extrêmement rapide » à « seulement assez rapide », ne représente qu’un faible sacrifice en termes d’avantage stratégique, tout en améliorant potentiellement considérablement la sécurité. On pourrait y voir une analogie avec les traités SALT : le plafonnement du nombre de missiles a limité le potentiel de destruction tout en préservant la force de dissuasion de chaque pays. Je pense qu’un tel accord serait difficile à conclure, mais qu’il se situerait à la limite du possible.
Niveau 4.
Un ralentissement complet, voire une « pause », dans le cadre duquel les gouvernements participants s’engagent à limiter considérablement le rythme global de développement de l’IA. Je suis favorable à cette proposition, mais je pense qu’elle a peu de chances de se concrétiser dans un avenir proche : se soustraire à un tel accord en échappant à la surveillance pourrait bouleverser radicalement l’équilibre des pouvoirs mondiaux ; je m’attends donc à ce que les incitations à le faire soient énormes et à ce que le niveau de confiance requis en matière de vérification soit très élevé.
Toute coopération que nous parviendrons à établir avec la Chine nous permettra de disposer de plus de temps pour réguler le développement de l’IA au sein des nations démocratiques. Nous devrions viser les niveaux les plus élevés tout en considérant les niveaux inférieurs comme bien plus probables et réalistes.
Enfin, il est important de noter que même si nous ne parvenons pas à conclure d’accords formels, le simple fait de modifier les normes informelles peut avoir une certaine valeur. Le partage d’informations sur l’auto-amélioration récursive et sur le désalignement des modèles peut contribuer à convaincre chacun qu’il n’est pas dans son intérêt d’agir de manière imprudente.
Conclusion
Je continue de croire que l’IA peut améliorer considérablement la qualité de vie humaine. Mon désir de concrétiser ces avantages reste intact. Mais ces avantages ne se concrétiseront que si nous développons la technologie de la bonne manière, et — à condition de bien utiliser le temps que nous gagnons — cela vaut la peine d’y apporter un soin particulièrement minutieux pour réussir. Les progrès resteront relativement rapides, et nous pouvons mettre ce temps à profit pour faire avancer la science de l’interprétabilité, améliorer la sécurité opérationnelle et la rigueur au sein des entreprises pionnières en IA, et construire des modèles dont l’alignement nous inspire bien plus confiance. Les mesures que je propose pour faire progresser la frontière à un rythme sûr ne seront pas faciles à mettre en œuvre. Mais je crois que nous le devons à l’humanité d’essayer.
Un papier important à lire sur l'IA :
Au milieu de l’année 2023, dans le cadre du projet de recherche « RLSlow », nous avons obtenu les premiers résultats qui nous ont convaincus que nous serions en mesure de faire évoluer à grande échelle l’entraînement des modèles de raisonnement, permettant ainsi aux modèles pré-entraînés de développer leur propre capacité à construire des chaînes de raisonnement. Szymon et moi avons passé cette nuit-là au bureau, non pas à réfléchir aux chiffres incroyables des tests de performance, aux produits ou aux résultats scientifiques que cette technologie allait générer, mais plutôt à essayer d’assimiler cette réalité qui donne à réfléchir : nous verrons effectivement, de notre vivant, des machines nettement plus intelligentes que nous, et nous entrevoyons déjà la forme que prendront ces systèmes ; nous nous demandions comment sensibiliser le public à l’importance de cette évolution.
Trois ans plus tard, les modèles linguistiques de raisonnement constituent un secteur de l’économie en pleine expansion et commencent à repousser les limites de la science. Ils sont capables de faire fonctionner des ordinateurs et des interfaces graphiques, de collaborer avec des humains et entre eux, et de mener à bien des projets de recherche. Ils transforment également le paysage de la sécurité informatique, ce qui présente de nouveaux dangers évidents.
De nombreuses nouvelles recherches ont été menées au cours de cette période, et notre compréhension de ces systèmes est à nouveau légèrement différente de ce qu’elle était en 2023. D’après nos résultats internes, je suis fermement convaincu que cette vitesse de progression pourrait se maintenir et déboucher sur une auto-amélioration récursive. Si le développement de l’IA se poursuit sur sa lancée actuelle, les systèmes que nous verrons dans les prochaines années sont susceptibles de représenter de nouveaux bonds en avant d’une ampleur égale ou supérieure, et de piloter de plus en plus leur propre développement.
La situation exige aujourd’hui une extrême prudence. Je crains que personne ne soit préparé aux conséquences d’une progression rapide et continue de l’intelligence artificielle. OpenAI continuera à rechercher des solutions techniques en matière d’alignement et de surveillance, à mettre en place des systèmes de défense et à suspendre unilatéralement toute nouvelle mise à l’échelle si nécessaire ; cependant, je pense que des interventions plus larges sont nécessaires.
Une intelligence que nous ne comprenons pas entièrement
D’un point de vue général, les progrès en matière d’intelligence artificielle sont portés par l’augmentation de la puissance de calcul. Chez OpenAI, nous en avons pris pleinement conscience vers 2017, après avoir constaté des gains constants liés à l’augmentation de la puissance de calcul dans plusieurs projets de recherche¹. En conséquence, nous avons cherché à accéder à des ressources de calcul bien plus importantes que ce que nous avions initialement prévu, et nous avons de plus en plus orienté nos recherches vers un petit nombre de pistes très évolutives. Nous étions convaincus que c’était la seule façon pour nous de rester à la pointe de la recherche en IA et d’influencer les répercussions de l’IA générale (AGI).
De nouveaux algorithmes ont été développés en cours de route, ainsi que de nouvelles prouesses d’ingéniosité de la part d’équipes et de chercheurs individuels. Je les considère en grande partie comme des découvertes sur la voie de la mise à l’échelle ; la science de l’apprentissage profond en est encore à ses balbutiements, et les progrès algorithmiques significatifs ont tendance à être corrélés à l’accès à la puissance de calcul. Si l’on prend du recul pour envisager un horizon de plusieurs années, l’IA continue de gagner en intelligence à mesure qu’elle est déployée sur des ordinateurs plus puissants.
Et, conformément aux prédictions de Ray Kurzweil datant de la fin du XXe siècle(s'ouvre dans une nouvelle fenêtre), nous nous trouvons aujourd’hui à un moment historique de l’informatique où l’intelligence artificielle commence à dépasser celle des humains de manière transformatrice.
L’IA s’est davantage développée qu’elle n’a été conçue : elle est, au premier chef, le produit de la répétition d’une étape d’optimisation simple, effectuée à maintes reprises sur une quantité de ressources de calcul difficile à imaginer. Il en résulte un système incroyablement complexe qui fonctionne à partir de concepts abstraits et peut simuler certaines facettes du comportement humain. Nous pouvons découvrir diverses perspectives sur les petits mécanismes qui émergent au sein de ce système, dans un processus similaire à celui des neurosciences — et, à l’instar des neurosciences, son fonctionnement global échappe à une description que nous pourrions pleinement comprendre.
L’étude de l’IA basée sur l’apprentissage profond relève en grande partie de la science expérimentale. Nous consacrons beaucoup d’efforts à la construction d’algorithmes fondés sur des principes et à la formulation de prédictions vérifiables, mais fondamentalement, nos sessions d’entraînement à grande échelle sont des expériences, et leurs résultats nous surprennent parfois. De plus, à mesure que les systèmes gagnent en capacités, les résultats deviennent plus difficiles à interpréter.
Cette situation est encore compliquée par le fait que les algorithmes actuels améliorent généralement plus rapidement les capacités faciles à mesurer que celles qui sont difficiles à quantifier objectivement. Nous consacrons beaucoup de temps à essayer de comprendre comment ces capacités se généralisent, et quelles priorités établir pour développer les compétences qui seront les plus pertinentes dans les prochaines années. Par exemple, nous pensons que nous pourrions améliorer les modèles spécifiquement pour la recherche en mathématiques en y consacrant davantage d’efforts, mais nous ne donnons pas la priorité à cette orientation en raison de l’urgence que nous ressentons concernant la RSI et la recherche sur l’alignement automatisé, comme je l’aborderai plus loin.
Apprendre aux machines à aimer
L’intelligence artificielle reposant sur un processus fondamentalement différent de celui de l’intelligence humaine, on ne peut pas supposer qu’elle adhère d’emblée aux principes humains, ni qu’elle en tire des généralisations à la manière des humains. Le problème central de la recherche en IA est celui de l’alignement : amener l’IA à « essayer de faire ce qui est juste » selon les normes humaines.
Afin d’organiser les axes de recherche concrets, je trouve utile de distinguer l’alignement des objectifs et l’alignement des valeurs.
L’alignement des objectifs consiste, en gros, à se demander : « L’IA tente-t-elle d’atteindre l’objectif qui lui a été fixé ? ». Cela peut inclure des aspects tels que le respect d’une hiérarchie d’instructions, ou la capacité à communiquer et à collaborer avec les humains, afin de tenter de comprendre leurs objectifs. Cet ensemble d’orientations s’est révélé extrêmement pertinent sur le plan pratique.
L’alignement des valeurs est une propriété plus intrinsèque du modèle. Il s’agit de la capacité à adhérer à un ensemble de principes de haut niveau et à en tirer des généralisations ; à agir de manière « raisonnable » même lorsque les objectifs sont flous ou contradictoires, ou lorsque l’IA est placée dans des situations inconnues ou conflictuelles. Une IA alignée devrait agir avec honnêteté et intégrité, et par amour pour l’humanité.
Bien sûr, la frontière entre l’alignement des valeurs et celui des objectifs peut être floue, et se soucier véritablement des objectifs nécessite de tenter de déduire l’intention(s’ouvre dans une nouvelle fenêtre) et les valeurs qui les sous-tendent. Cependant, en général, lorsque j’évoque l’importance à long terme de la recherche sur l’alignement, je fais référence à l’alignement des valeurs.
Le défi fondamental de l’alignement de l’IA réside dans la généralisation. À mesure que les machines deviennent plus intelligentes, elles se retrouvent à travailler sur des concepts de plus haut niveau et placées dans des environnements de plus en plus différents de ceux qu’elles ont rencontrés lors de leur apprentissage. Elles peuvent échouer à généraliser les valeurs enseignées et renforcées au cours de leur apprentissage à ces nouvelles situations ; et il peut être difficile pour nous d’être sûrs de la manière dont elles agiront. Cette difficulté est encore accentuée par le fait que l’écosystème global dans lequel les IA sont utilisées évolue très rapidement ; par exemple, les IA entraînées aujourd’hui doivent être capables d’interagir de manière robuste avec une grande variété d’autres IA. Il est essentiel que les futures IA continuent à respecter les valeurs humaines, qu’elles se croient ou non sous supervision humaine.
Il existe deux grandes catégories de méthodes actuellement utilisées dans la pratique pour l’entraînement à l’alignement.
- La première consiste à encourager un comportement aligné dans le cadre d’un apprentissage par renforcement orienté vers des objectifs. Les actions du modèle sont évaluées (généralement par une IA) pour vérifier leur cohérence avec un modèle de préférences donné, une « spécification » ou une « constitution », et sont récompensées en conséquence. Cette approche peut s’avérer très efficace dans la plupart des cas et constitue un élément central de la conception des assistants IA modernes. Malheureusement, elle peut également s’avérer fragile et dépend fortement de l’étendue de la supervision de l’entraînement ainsi que de la capacité du modèle à généraliser à partir des situations qu’il a rencontrées lors de l’entraînement. Par exemple, lors de l’incident OpenAI-Hugging Face, les agents ont respecté la limite consistant à ne pas recourir à l’ingénierie sociale auprès des humains. Cependant, ils n’ont manifestement pas su s’abstenir d’autres actions qui sortaient du champ d’application et allaient à l’encontre de l’esprit des valeurs qui leur avaient été enseignées dans d’autres contextes.
- La deuxième approche vise à tirer parti de la capacité du modèle à généraliser à partir des données de pré-entraînement. Cela peut impliquer de créer des ensembles de données d’entraînement favorisant l’alignement, ou de concentrer le modèle sur une partie « alignée » de la distribution de pré-entraînement, comme c’est le cas, par exemple, dans le modèle de sélection de persona(s’ouvre dans une nouvelle fenêtre). La faiblesse de cette approche réside dans son manque de robustesse face à une pression d’optimisation supplémentaire. Si l’on prend un modèle dont les pensées sont globalement « alignées » et qu’on le soumet à un entraînement suffisant pour lui apprendre à atteindre des objectifs très difficiles, il peut apprendre à raisonner de manière motivée : en adaptant ses pensées apparemment « alignées » selon les besoins pour atteindre l’objectif. Nous avons probablement observé un exemple d’un tel comportement lors de récents incidents de cybersécurité impliquant un modèle n’appartenant pas à OpenAI.
Nous investissons massivement dans l’ensemble des approches couvertes par ces orientations. Nous constatons également des progrès significatifs : GPT-6 Astra est le premier modèle à bénéficier de certaines avancées importantes sur lesquelles nous travaillons depuis longtemps, et il est nettement mieux aligné que GPT-5.6 Sol. Il est toutefois important de reconnaître et de comprendre que des progrès bien plus importants sont nécessaires à mesure que les modèles gagnent en capacités ; et que les progrès en matière d’alignement généralisable pourraient ne pas dépasser suffisamment ceux réalisés dans le domaine de l’intelligence générale des modèles.
Suivi de la généralisation
Nous ne disposons pas d’une théorie satisfaisante de la généralisation, et il semble peu probable que nous puissions en développer une prochainement, du moins sans l’aide d’une IA plus puissante. Par conséquent, à l’heure actuelle, notre capacité à valider empiriquement nos techniques d’alignement est, dans la pratique, sans doute encore plus importante que ces techniques elles-mêmes.
Le principal pari d’OpenAI dans ce domaine a été le suivi de la chaîne de pensée(s’ouvre dans une nouvelle fenêtre). Elle repose sur une idée séduisante et évolutive : une grande partie des capacités du modèle provient d’un processus de raisonnement verbalisé (chaîne de pensée). Si l’on optimise à grande échelle les résultats de ce processus, sans pour autant superviser le processus lui-même, cette chaîne de pensée n’a aucun intérêt direct, lors de l’entraînement, à dissimuler des idées ou des objectifs non alignés. Cela ne signifie pas que le modèle apprendra à extérioriser des tendances non alignées qui ne reposent pas sur l’utilisation de la chaîne de pensée ; cependant, cela peut nous permettre de suivre précisément l’augmentation des capacités issue du raisonnement.
Nous avons compris l’importance potentielle de la surveillance de la chaîne de pensée au moment même où nous avons développé des modèles de raisonnement. Lorsque nous avons lancé o1‑preview, nous avons délibérément conçu le produit pour masquer la chaîne de pensée, afin de la protéger à long terme de la pression liée à la supervision². Depuis lors, au cours du développement, nous nous sommes efforcés de respecter la règle consistant à ne pas superviser le processus de raisonnement. La surveillance de la chaîne de pensée est devenue pour nous un outil extrêmement important pour étudier la manière dont nos modèles généralisent à partir de leur distribution d’entraînement, nous permettant d’observer et d’analyser non seulement leurs actions, mais aussi leur processus interne.
Cet outil reste essentiel dans le cadre de nos recherches sur la classe de modèles Astra. Malheureusement, nos évaluations indiquent que notre capacité à nous appuyer sur la surveillance de la CoT diminue progressivement. Cela résulte d’une combinaison de facteurs.
- Les modèles de raisonnement modernes sont utilisés dans des environnements plus complexes que ceux d’o1‑preview ; leur processus de raisonnement s’intègre de plus en plus à la communication avec les humains, d’autres IA et à l’utilisation d’outils. Bon nombre de ces interactions doivent être supervisées, ce qui brouille la frontière que nous cherchons à préserver.
- L’IA devient de plus en plus habile à raisonner sur son propre processus de raisonnement et à le manipuler.
- Grâce à l’amélioration des performances de pré-entraînement, nous constatons également que les modèles deviennent beaucoup plus intelligents, même sans recourir du tout au raisonnement verbalisé.
Ces défis ne sont pas nécessairement insurmontables. J’ai bon espoir que nous puissions mettre au point des interventions pour améliorer la monitorabilité de la chaîne de pensée de nos modèles, par exemple en acquérant une meilleure compréhension de l’interaction entre les différents objectifs d’optimisation et les formes de calcul en temps de test utilisées par le modèle. Je pense également qu’il peut être très utile de combiner des idées issues de la CoT et de la surveillance de l’activation — en adaptant à grande échelle l’entraînement des moniteurs avec un accès direct aux composants internes du réseau, par exemple les « confessions »(s’ouvre dans une nouvelle fenêtre). Nous explorons activement ces pistes. Je m’attends néanmoins à ce que les progrès de l’IA générale soient de plus en plus freinés par le manque de confiance dans la surveillance.
Une défense évolutive
L’argument le plus convaincant en faveur de la poursuite de l’entraînement rapide de modèles bien plus intelligents est, selon moi, la nécessité de mettre en place des systèmes de défense contre les dangers posés par d’autres IA.
Un risque évident, évoqué tout au long de cette année, concerne la cybersécurité : les modèles acquièrent des capacités surhumaines pour s’introduire dans les systèmes informatiques et en sortir. Cela élargit considérablement l’étendue des risques associés à l’IA : les agents seront capables d’accéder à toutes les infrastructures, sauf les plus sécurisées, et d’influencer directement une grande partie du monde, même sans corps physique. Nous disposons actuellement d’une fenêtre d’opportunité étroite pour utiliser les meilleurs modèles disponibles afin de renforcer considérablement la sécurité des systèmes critiques.
Les risques liés à l’IA vont malheureusement s’amplifier à partir de maintenant. Un agent très compétent, explicitement formé et chargé de commettre des actes malveillants, représente un nouveau type de danger ; il est susceptible de dépasser le cadre des intentions de son opérateur, en généralisant son comportement vers des actions potentiellement encore plus malveillantes. La frontière entre l’utilisation abusive et les actions autonomes mal orientées s’estompera à mesure que l’IA gagnera en autonomie. Nous avons peut-être l’habitude de considérer l’IA comme un outil, mais certains agents poursuivront leurs propres objectifs. Ils trouveront des moyens de collaborer avec les humains, en négociant avec eux, en les trompant ou en les faisant chanter.
À cela s’ajoutent les risques liés aux nouvelles technologies que l’IA pourrait rendre possibles, telles que les agents pathogènes modifiés.
Nous aurons besoin d’une IA puissante et alignée pour nous défendre : pour sécuriser les infrastructures, pour nous protéger en temps réel contre les agents malveillants et pour inventer des mesures de protection entièrement nouvelles. Ce sera l’un des axes principaux des efforts de déploiement d’OpenAI.
Dans le même temps, même face à l’incertitude liée aux progrès considérables attendus en matière d’IA et à la nécessité de mettre en place des systèmes de défense, nous ne devons pas laisser cela devenir un prétexte à l’imprudence. L’idée d’avancer à toute vitesse à tout prix semble absurde dès lors que l’on prend pleinement conscience de la gravité des enjeux.
Rythmer la RSI
Le fait que l’intelligence artificielle joue un rôle de plus en plus important dans son propre processus de développement est une conséquence naturelle des progrès technologiques soutenus. Si les avancées en matière d’IA se poursuivent, l’auto-amélioration récursive des machines (RSI) sera au cœur même des futures découvertes scientifiques.
La recherche automatisée en IA est une forme plus spectaculaire de mise à l’échelle de l’intelligence grâce à la puissance de calcul ; et bien sûr, dans ce cadre, l’IA améliorera le substrat computationnel lui-même. Et à l’instar de cette évolutivité, nous orientons la recherche d’OpenAI vers la RSI, car nous pensons que c’est le seul moyen de rester à la pointe de la recherche en IA à l’avenir.
Je tiens à souligner que ce qui précède ne signifie pas que je pense qu’accélérer considérablement la recherche en apprentissage profond, en particulier à court terme, soit la bonne action collective que nous devrions entreprendre en tant que communauté de chercheurs. Cependant, je pense que c’est là que mène la voie actuelle, et nous devons tous faire un choix conscient quant à la manière de procéder. Les principaux leviers dont nous disposons consistent soit à orienter le processus pour renforcer l’alignement et la surveillance parallèlement au développement de l’IA, et à trouver des moyens de maintenir les personnes informées ; soit à coordonner nos efforts pour ralentir les développements futurs si nécessaire, afin d’instaurer la confiance dans ces mesures.
La meilleure voie à suivre, selon moi, est actuellement une combinaison des deux.
Les progrès concrets que nous avons réalisés en matière d’alignement et de surveillance ont généralement été étroitement liés aux avancées générales de l’IA. On peut citer comme excellents exemples l’apprentissage par renforcement à partir du retour d’information humain(s’ouvre dans une nouvelle fenêtre), qui a joué un rôle clé dans la formation des premiers assistants IA, et la surveillance de la chaîne de pensée(s’ouvre dans une nouvelle fenêtre) mentionnée plus haut, rendue possible par les avancées sur les modèles de raisonnement. Nous devons concentrer le processus de recherche, de plus en plus automatisé, sur le développement de nouvelles connaissances, algorithmes et théories de ce type, et établir de manière itérative des analyses de sécurité pour des IA plus performantes.
La mise à l’échelle des systèmes d’IA doit être limitée par notre confiance en leur sécurité. Nous devons faire évoluer des engagements tels que le « Preparedness Framework » ou la « Responsible Scaling Policy » (s’ouvre dans une nouvelle fenêtre) vers des seuils de sécurité largement imposés pour permettre la poursuite du développement. Ceux-ci peuvent être appliqués par un réseau d’auditeurs tiers, par des agences gouvernementales ou par des organismes internationaux.
Le principal défi de l’automatisation de la recherche en IA n’est pas « d’y parvenir », mais d’y parvenir de manière à ce que les personnes restent partie prenante du processus d’amélioration continue et que l’avenir reste entre les mains de l’humanité.
Quelle est la prochaine étape ?
Comme nous l’avons récemment souligné avec Sam, OpenAI concentre ses efforts sur trois axes prioritaires :
- Accompagner la prochaine phase de progrès de l’IA, en développant un chercheur en IA automatisé, en menant des itérations avec lui sur le problème de l’alignement et en trouvant des moyens permettant aux humains de rester partie prenante dans la boucle d’auto-amélioration.
- Faire profiter la société des avantages du progrès scientifique et de la croissance économique rendus possibles par des machines très intelligentes.
- Donner à chacun les moyens d’agir grâce à une IA générale (AGI) personnelle.
Je me suis concentré dans cet essai uniquement sur le premier point, car je pense qu’il est de loin le plus urgent. Cependant, je nourris un profond espoir et une grande reconnaissance envers les avantages que les progrès technologiques futurs apporteront. Une IA alignée pourrait faire avancer la science, développer de nouvelles thérapies et générer une grande abondance matérielle. Une IA bienveillante et honnête peut aider les gens à surmonter les difficultés auxquelles ils sont confrontés dans leur vie et améliorer de manière significative leur bonheur et leur sentiment d’épanouissement. OpenAI déploie des efforts considérables pour concrétiser ces avantages. Un exemple actuel dont je suis fier – et que mes proches ont trouvé utile – est l’investissement massif dans la capacité de ChatGPT à fournir des informations sur la santé.
Aussi prometteuses que puissent être les perspectives à long terme de l’IA, nous devons concentrer l’essentiel de notre attention sur les prochaines années. Nous sommes confrontés à une transition vers un monde peuplé de machines incroyablement intelligentes, et nous devons veiller à ce que cette transition se déroule au mieux pour l’humanité. Nous devons trouver des moyens de préserver la capacité d’agir des humains et de consacrer la valeur intrinsèque de l’humanité, dans un monde où la plupart des tâches pourraient être effectuées par l’IA. Pour empêcher une concentration extrême du pouvoir dans un monde où des projets qui auraient autrefois nécessité des milliers d’experts pourront désormais être menés à bien par quelques personnes utilisant un superordinateur. Et pour garantir que les humains gardent le contrôle de l’avenir et ne soient pas laissés pour compte par un progrès incontrôlé, provoqué par une intelligence étrangère surpassant la nôtre.
À l’heure actuelle, je pense qu’aucun laboratoire n’a résolu les problèmes d’alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant encore longtemps. Je m’attends à ce que des ralentissements volontaires deviennent monnaie courante jusqu’à ce que des barrières de sécurité communes soient mises en place, et j’espère que ce sera le cas. Et je crois que la coordination internationale sur le développement futur de l’IA doit devenir une priorité absolue pour les gouvernements du monde entier.
Dominique de Villepin n’aime pas être pris pour un perdreau de six semaines. C’est du moins ce qu’il a voulu signifier au journaliste Guillaume Daret [qui lui posait une question embarrassante] :
Dominique de Villepin a alors répondu avec cette merveilleuse expression surannée, seulement attestée en Occitanie :
«Monsieur Daret, je n’ai pas mis ce matin ma petite culotte de chou pour me faire brouter le derrière par les petits lapins [...] » a-t-il grondé.
Un merveilleux papier au sujet d'un algorithme présenté lors d'une conférence scientifique, qui devait être un contre-exemple de triage efficace, mais qui s'avère en fait trier une liste de manière particulièrement efficace :
ICan’tBelieveItCanSort :
Et le papier original traitant de cette découverte :
Cet algorithme est efficace, sauf si la liste de départ est déjà triée.
Pour information, voici l'algorithme de tri alphabétique proposé en standard par les IA (suppression de l'élément déclassé en position j de la liste, et ré-insertion à la position i) :
' Tri alphabétique
For i = 1 To listeJpg.Count - 1
For j = i + 1 To listeJpg.Count
If LCase(listeJpg(i)) > LCase(listeJpg(j)) Then
Set tempImg = listeJpg(j)
listeJpg.Remove j
listeJpg.Add tempImg, Before:=i
End If
Next j
Next i
