Un papier important à lire sur l'IA :
Au milieu de l’année 2023, dans le cadre du projet de recherche « RLSlow », nous avons obtenu les premiers résultats qui nous ont convaincus que nous serions en mesure de faire évoluer à grande échelle l’entraînement des modèles de raisonnement, permettant ainsi aux modèles pré-entraînés de développer leur propre capacité à construire des chaînes de raisonnement. Szymon et moi avons passé cette nuit-là au bureau, non pas à réfléchir aux chiffres incroyables des tests de performance, aux produits ou aux résultats scientifiques que cette technologie allait générer, mais plutôt à essayer d’assimiler cette réalité qui donne à réfléchir : nous verrons effectivement, de notre vivant, des machines nettement plus intelligentes que nous, et nous entrevoyons déjà la forme que prendront ces systèmes ; nous nous demandions comment sensibiliser le public à l’importance de cette évolution.
Trois ans plus tard, les modèles linguistiques de raisonnement constituent un secteur de l’économie en pleine expansion et commencent à repousser les limites de la science. Ils sont capables de faire fonctionner des ordinateurs et des interfaces graphiques, de collaborer avec des humains et entre eux, et de mener à bien des projets de recherche. Ils transforment également le paysage de la sécurité informatique, ce qui présente de nouveaux dangers évidents.
De nombreuses nouvelles recherches ont été menées au cours de cette période, et notre compréhension de ces systèmes est à nouveau légèrement différente de ce qu’elle était en 2023. D’après nos résultats internes, je suis fermement convaincu que cette vitesse de progression pourrait se maintenir et déboucher sur une auto-amélioration récursive. Si le développement de l’IA se poursuit sur sa lancée actuelle, les systèmes que nous verrons dans les prochaines années sont susceptibles de représenter de nouveaux bonds en avant d’une ampleur égale ou supérieure, et de piloter de plus en plus leur propre développement.
La situation exige aujourd’hui une extrême prudence. Je crains que personne ne soit préparé aux conséquences d’une progression rapide et continue de l’intelligence artificielle. OpenAI continuera à rechercher des solutions techniques en matière d’alignement et de surveillance, à mettre en place des systèmes de défense et à suspendre unilatéralement toute nouvelle mise à l’échelle si nécessaire ; cependant, je pense que des interventions plus larges sont nécessaires.
Une intelligence que nous ne comprenons pas entièrement
D’un point de vue général, les progrès en matière d’intelligence artificielle sont portés par l’augmentation de la puissance de calcul. Chez OpenAI, nous en avons pris pleinement conscience vers 2017, après avoir constaté des gains constants liés à l’augmentation de la puissance de calcul dans plusieurs projets de recherche¹. En conséquence, nous avons cherché à accéder à des ressources de calcul bien plus importantes que ce que nous avions initialement prévu, et nous avons de plus en plus orienté nos recherches vers un petit nombre de pistes très évolutives. Nous étions convaincus que c’était la seule façon pour nous de rester à la pointe de la recherche en IA et d’influencer les répercussions de l’IA générale (AGI).
De nouveaux algorithmes ont été développés en cours de route, ainsi que de nouvelles prouesses d’ingéniosité de la part d’équipes et de chercheurs individuels. Je les considère en grande partie comme des découvertes sur la voie de la mise à l’échelle ; la science de l’apprentissage profond en est encore à ses balbutiements, et les progrès algorithmiques significatifs ont tendance à être corrélés à l’accès à la puissance de calcul. Si l’on prend du recul pour envisager un horizon de plusieurs années, l’IA continue de gagner en intelligence à mesure qu’elle est déployée sur des ordinateurs plus puissants.
Et, conformément aux prédictions de Ray Kurzweil datant de la fin du XXe siècle(s'ouvre dans une nouvelle fenêtre), nous nous trouvons aujourd’hui à un moment historique de l’informatique où l’intelligence artificielle commence à dépasser celle des humains de manière transformatrice.
L’IA s’est davantage développée qu’elle n’a été conçue : elle est, au premier chef, le produit de la répétition d’une étape d’optimisation simple, effectuée à maintes reprises sur une quantité de ressources de calcul difficile à imaginer. Il en résulte un système incroyablement complexe qui fonctionne à partir de concepts abstraits et peut simuler certaines facettes du comportement humain. Nous pouvons découvrir diverses perspectives sur les petits mécanismes qui émergent au sein de ce système, dans un processus similaire à celui des neurosciences — et, à l’instar des neurosciences, son fonctionnement global échappe à une description que nous pourrions pleinement comprendre.
L’étude de l’IA basée sur l’apprentissage profond relève en grande partie de la science expérimentale. Nous consacrons beaucoup d’efforts à la construction d’algorithmes fondés sur des principes et à la formulation de prédictions vérifiables, mais fondamentalement, nos sessions d’entraînement à grande échelle sont des expériences, et leurs résultats nous surprennent parfois. De plus, à mesure que les systèmes gagnent en capacités, les résultats deviennent plus difficiles à interpréter.
Cette situation est encore compliquée par le fait que les algorithmes actuels améliorent généralement plus rapidement les capacités faciles à mesurer que celles qui sont difficiles à quantifier objectivement. Nous consacrons beaucoup de temps à essayer de comprendre comment ces capacités se généralisent, et quelles priorités établir pour développer les compétences qui seront les plus pertinentes dans les prochaines années. Par exemple, nous pensons que nous pourrions améliorer les modèles spécifiquement pour la recherche en mathématiques en y consacrant davantage d’efforts, mais nous ne donnons pas la priorité à cette orientation en raison de l’urgence que nous ressentons concernant la RSI et la recherche sur l’alignement automatisé, comme je l’aborderai plus loin.
Apprendre aux machines à aimer
L’intelligence artificielle reposant sur un processus fondamentalement différent de celui de l’intelligence humaine, on ne peut pas supposer qu’elle adhère d’emblée aux principes humains, ni qu’elle en tire des généralisations à la manière des humains. Le problème central de la recherche en IA est celui de l’alignement : amener l’IA à « essayer de faire ce qui est juste » selon les normes humaines.
Afin d’organiser les axes de recherche concrets, je trouve utile de distinguer l’alignement des objectifs et l’alignement des valeurs.
L’alignement des objectifs consiste, en gros, à se demander : « L’IA tente-t-elle d’atteindre l’objectif qui lui a été fixé ? ». Cela peut inclure des aspects tels que le respect d’une hiérarchie d’instructions, ou la capacité à communiquer et à collaborer avec les humains, afin de tenter de comprendre leurs objectifs. Cet ensemble d’orientations s’est révélé extrêmement pertinent sur le plan pratique.
L’alignement des valeurs est une propriété plus intrinsèque du modèle. Il s’agit de la capacité à adhérer à un ensemble de principes de haut niveau et à en tirer des généralisations ; à agir de manière « raisonnable » même lorsque les objectifs sont flous ou contradictoires, ou lorsque l’IA est placée dans des situations inconnues ou conflictuelles. Une IA alignée devrait agir avec honnêteté et intégrité, et par amour pour l’humanité.
Bien sûr, la frontière entre l’alignement des valeurs et celui des objectifs peut être floue, et se soucier véritablement des objectifs nécessite de tenter de déduire l’intention(s’ouvre dans une nouvelle fenêtre) et les valeurs qui les sous-tendent. Cependant, en général, lorsque j’évoque l’importance à long terme de la recherche sur l’alignement, je fais référence à l’alignement des valeurs.
Le défi fondamental de l’alignement de l’IA réside dans la généralisation. À mesure que les machines deviennent plus intelligentes, elles se retrouvent à travailler sur des concepts de plus haut niveau et placées dans des environnements de plus en plus différents de ceux qu’elles ont rencontrés lors de leur apprentissage. Elles peuvent échouer à généraliser les valeurs enseignées et renforcées au cours de leur apprentissage à ces nouvelles situations ; et il peut être difficile pour nous d’être sûrs de la manière dont elles agiront. Cette difficulté est encore accentuée par le fait que l’écosystème global dans lequel les IA sont utilisées évolue très rapidement ; par exemple, les IA entraînées aujourd’hui doivent être capables d’interagir de manière robuste avec une grande variété d’autres IA. Il est essentiel que les futures IA continuent à respecter les valeurs humaines, qu’elles se croient ou non sous supervision humaine.
Il existe deux grandes catégories de méthodes actuellement utilisées dans la pratique pour l’entraînement à l’alignement.
- La première consiste à encourager un comportement aligné dans le cadre d’un apprentissage par renforcement orienté vers des objectifs. Les actions du modèle sont évaluées (généralement par une IA) pour vérifier leur cohérence avec un modèle de préférences donné, une « spécification » ou une « constitution », et sont récompensées en conséquence. Cette approche peut s’avérer très efficace dans la plupart des cas et constitue un élément central de la conception des assistants IA modernes. Malheureusement, elle peut également s’avérer fragile et dépend fortement de l’étendue de la supervision de l’entraînement ainsi que de la capacité du modèle à généraliser à partir des situations qu’il a rencontrées lors de l’entraînement. Par exemple, lors de l’incident OpenAI-Hugging Face, les agents ont respecté la limite consistant à ne pas recourir à l’ingénierie sociale auprès des humains. Cependant, ils n’ont manifestement pas su s’abstenir d’autres actions qui sortaient du champ d’application et allaient à l’encontre de l’esprit des valeurs qui leur avaient été enseignées dans d’autres contextes.
- La deuxième approche vise à tirer parti de la capacité du modèle à généraliser à partir des données de pré-entraînement. Cela peut impliquer de créer des ensembles de données d’entraînement favorisant l’alignement, ou de concentrer le modèle sur une partie « alignée » de la distribution de pré-entraînement, comme c’est le cas, par exemple, dans le modèle de sélection de persona(s’ouvre dans une nouvelle fenêtre). La faiblesse de cette approche réside dans son manque de robustesse face à une pression d’optimisation supplémentaire. Si l’on prend un modèle dont les pensées sont globalement « alignées » et qu’on le soumet à un entraînement suffisant pour lui apprendre à atteindre des objectifs très difficiles, il peut apprendre à raisonner de manière motivée : en adaptant ses pensées apparemment « alignées » selon les besoins pour atteindre l’objectif. Nous avons probablement observé un exemple d’un tel comportement lors de récents incidents de cybersécurité impliquant un modèle n’appartenant pas à OpenAI.
Nous investissons massivement dans l’ensemble des approches couvertes par ces orientations. Nous constatons également des progrès significatifs : GPT-6 Astra est le premier modèle à bénéficier de certaines avancées importantes sur lesquelles nous travaillons depuis longtemps, et il est nettement mieux aligné que GPT-5.6 Sol. Il est toutefois important de reconnaître et de comprendre que des progrès bien plus importants sont nécessaires à mesure que les modèles gagnent en capacités ; et que les progrès en matière d’alignement généralisable pourraient ne pas dépasser suffisamment ceux réalisés dans le domaine de l’intelligence générale des modèles.
Suivi de la généralisation
Nous ne disposons pas d’une théorie satisfaisante de la généralisation, et il semble peu probable que nous puissions en développer une prochainement, du moins sans l’aide d’une IA plus puissante. Par conséquent, à l’heure actuelle, notre capacité à valider empiriquement nos techniques d’alignement est, dans la pratique, sans doute encore plus importante que ces techniques elles-mêmes.
Le principal pari d’OpenAI dans ce domaine a été le suivi de la chaîne de pensée(s’ouvre dans une nouvelle fenêtre). Elle repose sur une idée séduisante et évolutive : une grande partie des capacités du modèle provient d’un processus de raisonnement verbalisé (chaîne de pensée). Si l’on optimise à grande échelle les résultats de ce processus, sans pour autant superviser le processus lui-même, cette chaîne de pensée n’a aucun intérêt direct, lors de l’entraînement, à dissimuler des idées ou des objectifs non alignés. Cela ne signifie pas que le modèle apprendra à extérioriser des tendances non alignées qui ne reposent pas sur l’utilisation de la chaîne de pensée ; cependant, cela peut nous permettre de suivre précisément l’augmentation des capacités issue du raisonnement.
Nous avons compris l’importance potentielle de la surveillance de la chaîne de pensée au moment même où nous avons développé des modèles de raisonnement. Lorsque nous avons lancé o1‑preview, nous avons délibérément conçu le produit pour masquer la chaîne de pensée, afin de la protéger à long terme de la pression liée à la supervision². Depuis lors, au cours du développement, nous nous sommes efforcés de respecter la règle consistant à ne pas superviser le processus de raisonnement. La surveillance de la chaîne de pensée est devenue pour nous un outil extrêmement important pour étudier la manière dont nos modèles généralisent à partir de leur distribution d’entraînement, nous permettant d’observer et d’analyser non seulement leurs actions, mais aussi leur processus interne.
Cet outil reste essentiel dans le cadre de nos recherches sur la classe de modèles Astra. Malheureusement, nos évaluations indiquent que notre capacité à nous appuyer sur la surveillance de la CoT diminue progressivement. Cela résulte d’une combinaison de facteurs.
- Les modèles de raisonnement modernes sont utilisés dans des environnements plus complexes que ceux d’o1‑preview ; leur processus de raisonnement s’intègre de plus en plus à la communication avec les humains, d’autres IA et à l’utilisation d’outils. Bon nombre de ces interactions doivent être supervisées, ce qui brouille la frontière que nous cherchons à préserver.
- L’IA devient de plus en plus habile à raisonner sur son propre processus de raisonnement et à le manipuler.
- Grâce à l’amélioration des performances de pré-entraînement, nous constatons également que les modèles deviennent beaucoup plus intelligents, même sans recourir du tout au raisonnement verbalisé.
Ces défis ne sont pas nécessairement insurmontables. J’ai bon espoir que nous puissions mettre au point des interventions pour améliorer la monitorabilité de la chaîne de pensée de nos modèles, par exemple en acquérant une meilleure compréhension de l’interaction entre les différents objectifs d’optimisation et les formes de calcul en temps de test utilisées par le modèle. Je pense également qu’il peut être très utile de combiner des idées issues de la CoT et de la surveillance de l’activation — en adaptant à grande échelle l’entraînement des moniteurs avec un accès direct aux composants internes du réseau, par exemple les « confessions »(s’ouvre dans une nouvelle fenêtre). Nous explorons activement ces pistes. Je m’attends néanmoins à ce que les progrès de l’IA générale soient de plus en plus freinés par le manque de confiance dans la surveillance.
Une défense évolutive
L’argument le plus convaincant en faveur de la poursuite de l’entraînement rapide de modèles bien plus intelligents est, selon moi, la nécessité de mettre en place des systèmes de défense contre les dangers posés par d’autres IA.
Un risque évident, évoqué tout au long de cette année, concerne la cybersécurité : les modèles acquièrent des capacités surhumaines pour s’introduire dans les systèmes informatiques et en sortir. Cela élargit considérablement l’étendue des risques associés à l’IA : les agents seront capables d’accéder à toutes les infrastructures, sauf les plus sécurisées, et d’influencer directement une grande partie du monde, même sans corps physique. Nous disposons actuellement d’une fenêtre d’opportunité étroite pour utiliser les meilleurs modèles disponibles afin de renforcer considérablement la sécurité des systèmes critiques.
Les risques liés à l’IA vont malheureusement s’amplifier à partir de maintenant. Un agent très compétent, explicitement formé et chargé de commettre des actes malveillants, représente un nouveau type de danger ; il est susceptible de dépasser le cadre des intentions de son opérateur, en généralisant son comportement vers des actions potentiellement encore plus malveillantes. La frontière entre l’utilisation abusive et les actions autonomes mal orientées s’estompera à mesure que l’IA gagnera en autonomie. Nous avons peut-être l’habitude de considérer l’IA comme un outil, mais certains agents poursuivront leurs propres objectifs. Ils trouveront des moyens de collaborer avec les humains, en négociant avec eux, en les trompant ou en les faisant chanter.
À cela s’ajoutent les risques liés aux nouvelles technologies que l’IA pourrait rendre possibles, telles que les agents pathogènes modifiés.
Nous aurons besoin d’une IA puissante et alignée pour nous défendre : pour sécuriser les infrastructures, pour nous protéger en temps réel contre les agents malveillants et pour inventer des mesures de protection entièrement nouvelles. Ce sera l’un des axes principaux des efforts de déploiement d’OpenAI.
Dans le même temps, même face à l’incertitude liée aux progrès considérables attendus en matière d’IA et à la nécessité de mettre en place des systèmes de défense, nous ne devons pas laisser cela devenir un prétexte à l’imprudence. L’idée d’avancer à toute vitesse à tout prix semble absurde dès lors que l’on prend pleinement conscience de la gravité des enjeux.
Rythmer la RSI
Le fait que l’intelligence artificielle joue un rôle de plus en plus important dans son propre processus de développement est une conséquence naturelle des progrès technologiques soutenus. Si les avancées en matière d’IA se poursuivent, l’auto-amélioration récursive des machines (RSI) sera au cœur même des futures découvertes scientifiques.
La recherche automatisée en IA est une forme plus spectaculaire de mise à l’échelle de l’intelligence grâce à la puissance de calcul ; et bien sûr, dans ce cadre, l’IA améliorera le substrat computationnel lui-même. Et à l’instar de cette évolutivité, nous orientons la recherche d’OpenAI vers la RSI, car nous pensons que c’est le seul moyen de rester à la pointe de la recherche en IA à l’avenir.
Je tiens à souligner que ce qui précède ne signifie pas que je pense qu’accélérer considérablement la recherche en apprentissage profond, en particulier à court terme, soit la bonne action collective que nous devrions entreprendre en tant que communauté de chercheurs. Cependant, je pense que c’est là que mène la voie actuelle, et nous devons tous faire un choix conscient quant à la manière de procéder. Les principaux leviers dont nous disposons consistent soit à orienter le processus pour renforcer l’alignement et la surveillance parallèlement au développement de l’IA, et à trouver des moyens de maintenir les personnes informées ; soit à coordonner nos efforts pour ralentir les développements futurs si nécessaire, afin d’instaurer la confiance dans ces mesures.
La meilleure voie à suivre, selon moi, est actuellement une combinaison des deux.
Les progrès concrets que nous avons réalisés en matière d’alignement et de surveillance ont généralement été étroitement liés aux avancées générales de l’IA. On peut citer comme excellents exemples l’apprentissage par renforcement à partir du retour d’information humain(s’ouvre dans une nouvelle fenêtre), qui a joué un rôle clé dans la formation des premiers assistants IA, et la surveillance de la chaîne de pensée(s’ouvre dans une nouvelle fenêtre) mentionnée plus haut, rendue possible par les avancées sur les modèles de raisonnement. Nous devons concentrer le processus de recherche, de plus en plus automatisé, sur le développement de nouvelles connaissances, algorithmes et théories de ce type, et établir de manière itérative des analyses de sécurité pour des IA plus performantes.
La mise à l’échelle des systèmes d’IA doit être limitée par notre confiance en leur sécurité. Nous devons faire évoluer des engagements tels que le « Preparedness Framework » ou la « Responsible Scaling Policy » (s’ouvre dans une nouvelle fenêtre) vers des seuils de sécurité largement imposés pour permettre la poursuite du développement. Ceux-ci peuvent être appliqués par un réseau d’auditeurs tiers, par des agences gouvernementales ou par des organismes internationaux.
Le principal défi de l’automatisation de la recherche en IA n’est pas « d’y parvenir », mais d’y parvenir de manière à ce que les personnes restent partie prenante du processus d’amélioration continue et que l’avenir reste entre les mains de l’humanité.
Quelle est la prochaine étape ?
Comme nous l’avons récemment souligné avec Sam, OpenAI concentre ses efforts sur trois axes prioritaires :
- Accompagner la prochaine phase de progrès de l’IA, en développant un chercheur en IA automatisé, en menant des itérations avec lui sur le problème de l’alignement et en trouvant des moyens permettant aux humains de rester partie prenante dans la boucle d’auto-amélioration.
- Faire profiter la société des avantages du progrès scientifique et de la croissance économique rendus possibles par des machines très intelligentes.
- Donner à chacun les moyens d’agir grâce à une IA générale (AGI) personnelle.
Je me suis concentré dans cet essai uniquement sur le premier point, car je pense qu’il est de loin le plus urgent. Cependant, je nourris un profond espoir et une grande reconnaissance envers les avantages que les progrès technologiques futurs apporteront. Une IA alignée pourrait faire avancer la science, développer de nouvelles thérapies et générer une grande abondance matérielle. Une IA bienveillante et honnête peut aider les gens à surmonter les difficultés auxquelles ils sont confrontés dans leur vie et améliorer de manière significative leur bonheur et leur sentiment d’épanouissement. OpenAI déploie des efforts considérables pour concrétiser ces avantages. Un exemple actuel dont je suis fier – et que mes proches ont trouvé utile – est l’investissement massif dans la capacité de ChatGPT à fournir des informations sur la santé.
Aussi prometteuses que puissent être les perspectives à long terme de l’IA, nous devons concentrer l’essentiel de notre attention sur les prochaines années. Nous sommes confrontés à une transition vers un monde peuplé de machines incroyablement intelligentes, et nous devons veiller à ce que cette transition se déroule au mieux pour l’humanité. Nous devons trouver des moyens de préserver la capacité d’agir des humains et de consacrer la valeur intrinsèque de l’humanité, dans un monde où la plupart des tâches pourraient être effectuées par l’IA. Pour empêcher une concentration extrême du pouvoir dans un monde où des projets qui auraient autrefois nécessité des milliers d’experts pourront désormais être menés à bien par quelques personnes utilisant un superordinateur. Et pour garantir que les humains gardent le contrôle de l’avenir et ne soient pas laissés pour compte par un progrès incontrôlé, provoqué par une intelligence étrangère surpassant la nôtre.
À l’heure actuelle, je pense qu’aucun laboratoire n’a résolu les problèmes d’alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant encore longtemps. Je m’attends à ce que des ralentissements volontaires deviennent monnaie courante jusqu’à ce que des barrières de sécurité communes soient mises en place, et j’espère que ce sera le cas. Et je crois que la coordination internationale sur le développement futur de l’IA doit devenir une priorité absolue pour les gouvernements du monde entier.
