La moitié de l'équipe de sécurité d'OpenAI a démissionné en raison des inquiétudes concernant l'AGI.

Près de la moitié de l'équipe de sécurité d'OpenAI a déserté l'entreprise au cours des derniers mois, selon le lanceur d'alerte et ancien employé Daniel Kokotajlo.

La nouvelle arrive une semaine seulement après que plusieurs anciens membres du personnel ont signé une lettre accusant l'entreprise et son PDG, Sam Altman , de ne pas prendre au sérieux les risques liés à l'intelligence artificielle, en particulier lorsqu'il s'agit de développer des formes autonomes d'IA comme l'intelligence artificielle générale. (AGI).

Altman a également été critiqué pour avoir rejeté un projet de loi californien visant à réglementer les modèles d'IA plus grands, tout en insistant extrêmement sur l'importance de la réglementation dans l'industrie, alors que le fabricant de chatbots IA et le laboratoire de recherche continuent de donner la priorité à son projet AGI par rapport à tout le reste.

L'équipe de sécurité d'OpenAI tombe comme des mouches à cause des problèmes d'AGI

L'équipe Superalignment d'OpenAI, créée en 2023 pour atténuer les risques de l'IA « superintelligente », est confrontée à une crise majeure.

Selon l'interview exclusive de l'ancien membre de l'équipe Daniel Kokotajlo pour Fortune, environ 14 membres de l'équipe ont démissionné au cours des derniers mois, laissant un effectif squelettique de 16 personnes. L'exode a été un lent mijotage plutôt qu'une ébullition rapide, révèle Kokotajlo, alors qu'OpenAI continue. donner la priorité aux profits plutôt qu’à la sécurité de l’IA.

« Cela ne s'est pas déroulé comme une chose coordonnée. Je pense que ce sont juste des gens qui abandonnent individuellement », – Daniel Kokotajlo, ancien membre du personnel d'OpenAI.

Bien que l'équipe Superalignment soit chargée de gérer un large éventail de facteurs de risque liés à l'IA, ces démissions sont susceptibles de s'aligner sur la conviction de Kokotajlo selon laquelle OpenAI est « assez proche » du développement de l'AGI – un système d'IA hautement autonome qui sera capable de surpasser les humains à des niveaux élevés. la plupart des tâches.

La poursuite de l'AGI par OpenAI est mise à nu dans son énoncé de mission. Cependant, au lieu de bénéficier à « toute l’humanité » comme le dit sa mission, des dirigeants de l’entreprise comme Kokotajlo estiment que si l’entreprise continue sur sa trajectoire actuelle, la puissante technologie pourrait présenter « un risque de préjudices critiques pour la société », comme des « cyberattaques sans précédent ». » ou en aidant à la « création d’armes biologiques ».

De plus, selon Kokotajlo, les membres de l'équipe Superalignment qui ont tenté de publier des recherches sur les risques de l'AGI ont été confrontés à un « effet dissuasif » de la part des dirigeants d'OpenAI et à « une influence croissante de la part des ailes de communication et de lobbying d'OpenAI ». sur ce qu’il convient de publier.

Sam Altman fait des tongs sur la réglementation de l'IA

En plus de voter avec leurs pieds, Daniel Kokotajlo et son collègue ex-chercheur William Saunders ont signé la semaine dernière une lettre ouverte appelant publiquement l'entreprise pour ses préoccupations en matière de sécurité.

Dans la lettre, ils évoquent le potentiel des modèles d’IA de causer « des dommages catastrophiques au public » s’ils ne sont pas réglementés. Ils ont également souligné le bilan douteux d'OpenAI en matière de sécurité, notamment le manque de protection des lanceurs d'alerte de l'entreprise, son déploiement prématuré de GPT-4 , ses pratiques de sécurité médiocres qui ont abouti à une faille de sécurité majeure en 2023 et la démission d'Ilya Sutskever. , l'ancien chef de la sécurité de l'entreprise.

« Sam Altman, notre ancien patron, a appelé à plusieurs reprises à une réglementation de l’IA. Aujourd’hui, alors qu’une véritable réglementation est sur la table, il s’y oppose.» – Daniel Kokotajlo et William Saunders dans une lettre ouverte

Les lanceurs d’alerte ont notamment attiré l’attention sur l’hypocrisie du PDG d’OpenAI, Sam Altman, en matière de réglementation de l’IA. Ils ont exprimé leur « déception » que l'entreprise ait décidé de faire pression contre le SB 1047 – un projet de loi qui impose des tests de sécurité pour les modèles d'IA dont le développement coûte plus de 100 millions de dollars – malgré les appels répétés d'Alman en faveur d'une plus grande réglementation de l'IA.

Kokotajlo et Saunders ont même comparé sa réponse à Anthropic , un concurrent de chatbot IA qui a décidé de se conformer au projet de loi SB 1047 car ils ont convenu qu'il présentait un avantage net.

OpenAI est déterminé à adopter l'AGI, malgré les coûts potentiels

Selon OpenAI, les raisons du rejet du SB 1047 sont doubles. Premièrement, il prétend que les entreprises quitteront la Californie si le projet de loi est adopté. Deuxièmement, l’entreprise estime que la réglementation devrait être « façonnée et mise en œuvre au niveau fédéral », en raison des implications du développement de l’IA sur la sécurité nationale.

Ces raisons ont déjà été rejetées par Sauders et Kokotajlo comme étant non constructives et de mauvaise foi, et de nombreux anciens employés, dont Ilya Sutskever, estiment que le rejet de la réglementation par Altman découle du fait de placer les « produits brillants » et le développement d'AGI « au-dessus de la sécurité ». .

Malgré un récent rapport d'Information révélant que le créateur de ChatGPT pourrait subir des pertes d'environ 5 milliards de dollars en 2024 et être complètement à court d'argent l'année prochaine, OpenAI reste fidèle au développement de l'AGI. Altman a déjà affirmé que le coût de cette avancée n'avait pas d'importance, déclarant à Stanford eCorner : « Que nous brûlions 500 millions de dollars, 5 milliards de dollars ou 50 milliards de dollars par an, je m'en fiche », comme le sont certaines avancées pour l'humanité. inestimable".

L’entreprise rejetant autant ses propres défis financiers que ses appels importants à la réglementation, il est peu probable que quelque chose dissuade OpenAI de poursuivre l’AGI – même si son équipe de superintelligence s’effondre. Bien que les conséquences de la quête AGI d'OpenAI restent à déterminer, vous pouvez prendre certaines mesures pour protéger vos données lorsque vous utilisez ChatGPT.

Découvrez comment arrêter la formation ChatGPT sur vos données et découvrez comment utiliser le chatbot en toute sécurité ici .