La mitad del equipo de seguridad de OpenAI renunció debido al aumento de las preocupaciones sobre AGI

Casi la mitad del equipo de seguridad de OpenAI ha abandonado la empresa en los últimos meses, según el denunciante y ex empleado Daniel Kokotajlo.

La noticia llega apenas una semana después de que varios ex empleados firmaran una carta criticando a la compañía y a su director ejecutivo, Sam Altman , por no tomar en serio los riesgos de la inteligencia artificial, específicamente cuando se trata del desarrollo de formas autónomas de IA como la inteligencia artificial general. (AIG).

Altman también ha sido criticado por rechazar un proyecto de ley de California destinado a regular modelos de IA más grandes y, al mismo tiempo, ser extremadamente explícito sobre la importancia de la regulación en la industria, mientras el fabricante de chatbots de IA y laboratorio de investigación continúa priorizando su proyecto AGI sobre todo lo demás.

El equipo de seguridad de OpenAI cae como moscas por las preocupaciones sobre AGI

El equipo Superalignment de OpenAI, que se estableció en 2023 para mitigar los riesgos de la IA "superinteligente", se enfrenta a una crisis importante.

Según la entrevista exclusiva del ex miembro del equipo Daniel Kokotajlo para Fortune, alrededor de 14 miembros del equipo han renunciado a lo largo de los últimos meses, dejando una fuerza laboral mínima de 16. El éxodo ha sido una cocción lenta en lugar de un hervor rápido, revela Kokotajlo, mientras OpenAI continúa. priorizar las ganancias sobre la seguridad de la IA.

“No ha sido algo coordinado. Creo que es simplemente que la gente se da por vencida individualmente”, – Daniel Kokotajlo, ex miembro del personal de OpenAI.

Si bien el equipo de Superalignment tiene la tarea de manejar una amplia gama de factores de riesgo de la IA, es probable que estas renuncias estén alineadas con la creencia de Kokotajlo de que OpenAI está "bastante cerca" de desarrollar AGI, un sistema de IA altamente autónomo que podrá superar a los humanos en la mayoría de las tareas.

La búsqueda de AGI por parte de OpenAI queda al descubierto en su declaración de misión. Sin embargo, en lugar de beneficiar a "toda la humanidad", como dice su misión, expertos de la empresa como Kokotajlo creen que si la empresa continúa con su trayectoria actual, la poderosa tecnología podría representar "un riesgo de daños críticos a la sociedad", como "ciberataques sin precedentes". ” o ayudar en la “creación de armas biológicas”.

Es más, según Kokotajlo, los miembros del equipo de Superalignment que intentaron publicar investigaciones sobre los riesgos de AGI se enfrentaron a un "efecto paralizador" por parte de los ejecutivos de OpenAI y a una "cantidad cada vez mayor de influencia por parte de las alas de comunicaciones y lobby de OpenAI". sobre lo que es apropiado publicar.

Chanclas de Sam Altman sobre la regulación de la IA

Además de votar con los pies, Daniel Kokotajlo y su colega ex investigador William Saunders firmaron una carta abierta la semana pasada denunciando públicamente a la empresa por sus preocupaciones de seguridad.

En la carta, abordaron la posibilidad de que los modelos de IA causen “daños catastróficos al público” si no se regulan. También señalaron el historial turbio de OpenAI en lo que respecta a la seguridad, incluida la falta de protección de los denunciantes de la compañía, su implementación prematura de GPT-4 , sus mediocres prácticas de seguridad que resultaron en una importante falla de seguridad en 2023 y la renuncia de Ilya Sutskever. , el ex jefe de seguridad de la empresa.

“Sam Altman, nuestro exjefe, ha pedido repetidamente que se regule la IA. Ahora, cuando la regulación real está sobre la mesa, se opone a ella”. – Daniel Kokotajlo y William Saunders en carta abierta

En particular, los denunciantes también llamaron la atención sobre la hipocresía del director ejecutivo de OpenAI, Sam Altman, en lo que respecta a la regulación de la IA. Expresaron su “decepción” por el hecho de que la compañía haya decidido presionar contra el SB 1047 –un proyecto de ley que exige pruebas de seguridad para modelos de IA cuyo desarrollo costó más de 100 millones de dólares– a pesar de los repetidos llamados de Alman para una mayor regulación de la IA.

Kokotajlo y Saunders incluso compararon su respuesta con Anthropic , un competidor de chatbot de IA que decidió cumplir con el proyecto de ley SB 1047 porque coincidieron en que tenía un beneficio neto.

OpenAI está empeñado en AGI, a pesar de los costos potenciales

Según OpenAI, sus razones para rechazar la SB 1047 son dos. En primer lugar, afirma que las empresas abandonarán California si se aprueba el proyecto de ley. En segundo lugar, la empresa cree que la regulación debería “modelarse e implementarse a nivel federal”, debido a las implicaciones para la seguridad nacional del desarrollo de la IA.

Estas razones ya han sido descartadas por Sauders y Kokotajlo por ser poco constructivas y de mala fe, y muchos ex empleados, incluido Ilya Sutskever, creen que el rechazo de la regulación por parte de Altman se deriva de poner los “productos brillantes” y el desarrollo de AGI “por encima de la seguridad”. .

A pesar de un informe reciente de Information que revela que el creador de ChatGPT puede tener pérdidas de alrededor de $ 5 mil millones en 2024 y quedarse completamente sin dinero el próximo año, OpenAI se mantiene firme en lo que respecta al desarrollo de AGI. Altman ha afirmado anteriormente que no importa cuánto les costará el avance, y le dijo a Stanford eCorner: "Ya sea que quememos 500 millones de dólares, 5 mil millones de dólares o 50 mil millones de dólares al año, no me importa", ya que algunos avances para la humanidad son " inestimable".

Dado que la compañía ignora tanto sus propios desafíos financieros como sus importantes llamados a la regulación, es poco probable que haya algo que pueda disuadir a OpenAI de perseguir AGI, incluso cuando su equipo de Superinteligencia colapsa. Si bien aún no se han determinado las consecuencias de la búsqueda de AGI de OpenAI, existen pasos que puede seguir para mantener sus datos seguros cuando usa ChatGPT.

Aprenda cómo detener el entrenamiento de ChatGPT con sus datos y descubra cómo utilizar el chatbot de forma segura aquí .