Metade da equipe de segurança da OpenAI demitiu-se devido às preocupações com o aumento do AGI

Quase metade da equipe de segurança da OpenAI abandonou a empresa nos últimos meses, segundo o denunciante e ex-funcionário Daniel Kokotajlo.

A notícia chega apenas uma semana depois de vários ex-funcionários assinarem uma carta criticando a empresa e seu CEO, Sam Altman , por não levarem a sério os riscos da inteligência artificial, especificamente quando se trata do desenvolvimento de formas autônomas de IA, como inteligência artificial geral. (AGI).

Altman também foi criticado por rejeitar um projeto de lei da Califórnia que visa regulamentar modelos maiores de IA, ao mesmo tempo em que é extremamente veemente sobre a importância da regulamentação na indústria, à medida que o fabricante e laboratório de pesquisa de chatbots de IA continua a priorizar seu projeto de AGI sobre todo o resto.

A equipe de segurança da OpenAI cai como moscas por causa de preocupações com AGI

A equipe de Superalinhamento da OpenAI, criada em 2023 para mitigar os riscos da IA ​​“superinteligente”, está enfrentando uma grande crise.

De acordo com a entrevista exclusiva do ex-membro da equipe Daniel Kokotajlo para a Fortune, cerca de 14 membros da equipe pediram demissão nos últimos meses, deixando uma força de trabalho mínima de 16. O êxodo tem sido lento e não rápido, revela Kokotajlo, enquanto OpenAI continua para priorizar os lucros em detrimento da segurança da IA.

“Não tem sido uma coisa coordenada. Acho que são apenas pessoas que desistem individualmente”, – Daniel Kokotajlo, ex-funcionário da OpenAI

Embora a equipe do Superalignment tenha a tarefa de lidar com uma ampla gama de fatores de risco de IA, essas demissões provavelmente estarão alinhadas com a crença de Kokotajlo de que a OpenAI está “bastante perto” de desenvolver AGI – um sistema de IA altamente autônomo que será capaz de superar os humanos em a maioria das tarefas.

A busca da OpenAI pela AGI é exposta em sua declaração de missão. No entanto, em vez de beneficiar “toda a humanidade”, como diz a sua missão, os membros da empresa como Kokotajlo acreditam que se a empresa continuar na sua trajetória atual, a poderosa tecnologia poderá representar “um risco de danos críticos para a sociedade”, tais como “ataques cibernéticos sem precedentes”. ” ou auxiliando na “criação de armas biológicas”.

Além do mais, de acordo com Kokotajlo, os membros da equipe do Superalignment que tentaram publicar pesquisas sobre os riscos da AGI enfrentaram um “efeito inibidor” dos executivos da OpenAI e uma “crescente influência das alas de comunicação e lobby da OpenAI”. sobre o que é apropriado publicar.

Sam Altman Flip Flops sobre regulamentação de IA

Além de votar com os pés, Daniel Kokotajlo e seu colega ex-pesquisador William Saunders assinaram uma carta aberta na semana passada, chamando publicamente a empresa por suas preocupações com segurança.

Na carta, eles abordaram o potencial dos modelos de IA causarem “danos catastróficos ao público” se não forem regulamentados. Eles também apontaram o histórico duvidoso da OpenAI quando se trata de segurança, incluindo a falta de proteção de denunciantes da empresa, sua implantação prematura do GPT-4 , suas práticas de segurança medíocres que resultaram em uma grande falha de segurança em 2023 , e a renúncia de Ilya Sutskever , o ex-chefe de segurança da empresa.

“Sam Altman, nosso ex-chefe, apelou repetidamente à regulamentação da IA. Agora, quando a regulamentação real está sobre a mesa, ele se opõe a ela.” – Daniel Kokotajlo e William Saunders em carta aberta

Notavelmente, os denunciantes também chamaram a atenção para a hipocrisia do CEO da OpenAI, Sam Altman, quando se trata de regulamentação de IA. Eles expressaram “decepção” pelo fato de a empresa ter decidido fazer lobby contra o SB 1047 – um projeto de lei que exige testes de segurança para modelos de IA cujo desenvolvimento custa mais de US$ 100 milhões – apesar dos repetidos apelos de Alman por uma maior regulamentação de IA.

Kokotajlo e Saunders até compararam sua resposta à Anthropic , um concorrente do chatbot de IA que decidiu cumprir o projeto de lei SB 1047, pois concordaram que teria um benefício líquido.

OpenAI está determinado a AGI, apesar dos custos potenciais

De acordo com a OpenAI, as razões para rejeitar o SB 1047 são duplas. Primeiro, afirma que as empresas deixarão a Califórnia se o projeto for aprovado. Em segundo lugar, a empresa acredita que a regulamentação deve ser “formada e implementada a nível federal”, devido às implicações do desenvolvimento da IA ​​para a segurança nacional.

Estas razões já foram rejeitadas por Sauders e Kokotajlo por serem pouco construtivas e de má-fé, e muitos ex-funcionários, incluindo Ilya Sutskever, acreditam que a rejeição da regulamentação de Altman deriva de colocar “produtos brilhantes” e o desenvolvimento de AGI “acima da segurança”. .

Apesar de um relatório recente do Information revelar que o criador do ChatGPT pode ter perdas de cerca de US$ 5 bilhões em 2024 e ficar completamente sem dinheiro no próximo ano, a OpenAI permanece firme quando se trata de desenvolver AGI. Altman afirmou anteriormente que não importa quanto o avanço lhes custará, dizendo ao Stanford eCorner “Se queimamos US$ 500 milhões, US$ 5 bilhões ou US$ 50 bilhões por ano, não me importo”, como alguns avanços para a humanidade são “ inestimável".

Com a empresa a rejeitar os seus próprios desafios financeiros, tanto quanto os importantes pedidos de regulamentação, é improvável que algo possa impedir a OpenAI de prosseguir a AGI – mesmo com o colapso da sua equipa de Superinteligência. Embora as consequências da busca AGI da OpenAI ainda não tenham sido determinadas, existem etapas que você pode seguir para manter seus dados seguros ao usar o ChatGPT.

Aprenda como interromper o treinamento do ChatGPT em seus dados e descubra como usar o chatbot com segurança aqui .