Metà del team di sicurezza di OpenAI si è dimesso a causa delle preoccupazioni relative al supporto AGI

Secondo l'informatore ed ex dipendente Daniel Kokotajlo, quasi la metà del team di sicurezza di OpenAI ha abbandonato l'azienda negli ultimi mesi.

La notizia arriva appena una settimana dopo che diversi ex dipendenti hanno firmato una lettera in cui denunciavano l'azienda e il suo amministratore delegato, Sam Altman , per non aver preso sul serio i rischi legati all'intelligenza artificiale, in particolare quando si tratta di sviluppo di forme autonome di intelligenza artificiale come l'intelligenza artificiale generale. (AGI).

Altman è stato anche criticato per aver rifiutato un disegno di legge della California volto a regolamentare modelli di intelligenza artificiale più ampi, pur essendo estremamente esplicito sull'importanza della regolamentazione nel settore, poiché il produttore di chatbot di intelligenza artificiale e laboratorio di ricerca continua a dare priorità al suo progetto AGI su tutto il resto.

Il team di sicurezza di OpenAI cade come mosche per le preoccupazioni dell'AGI

Il team Superalignment di OpenAI, istituito nel 2023 per mitigare i rischi dell’intelligenza artificiale “superintelligente”, sta affrontando una grave crisi.

Secondo l'intervista esclusiva per Fortune dell'ex membro del team Daniel Kokotajlo, circa 14 membri del team se ne sono andati negli ultimi mesi, lasciando una forza lavoro ridotta a 16 persone. L'esodo è stato un lento ribollire piuttosto che un rapido ribollire, rivela Kokotajlo, mentre OpenAI continua dare priorità ai profitti rispetto alla sicurezza dell’IA.

“Non è stata una cosa coordinata. Penso che sia semplicemente la gente che si arrende individualmente,” – Daniel Kokotajlo, ex membro dello staff di OpenAI

Sebbene il team di Superalignment abbia il compito di gestire un'ampia gamma di fattori di rischio legati all'intelligenza artificiale, queste dimissioni sono probabilmente in linea con la convinzione di Kokotajlo secondo cui OpenAI è "abbastanza vicino" allo sviluppo di AGI, un sistema di intelligenza artificiale altamente autonomo che sarà in grado di sovraperformare gli esseri umani in termini di prestazioni. la maggior parte dei compiti.

La ricerca dell'AGI da parte di OpenAI è messa a nudo nella sua dichiarazione di intenti. Tuttavia, invece di avvantaggiare “tutta l’umanità” come recita la sua missione, addetti ai lavori dell’azienda come Kokotajlo credono che se l’azienda continua sulla sua traiettoria attuale, la potente tecnologia potrebbe comportare “un rischio di danni critici per la società” come “attacchi informatici senza precedenti”. ” o contribuire alla “creazione di armi biologiche”.

Inoltre, secondo Kokotajlo, i membri del team Superalignment che hanno tentato di pubblicare una ricerca sui rischi dell'AGI si sono trovati di fronte a un "effetto agghiacciante" da parte dei dirigenti di OpenAI e a una "crescente influenza da parte delle ali di comunicazione e lobbying di OpenAI" su ciò che è appropriato pubblicare.

Infradito di Sam Altman sulla regolamentazione dell'intelligenza artificiale

Oltre a votare con i piedi, Daniel Kokotajlo e il collega ex ricercatore William Saunders hanno firmato una lettera aperta la scorsa settimana in cui denunciavano pubblicamente la società per le sue preoccupazioni in materia di sicurezza

Nella lettera, si affrontava la possibilità che i modelli di intelligenza artificiale causassero “danni catastrofici al pubblico” se non regolamentati. Hanno anche sottolineato il losco track record di OpenAI in termini di sicurezza, inclusa la mancanza di protezioni da parte degli informatori, la sua implementazione prematura di GPT-4 , le sue pratiche di sicurezza poco brillanti che hanno portato a una grave violazione della sicurezza nel 2023 e le dimissioni di Ilya Sutskever. , l'ex capo della sicurezza della società.

“Sam Altman, il nostro ex capo, ha ripetutamente chiesto una regolamentazione dell’IA. Ora, quando la regolamentazione vera e propria è sul tavolo, lui si oppone”. – Daniel Kokotajlo e William Saunders in lettera aperta

In particolare, gli informatori hanno anche attirato l’attenzione sull’ipocrisia del CEO di OpenAI Sam Altman per quanto riguarda la regolamentazione dell’IA. Hanno espresso “delusione” per il fatto che la società abbia deciso di fare pressione contro SB 1047 – una proposta di legge che impone test di sicurezza per modelli di intelligenza artificiale il cui sviluppo costa oltre 100 milioni di dollari – nonostante le ripetute richieste di Alman per una maggiore regolamentazione dell’IA.

Kokotajlo e Saunders hanno addirittura confrontato la sua risposta con Anthropic , un concorrente di chatbot basati sull’intelligenza artificiale che ha deciso di conformarsi alla legge SB 1047 concordando che avrebbe avuto un vantaggio netto.

OpenAI è determinato ad AGI, nonostante i potenziali costi

Secondo OpenAI, le ragioni per cui ha rifiutato SB 1047 sono duplici. In primo luogo, si sostiene che le aziende lasceranno la California se il disegno di legge verrà approvato. In secondo luogo, la società ritiene che la regolamentazione dovrebbe essere “definita e implementata a livello federale”, a causa delle implicazioni sulla sicurezza nazionale dello sviluppo dell’intelligenza artificiale.

Queste ragioni sono già state respinte da Sauders e Kokotajlo in quanto non costruttive e in malafede, e molti ex dipendenti, tra cui Ilya Sutskever, ritengono che il rifiuto del regolamento di Altman derivi dal mettere "prodotti brillanti" e lo sviluppo dell'AGI "al di sopra della sicurezza" .

Nonostante un recente rapporto di Information abbia rivelato che il creatore di ChatGPT potrebbe subire perdite per circa 5 miliardi di dollari nel 2024 e rimanere completamente senza soldi nel prossimo anno, OpenAI rimane risoluta quando si tratta di sviluppare AGI. Altman ha precedentemente affermato che non importa quanto costerà loro la svolta, dicendo a Stanford eCorner "Se bruceremo 500 milioni di dollari, 5 miliardi di dollari o 50 miliardi di dollari all'anno, non mi interessa" poiché alcune scoperte per l'umanità lo sono " inestimabile".

Dato che la società respinge le proprie sfide finanziarie tanto quanto importanti richieste di regolamentazione, è improbabile che qualcosa possa dissuadere OpenAI dal perseguire AGI, anche se il suo team di superintelligence crolla. Anche se le conseguenze della ricerca AGI di OpenAI devono ancora essere determinate, ci sono dei passaggi che puoi adottare per mantenere i tuoi dati al sicuro quando usi ChatGPT.

Scopri come interrompere l'addestramento di ChatGPT sui tuoi dati e come utilizzare il chatbot in sicurezza qui .