Jumătate din echipa de siguranță a OpenAI a renunțat din cauza îngrijorărilor legate de montarea AGI

Aproape jumătate din echipa de siguranță a OpenAI a părăsit compania în ultimele câteva luni, potrivit anunțului și fostului angajat Daniel Kokotajlo.

Vestea vine la doar o săptămână după ce mai mulți foști angajați au semnat o scrisoare prin care îi chema compania și CEO-ul său, Sam Altman , pentru că nu au luat în serios riscurile legate de inteligența artificială, mai ales când vine vorba de dezvoltarea unor forme autonome de AI, cum ar fi inteligența generală artificială. (AGI).

Altman a fost, de asemenea, criticat pentru respingerea unui proiect de lege din California care vizează reglementarea modelelor de IA mai mari, fiind în același timp extrem de vocal cu privire la importanța reglementării în industrie, deoarece producătorul de chatbot AI și laboratorul de cercetare continuă să acorde prioritate proiectului său AGI față de orice altceva.

Echipa de siguranță a OpenAI cade ca muște peste preocupările AGI

Echipa de Superalignment a OpenAI, care a fost înființată în 2023 pentru a atenua riscurile AI „superinteligente”, se confruntă cu o criză majoră.

Potrivit interviului exclusiv al fostului membru al echipei Daniel Kokotajlo pentru Fortune, aproximativ 14 membri ai echipei au renunțat în ultimele câteva luni, lăsând o forță de muncă schelet de 16. Exodul a fost o fierbere lent, mai degrabă decât o fierbere rapidă, dezvăluie Kokotajlo, în timp ce OpenAI continuă. pentru a prioritiza profiturile față de siguranța AI.

„Nu a fost ca un lucru coordonat. Cred că oamenii au renunțat individual,” – Daniel Kokotajlo, fost angajat al OpenAI

În timp ce echipa de Superalignment are sarcina de a gestiona o gamă largă de factori de risc AI, este posibil ca aceste demisii să fie aliniate cu credința lui Kokotajlo că OpenAI este „destul de aproape” de dezvoltarea AGI – un sistem AI foarte autonom care va fi capabil să depășească oamenii la majoritatea sarcinilor.

Urmărirea OpenAI pentru AGI este expusă în declarația sa de misiune. Cu toate acestea, în loc să beneficieze „întreaga umanitate”, după cum arată misiunea sa, persoane din interiorul companiei precum Kokotajlo cred că, dacă compania își continuă traiectoria actuală, tehnologia puternică ar putea prezenta „un risc de daune critice pentru societate”, cum ar fi „atacuri cibernetice fără precedent”. ” sau asistarea la „crearea de arme biologice”.

În plus, potrivit lui Kokotajlo, membrii echipei de Superalignment care au încercat să publice cercetări cu privire la riscurile AGI s-au confruntat cu un „efect de înfrigurare” din partea directorilor OpenAI și cu o „cantitate tot mai mare de influență din partea aripilor de comunicare și lobby ale OpenAI”. asupra a ceea ce este potrivit de publicat.

Flip Flops Sam Altman despre regulamentul AI

Pe lângă votul cu picioarele lor, Daniel Kokotajlo și colegul fost cercetător William Saunders au semnat săptămâna trecută o scrisoare deschisă prin care anunțau public compania pentru problemele lor de securitate

În scrisoare, ei au abordat potențialul ca modelele AI de a provoca „daune catastrofale publicului” dacă nu sunt reglementate. Ei au subliniat, de asemenea, istoricul dubios al OpenAI în ceea ce privește siguranța, inclusiv lipsa de protecție a avertizorilor a companiei, desfășurarea prematură a GPT-4 , practicile sale de securitate slabe care au dus la o întrerupere majoră a securității în 2023 și demisia lui Ilya Sutskever. , fostul șef al Securității companiilor.

„Sam Altman, fostul nostru șef, a cerut în mod repetat reglementarea AI. Acum, când reglementările efective sunt pe masă, el se opune.” – Daniel Kokotajlo și William Saunders în scrisoare deschisă

În special, denunțatorii au atras atenția și asupra ipocriziei CEO-ului OpenAI, Sam Altman, când vine vorba de reglementarea AI. Ei și-au exprimat „dezamăgirea” că compania a decis să facă lobby împotriva SB 1047 – un proiect de lege care impune testarea de siguranță pentru modelele AI care au costat peste 100 de milioane de dolari pentru a fi dezvoltate – în ciuda solicitărilor repetate ale lui Alman pentru o reglementare mai strictă a AI.

Kokotajlo și Saunders și-au comparat chiar răspunsul cu Anthropic , un concurent chatbot AI care a decis să respecte proiectul de lege SB 1047, deoarece au fost de acord că are un beneficiu net.

OpenAI sunt înclinați pe AGI, în ciuda costurilor potențiale

Potrivit OpenAI, motivele pentru respingerea SB 1047 sunt duble. În primul rând, susține că companiile vor părăsi California dacă proiectul de lege va trece. În al doilea rând, compania consideră că reglementarea ar trebui „configurată și implementată la nivel federal”, datorită implicațiilor de securitate națională ale dezvoltării AI.

Aceste motive au fost deja respinse de Sauders și Kokotajlo pentru că sunt neconstructive și de rea-credință, iar mulți foști angajați, inclusiv Ilya Sutskever, cred că respingerea reglementărilor lui Altman derivă din punerea „produselor strălucitoare” și dezvoltarea AGI „mai presus de siguranță”. .

În ciuda unui raport recent al Informației care dezvăluie că creatorul ChatGPT ar putea înregistra pierderi de aproximativ 5 miliarde de dolari în 2024 și poate rămâne complet fără bani în anul următor, OpenAI rămâne ferm când vine vorba de dezvoltarea AGI. Altman a susținut anterior că nu contează cât de mult îi va costa descoperirea, spunând lui Stanford eCorner „Fie că ardem 500 de milioane de dolari, 5 miliarde de dolari sau 50 de miliarde de dolari pe an, nu-mi pasă”, deoarece unele descoperiri pentru omenire sunt „ neprețuit”.

Întrucât compania respinge propriile provocări financiare la fel de mult ca și cererile importante de reglementare, este puțin probabil dacă ceva cu OpenAI îl descurajează să urmărească AGI – chiar dacă echipa sa de Superintelligence se prăbușește. Deși consecințele căutării AGI a OpenAI nu au fost încă determinate, există pași pe care îi puteți lua pentru a vă păstra datele în siguranță atunci când utilizați ChatGPT.

Aflați cum să opriți antrenamentul ChatGPT cu privire la datele dvs. și aflați cum să utilizați chatbot-ul în siguranță aici .