Połowa zespołu ds. bezpieczeństwa OpenAI odeszła ze względu na obawy dotyczące montażu AGI

Według sygnalisty i byłego pracownika Daniela Kokotajlo, prawie połowa zespołu ds. bezpieczeństwa OpenAI opuściła firmę w ciągu ostatnich kilku miesięcy.

Wiadomość ta pojawia się zaledwie tydzień po podpisaniu przez kilku byłych pracowników listu, w którym krytykuje firmę i jej dyrektora generalnego Sama Altmana za niepoważne podejście do ryzyka związanego ze sztuczną inteligencją, szczególnie jeśli chodzi o rozwój autonomicznych form sztucznej inteligencji, takich jak sztuczna inteligencja ogólna. (AGI).

Altmana krytykowano także za odrzucenie kalifornijskiego projektu ustawy mającej na celu regulację większych modeli sztucznej inteligencji, a jednocześnie niezwykle głośno podkreślał znaczenie regulacji w branży, ponieważ twórca chatbotów i laboratorium badawcze AI w dalszym ciągu przedkłada projekt AGI nad wszystko inne.

Zespół ds. bezpieczeństwa OpenAI rzuca się jak muchy w związku z obawami AGI

Zespół OpenAI Superalignment, utworzony w 2023 r. w celu ograniczania zagrożeń związanych z „superinteligentną” sztuczną inteligencją, stoi w obliczu poważnego kryzysu.

Według ekskluzywnego wywiadu byłego członka zespołu Daniela Kokotajlo dla Fortune, w ciągu ostatnich kilku miesięcy około 14 członków zespołu odeszło z pracy, pozostawiając szkieletową siłę roboczą liczącą 16 osób. Exodus raczej powoli się gotował, a nie szybko wrzał, ujawnia Kokotajlo, jak kontynuuje OpenAI przedkładać zyski nad bezpieczeństwo sztucznej inteligencji.

„To nie było skoordynowane działanie. Myślę, że to po prostu ludzie, którzy indywidualnie się poddają” – Daniel Kokotajlo, były pracownik OpenAI

Chociaż zespół Superalignment ma za zadanie radzić sobie z szeroką gamą czynników ryzyka sztucznej inteligencji, rezygnacje te prawdopodobnie będą zgodne z przekonaniem Kokotajlo, że OpenAI jest „dość blisko” opracowania AGI – wysoce autonomicznego systemu sztucznej inteligencji, który będzie w stanie przewyższyć ludzi w większość zadań.

Dążenie OpenAI do AGI zostało jasno określone w jego misji. Jednak zamiast przynosić korzyści „całej ludzkości”, jak głosi jej misja, znawcy firmy, tacy jak Kokotajlo, uważają, że jeśli firma będzie kontynuować obecną ścieżkę, potężna technologia może stwarzać „ryzyko wyrządzenia poważnych szkód społeczeństwu”, takich jak „bezprecedensowe cyberataki ” lub pomoc w „tworzeniu broni biologicznej”.

Co więcej, według Kokotajlo, członkowie zespołu Superalignment, którzy próbowali opublikować badania na temat zagrożeń związanych z AGI, stanęli w obliczu „efektu mrożącego” ze strony kadry kierowniczej OpenAI oraz „rosnącego wpływu skrzydeł komunikacyjnych i lobbujących OpenAI”. nad tym, co jest właściwe do publikacji.

Sam Altman Klapki w sprawie regulacji AI

Oprócz głosowania nogami Daniel Kokotajlo i jego były badacz William Saunders podpisali w zeszłym tygodniu list otwarty, w którym publicznie zwracają się do firmy z obawami dotyczącymi bezpieczeństwa

W piśmie odnieśli się do możliwości, jakie modele sztucznej inteligencji mogą spowodować „katastrofalne szkody dla społeczeństwa”, jeśli nie zostaną uregulowane. Zwrócili także uwagę na niejasne osiągnięcia OpenAI w zakresie bezpieczeństwa, w tym na brak zabezpieczeń dla sygnalistów, przedwczesne wdrożenie GPT-4 , słabe praktyki w zakresie bezpieczeństwa, które doprowadziły do ​​poważnego naruszenia bezpieczeństwa w 2023 r. , oraz rezygnację Ilyi Sutskevera , w firmie były szef ochrony.

„Sam Altman, nasz były szef, wielokrotnie wzywał do wprowadzenia regulacji dotyczących sztucznej inteligencji. Teraz, gdy na stole leżą faktyczne regulacje, sprzeciwia się temu”. – Daniel Kokotajlo i William Saunders w liście otwartym

Warto zauważyć, że sygnaliści zwrócili także uwagę na hipokryzję dyrektora generalnego OpenAI Sama Altmana, jeśli chodzi o regulacje dotyczące sztucznej inteligencji. Wyrazili „rozczarowanie”, że firma zdecydowała się lobbować przeciwko SB 1047 – proponowanej ustawie nakładającej obowiązek testowania bezpieczeństwa modeli sztucznej inteligencji, których opracowanie kosztuje ponad 100 milionów dolarów – pomimo wielokrotnych wezwań Almana do zaostrzenia regulacji dotyczących sztucznej inteligencji.

Kokotajlo i Saunders porównali nawet swoją reakcję z Anthropic , konkurentem chatbota AI, który zdecydował się zastosować się do ustawy SB 1047, uznając, że przyniesie to korzyści netto.

OpenAI stawia na AGI pomimo potencjalnych kosztów

Według OpenAI powody odrzucenia SB 1047 są dwojakie. Po pierwsze, twierdzi, że firmy opuszczą Kalifornię, jeśli ustawa zostanie uchwalona. Po drugie, firma uważa, że ​​regulacje powinny być „kształtowane i wdrażane na poziomie federalnym” ze względu na konsekwencje rozwoju sztucznej inteligencji dla bezpieczeństwa narodowego.

Powody te zostały już odrzucone przez Saudersa i Kokotajło jako niekonstruktywne i działające w złej wierze, a wielu byłych pracowników, w tym Ilya Sutskever, uważa, że ​​odrzucenie przepisów przez Altmana wynika z stawiania „błyszczących produktów” i rozwoju AGI „ponad bezpieczeństwo”. .

Pomimo niedawnego raportu Information, który ujawnia, że ​​twórca ChatGPT może ponieść straty w wysokości około 5 miliardów dolarów w 2024 roku, a w następnym roku całkowicie zabraknąć pieniędzy, OpenAI pozostaje niezłomny, jeśli chodzi o rozwój AGI. Altman twierdził wcześniej, że nie ma znaczenia, ile będzie ich kosztować ten przełom, mówiąc Stanford eCorner: „Nie obchodzi mnie, czy będziemy spalać 500 milionów dolarów, 5 miliardów dolarów, czy 50 miliardów dolarów rocznie”, ponieważ niektóre przełomy dla ludzkości to „ bezcenny".

Ponieważ firma odrzuca zarówno własne wyzwania finansowe, jak i ważne wezwania do wprowadzenia regulacji, jest mało prawdopodobne, aby cokolwiek powstrzymało OpenAI od kontynuowania AGI – nawet po upadku jej zespołu superinteligencji. Chociaż konsekwencje zadania AGI OpenAI nie zostały jeszcze określone, istnieją kroki, które możesz podjąć, aby zapewnić bezpieczeństwo danych podczas korzystania z ChatGPT.

Dowiedz się, jak zatrzymać szkolenie ChatGPT na swoich danych i dowiedz się , jak bezpiecznie korzystać z chatbota tutaj .