OpenAI Güvenlik Ekibinin Yarısı AGI Montajıyla İlgili Endişeleri Nedeniyle Ayrıldı

İhbarcı ve eski çalışan Daniel Kokotajlo'ya göre, OpenAI güvenlik ekibinin neredeyse yarısı son birkaç ay içinde şirketi terk etti.

Haber, birkaç eski çalışanın, şirkete ve CEO'su Sam Altman'a , özellikle yapay genel zeka gibi otonom yapay zeka biçimlerinin geliştirilmesi söz konusu olduğunda, yapay zeka risklerini ciddiye almadıkları yönünde çağrıda bulunan bir mektubu imzalamasından sadece bir hafta sonra geldi. (AGI).

Altman ayrıca, daha büyük yapay zeka modellerini düzenlemeyi amaçlayan Kaliforniya yasa tasarısını reddettiği ve yapay zeka sohbet robotu üreticisi ve araştırma laboratuvarı, AGI projesine diğer her şeyden daha fazla öncelik vermeye devam ettiği için sektördeki düzenlemenin önemi konusunda son derece yüksek sesle konuştuğu için de eleştirildi.

OpenAI'nin Güvenlik Ekibi YGK Endişeleri karşısında Uçup gitti

OpenAI'nin 'süper zeki' yapay zekanın risklerini azaltmak amacıyla 2023 yılında kurulan Superalignment ekibi büyük bir krizle karşı karşıya.

Eski ekip üyesi Daniel Kokotajlo'nun Fortune için yaptığı özel röportaja göre, son birkaç ay içinde yaklaşık 14 ekip üyesi işten ayrıldı ve geriye 16 kişilik bir çekirdek işgücü kaldı. OpenAI devam ederken Kokotajlo, göçün hızlı bir kaynamadan ziyade yavaş yavaş kaynadığını ortaya koyuyor. Kârları yapay zeka güvenliğinden önce önceliklendirmek.

“Koordineli bir şey olmadı. Bence bu sadece insanların bireysel olarak pes etmesinden kaynaklanıyor,” – Daniel Kokotajlo, eski OpenAI çalışanı

Superalignment ekibi çok çeşitli yapay zeka risk faktörlerini ele almakla görevlendirilmiş olsa da, bu istifalar muhtemelen Kokotajlo'nun OpenAI'nin, insanlardan daha iyi performans gösterebilecek oldukça otonom bir yapay zeka sistemi olan AGI'yi geliştirmeye "oldukça yakın" olduğu inancıyla uyumlu olacak. çoğu görev.

OpenAI'nin AGI arayışı, misyon beyanında açıkça ortaya konmuştur. Ancak Kokotajlo gibi şirket içindeki kişiler, misyonunun ifade ettiği gibi "tüm insanlığa" fayda sağlamak yerine, şirketin mevcut gidişatını sürdürmesi halinde, güçlü teknolojinin "benzeri görülmemiş siber saldırılar gibi" "topluma kritik zarar verme riski" oluşturabileceğine inanıyor ”veya “biyolojik silahların yaratılmasına” yardımcı olmak.

Dahası, Kokotajlo'ya göre, AGI'nin riskleri üzerine araştırma yayınlamaya çalışan Superalignment ekibinin üyeleri, OpenAI yöneticilerinin "caydırıcı etkisi" ve "OpenAI'nin iletişim ve lobicilik kanatlarının artan etkisi" ile karşı karşıya kaldı. neyin yayınlanmasının uygun olduğu konusunda.

Sam Altman Yapay Zeka Düzenlemesi Konusunda Flip Flops

Daniel Kokotajlo ve eski araştırmacı William Saunders, ayaklarıyla oy vermenin yanı sıra, geçen hafta şirketin güvenlik endişelerini kamuoyuna duyuran açık bir mektup imzaladılar.

Mektupta, yapay zeka modellerinin düzenlenmediği takdirde "halka büyük zararlar verme" potansiyeline değinildi. Ayrıca OpenAI'nin, şirketin ihbarcı koruması eksikliği, GPT-4'ü zamanından önce devreye alması, 2023'te büyük bir güvenlik ihlaliyle sonuçlanan zayıf güvenlik uygulamaları ve Ilya Sutskever'in istifası da dahil olmak üzere güvenlik konusundaki karanlık geçmişine de dikkat çektiler. Şirketin eski Güvenlik Şefi.

“Eski patronumuz Sam Altman defalarca yapay zeka düzenlemesi çağrısında bulundu. Şimdi gerçek düzenleme masadayken buna karşı çıkıyor.” – Daniel Kokotajlo ve William Saunders'ın açık mektubu

İhbarcılar ayrıca OpenAI CEO'su Sam Altman'ın yapay zeka düzenlemeleri konusundaki ikiyüzlülüğüne de dikkat çekti. Alman'ın daha fazla yapay zeka düzenlemesi yönündeki çağrılarına rağmen şirketin, geliştirilmesi 100 milyon doların üzerinde maliyete sahip yapay zeka modelleri için güvenlik testlerini zorunlu kılan bir yasa tasarısı olan SB 1047'ye karşı lobi yapmaya karar vermesinin "hayal kırıklığını" dile getirdiler.

Kokotajlo ve Saunders, yanıtını, net bir fayda sağlayacağını kabul ederek SB 1047 tasarısına uymaya karar veren yapay zeka sohbet robotu rakibi Anthropic ile bile karşılaştırdı.

OpenAI, Potansiyel Maliyetlere Rağmen AGI Konusunda Cesur

OpenAI'ye göre SB 1047'yi reddetme nedenleri iki yönlüdür. İlk olarak, yasa tasarısının geçmesi halinde şirketlerin Kaliforniya'dan ayrılacağını iddia ediyor. İkinci olarak şirket, yapay zeka gelişiminin ulusal güvenlik sonuçları nedeniyle düzenlemenin "federal düzeyde şekillendirilmesi ve uygulanması" gerektiğine inanıyor.

Bu nedenler, yapıcı olmadığı ve kötü niyetli olduğu gerekçesiyle Sauders ve Kokotajlo tarafından zaten reddedildi ve Ilya Sutskever de dahil olmak üzere birçok eski çalışan, Altman'ın yönetmelik reddinin "parlak ürünler" ve YGZ gelişiminin "güvenliğin üstünde" olmasından kaynaklandığına inanıyor. .

Information tarafından hazırlanan yakın tarihli bir rapora göre, ChatGPT yaratıcısının 2024'te yaklaşık 5 milyar dolar zarar edebileceğini ve gelecek yıl parasının tamamen tükenebileceğini ortaya koyan OpenAI, konu AGI geliştirme konusunda kararlı kalıyor. Altman daha önce bu atılımın kendilerine ne kadara mal olacağının önemli olmadığını iddia ederek Stanford eCorner'a şöyle demişti: "Yılda ister 500 milyon dolar, ister 5 milyar dolar, ister 50 milyar dolar yakalım, umurumda değil" çünkü insanlık için bazı atılımlar şöyledir: " paha biçilmez".

Şirket, önemli düzenleme çağrıları kadar kendi mali zorluklarını da göz ardı ederken, Süper İstihbarat ekibi çökse bile herhangi bir şeyin OpenAI'yi AGI'yi takip etmekten caydırması pek olası değil. OpenAI'nin AGI arayışının sonuçları henüz belirlenmemiş olsa da ChatGPT'yi kullanırken verilerinizi güvende tutmak için atabileceğiniz adımlar var.

Verileriniz üzerinde ChatGPT eğitimini nasıl durduracağınızı ve chatbot'u nasıl güvenli bir şekilde kullanacağınızı buradan öğrenin.