Setengah dari Tim Keamanan OpenAI Berhenti karena Kekhawatiran Terhadap Peningkatan AGI

Hampir setengah dari tim keselamatan OpenAI telah meninggalkan perusahaan dalam beberapa bulan terakhir, menurut pengungkap fakta dan mantan karyawan Daniel Kokotajlo.

Berita ini muncul hanya seminggu setelah beberapa mantan staf menandatangani surat yang mengecam perusahaan dan CEO-nya, Sam Altman , karena gagal mengambil risiko kecerdasan buatan dengan serius, khususnya ketika menyangkut pengembangan bentuk AI yang otonom seperti kecerdasan umum buatan. (AGI).

Altman juga dikritik karena menolak rancangan undang-undang California yang bertujuan mengatur model AI yang lebih besar, namun sangat vokal tentang pentingnya regulasi dalam industri, karena pembuat chatbot AI dan laboratorium penelitian terus memprioritaskan proyek AGI -nya di atas segalanya.

Tim Keamanan OpenAI Jatuh Seperti Lalat Karena Kekhawatiran AGI

Tim Superalignment OpenAI, yang dibentuk pada tahun 2023 untuk memitigasi risiko AI 'super cerdas', sedang menghadapi krisis besar.

Menurut wawancara eksklusif mantan anggota tim Daniel Kokotajlo untuk Fortune, sekitar 14 anggota tim telah berhenti selama beberapa bulan terakhir, meninggalkan kerangka tenaga kerja sebanyak 16 orang. Eksodus ini terjadi secara perlahan dan bukannya mendidih dengan cepat, ungkap Kokotajlo, seiring dengan berlanjutnya OpenAI untuk memprioritaskan keuntungan daripada keamanan AI.

“Ini bukan hal yang terkoordinasi. Saya pikir ini hanya karena orang-orang yang menyerah secara individual,” – Daniel Kokotajlo, mantan staf OpenAI

Meskipun tim Superalignment bertugas menangani berbagai faktor risiko AI, pengunduran diri ini kemungkinan besar sejalan dengan keyakinan Kokotajlo bahwa OpenAI “cukup dekat” untuk mengembangkan AGI – sistem AI yang sangat otonom yang akan mampu mengungguli manusia dalam hal apa pun. sebagian besar tugas.

Upaya OpenAI terhadap AGI diungkapkan dalam pernyataan misinya. Namun, alih-alih memberikan manfaat bagi “seluruh umat manusia” sebagaimana misinya, orang dalam perusahaan seperti Kokotajlo percaya bahwa jika perusahaan terus melanjutkan perkembangannya saat ini, teknologi canggih ini dapat menimbulkan “risiko kerugian kritis bagi masyarakat” seperti “serangan dunia maya yang belum pernah terjadi sebelumnya.” ” atau membantu dalam “penciptaan senjata biologis”.

Terlebih lagi, menurut Kokotajlo, anggota tim Superalignment yang berupaya mempublikasikan penelitian mengenai risiko AGI dihadapkan pada “efek mengerikan” dari para eksekutif OpenAI dan “peningkatan pengaruh dari sayap komunikasi dan lobi OpenAI” tentang apa yang pantas untuk dipublikasikan.

Sam Altman Sandal Jepit tentang Regulasi AI

Selain memberikan suara mereka sendiri, Daniel Kokotajlo, dan rekan mantan peneliti William Saunders menandatangani surat terbuka minggu lalu yang secara terbuka menyerukan perusahaan tersebut atas masalah keamanan mereka.

Dalam surat tersebut, mereka membahas potensi model AI yang dapat menyebabkan “bencana besar bagi masyarakat” jika tidak diatur. Mereka juga menunjukkan rekam jejak buruk OpenAI dalam hal keselamatan, termasuk kurangnya perlindungan pelapor perusahaan, penerapan GPT-4 yang terlalu dini, praktik keamanannya yang buruk yang mengakibatkan pelanggaran keamanan besar-besaran pada tahun 2023 , dan pengunduran diri Ilya Sutskever. , mantan Kepala Keamanan perusahaan.

“Sam Altman, mantan bos kami, telah berulang kali menyerukan regulasi AI. Sekarang, ketika peraturan sebenarnya sudah dibahas, dia menentangnya.” – Daniel Kokotajlo dan William Saunders dalam surat terbuka

Khususnya, para pelapor juga menyoroti kemunafikan CEO OpenAI Sam Altman dalam hal regulasi AI. Mereka menyatakan “kekecewaan” karena perusahaan memutuskan untuk melobi SB 1047 – rancangan undang-undang yang mewajibkan pengujian keamanan untuk model AI yang memerlukan biaya pengembangan lebih dari $100 juta – meskipun Alman berulang kali menyerukan peraturan AI yang lebih besar.

Kokotajlo dan Saunders bahkan membandingkan responsnya dengan Anthropic , pesaing chatbot AI yang memutuskan untuk mematuhi RUU SB 1047 karena mereka sepakat bahwa RUU tersebut memiliki keuntungan bersih.

OpenAI Sangat Menginginkan AGI, Meskipun Ada Potensi Biayanya

Menurut OpenAI, alasannya menolak SB 1047 ada dua. Pertama, ia mengklaim bahwa perusahaan akan meninggalkan California jika RUU tersebut disahkan. Kedua, perusahaan percaya bahwa peraturan harus “dibentuk dan diterapkan di tingkat federal”, karena implikasi keamanan nasional dari pengembangan AI.

Alasan-alasan ini telah dibantah oleh Sauders dan Kokotajlo karena tidak konstruktif dan beritikad buruk, dan banyak mantan karyawan, termasuk Ilya Sutskever, percaya bahwa penolakan peraturan Altman berasal dari menempatkan “produk mengkilap”, dan pengembangan AGI “di atas keselamatan” .

Meskipun laporan terbaru dari Informasi mengungkapkan bahwa pembuat ChatGPT mungkin mengalami kerugian sekitar $5 miliar pada tahun 2024, dan benar-benar kehabisan uang pada tahun depan, OpenAI tetap teguh dalam mengembangkan AGI. Altman sebelumnya telah mengklaim bahwa tidak peduli seberapa besar biaya yang harus dikeluarkan dari terobosan ini, ia mengatakan kepada Stanford eCorner “Apakah kita menghabiskan $500 juta, $5 miliar, atau $50 miliar per tahun, saya tidak peduli” karena beberapa terobosan bagi umat manusia adalah “ sangat berharga".

Karena perusahaan ini mengabaikan tantangan keuangannya dan juga tuntutan penting akan regulasi, kecil kemungkinannya bahwa OpenAI akan menghalangi OpenAI untuk mengejar AGI – bahkan ketika tim Superintelligence mereka runtuh. Meskipun konsekuensi dari pencarian AGI OpenAI belum ditentukan, ada beberapa langkah yang dapat Anda ambil untuk menjaga keamanan data Anda saat menggunakan ChatGPT.

Pelajari cara menghentikan pelatihan ChatGPT pada data Anda, dan cari tahu cara menggunakan chatbot dengan aman di sini .