AGIに対する懸念が高まり、OpenAIの安全チームの半数が辞任

内部告発者で元従業員のダニエル・ココタジロ氏によると、OpenAIの安全チームのほぼ半数が過去数カ月で会社を去ったという。

このニュースは、数人の元従業員が、特に汎用人工知能のような自律型AIの開発に関して、人工知能のリスクを真剣に受け止めていないとして同社とそのCEOであるサム・アルトマンを非難する書簡に署名してからわずか1週間後に発表された。 (AGI)。

アルトマン氏はまた、AIチャットボットメーカーと研究所が他のすべてに比べてAGIプロジェクトを優先し続けているため、業界における規制の重要性について非常に声高に主張しながら、より大規模なAIモデルの規制を目的としたカリフォルニア州の法案を拒否したことでも批判されている。

OpenAIの安全チームはAGIの懸念を理由に辞任する

「超インテリジェント」AI のリスクを軽減するために 2023 年に設立された OpenAI の Superalignment チームは、大きな危機に直面しています。

元チームメンバーのダニエル・ココタジロ氏がフォーチュン誌に独占インタビューしたところによると、過去数カ月間で約14人のチームメンバーが辞め、残りの要員は16名となった。流出は急激に沸騰するというよりは、ゆっくりと煮詰めていくものだったとココタジロ氏は明らかにする。 AIの安全性よりも利益を優先する。

「それは調整されたものではありませんでした。それは人々が個別に諦めているだけだと思います」 –ダニエル・ココタジロ、元 OpenAI スタッフ

Superalignment チームは幅広い AI リスク要因に対処する任務を負っているが、今回の辞任は、OpenAI が人間を上回るパフォーマンスを発揮する高度に自律的な AI システムである AGI の開発に「かなり近づいている」というココタジロ氏の信念と一致する可能性が高い。ほとんどのタスク。

OpenAI の AGI の追求は、そのミッション ステートメントで明らかにされています。しかし、ココタジロ氏のような企業内部関係者は、同社の使命が掲げる「全人類」に利益をもたらすのではなく、もし同社が現在の軌道を続ければ、強力なテクノロジーが「前例のないサイバー攻撃」などの「社会に重大な損害を与えるリスク」を引き起こす可能性があると考えている。 」あるいは「生物兵器の製造」を支援する。

さらに、ココタジロ氏によると、AGIのリスクに関する研究を発表しようとしたスーパーアライメントチームのメンバーは、OpenAI幹部からの「萎縮効果」と「OpenAIのコミュニケーション部門とロビー活動部門による影響力の増大」に直面したという。公開するのが適切なことについて。

サム・アルトマン、AI規制について語る

自らの足で投票することに加えて、ダニエル・ココタジロ氏と同じく元研究員のウィリアム・サンダース氏は先週、セキュリティ上の懸念について同社を公に非難する公開書簡に署名した。

彼らは書簡の中で、AIモデルが規制されないまま放置されると「公衆に壊滅的な被害」を引き起こす可能性について言及した。彼らはまた、内部告発者保護の欠如、 GPT-4の時期尚早な展開、 2023年に大規模なセキュリティ侵害をもたらした精彩の欠如したセキュリティ慣行、イリヤ・サツケヴァー氏の辞任など、安全性に関してOpenAIの疑わしい実績を指摘した。 、企業の元セキュリティ責任者。

「当社の元上司であるサム・アルトマン氏は繰り返しAI規制を求めてきました。現在、実際の規制が検討されているが、彼はそれに反対している。」 –ダニエル・ココタジロ氏とウィリアム・サンダース氏が公開書簡で述べた

注目すべきは、内部告発者らは、AI規制に関してOpenAIのCEOであるサム・アルトマンの偽善にも注目を集めたことだ。彼らは、アルマン氏が繰り返しAI規制の強化を求めていたにもかかわらず、同社がSB 1047（開発に1億ドル以上かかるAIモデルの安全性テストを義務付ける法案）に反対するロビー活動を決定したことに「失望」を表明した。

ココタジロ氏とサンダース氏は、純利益があることに同意したため、SB 1047法案に準拠することを決定したAIチャットボットの競合企業であるAnthropicとその対応を比較さえした。

OpenAI は潜在的なコストにもかかわらず、AGI に熱心に取り組んでいます

OpenAI によると、SB 1047 を拒否する理由は 2 つあります。まず、法案が可決されれば企業はカリフォルニアから撤退すると主張している。第二に、同社は、AI 開発による国家安全保障への影響を考慮して、規制は「連邦レベルで形成および実施」されるべきであると考えています。

これらの理由は非建設的で悪意があるとしてサウダース氏とココタジロ氏によってすでに却下されており、イリヤ・サツケヴァー氏を含む多くの元従業員は、アルトマン氏の規制拒否は「光沢のある製品」とAGIの開発を「安全性よりも優先」することに起因していると信じている。 。

Information による最近のレポートでは、ChatGPT の作成者が 2024 年に約 50 億ドルの損失を出し、翌年には資金が完全になくなる可能性があることが明らかになりましたが、OpenAI は AGI の開発に関しては毅然とした姿勢を保っています。アルトマン氏は以前、スタンフォードeコーナーに対し、「人類にとっての画期的な進歩には、どれだけの費用がかかるかは問題ではない」と主張し、「年間5億ドル、50億ドル、あるいは500億ドルを消費しようが、私は気にしない」と語った。プライスレス」。

同社は規制を求める重要な要求と同じくらい自社の財務上の課題も無視しているため、スーパーインテリジェンスチームが崩壊したとしても、OpenAIがAGIを追求することを阻止する何かが起こる可能性は低い。 OpenAI の AGI 探索の結果はまだ決定されていませんが、ChatGPT を使用する際にデータを安全に保つために実行できる手順はいくつかあります。

データに対する ChatGPT トレーニングを停止する方法と、チャットボットを安全に使用する方法については、こちらをご覧ください。