由於對 AGI 的擔憂加劇，OpenAI 一半安全團隊退出

據舉報人、前員工 Daniel Kokotajlo 稱，OpenAI 安全團隊近一半的人員在過去幾個月中已經離開了公司。

就在這一消息發布一周前，幾名前員工簽署了一封信，譴責該公司及其首席執行官薩姆·奧爾特曼(Sam Altman )未能認真對待人工智能風險，特別是在開發通用人工智慧等自主形式的人工智慧方面。

Altman 也因拒絕加州一項旨在監管更大人工智慧模型的法案而受到批評，同時極其直言不諱地強調行業監管的重要性，因為這家人工智慧聊天機器人製造商和研究實驗室繼續將其AGI項目置於其他一切之上。

OpenAI 的安全團隊因 AGI 擔憂而像蒼蠅一樣落後

OpenAI 的 Superalignment 團隊成立於 2023 年，旨在減輕「超級智慧」AI 的風險，但目前正面臨重大危機。

根據前團隊成員Daniel Kokotajlo 接受《財星》雜誌的獨家採訪，過去幾個月約有14 名團隊成員辭職，只剩下16 名骨幹人員。醞釀的，而不是迅速沸騰的。

「這不像是一個協調的事情。我認為這只是人們個人的放棄」——Daniel Kokotajlo，前 OpenAI 員工

雖然 Superalignment 團隊的任務是處理各種人工智慧風險因素，但這些辭職可能與 Kokotajlo 的信念一致，即 OpenAI「相當接近」開發 AGI——一種高度自治的人工智慧系統，能夠在大多數任務中完成。

OpenAI 對 AGI 的追求在其使命宣言中得到了明確的體現。然而，像Kokotajlo 這樣的公司內部人士認為，如果公司繼續按照目前的發展軌跡發展下去，這項強大的技術可能會帶來“對社會造成嚴重危害的風險”，例如“前所未有的網路攻擊”，而不是像其使命所宣揚的那樣造福「全人類」。

更重要的是，根據 Kokotajlo 的說法，試圖發表有關 AGI 風險研究的 Superalignment 團隊成員面臨著來自 OpenAI 高管的「寒蟬效應」以及「OpenAI 的傳播和遊說部門的影響力越來越大」。內容適合發布。

Sam Altman 人字拖談人工智慧監管

除了用腳投票之外，Daniel Kokotajlo 和前研究員 William Saunders 上週還簽署了一封公開信，公開呼籲該公司關注安全問題

他們在信中指出，如果不加以監管，人工智慧模型可能會對「公眾造成災難性傷害」。他們也指出 OpenAI 在安全方面的不良記錄，包括該公司缺乏舉報人保護、過早部署GPT-4 、其安全實踐乏善可陳，導致2023 年出現重大安全漏洞，以及 Ilya Sutskever 的辭職，該公司前任安全主管。

「我們的前老闆薩姆·奧爾特曼（Sam Altman）多次呼籲對人工智慧進行監管。現在，當實際監管擺在桌面上時，他表示反對。 ——丹尼爾·科科塔洛和威廉·桑德斯在公開信中

值得注意的是，舉報人也提請人們注意OpenAI 執行長 Sam Altman 在人工智慧監管方面的虛偽。他們對該公司決定遊說反對 SB 1047 表示“失望”，該法案要求對開發成本超過 1 億美元的人工智慧模型進行安全測試，儘管阿爾曼一再呼籲加強人工智慧監管。

Kokotajlo 和 Saunders 甚至將其反應與 AI 聊天機器人競爭對手Anthropic進行了比較，Anthropic 決定遵守 SB 1047 法案，因為他們認為該法案具有淨收益。

儘管有潛在成本，OpenAI 仍一心致力於 AGI

據 OpenAI 稱，其拒絕 SB 1047 的原因有兩個。首先，它聲稱如果該法案通過，該公司將離開加州。其次，該公司認為，由於人工智慧發展對國家安全的影響，監管應該「在聯邦層級制定和實施」。

這些理由已經被Sauders 和Kokotajlo 駁回，因為它們缺乏建設性且不誠實，而包括Ilya Sutskever 在內的許多前員工認為，Altman 的監管拒絕源於“閃亮的產品”，以及AGI 的發展“高於安全” 。

儘管《Information》最近的一份報告顯示，ChatGPT 的創建者可能會在 2024 年損失約 50 億美元，並在明年完全耗盡資金，但 OpenAI 在開發 AGI 方面仍然堅定不移。奧特曼此前曾聲稱，這一突破將花費他們多少錢並不重要，他對史丹佛大學eCorner 表示，“無論我們每年燒掉5 億美元、50 億美元還是500 億美元，我都不在乎”，因為人類的一些突破是「無價」。

由於該公司忽視了自身的財務挑戰以及重要的監管呼籲，因此不太可能有任何事情阻止 OpenAI 追求 AGI——即使其超級智慧團隊已經崩潰。雖然 OpenAI 的 AGI 探索的後果尚未確定，但您可以在使用 ChatGPT 時採取一些步驟來確保資料安全。

了解如何停止對您的資料進行 ChatGPT 訓練，並了解如何安全地使用聊天機器人。