由于对 AGI 的担忧加剧，OpenAI 一半安全团队退出

据举报人、前员工 Daniel Kokotajlo 称，OpenAI 安全团队近一半的人员在过去几个月中已经离开了公司。

就在这一消息发布一周前，几名前员工签署了一封信，谴责该公司及其首席执行官萨姆·奥尔特曼(Sam Altman )未能认真对待人工智能风险，特别是在开发通用人工智能等自主形式的人工智能方面。 （通用人工智能）。

Altman 还因拒绝加州一项旨在监管更大人工智能模型的法案而受到批评，同时极其直言不讳地强调行业监管的重要性，因为这家人工智能聊天机器人制造商和研究实验室继续将其AGI 项目置于其他一切之上。

OpenAI 的安全团队因 AGI 担忧而像苍蝇一样掉队

OpenAI 的 Superalignment 团队成立于 2023 年，旨在减轻“超级智能”AI 的风险，但目前正面临重大危机。

根据前团队成员 Daniel Kokotajlo 接受《财富》杂志的独家采访，过去几个月约有 14 名团队成员辞职，只剩下 16 名骨干人员。 Kokotajlo 透露，随着 OpenAI 的继续，这种离开是慢慢酝酿的，而不是迅速沸腾的。将利润置于人工智能安全之上。

“这不像是一个协调的事情。我认为这只是人们个人的放弃”——Daniel Kokotajlo，前 OpenAI 员工

虽然 Superalignment 团队的任务是处理各种人工智能风险因素，但这些辞职可能与 Kokotajlo 的信念一致，即 OpenAI“相当接近”开发 AGI——一种高度自治的人工智能系统，能够在大多数任务。

OpenAI 对 AGI 的追求在其使命宣言中得到了明确的体现。然而，像 Kokotajlo 这样的公司内部人士认为，如果公司继续按照目前的发展轨迹发展下去，这项强大的技术可能会带来“对社会造成严重危害的风险”，例如“前所未有的网络攻击”，而不是像其使命所宣扬的那样造福“全人类”。 ”或协助“制造生物武器”。

更重要的是，根据 Kokotajlo 的说法，试图发表有关 AGI 风险研究的 Superalignment 团队成员面临着来自 OpenAI 高管的“寒蝉效应”以及“OpenAI 的传播和游说部门的影响力越来越大”。讨论什么内容适合发布。

Sam Altman 人字拖谈人工智能监管

除了用脚投票之外，Daniel Kokotajlo 和前研究员 William Saunders 上周还签署了一封公开信，公开呼吁该公司关注安全问题

他们在信中指出，如果不加监管，人工智能模型可能会对“公众造成灾难性伤害”。他们还指出 OpenAI 在安全方面的不良记录，包括该公司缺乏举报人保护、过早部署GPT-4 、其安全实践乏善可陈，导致2023 年出现重大安全漏洞，以及 Ilya Sutskever 的辞职，该公司前任安全主管。

“我们的前老板萨姆·奥尔特曼（Sam Altman）多次呼吁对人工智能进行监管。现在，当实际监管摆在桌面上时，他表示反对。” ——丹尼尔·科科塔洛和威廉·桑德斯在公开信中

值得注意的是，举报人还提请人们注意OpenAI 首席执行官 Sam Altman 在人工智能监管方面的虚伪。他们对该公司决定游说反对 SB 1047 表示“失望”，该法案要求对开发成本超过 1 亿美元的人工智能模型进行安全测试，尽管阿尔曼一再呼吁加强人工智能监管。

Kokotajlo 和 Saunders 甚至将其反应与 AI 聊天机器人竞争对手Anthropic进行了比较，Anthropic 决定遵守 SB 1047 法案，因为他们认为该法案具有净收益。

尽管存在潜在成本，OpenAI 仍一心致力于 AGI

据 OpenAI 称，其拒绝 SB 1047 的原因有两个。首先，它声称如果该法案通过，公司将离开加州。其次，该公司认为，由于人工智能发展对国家安全的影响，监管应该“在联邦层面制定和实施”。

这些理由已经被 Sauders 和 Kokotajlo 驳回，因为它们缺乏建设性且不诚实，而包括 Ilya Sutskever 在内的许多前员工认为，Altman 的监管拒绝源于“闪亮的产品”，以及 AGI 的发展“高于安全” 。

尽管《Information》最近的一份报告显示，ChatGPT 的创建者可能会在 2024 年损失约 50 亿美元，并在明年完全耗尽资金，但 OpenAI 在开发 AGI 方面仍然坚定不移。奥特曼此前曾声称，这一突破将花费他们多少钱并不重要，他对斯坦福大学 eCorner 表示，“无论我们每年烧掉 5 亿美元、50 亿美元还是 500 亿美元，我都不在乎”，因为人类的一些突破是“无价”。

由于该公司忽视了自身的财务挑战以及重要的监管呼吁，因此不太可能有任何事情阻止 OpenAI 追求 AGI——即使其超级智能团队已经崩溃。虽然 OpenAI 的 AGI 探索的后果尚未确定，但您可以在使用 ChatGPT 时采取一些步骤来保证数据安全。

了解如何停止对您的数据进行 ChatGPT 训练，并了解如何安全使用聊天机器人。