Половина команды безопасности OpenAI ушла из-за опасений по поводу установки AGI

По словам информатора и бывшего сотрудника Дэниела Кокотайло, почти половина команды безопасности OpenAI покинула компанию за последние несколько месяцев.

Эта новость появилась всего через неделю после того, как несколько бывших сотрудников подписали письмо, в котором содержится призыв к компании и ее генеральному директору Сэму Альтману за неспособность серьезно отнестись к рискам, связанным с искусственным интеллектом, особенно когда речь идет о разработке автономных форм ИИ, таких как общий искусственный интеллект. (АГИ).

Альтмана также критиковали за то, что он отверг калифорнийский законопроект, направленный на регулирование более крупных моделей искусственного интеллекта, при этом он чрезвычайно открыто заявлял о важности регулирования в отрасли, поскольку производитель чат-ботов и исследовательская лаборатория искусственного интеллекта продолжают отдавать приоритет своему проекту AGI над всем остальным.

Команда безопасности OpenAI разлетелась как мухи из-за проблем с AGI

Команда OpenAI Superalignment, созданная в 2023 году для снижения рисков «сверхразумного» ИИ, столкнулась с серьезным кризисом.

Согласно эксклюзивному интервью бывшего члена команды Дэниела Кокотайло для журнала Fortune, около 14 членов команды уволились за последние несколько месяцев, в результате чего осталось 16 человек. отдавать приоритет прибыли над безопасностью ИИ.

«Это не было чем-то скоординированным. Я думаю, что люди просто сдаются по отдельности», — Дэниел Кокотайло, бывший сотрудник OpenAI.

Хотя команде Superalignment поручено обрабатывать широкий спектр факторов риска ИИ, эти отставки, вероятно, связаны с убеждением Кокотайло в том, что OpenAI «довольно близок» к разработке AGI — высокоавтономной системы ИИ, которая сможет превзойти людей в производительности. большинство задач.

Стремление OpenAI к AGI изложено в заявлении о ее миссии. Однако вместо того, чтобы принести пользу «всему человечеству», как гласит ее миссия, инсайдеры компании, такие как Кокотайло, считают, что, если компания продолжит идти по нынешнему пути, мощная технология может создать «риск нанесения критического вреда обществу», например, «беспрецедентные кибератаки». или содействие в «создании биологического оружия».

Более того, по словам Кокотайло, члены команды Superalignment, которые попытались опубликовать исследования о рисках AGI, столкнулись с «сдерживающим эффектом» со стороны руководителей OpenAI и «растущим влиянием со стороны коммуникационного и лоббистского крыла OpenAI». над тем, что уместно публиковать.

Сэм Альтман шлепанцы о регулировании искусственного интеллекта

Помимо голосования ногами, Дэниел Кокотайло и бывший исследователь Уильям Сондерс подписали на прошлой неделе открытое письмо, публично призывая компанию к беспокойству по поводу безопасности.

В письме они говорили о том, что модели ИИ могут нанести «катастрофический вред обществу», если их оставить без регулирования. Они также отметили сомнительный послужной список OpenAI, когда дело касается безопасности, в том числе отсутствие у компании защиты информаторов, преждевременное внедрение GPT-4 , слабые методы обеспечения безопасности, которые привели к серьезному нарушению безопасности в 2023 году , а также отставку Ильи Суцкевера. , бывший начальник службы безопасности компании.

«Сэм Альтман, наш бывший босс, неоднократно призывал к регулированию ИИ. Теперь, когда речь идет о реальном регулировании, он выступает против него». – Дэниел Кокотайло и Уильям Сондерс в открытом письме

Примечательно, что информаторы также обратили внимание на лицемерие генерального директора OpenAI Сэма Альтмана, когда дело касается регулирования ИИ. Они выразили «разочарование» тем, что компания решила лоббировать SB 1047 — предложенный законопроект, который требует проведения испытаний на безопасность моделей ИИ, разработка которых обходится более чем в 100 миллионов долларов, — несмотря на неоднократные призывы Алмана к ужесточению регулирования ИИ.

Кокотайло и Сондерс даже сравнили его реакцию с Anthropic , конкурентом чат-бота с искусственным интеллектом, который решил подчиниться законопроекту SB 1047, поскольку они согласились, что он принесет чистую выгоду.

OpenAI одержима AGI, несмотря на потенциальные затраты

По данным OpenAI, причины отклонения SB 1047 двояки. Во-первых, он утверждает, что компании покинут Калифорнию, если законопроект будет принят. Во-вторых, компания считает, что регулирование должно «формироваться и осуществляться на федеральном уровне» из-за последствий разработки ИИ для национальной безопасности.

Эти причины уже были отвергнуты Саудерсом и Кокотайло как неконструктивные и недобросовестные, а многие бывшие сотрудники, в том числе Илья Суцкевер, полагают, что отказ Альтмана от регулирования обусловлен тем, что он ставит «блестящие продукты» и развитие AGI «выше безопасности». .

Несмотря на недавний отчет Information, в котором говорится, что создатель ChatGPT может понести убытки в размере около 5 миллиардов долларов в 2024 году и полностью исчерпать деньги в следующем году, OpenAI остается стойким, когда дело доходит до разработки AGI. Альтман ранее заявлял, что не имеет значения, сколько им будет стоить этот прорыв, говоря Stanford eCorner: «Сжигаем ли мы 500 миллионов долларов, 5 миллиардов долларов или 50 миллиардов долларов в год, меня это не волнует», поскольку некоторые прорывы для человечества « бесценно».

Поскольку компания игнорирует как собственные финансовые проблемы, так и важные призывы к регулированию, маловероятно, что что-то удержит OpenAI от реализации AGI – даже несмотря на то, что ее команда Superintelligence разваливается. Хотя последствия квеста OpenAI AGI еще не определены, есть шаги, которые вы можете предпринять, чтобы обеспечить безопасность своих данных при использовании ChatGPT.

Узнайте, как остановить обучение ChatGPT на ваших данных, и узнайте , как безопасно использовать чат-бота здесь .