OpenAI 안전팀 절반, AGI 탑재 우려로 사임

내부 고발자이자 전 직원인 다니엘 코코타일로(Daniel Kokotajlo)에 따르면 OpenAI 안전팀의 거의 절반이 지난 몇 달 동안 회사를 떠났습니다.

이 소식은 여러 전직 직원이 회사와 CEO 샘 알트먼(Sam Altman)이 특히 인공 일반 지능(AI)과 같은 자율 형태의 AI 개발과 관련하여 인공 지능 위험을 심각하게 받아들이지 않았다는 이유로 편지에 서명한 지 불과 일주일 만에 나온 것입니다. (AGI).

Altman은 또한 AI 챗봇 제조업체이자 연구소가 다른 모든 것보다 AGI 프로젝트를 계속 우선시함에 따라 업계 규제의 중요성에 대해 극도로 목소리를 높이면서 더 큰 AI 모델을 규제하기 위한 캘리포니아 법안을 거부했다는 비판을 받았습니다.

OpenAI의 안전 팀은 AGI 문제에 대해 파리처럼 떨어졌습니다.

'초지능' AI의 위험성을 완화하기 위해 2023년 창설된 OpenAI의 Superalignment 팀은 큰 위기에 직면해 있습니다.

Fortune과의 전 팀원 Daniel Kokotajlo의 단독 인터뷰에 따르면 지난 몇 달 동안 약 14명의 팀원이 그만 두어 16명의 인력이 남았습니다. OpenAI가 계속됨에 따라 대탈출은 급격한 끓기보다는 천천히 끓어오르는 과정이었다고 Kokotajlo는 밝혔습니다. AI 안전보다 이익을 우선시합니다.

“조율된 일이 아니었어요. 내 생각엔 사람들이 개인적으로 포기하는 것 같아요.” – Daniel Kokotajlo, 전 OpenAI 직원

Superalignment 팀은 광범위한 AI 위험 요소를 처리하는 임무를 맡고 있지만, 이러한 사임은 OpenAI가 인간을 능가할 수 있는 고도로 자율적인 AI 시스템인 AGI 개발에 "상당히 가깝다"는 Kokotajlo의 믿음과 일치할 가능성이 높습니다. 대부분의 작업.

OpenAI의 AGI 추구는 사명 선언문에 명시되어 있습니다. 그러나 Kokotajlo와 같은 회사 내부자는 사명이 말하는 "인류 전체"에 이익을 주는 대신 회사가 현재의 궤적을 계속한다면 강력한 기술이 "전례 없는 사이버 공격"과 같은 "사회에 심각한 해를 끼칠 위험"을 초래할 수 있다고 믿습니다. "또는 "생물학적 무기 제작"을 지원합니다.

더욱이 Kokotajlo에 따르면 AGI의 위험에 대한 연구를 발표하려고 시도한 Superalignment 팀의 구성원은 OpenAI 경영진의 "냉각 효과"와 "OpenAI의 커뮤니케이션 및 로비 날개에 의한 영향력 증가"에 직면했습니다. 출판하기에 적합한 것에 대해.

Sam Altman이 AI 규제에 대해 논하다

발로 투표하는 것 외에도 Daniel Kokotajlo와 동료 전 연구원 William Saunders는 지난 주 보안 문제에 대해 공개적으로 회사를 촉구하는 공개 서한에 서명했습니다.

서신에서 그들은 AI 모델이 규제되지 않은 채 방치될 경우 "대중에게 치명적인 피해"를 초래할 수 있는 가능성을 언급했습니다. 그들은 또한 회사의 내부 고발자 보호 부족, GPT-4 의 조기 배포, 2023년에 주요 보안 중단 을 초래한 부진한 보안 관행, Ilya Sutskever의 사임을 포함하여 안전과 관련된 OpenAI의 그늘진 기록을 지적했습니다. , 회사의 전 보안 책임자.

“우리의 전 상사인 샘 알트먼(Sam Altman)은 반복적으로 AI 규제를 요구해왔습니다. 이제 실제 규제가 논의되면 그는 반대한다”고 말했다. – Daniel Kokotajlo와 William Saunders의 공개 서한

특히, 내부고발자들은 AI 규제와 관련해 OpenAI CEO 샘 알트먼(Sam Altman)의 위선에도 주목했다. 그들은 Alman이 더 큰 AI 규제를 요구했음에도 불구하고 개발 비용이 1억 달러가 넘는 AI 모델에 대한 안전 테스트를 의무화하는 법안인 SB 1047에 대해 회사가 로비하기로 결정한 것에 대해 "실망"을 표명했습니다.

Kokotajlo와 Saunders는 순 이익이 있다는 데 동의하여 SB 1047 법안을 준수하기로 결정한 AI 챗봇 경쟁업체인 Anthropic 과의 반응을 비교하기도 했습니다.

OpenAI는 잠재적인 비용에도 불구하고 AGI에 열중하고 있습니다

OpenAI에 따르면 SB 1047을 거부하는 이유는 두 가지입니다. 첫째, 법안이 통과되면 기업들이 캘리포니아를 떠날 것이라고 주장합니다. 둘째, 회사는 AI 개발이 국가 안보에 미치는 영향으로 인해 규제가 "연방 차원에서 형성되고 구현"되어야 한다고 믿습니다.

Sauders와 Kokotajlo는 이러한 이유를 건설적이지 않고 악의적이라는 이유로 이미 기각했으며 Ilya Sutskever를 포함한 많은 전직 직원들은 Altman의 규제 거부가 "반짝이는 제품"과 AGI 개발을 "안전보다 우선"하는 데서 비롯된다고 믿습니다. .

ChatGPT 제작자가 2024년에 약 50억 달러의 손실을 입고 내년에 돈이 완전히 고갈될 수 있다는 정보의 최근 보고서에도 불구하고 OpenAI는 AGI 개발에 있어서 확고한 태도를 유지하고 있습니다. Altman은 이전에 Stanford eCorner에게 "우리가 연간 5억 달러, 50억 달러 또는 500억 달러를 소모하든 상관하지 않습니다"라고 말하면서 돌파구에 얼마나 많은 비용이 드는지는 중요하지 않다고 주장했습니다. 인류를 위한 일부 돌파구는 " 아주 재미있는".

회사가 규제에 대한 중요한 요구만큼 자체 재정적 문제를 일축함에 따라 Superintelligence 팀이 무너지더라도 OpenAI가 AGI를 추구하는 것을 막을 가능성은 거의 없습니다. OpenAI의 AGI 퀘스트의 결과는 아직 결정되지 않았지만 ChatGPT를 사용할 때 데이터를 안전하게 유지하기 위해 취할 수 있는 조치가 있습니다.

데이터에 대한 ChatGPT 교육을 중지하는 방법을 알아보고 여기에서 챗봇을 안전하게 사용하는 방법을 알아보세요.