Die Hälfte des Sicherheitsteams von OpenAI hat gekündigt, da die Besorgnis über AGI zunimmt

Laut dem Whistleblower und ehemaligen Mitarbeiter Daniel Kokotajlo hat fast die Hälfte des Sicherheitsteams von OpenAI das Unternehmen in den letzten Monaten verlassen.

Die Nachricht kommt nur eine Woche, nachdem mehrere ehemalige Mitarbeiter einen Brief unterzeichnet haben, in dem sie das Unternehmen und seinen CEO Sam Altman dafür auffordern, die Risiken der künstlichen Intelligenz nicht ernst zu nehmen, insbesondere wenn es um die Entwicklung autonomer Formen der KI wie der künstlichen allgemeinen Intelligenz geht (AGI).

Altman wurde auch dafür kritisiert, dass er einen kalifornischen Gesetzentwurf ablehnte, der auf die Regulierung größerer KI-Modelle abzielte, und gleichzeitig äußerst deutlich die Bedeutung der Regulierung in der Branche betonte, da der KI-Chatbot-Hersteller und das Forschungslabor weiterhin seinem AGI-Projekt Vorrang vor allem anderen einräumen.

Das Sicherheitsteam von OpenAI stürzt wegen AGI-Bedenken wie die Fliege

Das Superalignment-Team von OpenAI, das 2023 gegründet wurde, um die Risiken „superintelligenter“ KI zu mindern, steht vor einer großen Krise.

Laut dem Exklusivinterview des ehemaligen Teammitglieds Daniel Kokotajlo für Fortune haben in den letzten Monaten rund 14 Teammitglieder gekündigt, so dass nur noch 16 Mitarbeiter übrig sind. Der Exodus war eher ein langsames Sieden als ein schnelles Sieden, verrät Kokotajlo, während OpenAI fortfährt Gewinne über KI-Sicherheit zu stellen.

„Es war keine koordinierte Sache. Ich denke, es liegt einfach daran, dass die Leute einzeln aufgeben“, – Daniel Kokotajlo, ehemaliger OpenAI-Mitarbeiter

Während das Superalignment-Team mit der Bewältigung einer breiten Palette von KI-Risikofaktoren beauftragt ist, stehen diese Rücktritte wahrscheinlich im Einklang mit Kokotajlos Überzeugung, dass OpenAI „ziemlich nah“ an der Entwicklung von AGI ist – einem hochautonomen KI-System, das in der Lage sein wird, Menschen zu übertreffen die meisten Aufgaben.

Das Streben von OpenAI nach AGI wird in seinem Leitbild deutlich. Anstatt jedoch „der gesamten Menschheit“ zu helfen, wie es in der Mission heißt, glauben Unternehmensinsider wie Kokotajlo, dass die leistungsstarke Technologie „das Risiko schwerwiegender Schäden für die Gesellschaft“ wie „beispiellose Cyberangriffe“ darstellen könnte, wenn das Unternehmen seinen derzeitigen Kurs fortsetzt ” oder Unterstützung bei der „Herstellung biologischer Waffen“.

Darüber hinaus sahen sich laut Kokotajlo Mitglieder des Superalignment-Teams, die versucht haben, Forschungsergebnisse zu den Risiken von AGI zu veröffentlichen, einer „abschreckenden Wirkung“ seitens der OpenAI-Führungskräfte und einem „zunehmenden Einfluss der Kommunikations- und Lobbyabteilungen von OpenAI“ ausgesetzt. darüber, was zur Veröffentlichung angemessen ist.

Sam Altman dreht sich um die KI-Regulierung

Zusätzlich zur Abstimmung mit den Füßen unterzeichneten Daniel Kokotajlo und sein ehemaliger Forscherkollege William Saunders letzte Woche einen offenen Brief, in dem sie das Unternehmen öffentlich auf seine Sicherheitsbedenken aufmerksam machten

In dem Brief gingen sie auf das Potenzial ein, dass KI-Modelle „katastrophalen Schaden für die Öffentlichkeit“ anrichten könnten, wenn sie nicht reguliert würden. Sie wiesen auch auf die zwielichtige Erfolgsbilanz von OpenAI in puncto Sicherheit hin, darunter den fehlenden Whistleblower-Schutz des Unternehmens, den vorzeitigen Einsatz von GPT-4 , seine mangelhaften Sicherheitspraktiken, die 2023 zu einer großen Sicherheitslücke führten, und den Rücktritt von Ilya Sutskever , der ehemalige Sicherheitschef des Unternehmens.

„Sam Altman, unser ehemaliger Chef, hat wiederholt eine KI-Regulierung gefordert. Jetzt, wo eine tatsächliche Regulierung auf dem Tisch ist, ist er dagegen.“ – Daniel Kokotajlo und William Saunders im offenen Brief

Bemerkenswerterweise machten die Whistleblower auch auf die Heuchelei von OpenAI-CEO Sam Altman in Bezug auf die KI-Regulierung aufmerksam. Sie äußerten „Enttäuschung“ darüber, dass sich das Unternehmen dazu entschlossen hatte, Lobbyarbeit gegen SB 1047 zu betreiben – einen Gesetzentwurf, der Sicherheitstests für KI-Modelle vorschreibt, deren Entwicklung über 100 Millionen US-Dollar gekostet hat – trotz Almans wiederholter Forderungen nach einer stärkeren KI-Regulierung.

Kokotajlo und Saunders verglichen ihre Reaktion sogar mit Anthropic , einem KI-Chatbot-Konkurrenten, der sich entschied, dem SB 1047-Gesetz nachzukommen, da sie zustimmten, dass es einen Nettovorteil habe.

OpenAI ist trotz möglicher Kosten fest entschlossen, AGI zu nutzen

Laut OpenAI gibt es zwei Gründe für die Ablehnung von SB 1047. Erstens wird behauptet, dass Unternehmen Kalifornien verlassen werden, wenn das Gesetz verabschiedet wird. Zweitens ist das Unternehmen der Ansicht, dass die Regulierung aufgrund der Auswirkungen der KI-Entwicklung auf die nationale Sicherheit „auf Bundesebene gestaltet und umgesetzt werden sollte“.

Diese Gründe wurden von Sauders und Kokotajlo bereits als unkonstruktiv und in böser Absicht zurückgewiesen, und viele ehemalige Mitarbeiter, darunter Ilya Sutskever, glauben, dass Altmans Ablehnung der Regulierung darauf zurückzuführen ist, dass „glänzende Produkte“ und die Entwicklung von AGI „über die Sicherheit“ gestellt werden. .

Trotz eines aktuellen Berichts der Information, der enthüllt, dass der ChatGPT-Ersteller im Jahr 2024 Verluste in Höhe von rund 5 Milliarden US-Dollar erleiden könnte und ihm im nächsten Jahr völlig das Geld ausgeht, bleibt OpenAI standhaft, wenn es um die Entwicklung von AGI geht. Altman hat zuvor behauptet, dass es keine Rolle spielt, wie viel der Durchbruch sie kosten wird, und sagte gegenüber Stanford eCorner: „Ob wir 500 Millionen Dollar, 5 Milliarden Dollar oder 50 Milliarden Dollar pro Jahr verbrennen, ist mir egal“, da einige Durchbrüche für die Menschheit „ unbezahlbar".

Da das Unternehmen seine eigenen finanziellen Herausforderungen ebenso abtut wie wichtige Forderungen nach Regulierung, ist es unwahrscheinlich, dass irgendetwas OpenAI davon abhält, AGI zu verfolgen – selbst wenn sein Superintelligence-Team zusammenbricht. Während die Konsequenzen der AGI-Suche von OpenAI noch abzuschätzen sind, können Sie Schritte unternehmen, um Ihre Daten bei der Verwendung von ChatGPT zu schützen.

Erfahren Sie hier, wie Sie das ChatGPT-Training für Ihre Daten stoppen und wie Sie den Chatbot sicher nutzen können .