Metas neue Sicherheitsmaßnahmen könnten für Teenager ein zweischneidiges Schwert sein

Meta gab am 9. Januar 2024 bekannt, dass es jugendliche Nutzer schützen wird, indem es sie daran hindert, Inhalte auf Instagram und Facebook anzusehen, die das Unternehmen als schädlich erachtet, einschließlich Inhalten im Zusammenhang mit Selbstmord und Essstörungen.

Der Schritt erfolgt, da Bundes- und Landesregierungen den Druck auf Social-Media-Unternehmen erhöht haben, Sicherheitsmaßnahmen für Jugendliche bereitzustellen.

Gleichzeitig wenden sich Jugendliche in den sozialen Medien an Gleichaltrige, um Unterstützung zu erhalten, die sie anderswo nicht bekommen können. Bemühungen zum Schutz Jugendlicher könnten es unbeabsichtigt erschweren, auch für sie Hilfe zu erhalten.

Der Kongress hat in den letzten Jahren zahlreiche Anhörungen zu sozialen Medien und den Risiken für junge Menschen abgehalten.

Die CEOs von Meta, X – früher bekannt als Twitter – TikTok, Snap und Discord sollen am 31. Januar 2024 vor dem Justizausschuss des Senats über ihre Bemühungen zum Schutz Minderjähriger vor sexueller Ausbeutung aussagen.

Die Technologieunternehmen „sind endlich gezwungen, ihre Versäumnisse einzugestehen, wenn es um den Schutz von Kindern geht“, heißt es in einer Erklärung vor der Anhörung des Vorsitzenden und ranghöchsten Mitglieds des Ausschusses, der Senatoren Dick Durbin (D-Illinois) und Lindsey Graham ( RS.C.).

Ich bin ein Forscher, der Online-Sicherheit untersucht. Meine Kollegen und ich haben die Interaktionen von Teenagern in sozialen Medien und die Wirksamkeit der Bemühungen der Plattformen zum Schutz der Benutzer untersucht.

Untersuchungen zeigen, dass Jugendliche in sozialen Medien zwar Gefahren ausgesetzt sind, aber auch Unterstützung von Gleichaltrigen finden, insbesondere über Direktnachrichten.

Wir haben eine Reihe von Maßnahmen identifiziert, die Social-Media-Plattformen ergreifen könnten, um Benutzer zu schützen und gleichzeitig ihre Privatsphäre und Autonomie im Internet zu schützen.

Was Kinder erwartet

Die Verbreitung von Risiken für Jugendliche in sozialen Medien ist allgemein bekannt. Diese Risiken reichen von Belästigung und Mobbing bis hin zu schlechter psychischer Gesundheit und sexueller Ausbeutung.

Untersuchungen haben gezeigt, dass Unternehmen wie Meta wussten, dass ihre Plattformen psychische Gesundheitsprobleme verschlimmern, was dazu beitrug, dass die psychische Gesundheit junger Menschen zu einer der Prioritäten des US Surgeon General wurde.

Ein Großteil der Online-Sicherheitsforschung für Jugendliche basiert auf selbst gemeldeten Daten wie Umfragen.

Es besteht Bedarf an einer eingehenderen Untersuchung der privaten Interaktionen junger Menschen in der realen Welt und ihrer Sicht auf Online-Risiken.

Um diesem Bedarf gerecht zu werden, haben meine Kollegen und ich einen großen Datensatz der Instagram-Aktivitäten junger Menschen gesammelt, darunter mehr als 7 Millionen Direktnachrichten.

Wir haben junge Menschen gebeten, ihre eigenen Gespräche zu kommentieren und die Botschaften zu identifizieren, die bei ihnen ein Unbehagen oder Unsicherheit auslösten.

Anhand dieses Datensatzes haben wir herausgefunden, dass direkte Interaktionen für junge Menschen, die Unterstützung bei Problemen vom täglichen Leben bis hin zu psychischen Problemen suchen, von entscheidender Bedeutung sein können.

Unser Befund legt nahe, dass diese Kanäle von jungen Menschen genutzt wurden, um ihre öffentlichen Interaktionen ausführlicher zu diskutieren. Aufgrund des gegenseitigen Vertrauens in den Einrichtungen fühlten sich die Jugendlichen sicher, um Hilfe zu bitten.

Untersuchungen deuten darauf hin, dass die Vertraulichkeit von Online-Diskursen eine wichtige Rolle für die Online-Sicherheit junger Menschen spielt und gleichzeitig ein erheblicher Teil der schädlichen Interaktionen auf diesen Plattformen in Form privater Nachrichten erfolgt.

Zu den unsicheren Nachrichten, die von Benutzern in unserem Datensatz gemeldet wurden, gehörten Belästigung, sexuelle Nachrichten, sexuelle Werbung, Nacktheit, Pornografie, Hassreden und der Verkauf oder die Förderung illegaler Aktivitäten.

Allerdings ist es für Plattformen schwieriger geworden, mithilfe automatisierter Technologie Online-Risiken für Jugendliche zu erkennen und zu verhindern, da die Plattformen unter Druck gesetzt werden, die Privatsphäre der Nutzer zu schützen.

Meta hat beispielsweise eine Ende-zu-Ende-Verschlüsselung für alle Nachrichten auf seinen Plattformen implementiert, um sicherzustellen, dass der Nachrichteninhalt sicher und nur für Gesprächsteilnehmer zugänglich ist.

Außerdem verhindern die Schritte, die Meta unternommen hat, um Inhalte zu Suiziden und Essstörungen zu blockieren, diese Inhalte aus öffentlichen Beiträgen und der Suche herauszuhalten, selbst wenn der Freund eines Teenagers sie gepostet hat.

Das bedeutet, dass der Teenager, der diese Inhalte geteilt hat, ohne die Unterstützung seiner Freunde und Gleichaltrigen allein gelassen würde.

Darüber hinaus berücksichtigt die Content-Strategie von Meta nicht die unsicheren Interaktionen in privaten Gesprächen, die Jugendliche online führen.

Einen Ausgleich schaffen

Die Herausforderung besteht also darin, jüngere Benutzer zu schützen, ohne in ihre Privatsphäre einzugreifen. Zu diesem Zweck haben wir eine Studie durchgeführt, um herauszufinden, wie wir mithilfe minimaler Daten unsichere Nachrichten erkennen können.

Wir wollten verstehen, wie verschiedene Merkmale oder Metadaten riskanter Gespräche wie die Länge des Gesprächs, die durchschnittliche Antwortzeit und die Beziehungen der Gesprächsteilnehmer dazu beitragen können, dass Programme für maschinelles Lernen diese Risiken erkennen.

Frühere Untersuchungen haben beispielsweise gezeigt, dass riskante Gespräche dazu neigen, kurz und einseitig zu sein, beispielsweise wenn Fremde unerwünschte Annäherungsversuche machen.

Wir haben festgestellt, dass unser maschinelles Lernprogramm in 87 % der Fälle unsichere Konversationen identifizieren konnte, indem es nur Metadaten für die Konversationen verwendete.

Die Analyse der Texte, Bilder und Videos der Gespräche ist jedoch der effektivste Ansatz, um Art und Schwere des Risikos zu ermitteln.

Diese Ergebnisse unterstreichen die Bedeutung von Metadaten für die Unterscheidung unsicherer Gespräche und könnten als Leitfaden für Plattformen zur Gestaltung der Risikoerkennung durch künstliche Intelligenz verwendet werden.

Die Plattformen könnten hochrangige Funktionen wie Metadaten nutzen, um schädliche Inhalte zu blockieren, ohne diese Inhalte zu scannen und dadurch die Privatsphäre der Benutzer zu verletzen.

Beispielsweise würde ein hartnäckiger Belästiger, dem ein junger Mensch aus dem Weg gehen möchte, Metadaten – wiederholte, kurze, einseitige Kommunikation zwischen nicht verbundenen Benutzern – erstellen, die ein KI-System verwenden könnte, um den Belästiger zu blockieren.

Im Idealfall würden junge Menschen und ihre Betreuer per Design die Möglichkeit erhalten, Verschlüsselung, Risikoerkennung oder beides zu aktivieren, damit sie selbst über Kompromisse zwischen Privatsphäre und Sicherheit entscheiden können.

Empfehlungen der Redaktion:

• KI-Herausforderungen im Jahr 2024: Erkenntnisse von drei führenden KI-Forschern
• Menschen und ChatGPT spiegeln gemeinsame Sprachmuster wider – so geht's
• ChatGPT-KI-Händler: Zu schnell, zu wütend, zu riskant?
• ChatGPT und andere Sprach-KIs sind genauso irrational wie wir

Anmerkung des Herausgebers: Dieser Artikel wurde von Afsaneh Razi, Assistenzprofessorin für Informationswissenschaft an der Drexel University, verfasst und von The Conversation unter einer Creative Commons-Lizenz erneut veröffentlicht . Lesen Sie den Originalartikel.