Nowe środki bezpieczeństwa Meta mogą być mieczem obosiecznym dla nastolatków

9 stycznia 2024 r. Meta ogłosiła, że ​​będzie chronić nastoletnich użytkowników, blokując im oglądanie na Instagramie i Facebooku treści, które firma uzna za szkodliwe, w tym treści związanych z samobójstwami i zaburzeniami odżywiania.

Posunięcie to następuje po tym, jak rządy federalne i stanowe zwiększyły presję na firmy z branży mediów społecznościowych, aby zapewniły nastolatkom środki bezpieczeństwa.

Jednocześnie nastolatki zwracają się do swoich rówieśników w mediach społecznościowych o wsparcie, którego nie mogą uzyskać gdzie indziej. Wysiłki mające na celu ochronę nastolatków mogą w sposób niezamierzony utrudnić im uzyskanie pomocy.

W ostatnich latach Kongres przeprowadził liczne przesłuchania na temat mediów społecznościowych i zagrożeń dla młodych ludzi.

31 stycznia 2024 r. dyrektorzy generalni Meta, X – wcześniej znanej jako Twitter – TikTok, Snap i Discord mają złożyć zeznania przed Senacką Komisją Sądownictwa w sprawie swoich wysiłków na rzecz ochrony nieletnich przed wykorzystywaniem seksualnym.

Jak wynika z oświadczenia złożonego przed przesłuchaniem przewodniczącego komisji i członka rankingu, senatorów Dicka Durbina (ze stanu Illinois) i Lindsey Graham (, firmy technologiczne „w końcu są zmuszone przyznać się do swoich niepowodzeń w zakresie ochrony dzieci”). odpowiednio R.C.).

Jestem badaczem zajmującym się bezpieczeństwem w Internecie. Razem z kolegami badaliśmy interakcje nastolatków w mediach społecznościowych i skuteczność wysiłków platform mających na celu ochronę użytkowników.

Badania pokazują, że chociaż nastolatki rzeczywiście są narażone na niebezpieczeństwa w mediach społecznościowych, znajdują także wsparcie wśród rówieśników, szczególnie za pośrednictwem bezpośrednich wiadomości.

Zidentyfikowaliśmy zestaw kroków, które platformy mediów społecznościowych mogą podjąć, aby chronić użytkowników, jednocześnie chroniąc ich prywatność i autonomię w Internecie.

Z czym borykają się dzieci

Częstość występowania zagrożeń dla nastolatków w mediach społecznościowych jest dobrze ugruntowana. Zagrożenia te obejmują molestowanie i znęcanie się, a także zły stan zdrowia psychicznego i wykorzystywanie seksualne.

Dochodzenia wykazały, że firmy takie jak Meta wiedzą, że ich platformy zaostrzają problemy ze zdrowiem psychicznym, dzięki czemu zdrowie psychiczne młodych ludzi staje się jednym z priorytetów naczelnego lekarza Stanów Zjednoczonych.

Większość badań nad bezpieczeństwem młodzieży w Internecie opiera się na danych samodzielnie zgłaszanych, takich jak ankiety.

Istnieje potrzeba dokładniejszego zbadania prywatnych interakcji młodych ludzi w świecie rzeczywistym i ich punktu widzenia na zagrożenia w Internecie.

Aby wyjść naprzeciw tej potrzebie, wraz z kolegami zebraliśmy duży zbiór danych dotyczących aktywności młodych ludzi na Instagramie, obejmujący ponad 7 milionów wiadomości bezpośrednich.

Poprosiliśmy młodych ludzi o dodawanie adnotacji do własnych rozmów i identyfikowanie przekazów, które sprawiły, że poczuli się niekomfortowo lub niebezpiecznie.

Korzystając z tego zbioru danych, odkryliśmy, że bezpośrednie interakcje mogą mieć kluczowe znaczenie dla młodych ludzi poszukujących wsparcia w różnych kwestiach, od życia codziennego po problemy ze zdrowiem psychicznym.

Z naszych ustaleń wynika, że ​​młodzi ludzie korzystali z tych kanałów w celu głębszego omawiania swoich interakcji publicznych. W oparciu o wzajemne zaufanie do ustawień nastolatki czuły się bezpiecznie prosząc o pomoc.

Badania sugerują, że prywatność dyskursu internetowego odgrywa ważną rolę w bezpieczeństwie młodych ludzi w Internecie, a jednocześnie znaczna liczba szkodliwych interakcji na tych platformach ma formę prywatnych wiadomości.

Niebezpieczne wiadomości oznaczone przez użytkowników w naszym zbiorze danych obejmowały molestowanie, wiadomości o charakterze seksualnym, nagabywanie o charakterze seksualnym, nagość, pornografię, mowę nienawiści oraz sprzedaż lub promocję nielegalnych działań.

Jednak korzystanie z zautomatyzowanej technologii do wykrywania zagrożeń dla nastolatków w Internecie i zapobiegania im stało się trudniejsze, ponieważ na platformy wywierano presję, aby chroniły prywatność użytkowników.

Na przykład Meta wdrożyła kompleksowe szyfrowanie wszystkich wiadomości na swoich platformach, aby zapewnić bezpieczeństwo treści wiadomości i dostęp do nich tylko dla uczestników rozmów.

Ponadto kroki podjęte przez Meta w celu blokowania treści o samobójstwach i zaburzeniach odżywiania uniemożliwiają umieszczanie tych treści w publicznych postach i wyszukiwarkach, nawet jeśli opublikował je znajomy nastolatka.

Oznacza to, że nastolatek, który udostępnił te treści, zostanie sam, bez wsparcia przyjaciół i rówieśników.

Ponadto strategia Meta dotycząca treści nie uwzględnia niebezpiecznych interakcji w prywatnych rozmowach nastolatków w Internecie.

Zachowując równowagę

Wyzwanie polega zatem na ochronie młodszych użytkowników bez naruszania ich prywatności. W tym celu przeprowadziliśmy badanie, aby dowiedzieć się, w jaki sposób możemy wykorzystać minimalną ilość danych do wykrywania niebezpiecznych wiadomości.

Chcieliśmy zrozumieć, w jaki sposób różne cechy lub metadane ryzykownych rozmów, takie jak długość rozmowy, średni czas odpowiedzi i relacje między uczestnikami rozmowy, mogą przyczynić się do wykrywania tych zagrożeń przez programy uczenia maszynowego.

Na przykład poprzednie badania wykazały, że ryzykowne rozmowy są zwykle krótkie i jednostronne, jak wtedy, gdy nieznajomi robią niechciane zaloty.

Odkryliśmy, że nasz program do uczenia maszynowego był w stanie zidentyfikować niebezpieczne rozmowy w 87% przypadków, korzystając wyłącznie z metadanych rozmów.

Jednak najskuteczniejszą metodą identyfikacji rodzaju i wagi ryzyka jest analiza tekstu, obrazów i filmów wideo rozmów.

Wyniki te podkreślają znaczenie metadanych w rozróżnianiu niebezpiecznych rozmów i mogą zostać wykorzystane jako wytyczne dla platform przy projektowaniu identyfikacji ryzyka związanego ze sztuczną inteligencją.

Platformy mogłyby korzystać z zaawansowanych funkcji, takich jak metadane, w celu blokowania szkodliwych treści bez skanowania tych treści i naruszania w ten sposób prywatności użytkowników.

Na przykład uporczywy sprawca nękania, którego młoda osoba chce uniknąć, wygeneruje metadane – powtarzającą się, krótką, jednostronną komunikację między niepołączonymi użytkownikami – które system sztucznej inteligencji mógłby wykorzystać do zablokowania osoby nękającej.

Idealnie byłoby, gdyby młodzi ludzie i ich opiekunowie mieli z założenia możliwość włączenia szyfrowania i wykrywania ryzyka lub obu tych funkcji, aby mogli sami decydować o kompromisie między prywatnością a bezpieczeństwem.

Zalecenia redaktorów:

• Wyzwania związane ze sztuczną inteligencją w 2024 r.: spostrzeżenia 3 czołowych badaczy sztucznej inteligencji
• Humans i ChatGPT odzwierciedlają wspólne wzorce językowe – oto jak to zrobić
• Traderzy ChatGPT AI: zbyt szybcy, zbyt wściekli, zbyt ryzykowni?
• ChatGPT i sztuczna inteligencja innych języków są tak samo irracjonalne jak my

Nota wydawcy: Ten artykuł został napisany przez Afsaneha Razi, adiunkta nauk informatycznych na Uniwersytecie Drexel i ponownie opublikowany w The Conversation na licencji Creative Commons, np. Przeczytaj oryginalny artykuł.