Meta 的新安全措施對青少年來說可能是一把雙面刃

已發表: 2024-02-11

Meta 於 2024 年 1 月 9 日宣布，將阻止青少年用戶在 Instagram 和 Facebook 上查看該公司認為有害的內容，包括與自殺和飲食失調相關的內容，從而保護青少年用戶。

此舉出台之際，聯邦和州政府加大了對社群媒體公司的壓力，要求其為青少年提供安全措施。

同時，青少年在社群媒體上向同儕尋求他們在其他地方無法獲得的支持。保護青少年的努力可能會無意中讓他們更難獲得幫助。

近年來，國會就社群媒體和年輕人面臨的風險舉行了多次聽證會。

Meta、X（以前稱為 Twitter）、TikTok、Snap 和 Discord 的執行長計劃於 2024 年 1 月 31 日在參議院司法委員會作證，講述他們為保護未成年人免受性剝削所做的努力。

根據委員會主席兼高級成員參議員迪克·德賓（伊利諾伊州民主黨人）和林賽·格雷厄姆在聽證會之前的聲明，科技公司「最終被迫承認自己在保護兒童方面的失敗」。 RS.C.），分別。

我是一名研究網路安全的研究員。我和我的同事一直在研究青少年社群媒體互動以及平台保護使用者的有效性。

研究表明，雖然青少年確實在社群媒體上面臨危險，但他們也能找到同儕的支持，特別是透過直接訊息傳遞。

我們已經確定了社群媒體平台可以採取的一系列步驟來保護用戶，同時也保護他們的線上隱私和自主權。

孩子麵臨著什麼

青少年在社群媒體上普遍面臨的風險是眾所周知的。這些風險包括騷擾和霸凌、心理健康狀況不佳和性剝削等。

調查顯示，Meta 等公司知道他們的平台會加劇心理健康問題，使青少年心理健康成為美國衛生局局長的優先事項之一。

在社群媒體時代，青少年的心理健康狀況一直在惡化。

許多青少年網路安全研究來自自我報告的數據，例如調查。

有必要對年輕人現實世界的私人互動以及他們對網路風險的看法進行更多調查。

為了滿足這項需求，我和我的同事收集了大量年輕人 Instagram 活動的資料集，其中包括超過 700 萬封私訊。

我們要求年輕人對自己的對話進行註釋，並找出讓他們感到不舒服或不安全的資訊。

使用該資料集，我們發現直接互動對於年輕人在日常生活和心理健康問題等問題上尋求支持至關重要。

我們的研究結果表明，年輕人利用這些管道更深入地討論他們的公共互動。基於環境中的相互信任，青少年在尋求幫助時感到安全。

研究表明，網路話語隱私對於年輕人的網路安全起著重要作用，同時這些平台上相當多的有害互動是以私人訊息的形式出現的。

我們的資料集中用戶標記的不安全訊息包括騷擾、性訊息、性誘惑、裸體、色情、仇恨言論以及銷售或宣傳非法活動。

然而，由於平檯面臨保護用戶隱私的壓力，因此平台使用自動化技術來檢測和預防青少年的線上風險變得更加困難。

例如，Meta 對其平台上的所有訊息實施了端對端加密，以確保訊息內容安全且只能由對話參與者存取。

此外，Meta 採取的阻止自殺和飲食失調內容的措施使這些內容不會出現在公共貼文和搜尋中，即使青少年的朋友發布了這些內容也是如此。

這意味著分享該內容的青少年將在沒有朋友和同儕支持的情況下獨自一人。

此外，Meta 的內容策略並未解決青少年線上私人對話中的不安全互動問題。

因此，面臨的挑戰是在不侵犯年輕用戶隱私的情況下保護他們。為此，我們進行了一項研究，以了解如何使用最少的數據來檢測不安全的訊息。

我們希望了解風險對話的各種特徵或元資料（例如對話長度、平均回應時間和對話參與者的關係）如何有助於機器學習程式檢測這些風險。

例如，先前的研究表明，有風險的對話往往簡短且片面，就像陌生人做出不受歡迎的舉動一樣。

我們發現，我們的機器學習程式僅使用對話元資料就能在 87% 的情況下辨識不安全對話。

然而，分析對話的文字、圖像和影片是識別風險類型和嚴重程度最有效的方法。

這些結果凸顯了元資料對於區分不安全對話的重要性，可以作為平台設計人工智慧風險識別的指南。

這些平台可以使用元資料等進階功能來阻止有害內容，而不掃描該內容，從而侵犯使用者的隱私。

例如，年輕人想要避免的持續騷擾者會產生元數據——未連接的用戶之間重複的、簡短的、片面的通訊——人工智慧系統可以用它來阻止騷擾者。

理想情況下，年輕人及其照護者在設計上可以選擇開啟加密、風險檢測或兩者兼而有之，這樣他們就可以在隱私和安全之間做出權衡。

編輯推薦：

編者註：本文由德雷塞爾大學資訊科學助理教授 Afsaneh Razi 撰寫，並根據知識共享授權從 The Conversation 重新發布。 閱讀原文。