メタの新たな安全対策は十代の若者にとって諸刃の剣になる可能性がある

Metaは2024年1月9日、自殺や摂食障害に関連したコンテンツなど、同社が有害と判断したInstagramやFacebook上のコンテンツの閲覧をブロックし、10代のユーザーを保護すると発表した。

この動きは、連邦政府と州政府がソーシャルメディア企業に対し、十代の若者たちに安全対策を講じるよう圧力を強めている中で行われた。

同時に、十代の若者たちは、他では得られないサポートを求めてソーシャルメディア上の仲間に頼ります。 十代の若者たちを守ろうとする努力が、図らずも彼らにとっても助けを得るのを難しくしてしまう可能性があります。

議会は近年、ソーシャルメディアと若者へのリスクについて何度も公聴会を開催している。

Meta、X（以前はTwitterとして知られていた）、TikTok、Snap、DiscordのCEOは、未成年者を性的搾取から守る取り組みについて、2024年1月31日に上院司法委員会で証言する予定だ。

同委員会の委員長で有力メンバーであるディック・ダービン上院議員（民主党、イリノイ州）とリンジー・グラハム上院議員が公聴会に先立って発表した声明によると、ハイテク企業は「子供たちを守るという点で、ついに自らの失敗を認めざるを得なくなった」（ RS.C.）、それぞれ。

私はオンラインの安全性を研究する研究者です。 私と同僚は、10 代のソーシャルメディアでのやり取りと、ユーザーを保護するためのプラットフォームの取り組みの有効性を研究してきました。

調査によると、十代の若者たちはソーシャルメディア上で危険に直面している一方で、特にダイレクトメッセージを通じて仲間からのサポートも得ていることがわかっています。

私たちは、オンラインでのユーザーのプライバシーと自主性を保護しながら、ソーシャル メディア プラットフォームがユーザーを保護するために実行できる一連の手順を特定しました。

子どもたちが直面していること

ソーシャルメディア上で十代の若者たちにリスクが蔓延していることは十分に確立されています。 これらのリスクは、ハラスメントやいじめから、精神的健康状態の悪化や性的搾取まで多岐にわたります。

調査によると、メタなどの企業は自社のプラットフォームがメンタルヘルスの問題を悪化させていることを認識しており、若者のメンタルヘルスを米国公衆衛生総局の優先事項の1つとする一助となっている。

青少年のオンライン安全性に関する研究の多くは、アンケートなどの自己申告データに基づいています。

若者の実世界でのプライベートな交流やオンラインリスクに対する若者の見方について、さらに調査する必要がある。

このニーズに対処するために、同僚と私は、700 万件を超えるダイレクト メッセージを含む、若者の Instagram アクティビティの大規模なデータセットを収集しました。

私たちは若者たちに、自分の会話に注釈を付けて、不快または危険を感じさせたメッセージを特定するよう依頼しました。

このデータセットを使用して、日常生活から精神的健康上の懸念に至るまで、さまざまな問題についてサポートを求める若者にとって、直接的な交流が極めて重要であることがわかりました。

私たちの調査結果は、これらのチャンネルが若者たちによって公の場での交流についてより深く議論するために利用されていたことを示唆しています。 環境における相互信頼に基づいて、十代の若者たちは安心して助けを求めることができました。

研究によると、オンラインでの言説のプライバシーは若者のオンラインでの安全に重要な役割を果たしており、同時にこれらのプラットフォーム上でのかなりの量の有害なやり取りがプライベート メッセージの形で行われていることが示唆されています。

当社のデータセット内でユーザーによって報告された安全でないメッセージには、嫌がらせ、性的メッセージ、性的勧誘、ヌード、ポルノ、ヘイトスピーチ、違法行為の販売または宣伝などが含まれていました。

しかし、プラットフォームはユーザーのプライバシーを保護する必要に迫られているため、プラットフォームが自動化テクノロジーを使用して十代の若者のオンラインリスクを検出し、防止することがより困難になっています。

たとえば、Meta はプラットフォーム上のすべてのメッセージにエンドツーエンドの暗号化を実装し、メッセージ コンテンツの安全性を確保し、会話の参加者のみがアクセスできるようにしました。

また、メタが自殺や摂食障害のコンテンツをブロックするために講じた措置により、たとえ10代の友人が投稿したとしても、そのコンテンツは公開投稿や検索から除外されている。

これは、そのコンテンツを共有した十代の若者が、友人や同僚のサポートなしに孤立してしまうことを意味します。

さらに、Meta のコンテンツ戦略は、10 代の若者がオンラインで行うプライベートな会話における危険なやり取りに対処していません。

バランスをとる

したがって、課題は、プライバシーを侵害することなく若いユーザーを保護することです。 そのために、最小限のデータを使用して安全でないメッセージを検出する方法を見つけるための研究を実施しました。

私たちは、会話の長さ、平均応答時間、会話の参加者の関係など、危険な会話のさまざまな特徴やメタデータが、これらのリスクを検出する機械学習プログラムにどのように寄与するかを理解したいと考えていました。

たとえば、これまでの研究では、見知らぬ人が望まない口説き方をする場合など、危険な会話は短く一方的な傾向があることが示されています。

私たちの機械学習プログラムは、会話のメタデータのみを使用して、87% の確率で安全でない会話を識別できることがわかりました。

ただし、会話のテキスト、画像、ビデオを分析することは、リスクの種類と重大度を特定する最も効果的なアプローチです。

これらの結果は、安全でない会話を区別するためのメタデータの重要性を強調しており、人工知能のリスク識別を設計するプラットフォームのガイドラインとして使用できる可能性があります。

プラットフォームは、メタデータなどの高レベルの機能を使用して、有害なコンテンツをスキャンせずにブロックし、それによってユーザーのプライバシーを侵害する可能性があります。

たとえば、若者が避けたい執拗な嫌がらせ者は、AI システムが嫌がらせ者をブロックするために使用できるメタデータ (接続されていないユーザー間で繰り返される短い一方的なコミュニケーション) を生成します。

理想的には、若者とその介護者には、暗号化、リスク検出、またはその両方をオンにできるオプションが設計上与えられ、プライバシーと安全性の間のトレードオフを自分たちで決定できるようになります。

編集者のおすすめ:

• 2024 年の AI の課題: 3 人の主要な AI 研究者からの洞察
• 人間と ChatGPT は相互の言語パターンを反映します - その方法は次のとおりです
• ChatGPT AI トレーダー: 速すぎる、激しすぎる、リスクが高すぎる?
• ChatGPT や他の言語 AI も私たちと同じように非合理的です

編集者注:この記事は、ドレクセル大学情報科学助教授のアフサネ ラジによって書かれ、クリエイティブ コモンズ ライセンスに基づいて The Conversation から再公開されました。 元の記事を読んでください。