Meta 的新安全措施对青少年来说可能是一把双刃剑

已发表: 2024-02-11

Meta 于 2024 年 1 月 9 日宣布，将阻止青少年用户在 Instagram 和 Facebook 上查看该公司认为有害的内容，包括与自杀和饮食失调相关的内容，从而保护青少年用户。

此举出台之际，联邦和州政府加大了对社交媒体公司的压力，要求其为青少年提供安全措施。

与此同时，青少年在社交媒体上向同龄人寻求他们在其他地方无法获得的支持。保护青少年的努力可能会无意中让他们更难获得帮助。

近年来，国会就社交媒体和年轻人面临的风险举行了多次听证会。

Meta、X（以前称为 Twitter）、TikTok、Snap 和 Discord 的首席执行官计划于 2024 年 1 月 31 日在参议院司法委员会作证，讲述他们为保护未成年人免受性剥削所做的努力。

根据委员会主席兼高级成员参议员迪克·德宾（伊利诺伊州民主党人）和林赛·格雷厄姆在听证会之前的一份声明，科技公司“最终被迫承认自己在保护儿童方面的失败”。 RS.C.），分别。

我是一名研究网络安全的研究员。我和我的同事一直在研究青少年社交媒体互动以及平台保护用户的有效性。

研究表明，虽然青少年确实在社交媒体上面临危险，但他们也能找到同伴的支持，特别是通过直接消息传递。

我们已经确定了社交媒体平台可以采取的一系列步骤来保护用户，同时也保护他们的在线隐私和自主权。

孩子们面临着什么

青少年在社交媒体上普遍面临的风险是众所周知的。这些风险包括骚扰和欺凌、心理健康状况不佳和性剥削等。

调查显示，Meta 等公司知道他们的平台会加剧心理健康问题，从而使青少年心理健康成为美国卫生局局长的优先事项之一。

在社交媒体时代，青少年的心理健康状况一直在恶化。

许多青少年在线安全研究来自自我报告的数据，例如调查。

有必要对年轻人现实世界的私人互动以及他们对网络风险的看法进行更多调查。

为了满足这一需求，我和我的同事收集了年轻人 Instagram 活动的大量数据集，其中包括超过 700 万条私信。

我们要求年轻人对自己的对话进行注释，并找出让他们感到不舒服或不安全的信息。

使用该数据集，我们发现直接互动对于年轻人在日常生活和心理健康问题等问题上寻求支持至关重要。

我们的研究结果表明，年轻人利用这些渠道更深入地讨论他们的公共互动。基于环境中的相互信任，青少年在寻求帮助时感到安全。

研究表明，网络话语隐私对于年轻人的网络安全起着重要作用，同时这些平台上相当多的有害互动是以私人消息的形式出现的。

我们的数据集中用户标记的不安全消息包括骚扰、性消息、性诱惑、裸体、色情、仇恨言论以及销售或宣传非法活动。

然而，由于平台面临保护用户隐私的压力，因此平台使用自动化技术来检测和预防青少年的在线风险变得更加困难。

例如，Meta 对其平台上的所有消息实施了端到端加密，以确保消息内容安全且只能由对话参与者访问。

此外，Meta 采取的阻止自杀和饮食失调内容的措施使这些内容不会出现在公共帖子和搜索中，即使青少年的朋友发布了这些内容也是如此。

这意味着分享该内容的青少年将在没有朋友和同龄人支持的情况下独自一人。

此外，Meta 的内容策略并未解决青少年在线私人对话中的不安全互动问题。

因此，面临的挑战是在不侵犯年轻用户隐私的情况下保护他们。为此，我们进行了一项研究，以了解如何使用最少的数据来检测不安全的消息。

我们希望了解风险对话的各种特征或元数据（例如对话长度、平均响应时间和对话参与者的关系）如何有助于机器学习程序检测这些风险。

例如，之前的研究表明，有风险的对话往往简短且片面，就像陌生人做出不受欢迎的举动一样。

我们发现，我们的机器学习程序仅使用对话元数据就能在 87% 的情况下识别不安全对话。

然而，分析对话的文本、图像和视频是识别风险类型和严重程度的最有效方法。

这些结果凸显了元数据对于区分不安全对话的重要性，可以作为平台设计人工智能风险识别的指南。

这些平台可以使用元数据等高级功能来阻止有害内容，而不扫描该内容，从而侵犯用户的隐私。

例如，年轻人想要避免的持续骚扰者会产生元数据——未连接的用户之间重复的、简短的、片面的通信——人工智能系统可以用它来阻止骚扰者。

理想情况下，年轻人及其护理人员在设计上可以选择开启加密、风险检测或两者兼而有之，这样他们就可以在隐私和安全之间做出权衡。

编辑推荐：

编者注：本文由德雷塞尔大学信息科学助理教授 Afsaneh Razi 撰写，并根据知识共享许可从 The Conversation 重新发布。 阅读原文。