Новые меры безопасности Меты могут оказаться палкой о двух концах для подростков

9 января 2024 года Meta объявила, что будет защищать пользователей-подростков, блокируя им просмотр в Instagram и Facebook контента, который компания считает вредным, включая контент, связанный с самоубийством и расстройствами пищевого поведения.

Этот шаг вызван тем, что федеральное правительство и правительства штатов ужесточают давление на компании социальных сетей, требуя обеспечить меры безопасности для подростков.

В то же время подростки обращаются к своим сверстникам в социальных сетях за поддержкой, которую они не могут получить где-либо еще. Усилия по защите подростков могут непреднамеренно затруднить получение ими помощи.

В последние годы Конгресс провел многочисленные слушания о социальных сетях и рисках для молодежи.

Руководители компаний Meta, X, ранее известных как Twitter, TikTok, Snap и Discord должны дать показания перед Судебным комитетом Сената 31 января 2024 года о своих усилиях по защите несовершеннолетних от сексуальной эксплуатации.

Технологические компании «наконец-то вынуждены признать свои неудачи, когда дело доходит до защиты детей», согласно заявлению перед слушаниями председателя комитета и высокопоставленного члена, сенаторов Дика Дурбина (демократ от штата Иллинойс) и Линдси Грэма (демократ от штата Иллинойс). RS.C.), соответственно.

Я исследователь, изучающий безопасность в Интернете. Мои коллеги и я изучали взаимодействие подростков в социальных сетях и эффективность усилий платформ по защите пользователей.

Исследования показывают, что, хотя подростки сталкиваются с опасностью в социальных сетях, они также находят поддержку со стороны сверстников, особенно посредством прямых сообщений.

Мы определили ряд шагов, которые платформы социальных сетей могут предпринять для защиты пользователей, одновременно защищая их конфиденциальность и автономию в Интернете.

С чем сталкиваются дети

Распространенность рисков для подростков в социальных сетях хорошо известна. Эти риски варьируются от преследований и издевательств до плохого психического здоровья и сексуальной эксплуатации.

Расследования показали, что такие компании, как Meta, знали, что их платформы усугубляют проблемы психического здоровья, помогая сделать психическое здоровье молодежи одним из приоритетов Главного хирурга США.

Большая часть исследований онлайн-безопасности подростков основана на данных, полученных ими самими, например, в ходе опросов.

Существует необходимость в более тщательном изучении реального личного взаимодействия молодых людей и их взглядов на онлайн-риски.

Чтобы удовлетворить эту потребность, мы с коллегами собрали большой набор данных об активности молодых людей в Instagram, включая более 7 миллионов прямых сообщений.

Мы попросили молодых людей комментировать свои разговоры и определить сообщения, которые заставляли их чувствовать себя некомфортно или небезопасно.

Используя этот набор данных, мы обнаружили, что прямое взаимодействие может иметь решающее значение для молодых людей, ищущих поддержку по самым разным вопросам, от повседневной жизни до проблем психического здоровья.

Наши результаты показывают, что эти каналы использовались молодыми людьми для более глубокого обсуждения своего взаимодействия с общественностью. Благодаря взаимному доверию в обстановке подростки чувствовали себя в безопасности, обращаясь за помощью.

Исследования показывают, что конфиденциальность онлайн-дискуссии играет важную роль в онлайн-безопасности молодых людей, и в то же время значительная часть вредоносных взаимодействий на этих платформах происходит в форме личных сообщений.

Небезопасные сообщения, отмеченные пользователями в нашем наборе данных, включали домогательства, сообщения сексуального характера, сексуальные домогательства, наготу, порнографию, разжигание ненависти, а также продажу или пропаганду незаконной деятельности.

Однако платформам стало сложнее использовать автоматизированные технологии для обнаружения и предотвращения онлайн-рисков для подростков, поскольку платформы вынуждены защищать конфиденциальность пользователей.

Например, Meta реализовала сквозное шифрование для всех сообщений на своих платформах, чтобы гарантировать безопасность содержимого сообщений и доступность только участникам разговоров.

Кроме того, шаги, предпринятые Meta для блокировки контента о самоубийствах и расстройствах пищевого поведения, не допускают этот контент к общедоступным публикациям и поиску, даже если его опубликовал друг подростка.

Это означает, что подросток, поделившийся этим контентом, останется один, без поддержки друзей и сверстников.

Кроме того, контент-стратегия Meta не учитывает небезопасные взаимодействия подростков в частных беседах в Интернете.

Достижение баланса

Таким образом, задача состоит в том, чтобы защитить молодых пользователей, не вторгаясь в их личную жизнь. С этой целью мы провели исследование, чтобы выяснить, как мы можем использовать минимум данных для обнаружения небезопасных сообщений.

Мы хотели понять, как различные особенности или метаданные рискованных разговоров, такие как продолжительность разговора, среднее время ответа и отношения участников разговора, могут способствовать программам машинного обучения, обнаруживающим эти риски.

Например, предыдущие исследования показали, что рискованные разговоры, как правило, бывают короткими и односторонними, например, когда незнакомцы делают нежелательные заигрывания.

Мы обнаружили, что наша программа машинного обучения способна идентифицировать небезопасные разговоры в 87% случаев, используя только метаданные для разговоров.

Однако анализ текста, изображений и видео разговоров является наиболее эффективным подходом для определения типа и серьезности риска.

Эти результаты подчеркивают важность метаданных для распознавания небезопасных разговоров и могут быть использованы в качестве руководства для платформ при разработке идентификации рисков с помощью искусственного интеллекта.

Платформы могут использовать функции высокого уровня, такие как метаданные, для блокировки вредоносного контента без сканирования этого контента и тем самым нарушения конфиденциальности пользователей.

Например, настойчивый преследователь, которого молодой человек хочет избегать, будет генерировать метаданные – повторяющиеся, короткие, односторонние сообщения между несвязанными пользователями – которые система искусственного интеллекта могла бы использовать, чтобы заблокировать преследователя.

В идеале молодым людям и их опекунам должна быть предоставлена ​​возможность включать шифрование, обнаружение рисков или и то, и другое, чтобы они могли сами принимать решения о компромиссе между конфиденциальностью и безопасностью.

Рекомендации редакции:

• Проблемы искусственного интеллекта в 2024 году: выводы трех ведущих исследователей искусственного интеллекта
• Люди и ChatGPT отражают общие языковые шаблоны – вот как
• Трейдеры ChatGPT AI: слишком быстро, слишком яростно, слишком рискованно?
• ChatGPT и другие языковые ИИ так же иррациональны, как и мы.

Примечание редактора: эта статья была написана Афсане Рази, доцентом кафедры информатики Университета Дрекселя, и переиздана из журнала The Conversation под лицензией Creative Commons e. Прочтите оригинал статьи.