As novas medidas de segurança da Meta podem ser uma faca de dois gumes para os adolescentes

A Meta anunciou em 9 de janeiro de 2024 que protegerá os usuários adolescentes, bloqueando-os de visualizar conteúdo no Instagram e no Facebook que a empresa considere prejudicial, incluindo conteúdo relacionado a suicídio e transtornos alimentares.

A mudança ocorre no momento em que os governos federal e estadual aumentam a pressão sobre as empresas de mídia social para que forneçam medidas de segurança para os adolescentes.

Ao mesmo tempo, os adolescentes recorrem aos seus pares nas redes sociais em busca de apoio que não conseguem em outro lugar. Os esforços para proteger os adolescentes podem inadvertidamente tornar mais difícil para eles também obter ajuda.

O Congresso realizou inúmeras audiências nos últimos anos sobre as redes sociais e os riscos para os jovens.

Os CEOs da Meta, X – anteriormente conhecido como Twitter – TikTok, Snap e Discord estão programados para testemunhar perante o Comitê Judiciário do Senado em 31 de janeiro de 2024, sobre seus esforços para proteger menores da exploração sexual.

As empresas de tecnologia “finalmente estão sendo forçadas a reconhecer suas falhas quando se trata de proteger as crianças”, de acordo com um comunicado antes da audiência do presidente e membro graduado do comitê, os senadores Dick Durbin (D-Ill.) e Lindsey Graham ( RS.C.), respectivamente.

Sou um pesquisador que estuda segurança online. Meus colegas e eu temos estudado as interações entre adolescentes nas redes sociais e a eficácia dos esforços das plataformas para proteger os usuários.

A investigação mostra que, embora os adolescentes enfrentem perigos nas redes sociais, também encontram apoio dos pares, especialmente através de mensagens diretas.

Identificamos um conjunto de medidas que as plataformas de redes sociais poderiam tomar para proteger os utilizadores e, ao mesmo tempo, proteger a sua privacidade e autonomia online.

O que as crianças estão enfrentando

A prevalência de riscos para adolescentes nas redes sociais está bem estabelecida. Esses riscos vão desde o assédio e a intimidação até problemas de saúde mental e exploração sexual.

As investigações mostraram que empresas como a Meta sabem que as suas plataformas agravam os problemas de saúde mental, ajudando a tornar a saúde mental dos jovens uma das prioridades do Cirurgião Geral dos EUA.

Grande parte da pesquisa sobre segurança online de adolescentes provém de dados auto-relatados, como pesquisas.

É necessária uma maior investigação das interações privadas dos jovens no mundo real e das suas perspetivas sobre os riscos online.

Para responder a esta necessidade, os meus colegas e eu recolhemos um grande conjunto de dados da atividade de jovens no Instagram, incluindo mais de 7 milhões de mensagens diretas.

Pedimos aos jovens que anotassem as suas próprias conversas e identificassem as mensagens que os faziam sentir desconfortáveis ​​ou inseguros.

Utilizando este conjunto de dados, descobrimos que as interações diretas podem ser cruciais para os jovens que procuram apoio em questões que vão desde a vida quotidiana até preocupações de saúde mental.

A nossa descoberta sugere que estes canais foram utilizados pelos jovens para discutir mais profundamente as suas interações públicas. Com base na confiança mútua nos ambientes, os adolescentes sentiram-se seguros ao pedir ajuda.

A investigação sugere que a privacidade do discurso online desempenha um papel importante na segurança online dos jovens e, ao mesmo tempo, uma quantidade considerável de interações prejudiciais nestas plataformas surge na forma de mensagens privadas.

As mensagens inseguras sinalizadas pelos usuários em nosso conjunto de dados incluíam assédio, mensagens sexuais, solicitação sexual, nudez, pornografia, discurso de ódio e venda ou promoção de atividades ilegais.

No entanto, tornou-se mais difícil para as plataformas utilizarem tecnologia automatizada para detectar e prevenir riscos online para adolescentes porque as plataformas foram pressionadas para proteger a privacidade dos utilizadores.

Por exemplo, a Meta implementou criptografia ponta a ponta para todas as mensagens em suas plataformas para garantir que o conteúdo das mensagens seja seguro e acessível apenas aos participantes das conversas.

Além disso, as etapas que Meta tomou para bloquear conteúdo sobre suicídio e transtorno alimentar mantêm esse conteúdo longe de postagens públicas e pesquisas, mesmo que um amigo de um adolescente o tenha postado.

Isso significa que o adolescente que compartilhasse esse conteúdo ficaria sozinho, sem o apoio de amigos e colegas.

Além disso, a estratégia de conteúdo da Meta não aborda as interações inseguras em conversas privadas que os adolescentes têm online.

Alcançando um equilíbrio

O desafio, então, é proteger os utilizadores mais jovens sem invadir a sua privacidade. Para isso, realizamos um estudo para descobrir como podemos usar o mínimo de dados para detectar mensagens inseguras.

Queríamos entender como vários recursos ou metadados de conversas arriscadas, como duração da conversa, tempo médio de resposta e relacionamentos dos participantes da conversa, podem contribuir para que programas de aprendizado de máquina detectem esses riscos.

Por exemplo, pesquisas anteriores mostraram que as conversas arriscadas tendem a ser curtas e unilaterais, como quando estranhos fazem avanços indesejados.

Descobrimos que nosso programa de aprendizado de máquina foi capaz de identificar conversas inseguras em 87% das vezes, usando apenas metadados para as conversas.

Porém, analisar o texto, as imagens e os vídeos das conversas é a abordagem mais eficaz para identificar o tipo e a gravidade do risco.

Estes resultados destacam a importância dos metadados para distinguir conversas inseguras e podem ser usados ​​como uma diretriz para as plataformas projetarem a identificação de riscos por inteligência artificial.

As plataformas poderiam utilizar funcionalidades de alto nível, como metadados, para bloquear conteúdos nocivos sem digitalizar esse conteúdo e, assim, violar a privacidade dos utilizadores.

Por exemplo, um assediador persistente que um jovem queira evitar produziria metadados – comunicações repetidas, curtas e unilaterais entre utilizadores não ligados – que um sistema de IA poderia utilizar para bloquear o assediador.

Idealmente, os jovens e os seus prestadores de cuidados teriam a opção desde a concepção de poderem ativar a encriptação, a deteção de riscos ou ambas, para que possam decidir por si próprios as soluções de compromisso entre privacidade e segurança.

Recomendações dos Editores:

• Desafios de IA em 2024: insights de três pesquisadores líderes em IA
• Humanos e ChatGPT espelham padrões de linguagem mútuos – veja como
• Traders ChatGPT AI: Muito rápido, muito furioso, muito arriscado?
• ChatGPT e IA de outras linguagens são tão irracionais quanto nós

Nota do Editor: Este artigo foi escrito por Afsaneh Razi, Professor Assistente de Ciência da Informação, Universidade Drexel, e republicado em The Conversation sob uma licença Creative Commons e. Leia o artigo original.