Las nuevas medidas de seguridad de Meta podrían ser un arma de doble filo para los adolescentes

Meta anunció el 9 de enero de 2024 que protegerá a los usuarios adolescentes impidiéndoles ver contenido en Instagram y Facebook que la compañía considere dañino, incluido contenido relacionado con el suicidio y los trastornos alimentarios.

La medida se produce cuando los gobiernos federal y estatal han aumentado la presión sobre las empresas de redes sociales para que proporcionen medidas de seguridad para los adolescentes.

Al mismo tiempo, los adolescentes recurren a sus compañeros en las redes sociales en busca de apoyo que no pueden obtener en otros lugares. Los esfuerzos para proteger a los adolescentes podrían, sin darse cuenta, hacer que a ellos también les resulte más difícil obtener ayuda.

El Congreso ha celebrado numerosas audiencias en los últimos años sobre las redes sociales y los riesgos para los jóvenes.

Está previsto que los directores ejecutivos de Meta, X (anteriormente conocido como Twitter), TikTok, Snap y Discord testifiquen ante el Comité Judicial del Senado el 31 de enero de 2024 sobre sus esfuerzos para proteger a los menores de la explotación sexual.

Las empresas de tecnología “finalmente se están viendo obligadas a reconocer sus fallas cuando se trata de proteger a los niños”, según una declaración antes de la audiencia del presidente del comité y miembro de alto rango, los senadores Dick Durbin (D-Ill.) y Lindsey Graham ( RS.C.), respectivamente.

Soy un investigador que estudia la seguridad en línea. Mis colegas y yo hemos estado estudiando las interacciones de los adolescentes en las redes sociales y la efectividad de los esfuerzos de las plataformas para proteger a los usuarios.

Las investigaciones muestran que, si bien los adolescentes enfrentan peligros en las redes sociales, también encuentran apoyo entre pares, particularmente a través de mensajes directos.

Hemos identificado una serie de medidas que las plataformas de redes sociales podrían tomar para proteger a los usuarios y al mismo tiempo proteger su privacidad y autonomía en línea.

A qué se enfrentan los niños

La prevalencia de riesgos para los adolescentes en las redes sociales está bien establecida. Estos riesgos van desde el acoso y la intimidación hasta la mala salud mental y la explotación sexual.

Las investigaciones han demostrado que empresas como Meta sabían que sus plataformas exacerban los problemas de salud mental, lo que ayuda a que la salud mental de los jóvenes sea una de las prioridades del Cirujano General de EE. UU.

Gran parte de la investigación sobre la seguridad en línea de los adolescentes proviene de datos autoinformados, como encuestas.

Es necesario investigar más las interacciones privadas de los jóvenes en el mundo real y sus perspectivas sobre los riesgos en línea.

Para abordar esta necesidad, mis colegas y yo recopilamos un gran conjunto de datos de la actividad de los jóvenes en Instagram, incluidos más de 7 millones de mensajes directos.

Les pedimos a los jóvenes que anotaran sus propias conversaciones e identificaran los mensajes que los hacían sentir incómodos o inseguros.

Utilizando este conjunto de datos, descubrimos que las interacciones directas pueden ser cruciales para los jóvenes que buscan apoyo en temas que van desde la vida diaria hasta problemas de salud mental.

Nuestro hallazgo sugiere que estos canales fueron utilizados por los jóvenes para discutir sus interacciones públicas con más profundidad. Debido a la confianza mutua en los entornos, los adolescentes se sintieron seguros al pedir ayuda.

Las investigaciones sugieren que la privacidad del discurso en línea juega un papel importante en la seguridad en línea de los jóvenes y, al mismo tiempo, una cantidad considerable de interacciones dañinas en estas plataformas se producen en forma de mensajes privados.

Los mensajes inseguros marcados por los usuarios en nuestro conjunto de datos incluyeron acoso, mensajes sexuales, solicitación sexual, desnudez, pornografía, incitación al odio y venta o promoción de actividades ilegales.

Sin embargo, se ha vuelto más difícil para las plataformas utilizar tecnología automatizada para detectar y prevenir riesgos en línea para los adolescentes porque las plataformas han sido presionadas para proteger la privacidad de los usuarios.

Por ejemplo, Meta ha implementado cifrado de extremo a extremo para todos los mensajes en sus plataformas para garantizar que el contenido del mensaje sea seguro y solo sea accesible para los participantes en las conversaciones.

Además, las medidas que Meta ha tomado para bloquear el contenido sobre suicidio y trastornos alimentarios mantienen ese contenido alejado de publicaciones públicas y búsquedas incluso si un amigo de un adolescente lo ha publicado.

Esto significa que el adolescente que compartiera ese contenido se quedaría solo sin el apoyo de sus amigos y compañeros.

Además, la estrategia de contenido de Meta no aborda las interacciones inseguras en conversaciones privadas que los adolescentes tienen en línea.

Lograr un equilibrio

El desafío, entonces, es proteger a los usuarios más jóvenes sin invadir su privacidad. Para ello, realizamos un estudio para descubrir cómo podemos utilizar los datos mínimos para detectar mensajes no seguros.

Queríamos comprender cómo diversas características o metadatos de conversaciones riesgosas, como la duración de la conversación, el tiempo promedio de respuesta y las relaciones de los participantes en la conversación, pueden contribuir a que los programas de aprendizaje automático detecten estos riesgos.

Por ejemplo, investigaciones anteriores han demostrado que las conversaciones arriesgadas tienden a ser breves y unilaterales, como cuando extraños hacen insinuaciones no deseadas.

Descubrimos que nuestro programa de aprendizaje automático pudo identificar conversaciones inseguras el 87 % de las veces utilizando solo metadatos para las conversaciones.

Sin embargo, analizar el texto, las imágenes y los vídeos de las conversaciones es el enfoque más eficaz para identificar el tipo y la gravedad del riesgo.

Estos resultados resaltan la importancia de los metadatos para distinguir conversaciones inseguras y podrían usarse como guía para que las plataformas diseñen la identificación de riesgos con inteligencia artificial.

Las plataformas podrían utilizar funciones de alto nivel, como metadatos, para bloquear contenido dañino sin escanear ese contenido y, por lo tanto, violar la privacidad de los usuarios.

Por ejemplo, un acosador persistente que un joven quiere evitar produciría metadatos (comunicaciones repetidas, breves y unilaterales entre usuarios desconectados) que un sistema de inteligencia artificial podría utilizar para bloquear al acosador.

Idealmente, a los jóvenes y a sus cuidadores se les daría la opción, por diseño, de poder activar el cifrado, la detección de riesgos o ambos, para que puedan decidir por sí mismos sobre las compensaciones entre privacidad y seguridad.

Recomendaciones de los editores:

• Desafíos de la IA en 2024: opiniones de tres investigadores líderes en IA
• Los humanos y ChatGPT reflejan patrones de lenguaje mutuos: así es como
• Comerciantes de ChatGPT AI: ¿Demasiado rápido, demasiado furioso, demasiado arriesgado?
• ChatGPT y otras IA en idiomas son tan irracionales como nosotros

Nota del editor: este artículo fue escrito por Afsaneh Razi, profesora asistente de ciencias de la información, Universidad de Drexel, y republicado desde The Conversation bajo una licencia Creative Commons e. Lea el artículo original.