Les nouvelles mesures de sécurité de Meta pourraient être une arme à double tranchant pour les adolescents

Meta a annoncé le 9 janvier 2024 qu'elle protégerait les utilisateurs adolescents en les empêchant de consulter du contenu sur Instagram et Facebook que l'entreprise juge nuisible, y compris du contenu lié au suicide et aux troubles de l'alimentation.

Cette décision intervient alors que les gouvernements fédéral et étatiques ont accru la pression sur les sociétés de médias sociaux pour qu'elles mettent en place des mesures de sécurité pour les adolescents.

Dans le même temps, les adolescents se tournent vers leurs pairs sur les réseaux sociaux pour obtenir un soutien qu’ils ne peuvent obtenir ailleurs. Les efforts visant à protéger les adolescents pourraient par inadvertance rendre plus difficile pour eux d’obtenir de l’aide.

Le Congrès a tenu de nombreuses auditions ces dernières années sur les réseaux sociaux et les risques encourus par les jeunes.

Les PDG de Meta, X – anciennement connu sous le nom de Twitter – TikTok, Snap et Discord devraient témoigner devant la commission judiciaire du Sénat le 31 janvier 2024 au sujet de leurs efforts pour protéger les mineurs contre l'exploitation sexuelle.

Les entreprises technologiques « sont enfin obligées de reconnaître leurs échecs en matière de protection des enfants », selon une déclaration avant l'audition du président et membre éminent du comité, les sénateurs Dick Durbin (Démocrate-Illinois) et Lindsey Graham ( RS.C.), respectivement.

Je suis un chercheur qui étudie la sécurité en ligne. Mes collègues et moi avons étudié les interactions des adolescents sur les réseaux sociaux et l'efficacité des efforts des plateformes pour protéger les utilisateurs.

Les recherches montrent que même si les adolescents sont confrontés à des dangers sur les réseaux sociaux, ils trouvent également le soutien de leurs pairs, notamment via la messagerie directe.

Nous avons identifié un ensemble de mesures que les plateformes de médias sociaux pourraient prendre pour protéger les utilisateurs tout en protégeant leur vie privée et leur autonomie en ligne.

Ce à quoi les enfants sont confrontés

La prévalence des risques pour les adolescents sur les réseaux sociaux est bien établie. Ces risques vont du harcèlement et de l’intimidation à une mauvaise santé mentale et à l’exploitation sexuelle.

Des enquêtes ont montré que des entreprises telles que Meta savaient que leurs plateformes exacerbaient les problèmes de santé mentale, contribuant ainsi à faire de la santé mentale des jeunes l'une des priorités du Surgeon General des États-Unis.

Une grande partie des recherches sur la sécurité en ligne des adolescents proviennent de données autodéclarées telles que des enquêtes.

Il est nécessaire d'enquêter davantage sur les interactions privées réelles des jeunes et sur leurs points de vue sur les risques en ligne.

Pour répondre à ce besoin, mes collègues et moi avons collecté un vaste ensemble de données sur l'activité des jeunes sur Instagram, comprenant plus de 7 millions de messages directs.

Nous avons demandé aux jeunes d’annoter leurs propres conversations et d’identifier les messages qui les mettaient mal à l’aise ou en danger.

En utilisant cet ensemble de données, nous avons constaté que les interactions directes peuvent être cruciales pour les jeunes qui recherchent du soutien sur des questions allant de la vie quotidienne aux problèmes de santé mentale.

Nos résultats suggèrent que ces canaux étaient utilisés par les jeunes pour discuter plus en profondeur de leurs interactions publiques. Sur la base d’une confiance mutuelle dans les contextes, les adolescents se sentaient en sécurité pour demander de l’aide.

Les recherches suggèrent que la confidentialité des discours en ligne joue un rôle important dans la sécurité en ligne des jeunes, et qu’en même temps, un nombre considérable d’interactions nuisibles sur ces plateformes se présentent sous la forme de messages privés.

Les messages dangereux signalés par les utilisateurs dans notre ensemble de données comprenaient le harcèlement, les messages à caractère sexuel, la sollicitation sexuelle, la nudité, la pornographie, les discours de haine et la vente ou la promotion d'activités illégales.

Cependant, il est devenu plus difficile pour les plateformes d’utiliser une technologie automatisée pour détecter et prévenir les risques en ligne pour les adolescents, car elles ont subi des pressions pour protéger la vie privée des utilisateurs.

Par exemple, Meta a mis en œuvre un cryptage de bout en bout pour tous les messages sur ses plateformes afin de garantir que le contenu des messages est sécurisé et accessible uniquement aux participants aux conversations.

En outre, les mesures prises par Meta pour bloquer le contenu sur le suicide et les troubles de l'alimentation empêchent ce contenu d'être publié et recherché, même si l'ami d'un adolescent l'a publié.

Cela signifie que l'adolescent qui a partagé ce contenu serait laissé seul, sans le soutien de ses amis et de ses pairs.

De plus, la stratégie de contenu de Meta ne prend pas en compte les interactions dangereuses lors des conversations privées que les adolescents ont en ligne.

Trouver un juste équilibre

Le défi consiste donc à protéger les jeunes utilisateurs sans empiéter sur leur vie privée. À cette fin, nous avons mené une étude pour savoir comment utiliser le minimum de données pour détecter les messages dangereux.

Nous voulions comprendre comment diverses caractéristiques ou métadonnées des conversations à risque, telles que la durée de la conversation, le temps de réponse moyen et les relations des participants à la conversation, peuvent contribuer aux programmes d'apprentissage automatique détectant ces risques.

Par exemple, des recherches antérieures ont montré que les conversations à risque ont tendance à être courtes et unilatérales, comme lorsque des inconnus font des avances non désirées.

Nous avons constaté que notre programme d'apprentissage automatique était capable d'identifier les conversations dangereuses dans 87 % des cas en utilisant uniquement les métadonnées des conversations.

Cependant, l’analyse des textes, des images et des vidéos des conversations constitue l’approche la plus efficace pour identifier le type et la gravité du risque.

Ces résultats mettent en évidence l’importance des métadonnées pour distinguer les conversations dangereuses et pourraient servir de lignes directrices aux plateformes pour concevoir l’identification des risques par l’intelligence artificielle.

Les plateformes pourraient utiliser des fonctionnalités de haut niveau telles que les métadonnées pour bloquer les contenus nuisibles sans analyser ce contenu et ainsi violer la vie privée des utilisateurs.

Par exemple, un harceleur persistant qu’un jeune souhaite éviter produirait des métadonnées – des communications répétées, courtes et unilatérales entre des utilisateurs non connectés – qu’un système d’IA pourrait utiliser pour bloquer le harceleur.

Idéalement, les jeunes et leurs soignants auraient la possibilité, dès la conception, d'activer le cryptage, la détection des risques ou les deux, afin qu'ils puissent décider eux-mêmes des compromis entre confidentialité et sécurité.

Recommandations des rédacteurs :

• Les défis de l’IA en 2024 : points de vue de 3 chercheurs de premier plan en IA
• Les humains et ChatGPT reflètent les modèles de langage mutuel – voici comment
• Traders ChatGPT AI : trop rapides, trop furieux, trop risqués ?
• ChatGPT et d'autres IA linguistiques sont tout aussi irrationnelles que nous

Note de l'éditeur : cet article a été rédigé par Afsaneh Razi, professeur adjoint de sciences de l'information, Université Drexel, et republié à partir de The Conversation sous une licence Creative Commons e. Lisez l'article original.