메타의 새로운 안전 조치는 10대들에게 양날의 검이 될 수 있다

메타는 2024년 1월 9일, 자살, 섭식 장애 관련 콘텐츠 등 회사가 유해하다고 간주하는 콘텐츠를 인스타그램과 페이스북에서 청소년 사용자가 시청하지 못하도록 차단하여 청소년 사용자를 보호하겠다고 발표했습니다.

이러한 움직임은 연방 및 주 정부가 소셜 미디어 회사에 청소년을 위한 안전 조치를 제공하라는 압력을 강화함에 따라 이루어졌습니다.

동시에 십대들은 다른 곳에서는 얻을 수 없는 지원을 소셜 미디어를 통해 동료들에게 의지합니다. 십대를 보호하려는 노력으로 인해 그들이 도움을 받는 것이 본의 아니게 어려워질 수도 있습니다.

의회는 최근 몇 년 동안 소셜 미디어와 젊은이들에 대한 위험에 관해 수많은 청문회를 열었습니다.

과거 트위터로 알려진 메타(Meta) X, 틱톡(TikTok), 스냅(Snap), 디스코드(Discord)의 CEO들은 2024년 1월 31일 상원 사법위원회에서 미성년자를 성착취로부터 보호하기 위한 노력에 대해 증언할 예정이다.

위원회 위원장이자 고위 위원인 Dick Durbin(민주-일리노이) 상원의원과 Lindsey Graham(민주당) 상원의원의 청문회에 앞서 성명서에 따르면 기술 회사들은 "마침내 아이들을 보호하는 데 있어서 자신들의 실패를 인정하도록 강요받고 있습니다"라고 합니다. RS.C.) 각각.

저는 온라인 안전을 연구하는 연구원입니다. 동료들과 저는 십대의 소셜 미디어 상호 작용과 사용자를 보호하려는 플랫폼의 노력의 효율성을 연구해 왔습니다.

연구에 따르면 십대들은 소셜 미디어에서 위험에 직면하면서도 특히 직접 메시지를 통해 또래의 지원을 찾는 것으로 나타났습니다.

우리는 소셜 미디어 플랫폼이 사용자를 보호하는 동시에 온라인에서 사용자의 개인정보와 자율성을 보호하기 위해 취할 수 있는 일련의 조치를 확인했습니다.

아이들이 어떤 상황에 처해 있는지

소셜 미디어에서 청소년의 위험이 널리 퍼져 있다는 사실은 잘 알려져 있습니다. 이러한 위험은 괴롭힘과 따돌림부터 열악한 정신 건강과 성적 착취에 이르기까지 다양합니다.

조사에 따르면 Meta와 같은 회사는 자사 플랫폼이 정신 건강 문제를 악화시켜 청소년 정신 건강을 미국 공중보건국의 우선순위 중 하나로 만드는 데 도움이 된다는 사실을 알고 있는 것으로 나타났습니다.

청소년 온라인 안전 관련 연구의 대부분은 설문조사와 같은 자체 보고 데이터에서 비롯됩니다.

젊은이들의 실제 사적 상호작용과 온라인 위험에 대한 그들의 관점에 대해 더 많은 조사가 필요합니다.

이러한 요구를 해결하기 위해 동료들과 저는 700만 개가 넘는 다이렉트 메시지를 포함하여 젊은 사람들의 Instagram 활동에 대한 대규모 데이터 세트를 수집했습니다.

우리는 젊은이들에게 자신의 대화에 주석을 달고 불편함이나 불안함을 느끼게 하는 메시지를 식별하도록 요청했습니다.

이 데이터 세트를 사용하여 우리는 일상 생활에서 정신 건강 문제에 이르기까지 다양한 문제에 대한 지원을 원하는 젊은이들에게 직접적인 상호 작용이 중요할 수 있음을 발견했습니다.

우리의 연구 결과에 따르면 이러한 채널은 젊은이들이 공개 상호 작용에 대해 더 깊이 논의하기 위해 사용되는 것으로 나타났습니다. 환경에 대한 상호 신뢰를 바탕으로 십대들은 도움을 요청하는 것이 안전하다고 느꼈습니다.

연구에 따르면 온라인 담론의 개인 정보 보호는 청소년의 온라인 안전에 중요한 역할을 하며 동시에 이러한 플랫폼에서 상당한 양의 유해한 상호 작용이 비공개 메시지의 형태로 발생합니다.

우리 데이터 세트에서 사용자가 신고한 안전하지 않은 메시지에는 괴롭힘, 성적인 메시지, 성적 권유, 과도한 노출, 포르노, 증오심 표현, 불법 활동 판매 또는 홍보가 포함되었습니다.

그러나 플랫폼이 사용자 개인 정보를 보호해야 한다는 압력을 받아 왔기 때문에 플랫폼이 자동화 기술을 사용하여 청소년의 온라인 위험을 감지하고 예방하는 것이 더욱 어려워졌습니다.

예를 들어, Meta는 메시지 내용이 안전하고 대화 참가자만 액세스할 수 있도록 플랫폼의 모든 메시지에 대해 종단 간 암호화를 구현했습니다.

또한 자살 및 섭식 장애 콘텐츠를 차단하기 위해 Meta가 취한 조치는 십대의 친구가 게시한 경우에도 해당 콘텐츠를 공개 게시물 및 검색에서 제외합니다.

이는 해당 콘텐츠를 공유한 청소년이 친구나 동료의 지원 없이 홀로 남겨질 것임을 의미합니다.

또한 Meta의 콘텐츠 전략은 십대들이 온라인에서 나누는 사적인 대화에서 발생하는 안전하지 않은 상호 작용을 다루지 않습니다.

균형 잡기

따라서 문제는 개인 정보를 침해하지 않고 어린 사용자를 보호하는 것입니다. 이를 위해 우리는 안전하지 않은 메시지를 탐지하기 위해 최소한의 데이터를 사용할 수 있는 방법을 알아보기 위한 연구를 수행했습니다.

우리는 대화 길이, 평균 응답 시간, 대화 참가자의 관계 등 위험한 대화의 다양한 기능이나 메타데이터가 기계 학습 프로그램에서 이러한 위험을 감지하는 데 어떻게 기여할 수 있는지 이해하고 싶었습니다.

예를 들어, 이전 연구에 따르면 낯선 사람이 원치 않는 접근을 할 때와 같이 위험한 대화는 짧고 일방적인 경향이 있는 것으로 나타났습니다.

우리는 기계 학습 프로그램이 대화에 대한 메타데이터만 사용하여 안전하지 않은 대화를 87% 식별할 수 있다는 것을 발견했습니다.

그러나 대화의 텍스트, 이미지, 비디오를 분석하는 것은 위험의 유형과 심각도를 식별하는 가장 효과적인 접근 방식입니다.

이러한 결과는 안전하지 않은 대화를 구별하기 위한 메타데이터의 중요성을 강조하며 플랫폼이 인공 지능 위험 식별을 설계하는 지침으로 사용될 수 있습니다.

플랫폼은 메타데이터와 같은 고급 기능을 사용하여 해당 콘텐츠를 검사하지 않고 유해한 콘텐츠를 차단함으로써 사용자의 개인정보를 침해할 수 있습니다.

예를 들어, 청소년이 피하고 싶어하는 지속적인 괴롭힘자는 AI 시스템이 괴롭힘자를 차단하는 데 사용할 수 있는 메타데이터(연결되지 않은 사용자 간의 반복적이고 짧고 일방적인 통신)를 생성합니다.

이상적으로는 젊은이와 간병인에게 암호화, 위험 감지 또는 둘 다를 활성화할 수 있는 옵션이 제공되어 개인 정보 보호와 안전 사이에서 스스로 균형을 결정할 수 있습니다.

편집자 추천:

• 2024년 AI 과제: 주요 AI 연구자 3인의 통찰력
• 인간과 ChatGPT는 상호 ​​언어 패턴을 반영합니다. 방법은 다음과 같습니다.
• ChatGPT AI 거래자: 너무 빠르고, 너무 격렬하고, 너무 위험합니까?
• ChatGPT 및 기타 언어 AI는 우리만큼 비합리적입니다.

편집자 주: 이 기사는 Drexel University의 정보 과학 조교수인 Afsaneh Razi가 작성했으며 Creative Commons 라이선스 e에 따라 The Conversation에서 다시 출판되었습니다 . 원본 기사를 읽어보세요.