Langkah-langkah keamanan baru yang diterapkan Meta bisa menjadi pedang bermata dua bagi remaja

Meta mengumumkan pada 9 Januari 2024, bahwa mereka akan melindungi pengguna remaja dengan memblokir mereka melihat konten di Instagram dan Facebook yang dianggap berbahaya oleh perusahaan, termasuk konten yang berkaitan dengan bunuh diri dan gangguan makan.

Langkah ini dilakukan ketika pemerintah federal dan negara bagian meningkatkan tekanan pada perusahaan media sosial untuk memberikan langkah-langkah keamanan bagi remaja.

Pada saat yang sama, remaja beralih ke teman-temannya di media sosial untuk mendapatkan dukungan yang tidak bisa mereka dapatkan di tempat lain. Upaya untuk melindungi remaja secara tidak sengaja dapat mempersulit mereka untuk mendapatkan bantuan.

Kongres telah mengadakan banyak dengar pendapat dalam beberapa tahun terakhir tentang media sosial dan risikonya terhadap generasi muda.

CEO Meta, X – sebelumnya dikenal sebagai Twitter – TikTok, Snap dan Discord dijadwalkan untuk memberikan kesaksian di hadapan Komite Kehakiman Senat pada 31 Januari 2024, tentang upaya mereka untuk melindungi anak di bawah umur dari eksploitasi seksual.

Perusahaan-perusahaan teknologi “akhirnya dipaksa untuk mengakui kegagalan mereka dalam hal melindungi anak-anak,” menurut pernyataan sebelum sidang dari ketua komite dan anggota pemeringkat, Senator Dick Durbin (D-Ill.) dan Lindsey Graham ( RS.C.), masing-masing.

Saya seorang peneliti yang mempelajari keamanan online. Saya dan kolega saya telah mempelajari interaksi remaja di media sosial dan efektivitas upaya platform untuk melindungi pengguna.

Penelitian menunjukkan bahwa meskipun remaja menghadapi bahaya di media sosial, mereka juga mendapatkan dukungan dari teman sebaya, terutama melalui pesan langsung.

Kami telah mengidentifikasi serangkaian langkah yang dapat diambil oleh platform media sosial untuk melindungi pengguna sekaligus melindungi privasi dan otonomi mereka saat online.

Apa yang dihadapi anak-anak

Prevalensi risiko pada remaja di media sosial sudah diketahui dengan jelas. Risiko-risiko ini berkisar dari pelecehan dan intimidasi hingga kesehatan mental yang buruk dan eksploitasi seksual.

Investigasi menunjukkan bahwa perusahaan seperti Meta mengetahui bahwa platform mereka memperburuk masalah kesehatan mental, sehingga menjadikan kesehatan mental remaja sebagai salah satu prioritas US Surgeon General.

Sebagian besar penelitian keamanan online remaja berasal dari data yang dilaporkan sendiri seperti survei.

Ada kebutuhan untuk melakukan penyelidikan lebih lanjut terhadap interaksi pribadi anak muda di dunia nyata dan perspektif mereka terhadap risiko online.

Untuk memenuhi kebutuhan ini, saya dan kolega mengumpulkan kumpulan data besar tentang aktivitas Instagram anak muda, termasuk lebih dari 7 juta pesan langsung.

Kami meminta generasi muda untuk membubuhi keterangan pada percakapan mereka dan mengidentifikasi pesan-pesan yang membuat mereka merasa tidak nyaman atau tidak aman.

Dengan menggunakan kumpulan data ini, kami menemukan bahwa interaksi langsung dapat menjadi sangat penting bagi kaum muda yang mencari dukungan dalam berbagai permasalahan mulai dari kehidupan sehari-hari hingga masalah kesehatan mental.

Temuan kami menunjukkan bahwa saluran-saluran ini digunakan oleh kaum muda untuk mendiskusikan interaksi publik mereka secara lebih mendalam. Berdasarkan rasa saling percaya dalam lingkungan, remaja merasa aman untuk meminta bantuan.

Penelitian menunjukkan bahwa privasi dalam wacana online memainkan peran penting dalam keamanan online generasi muda, dan pada saat yang sama, sejumlah besar interaksi berbahaya di platform ini datang dalam bentuk pesan pribadi.

Pesan tidak aman yang ditandai oleh pengguna dalam kumpulan data kami mencakup pelecehan, pesan seksual, ajakan seksual, ketelanjangan, pornografi, perkataan yang mendorong kebencian, dan penjualan atau promosi aktivitas ilegal.

Namun, semakin sulit bagi platform untuk menggunakan teknologi otomatis untuk mendeteksi dan mencegah risiko online bagi remaja karena platform tersebut ditekan untuk melindungi privasi pengguna.

Misalnya, Meta telah menerapkan enkripsi ujung ke ujung untuk semua pesan di platformnya guna memastikan konten pesan aman dan hanya dapat diakses oleh peserta percakapan.

Selain itu, langkah-langkah yang diambil Meta untuk memblokir konten bunuh diri dan gangguan makan menjaga konten tersebut dari postingan publik dan pencarian meskipun teman remaja telah mempostingnya.

Artinya, remaja yang membagikan konten tersebut akan dibiarkan sendiri tanpa dukungan teman dan teman sebayanya.

Selain itu, strategi konten Meta tidak mengatasi interaksi tidak aman dalam percakapan pribadi yang dilakukan remaja secara online.

Mencapai keseimbangan

Tantangannya adalah melindungi pengguna yang lebih muda tanpa mengganggu privasi mereka. Untuk itu, kami melakukan penelitian untuk mengetahui bagaimana kami dapat menggunakan data minimum untuk mendeteksi pesan yang tidak aman.

Kami ingin memahami bagaimana berbagai fitur atau metadata percakapan berisiko seperti durasi percakapan, waktu respons rata-rata, dan hubungan peserta percakapan dapat berkontribusi pada program pembelajaran mesin yang mendeteksi risiko ini.

Misalnya, penelitian sebelumnya menunjukkan bahwa percakapan berisiko cenderung singkat dan berat sebelah, seperti ketika orang asing melakukan pendekatan yang tidak diinginkan.

Kami menemukan bahwa program pembelajaran mesin kami mampu mengidentifikasi percakapan tidak aman sebanyak 87% hanya dengan menggunakan metadata untuk percakapan tersebut.

Namun, menganalisis teks, gambar, dan video percakapan adalah pendekatan paling efektif untuk mengidentifikasi jenis dan tingkat keparahan risiko.

Hasil ini menyoroti pentingnya metadata untuk membedakan percakapan yang tidak aman dan dapat digunakan sebagai pedoman bagi platform untuk merancang identifikasi risiko dengan kecerdasan buatan.

Platform tersebut dapat menggunakan fitur tingkat tinggi seperti metadata untuk memblokir konten berbahaya tanpa memindai konten tersebut dan dengan demikian melanggar privasi pengguna.

Misalnya, seorang pelaku pelecehan yang terus-menerus ingin dihindari oleh anak muda akan menghasilkan metadata – komunikasi yang berulang-ulang, singkat, dan sepihak antara pengguna yang tidak terhubung – yang dapat digunakan oleh sistem AI untuk memblokir pelaku pelecehan.

Idealnya, generasi muda dan pemberi perawatan mereka akan diberikan pilihan untuk dapat mengaktifkan enkripsi, deteksi risiko, atau keduanya sehingga mereka dapat memutuskan trade-off antara privasi dan keamanan bagi diri mereka sendiri.

Rekomendasi Editor:

• Tantangan AI pada tahun 2024: Wawasan dari 3 peneliti AI terkemuka
• Manusia dan ChatGPT mencerminkan pola bahasa yang sama – begini caranya
• Pedagang AI ChatGPT: Terlalu cepat, terlalu marah, terlalu berisiko?
• ChatGPT dan AI bahasa lain sama tidak rasionalnya dengan kita

Catatan Editor: Artikel ini ditulis oleh Afsaneh Razi, Asisten Profesor Ilmu Informasi, Universitas Drexel, dan diterbitkan ulang dari The Conversation di bawah lisensi Creative Commons e. Baca artikel aslinya.