يمكن أن تكون إجراءات السلامة الجديدة التي اتخذتها شركة ميتا بمثابة سيف ذو حدين بالنسبة للمراهقين

أعلنت شركة Meta في 9 يناير 2024، أنها ستحمي المستخدمين المراهقين من خلال منعهم من مشاهدة المحتوى على Instagram وFacebook الذي تعتبره الشركة ضارًا، بما في ذلك المحتوى المتعلق بالانتحار واضطرابات الأكل.

وتأتي هذه الخطوة في الوقت الذي زادت فيه الحكومات الفيدرالية وحكومات الولايات الضغط على شركات وسائل التواصل الاجتماعي لتوفير تدابير السلامة للمراهقين.

وفي الوقت نفسه، يلجأ المراهقون إلى أقرانهم على وسائل التواصل الاجتماعي للحصول على الدعم الذي لا يمكنهم الحصول عليه في أي مكان آخر. قد تؤدي الجهود المبذولة لحماية المراهقين، عن غير قصد، إلى زيادة صعوبة حصولهم على المساعدة أيضًا.

عقد الكونجرس العديد من جلسات الاستماع في السنوات الأخيرة حول وسائل التواصل الاجتماعي والمخاطر التي يتعرض لها الشباب.

من المقرر أن يدلي الرؤساء التنفيذيون لشركة Meta وX – المعروفة سابقًا باسم Twitter – وTikTok وSnap وDiscord بشهادتهم أمام اللجنة القضائية بمجلس الشيوخ في 31 يناير 2024، حول جهودهم لحماية القاصرين من الاستغلال الجنسي.

شركات التكنولوجيا "أخيرًا مجبرة على الاعتراف بفشلها عندما يتعلق الأمر بحماية الأطفال"، وفقًا لبيان صدر قبل جلسة الاستماع من رئيس اللجنة وعضوها البارز، السيناتوران ديك دوربين (ديمقراطي من إلينوي) وليندسي جراهام (ديمقراطي). RS.C.)، على التوالي.

أنا باحث يدرس السلامة عبر الإنترنت. لقد قمت أنا وزملائي بدراسة تفاعلات المراهقين على وسائل التواصل الاجتماعي وفعالية جهود المنصات لحماية المستخدمين.

تظهر الأبحاث أنه على الرغم من أن المراهقين يواجهون المخاطر على وسائل التواصل الاجتماعي، إلا أنهم يجدون أيضًا دعمًا من أقرانهم، خاصة عبر الرسائل المباشرة.

لقد حددنا مجموعة من الخطوات التي يمكن لمنصات التواصل الاجتماعي اتخاذها لحماية المستخدمين مع حماية خصوصيتهم واستقلاليتهم عبر الإنترنت أيضًا.

ما يواجهه الأطفال

إن انتشار المخاطر التي يتعرض لها المراهقون على وسائل التواصل الاجتماعي أمر راسخ. وتتراوح هذه المخاطر بين التحرش والتسلط وسوء الصحة العقلية والاستغلال الجنسي.

أظهرت التحقيقات أن شركات مثل Meta عرفت أن منصاتها تؤدي إلى تفاقم مشكلات الصحة العقلية، مما يساعد على جعل الصحة العقلية للشباب إحدى أولويات الجراح العام الأمريكي.

الكثير من الأبحاث المتعلقة بسلامة المراهقين عبر الإنترنت مستمدة من البيانات المبلغ عنها ذاتيًا مثل الدراسات الاستقصائية.

هناك حاجة لمزيد من التحقيق في التفاعلات الخاصة للشباب في العالم الحقيقي ووجهات نظرهم حول المخاطر عبر الإنترنت.

ولتلبية هذه الحاجة، قمت أنا وزملائي بجمع مجموعة كبيرة من البيانات لنشاط الشباب على إنستغرام، بما في ذلك أكثر من 7 ملايين رسالة مباشرة.

لقد طلبنا من الشباب التعليق على محادثاتهم الخاصة وتحديد الرسائل التي جعلتهم يشعرون بعدم الارتياح أو عدم الأمان.

باستخدام مجموعة البيانات هذه، وجدنا أن التفاعلات المباشرة يمكن أن تكون حاسمة بالنسبة للشباب الذين يبحثون عن الدعم في قضايا تتراوح بين الحياة اليومية ومخاوف الصحة العقلية.

تشير النتائج التي توصلنا إليها إلى أن الشباب استخدموا هذه القنوات لمناقشة تفاعلاتهم العامة بشكل أكثر عمقًا. وبناء على الثقة المتبادلة في الإعدادات، شعر المراهقون بالأمان عند طلب المساعدة.

تشير الأبحاث إلى أن خصوصية الخطاب عبر الإنترنت تلعب دورًا مهمًا في سلامة الشباب عبر الإنترنت، وفي الوقت نفسه يأتي قدر كبير من التفاعلات الضارة على هذه المنصات في شكل رسائل خاصة.

تضمنت الرسائل غير الآمنة التي أبلغ عنها المستخدمون في مجموعة البيانات لدينا التحرش والرسائل الجنسية والإغراء الجنسي والعري والمواد الإباحية وخطاب الكراهية وبيع الأنشطة غير القانونية أو الترويج لها.

ومع ذلك، أصبح من الصعب على المنصات استخدام التكنولوجيا الآلية للكشف عن المخاطر عبر الإنترنت للمراهقين ومنعها بسبب تعرض المنصات لضغوط لحماية خصوصية المستخدم.

على سبيل المثال، قامت Meta بتطبيق التشفير الشامل لجميع الرسائل على منصاتها لضمان أن محتوى الرسالة آمن ولا يمكن الوصول إليه إلا من قبل المشاركين في المحادثات.

كما أن الخطوات التي اتخذتها Meta لمنع محتوى الانتحار واضطرابات الأكل تحافظ على هذا المحتوى من المنشورات العامة وتبحث عنه حتى لو قام صديق مراهق بنشره.

وهذا يعني أن المراهق الذي شارك هذا المحتوى سيُترك بمفرده دون دعم أصدقائه وأقرانه.

بالإضافة إلى ذلك، لا تعالج إستراتيجية محتوى Meta التفاعلات غير الآمنة في المحادثات الخاصة التي يجريها المراهقون عبر الإنترنت.

تحقيق التوازن

التحدي إذن هو حماية المستخدمين الأصغر سنا دون انتهاك خصوصيتهم. ولتحقيق هذه الغاية، أجرينا دراسة لمعرفة كيف يمكننا استخدام الحد الأدنى من البيانات لاكتشاف الرسائل غير الآمنة.

أردنا أن نفهم كيف يمكن للميزات أو البيانات الوصفية المختلفة للمحادثات المحفوفة بالمخاطر، مثل طول المحادثة ومتوسط ​​وقت الاستجابة وعلاقات المشاركين في المحادثة، أن تساهم في برامج التعلم الآلي التي تكتشف هذه المخاطر.

على سبيل المثال، أظهرت الأبحاث السابقة أن المحادثات المحفوفة بالمخاطر تميل إلى أن تكون قصيرة ومن جانب واحد، كما هو الحال عندما يقوم الغرباء بتقدم غير مرغوب فيه.

لقد وجدنا أن برنامج التعلم الآلي الخاص بنا كان قادرًا على تحديد المحادثات غير الآمنة بنسبة 87% من الوقت باستخدام البيانات الوصفية للمحادثات فقط.

ومع ذلك، فإن تحليل النصوص والصور ومقاطع الفيديو الخاصة بالمحادثات هو الأسلوب الأكثر فعالية لتحديد نوع الخطر وشدته.

تسلط هذه النتائج الضوء على أهمية البيانات الوصفية في التمييز بين المحادثات غير الآمنة ويمكن استخدامها كمبدأ توجيهي للمنصات لتصميم تحديد مخاطر الذكاء الاصطناعي.

يمكن للمنصات استخدام ميزات عالية المستوى مثل البيانات الوصفية لحظر المحتوى الضار دون فحص هذا المحتوى وبالتالي انتهاك خصوصية المستخدمين.

على سبيل المثال، قد ينتج المتحرش المستمر الذي يريد الشاب تجنبه بيانات وصفية ــ اتصالات متكررة وقصيرة وأحادية الجانب بين مستخدمين غير متصلين ــ والتي يمكن لنظام الذكاء الاصطناعي استخدامها لمنع المتحرش.

من الناحية المثالية، سيتم منح الشباب ومقدمي الرعاية لهم الخيار حسب التصميم ليكونوا قادرين على تشغيل التشفير أو اكتشاف المخاطر أو كليهما حتى يتمكنوا من اتخاذ قرار بشأن المفاضلة بين الخصوصية والسلامة لأنفسهم.

توصيات المحررين:

• تحديات الذكاء الاصطناعي في عام 2024: رؤى من 3 باحثين رائدين في الذكاء الاصطناعي
• يعكس البشر وChatGPT أنماط اللغة المتبادلة – وإليك الطريقة
• متداولو ChatGPT AI: سريع جدًا، غاضب جدًا، محفوف بالمخاطر؟
• إن ChatGPT واللغات الأخرى التي تعتمد على الذكاء الاصطناعي غير عقلانية مثلنا تمامًا

ملاحظة المحرر: كتب هذا المقال أفسانه رازي، أستاذ مساعد في علوم المعلومات، جامعة دريكسيل، وأعيد نشره من The Conversation بموجب تراخيص المشاع الإبداعي e. إقرأ المقال الأصلي.