Spam yang dihasilkan AI akan segera membanjiri kotak masuk Anda dengan penipuan

Setiap hari, pesan dari pangeran Nigeria, penjaja obat ajaib, dan promotor investasi yang tidak boleh dilewatkan mencekik kotak masuk email.

Peningkatan pada filter spam sepertinya hanya menginspirasi teknik baru untuk menerobos perlindungan.

Sekarang, perlombaan senjata antara pemblokir spam dan pengirim spam akan meningkat dengan munculnya senjata baru: kecerdasan buatan generatif.

Dengan kemajuan terbaru dalam AI yang dipopulerkan oleh ChatGPT, pelaku spam dapat memiliki alat baru untuk menghindari filter, menarik perhatian orang, dan meyakinkan mereka untuk mengeklik, membeli, atau menyerahkan informasi pribadi.

Sebagai direktur laboratorium Advancing Human and Machine Reasoning di University of South Florida, saya meneliti persimpangan antara kecerdasan buatan, pemrosesan bahasa alami, dan penalaran manusia.

Saya telah mempelajari bagaimana AI dapat mempelajari preferensi individu, keyakinan, dan kebiasaan kepribadian seseorang.

Ini dapat digunakan untuk lebih memahami cara berinteraksi dengan orang lain, membantu mereka belajar, atau memberikan saran yang berguna.

Tetapi ini juga berarti Anda harus bersiap untuk spam yang lebih cerdas yang mengetahui titik lemah Anda – dan dapat menggunakannya untuk melawan Anda.

Spam, spam, spam

Jadi, apa itu spam? Spam didefinisikan sebagai email komersial yang tidak diminta yang dikirim oleh entitas yang tidak dikenal. Istilah ini terkadang diperluas ke pesan teks, pesan langsung di media sosial, dan ulasan palsu pada produk.

Pelaku spam ingin mendorong Anda untuk bertindak: membeli sesuatu, mengeklik tautan phishing, memasang malware, atau mengubah tampilan.

Spam menguntungkan. Satu ledakan email dapat menghasilkan $1.000 hanya dalam beberapa jam, biaya spammer hanya beberapa dolar – tidak termasuk penyiapan awal. Kampanye spam farmasi online mungkin menghasilkan sekitar $7.000 per hari.

Pengiklan yang sah juga ingin mendorong Anda untuk bertindak – membeli produk mereka, mengikuti survei mereka, dan mendaftar ke nawala.

Namun, meskipun email pemasar dapat ditautkan ke situs web perusahaan yang mapan dan berisi opsi berhenti berlangganan sesuai dengan peraturan federal, email spam tidak boleh.

Spammer juga tidak memiliki akses ke milis tempat pengguna mendaftar. Sebaliknya, spammer menggunakan strategi kontra-intuitif seperti penipuan "pangeran Nigeria".

Seorang pangeran Nigeria mengklaim membutuhkan bantuan Anda untuk membuka sejumlah uang yang tidak masuk akal, berjanji akan memberi Anda hadiah yang baik.

Penduduk asli digital yang cerdas segera mengabaikan permintaan semacam itu, tetapi permintaan yang tidak masuk akal sebenarnya dapat memilih untuk kenaifan atau usia lanjut, memfilter untuk mereka yang paling mungkin jatuh ke dalam penipuan.

Kemajuan dalam AI, bagaimanapun, berarti spammer mungkin tidak harus bergantung pada pendekatan untung-untungan seperti itu.

AI memungkinkan mereka untuk menargetkan individu dan membuat pesan mereka lebih persuasif berdasarkan informasi yang mudah diakses, seperti postingan media sosial.

Masa depan spam

Kemungkinan Anda pernah mendengar tentang kemajuan dalam model bahasa besar generatif seperti ChatGPT.

Tugas yang dilakukan LLM generatif ini tampak sederhana: diberi urutan teks, memprediksi token mana – pikirkan ini sebagai bagian dari kata – yang muncul berikutnya.

Kemudian, prediksi token mana yang muncul setelah itu. Dan seterusnya, berulang-ulang.

Entah bagaimana, pelatihan pada tugas itu saja, ketika dilakukan dengan teks yang cukup pada LLM yang cukup besar, tampaknya cukup untuk mengilhami model ini dengan kemampuan untuk bekerja dengan sangat baik pada banyak tugas lainnya.

Berbagai cara untuk menggunakan teknologi telah muncul, menunjukkan kemampuan teknologi untuk beradaptasi, dan belajar tentang individu dengan cepat.

Misalnya, LLM dapat menulis email lengkap dengan gaya penulisan Anda, hanya diberikan beberapa contoh cara Anda menulis. Dan ada contoh klasik – sekarang berusia lebih dari satu dekade – dari Target yang mengetahui seorang pelanggan hamil sebelum ayahnya mengetahuinya.

Spammer dan pemasar sama-sama akan mendapat manfaat dari kemampuan untuk memprediksi lebih banyak tentang individu dengan data yang lebih sedikit.

Mengingat halaman LinkedIn Anda, beberapa posting, dan satu atau dua gambar profil, spammer bersenjata LLM mungkin membuat tebakan yang cukup akurat tentang kecenderungan politik, status perkawinan, atau prioritas hidup Anda.

Penelitian kami menunjukkan bahwa LLM dapat digunakan untuk memprediksi kata mana yang akan diucapkan seseorang selanjutnya dengan tingkat akurasi yang jauh melebihi pendekatan AI lainnya dalam tugas pembuatan kata yang disebut tugas kefasihan semantik.

Kami juga menunjukkan bahwa LLM dapat mengambil jenis pertanyaan tertentu dari tes kemampuan penalaran dan memprediksi bagaimana orang akan menjawab pertanyaan tersebut.

Ini menunjukkan bahwa LLM sudah memiliki pengetahuan tentang seperti apa kemampuan penalaran manusia yang khas.

Jika pelaku spam berhasil melewati filter awal dan membuat Anda membaca email, mengklik tautan, atau bahkan terlibat dalam percakapan, kemampuan mereka untuk menerapkan persuasi khusus meningkat secara dramatis.

Di sini sekali lagi, LLM dapat mengubah permainan. Hasil awal menunjukkan bahwa LLM dapat digunakan untuk berdebat secara persuasif tentang topik mulai dari politik hingga kebijakan kesehatan masyarakat.

Bagus untuk melihat sekilas

AI, bagaimanapun, tidak mendukung satu sisi atau yang lain. Filter spam juga harus mendapat manfaat dari kemajuan spam AI, yang memungkinkan mereka membangun penghalang baru untuk email yang tidak diinginkan.

Spammer sering mencoba mengelabui filter dengan karakter khusus, kata yang salah eja, atau teks tersembunyi, mengandalkan kecenderungan manusia untuk memaafkan anomali teks kecil – misalnya, “c1ick here n0w.”

Namun karena AI lebih memahami pesan spam, filter dapat mengidentifikasi dan memblokir spam yang tidak diinginkan dengan lebih baik. Dan bahkan mungkin membiarkan spam yang diinginkan, seperti email pemasaran yang telah Anda daftarkan secara eksplisit.

Bayangkan sebuah filter yang memprediksi apakah Anda ingin membaca email bahkan sebelum Anda membacanya.

Terlepas dari meningkatnya kekhawatiran tentang AI – sebagaimana dibuktikan oleh CEO Tesla, SpaceX, dan Twitter Elon Musk, pendiri Apple Steve Wozniak dan para pemimpin teknologi lainnya menyerukan jeda dalam pengembangan AI – banyak hal baik dapat datang dari kemajuan teknologi.

AI dapat membantu kita memahami bagaimana kelemahan penalaran manusia dapat dieksploitasi oleh aktor jahat dan mengembangkan cara untuk melawan aktivitas jahat.

Semua teknologi baru dapat menghasilkan keajaiban dan bahaya. Perbedaannya terletak pada siapa yang membuat dan mengontrol alat dan bagaimana alat itu digunakan.

Artikel ini telah diperbarui untuk menunjukkan bahwa itu adalah ayah seorang remaja .

Punya pemikiran tentang ini? Berikan kami satu baris di bawah ini di komentar, atau bawa diskusi ke Twitter atau Facebook kami.

Rekomendasi Editor:

• Cara mengubah pengaturan spam Gmail dan menyesuaikan filter
• Cara mengidentifikasi dan mencegah spam WhatsApp
• Halaman Facebook yang terverifikasi diretas dan menyebarkan malware
• Para pemimpin teknologi ingin menekan tombol jeda pada pelatihan AI

Catatan Editor: Artikel ini ditulis oleh John Licato , Asisten Profesor Ilmu Komputer dan Direktur AMHR Lab, University of South Florida dan diterbitkan ulang dari The Conversation di bawah lisensi Creative Commons. Baca artikel aslinya.