Спам, сгенерированный искусственным интеллектом, скоро может наводнить ваш почтовый ящик мошенническими сообщениями

Каждый день сообщения от нигерийских принцев, торговцев чудо-лекарствами и пропагандистов инвестиций, которые нельзя пропустить, засоряют почтовые ящики.

Улучшения в спам-фильтрах, кажется, только вдохновляют на новые методы прорыва защиты.

Теперь гонка вооружений между блокировщиками и отправителями спама обострится с появлением нового оружия: генеративного искусственного интеллекта.

Благодаря недавним достижениям в области искусственного интеллекта, прославленным ChatGPT, у спамеров могут появиться новые инструменты для обхода фильтров, привлечения внимания людей и убеждения их щелкнуть мышью, купить или передать личную информацию.

Как директор лаборатории развития человеческого и машинного мышления в Университете Южной Флориды, я исследую пересечение искусственного интеллекта, обработки естественного языка и человеческого мышления.

Я изучал, как ИИ может изучать индивидуальные предпочтения, убеждения и особенности личности людей.

Это можно использовать, чтобы лучше понять, как взаимодействовать с людьми, помогать им учиться или давать полезные советы.

Но это также означает, что вам следует готовиться к более умному спаму, который знает ваши слабые места и может использовать их против вас.

Спам, спам, спам

Итак, что такое спам? Спам определяется как нежелательные коммерческие электронные письма, отправленные неизвестным лицом. Этот термин иногда распространяется на текстовые сообщения, прямые сообщения в социальных сетях и поддельные обзоры продуктов.

Спамеры хотят подтолкнуть вас к действию: купить что-нибудь, перейти по фишинговой ссылке, установить вредоносное ПО или изменить представление.

Спам приносит прибыль. Одна рассылка электронной почты может принести 1000 долларов всего за несколько часов, что обходится спамерам всего в несколько долларов, не считая первоначальной настройки. Кампания фармацевтического спама в Интернете может приносить около 7000 долларов в день.

Законные рекламодатели также хотят подтолкнуть вас к действию — покупке их продуктов, участию в опросах и подписке на информационные бюллетени.

Тем не менее, в то время как электронное письмо маркетолога может содержать ссылку на официальный веб-сайт компании и содержать возможность отказа от подписки в соответствии с федеральными нормами, электронное письмо со спамом не может.

Спамеры также не имеют доступа к спискам рассылки, на которые подписаны пользователи. Вместо этого спамеры используют контринтуитивные стратегии, такие как мошенничество с «нигерийским принцем».

Нигерийский принц утверждает, что ему нужна ваша помощь, чтобы разблокировать абсурдную сумму денег, и обещает щедро вас вознаградить.

Сообразительные цифровые аборигены немедленно отклоняют такие просьбы, но абсурдность запроса может на самом деле выбирать по наивности или преклонному возрасту, отфильтровывая тех, кто с наибольшей вероятностью попадется на удочку.

Однако достижения в области искусственного интеллекта означают, что спамерам, возможно, не придется полагаться на такие подходы наугад.

ИИ может позволить им нацеливаться на отдельных людей и делать их сообщения более убедительными на основе легкодоступной информации, такой как сообщения в социальных сетях.

Будущее спама

Скорее всего, вы слышали о достижениях в генеративных больших языковых моделях, таких как ChatGPT.

Задача, которую выполняют эти генеративные LLM, обманчиво проста: по заданной текстовой последовательности предсказать, какой токен — думайте об этом как о части слова — будет следующим.

Затем предскажите, какой токен будет после этого. И так далее, снова и снова.

Каким-то образом обучение только этой задаче, проведенное с достаточным количеством текста на достаточно большом LLM, кажется достаточным, чтобы наделить эти модели способностью удивительно хорошо выполнять множество других задач.

Уже появилось несколько способов использования технологии, демонстрирующих способность технологии адаптироваться к людям и быстро узнавать о них.

Например, LLM могут писать полные электронные письма в вашем стиле письма, учитывая лишь несколько примеров того, как вы пишете. И вот классический пример — которому уже более десяти лет — компания Target выяснила, что клиентка беременна, прежде чем об этом узнал ее отец.

Как спамеры, так и маркетологи выиграют, если смогут предсказать больше о людях с меньшим объемом данных.

Зная вашу страницу в LinkedIn, несколько сообщений и пару изображений профиля, спамеры, вооруженные LLM, могут сделать достаточно точные предположения о ваших политических пристрастиях, семейном положении или жизненных приоритетах.

Наше исследование показало, что LLM можно использовать для предсказания того, какое слово человек скажет следующим, с точностью, намного превосходящей другие подходы ИИ в задаче генерации слов, называемой задачей семантической беглости.

Мы также показали, что LLM могут брать определенные типы вопросов из тестов на способность рассуждать и предсказывать, как люди ответят на этот вопрос.

Это говорит о том, что LLM уже имеют некоторые знания о том, как выглядят типичные человеческие способности к рассуждениям.

Если спамеры преодолеют первоначальные фильтры и заставят вас прочитать электронное письмо, щелкнуть ссылку или даже вступить в беседу, их способность применять индивидуальное убеждение резко возрастет.

Здесь снова LLM могут изменить игру. Первые результаты показывают, что LLM можно использовать для убедительных аргументов по самым разным темам, от политики до политики в области общественного здравоохранения.

Хорошо для гусака

Однако ИИ не поддерживает ни ту, ни другую сторону. Спам-фильтры также должны извлечь выгоду из достижений искусственного интеллекта в борьбе со спамом, что позволит им возводить новые барьеры для нежелательных электронных писем.

Спамеры часто пытаются обмануть фильтры специальными символами, словами с ошибками или скрытым текстом, полагаясь на человеческую склонность прощать небольшие текстовые аномалии — например, «щелкните здесь, n0w».

Но поскольку ИИ лучше понимает спам-сообщения, фильтры могут лучше идентифицировать и блокировать нежелательный спам. И, возможно, даже пропускать нежелательный спам, такой как маркетинговые электронные письма, на которые вы явно подписались.

Представьте себе фильтр, который предсказывает, хотите ли вы прочитать электронное письмо, еще до того, как вы его прочтете.

Несмотря на растущую озабоченность по поводу ИИ, о чем свидетельствуют генеральный директор Tesla, SpaceX и Twitter Илон Маск, основатель Apple Стив Возняк и другие лидеры в области технологий, призывающие к паузе в развитии ИИ, достижения в области технологий могут принести много пользы.

ИИ может помочь нам понять, как слабости человеческого мышления могут быть использованы злоумышленниками, и разработать способы противодействия злонамеренным действиям.

Все новые технологии могут привести как к удивлению, так и к опасности. Разница заключается в том, кто создает и контролирует инструменты и как они используются.

Эта статья была обновлена, чтобы указать, что это был отец подростка .

Есть какие-нибудь мысли по этому поводу? Напишите нам в комментариях или перенесите обсуждение в наш Twitter или Facebook.

Рекомендации редакции:

• Как изменить настройки спама Gmail и настроить фильтр
• Как определить и предотвратить спам в WhatsApp
• Проверенные страницы Facebook были взломаны и распространили вредоносное ПО
• Технические лидеры хотят нажать кнопку паузы в обучении ИИ

Примечание редактора: эта статья была написана Джоном Ликато , доцентом компьютерных наук и директором лаборатории AMHR Университета Южной Флориды, и переиздана из The Conversation под лицензией Creative Commons. Прочитайте оригинальную статью.