AI が生成したスパムにより、間もなく受信箱が詐欺で溢れかえる可能性があります

毎日、ナイジェリアの王子、特効薬の行商人、見逃せない投資の推進者からのメッセージがメールの受信箱を圧迫しています。

スパム フィルターの改良は、保護を突破するための新しい技術を刺激するだけのようです。

現在、スパム ブロッカーとスパム送信者の間での軍拡競争が、新兵器である生成型人工知能の出現により激化しようとしています。

ChatGPT で有名になった最近の AI の進歩により、スパマーはフィルターを回避し、人々の注意を引き、個人情報をクリック、購入、または放棄するよう説得するための新しいツールを手に入れることができるでしょう。

南フロリダ大学の高度人間推論研究室の所長として、私は人工知能、自然言語処理、人間推論の交差点を研究しています。

私は、AI が人々の個人的な好み、信念、性格の癖をどのように学習できるかを研究してきました。

これは、人々と対話する方法をより深く理解し、学習を支援したり、役立つ提案を提供したりするために使用できます。

しかしこれは、あなたの弱点を知り、それを悪用する可能性のあるより賢いスパムに備える必要があることも意味します。

スパム、スパム、スパム

では、スパムとは何でしょうか? スパムは、未知の組織によって送信される一方的な商用電子メールとして定義されます。 この用語は、テキスト メッセージ、ソーシャル メディアのダイレクト メッセージ、製品の偽のレビューに拡張されることがあります。

スパマーは、何かを購入したり、フィッシング リンクをクリックしたり、マルウェアをインストールしたり、ビューを変更したりするなど、ユーザーを行動に移そうとします。

スパムは利益を生みます。 1 件の電子メールの一斉送信は、わずか数時間で 1,000 ドルを稼ぐことができ、スパマーの費用は初期セットアップを除いてわずか数ドルです。 オンラインの医薬品スパム キャンペーンでは、1 日あたり約 7,000 ドルが発生する可能性があります。

正規の広告主も、製品の購入、アンケートの回答、ニュースレターへの登録など、ユーザーに行動を促したいと考えています。

それでも、マーケティング担当者の電子メールには、確立された企業 Web サイトへのリンクがあり、連邦規制に従って購読解除オプションが含まれている場合がありますが、スパム電子メールには含まれていない場合があります。

スパマーは、ユーザーが登録したメーリング リストにもアクセスできません。 その代わりに、スパマーは「ナイジェリアの王子」詐欺など、直観に反する戦略を利用します。

ナイジェリアの王子は、法外な金額のロックを解除するにはあなたの助けが必要だと主張し、十分な報酬を与えると約束しました。

賢明なデジタルネイティブはそのような嘆願をすぐに却下しますが、その要求の不条理さにより、実際には純朴な人や高齢者が選ばれ、詐欺に引っかかる可能性が最も高い人がフィルタリングされる可能性があります。

しかし、AI の進歩により、スパマーはそのような行き当たりばったりのアプローチに頼る必要がなくなる可能性があります。

AI を使えば、個人をターゲットにし、ソーシャル メディアの投稿など、簡単にアクセスできる情報に基づいてメッセージをより説得力のあるものにすることができます。

スパムの未来

ChatGPT のような生成大規模言語モデルの進歩について聞いたことがあるかもしれません。

これらの生成 LLM が実行するタスクは一見単純です。テキスト シーケンスが与えられた場合、次にどのトークンが来るかを予測します (これは単語の一部であると考えてください)。

次に、その後にどのトークンが来るかを予測します。 などを何度も繰り返します。

どういうわけか、十分な大きさの LLM で十分なテキストを使用してそのタスクのみをトレーニングするだけで、これらのモデルに他の多くのタスクで驚くほど優れたパフォーマンスを発揮する能力を与えるのに十分であるように思えます。

このテクノロジーを使用する複数の方法がすでに登場しており、個人に迅速に適応し、個人について学習するテクノロジーの能力が示されています。

たとえば、LLM は、書き方の例がいくつかあるだけで、あなたの書き方で完全な電子メールを書くことができます。 そして、ターゲットが父親が知る前に顧客が妊娠していたことに気づいたという、もう10年以上前の典型的な例があります。

スパマーとマーケティング担当者は同様に、より少ないデータで個人についてより多くのことを予測できることから恩恵を受けるでしょう。

LinkedIn ページ、いくつかの投稿、および 1 つまたは 2 つのプロフィール画像を考慮すると、LLM 武装スパム送信者は、あなたの政治的傾向、婚姻状況、または人生の優先事項についてかなり正確に推測する可能性があります。

私たちの調査では、LLM を使用すると、セマンティック流暢性タスクと呼ばれる単語生成タスクにおいて、他の AI アプローチをはるかに上回る精度で、個人が次にどの単語を言うかを予測できることがわかりました。

また、LLM が推論能力のテストから特定の種類の質問を受け取り、人々がその質問にどのように反応するかを予測できることも示しました。

これは、LLM が人間の典型的な推論能力がどのようなものであるかをすでにある程度知っていることを示唆しています。

スパマーが最初のフィルターを通過し、ユーザーに電子メールを読ませたり、リンクをクリックさせたり、さらには会話に参加させたりすると、カスタマイズされた説得を適用する能力が劇的に高まります。

ここでも、LLM が状況を変えることができます。 初期の結果は、LLM を使用して、政治から公衆衛生政策に至るまでのテーマについて説得力のある議論ができることを示唆しています。

ガンダーにとっては良いことだ

ただし、AI はどちらの側にも有利ではありません。 スパム フィルターも AI スパムの進歩の恩恵を受け、迷惑メールに対する新たな障壁を築くことができるはずです。

スパマーは、小さなテキストの異常を許容する人間の傾向に頼って、特殊文字、スペルミスの単語、または隠しテキストを使用してフィルタを騙そうとすることがよくあります (たとえば、「c1ick h.ere n0w」)。

しかし、AI がスパム メッセージをよりよく理解できるようになると、フィルターは不要なスパムをより適切に識別してブロックできるようになります。 また、明示的に登録したマーケティング電子メールなどの指名手配スパムも通過する可能性があります。

電子メールを読む前に、そのメールを読みたいかどうかを予測するフィルターを想像してみてください。

テスラ、スペースX、ツイッターのイーロン・マスク最高経営責任者（CEO）、アップルの創設者スティーブ・ウォズニアック氏、その他のテクノロジーリーダーらがAI開発の一時停止を求めていることからもわかるように、AIに対する懸念が高まっているにもかかわらず、テクノロジーの進歩から多くの良いことがもたらされる可能性がある。

AI は、人間の推論の弱点が悪者によってどのように悪用されるかを理解し、悪意のある活動に対抗する方法を開発するのに役立ちます。

すべての新しいテクノロジーは、驚異と危険の両方をもたらす可能性があります。 違いは、誰がツールを作成および管理するか、およびその使用方法にあります。

この記事は、それがティーンエイジャーの父親であることを示すために更新されました。

これについて何か考えはありますか？ 以下のコメント欄に記入していただくか、Twitter または Facebook にディスカッションを持ち込んでください。

編集者のおすすめ:

• Gmailの迷惑メール設定を変更してフィルターをカスタマイズする方法
• WhatsApp スパムを特定して防ぐ方法
• Facebook ページがハッキングされ、マルウェアが拡散されたことを確認
• テクノロジーリーダーはAIトレーニングの一時停止ボタンを押したいと考えている

編集者注: この記事は、南フロリダ大学コンピュータ サイエンス助教授兼 AMHR 研究所所長のJohn Licato によって書かれ、クリエイティブ コモンズ ライセンスに基づいて The Conversation から再公開されました。 元の記事を読んでください。