Spam gerado por IA pode em breve inundar sua caixa de entrada com golpes

Todos os dias, mensagens de príncipes nigerianos, vendedores de drogas milagrosas e promotores de investimentos imperdíveis lotam as caixas de entrada de e-mail.

As melhorias nos filtros de spam parecem apenas inspirar novas técnicas para romper as proteções.

Agora, a corrida armamentista entre bloqueadores de spam e remetentes de spam está prestes a aumentar com o surgimento de uma nova arma: inteligência artificial generativa.

Com os recentes avanços em IA tornados famosos pelo ChatGPT, os spammers podem ter novas ferramentas para escapar dos filtros, chamar a atenção das pessoas e convencê-las a clicar, comprar ou desistir de informações pessoais.

Como diretor do laboratório Advancing Human and Machine Reasoning da University of South Florida, pesquiso a interseção de inteligência artificial, processamento de linguagem natural e raciocínio humano.

Estudei como a IA pode aprender as preferências, crenças e peculiaridades individuais das pessoas.

Isso pode ser usado para entender melhor como interagir com as pessoas, ajudá-las a aprender ou fornecer sugestões úteis.

Mas isso também significa que você deve se preparar para um spam mais inteligente que conhece seus pontos fracos – e pode usá-los contra você.

Spam, spam, spam

Então, o que é spam? Spam é definido como e-mails comerciais não solicitados enviados por uma entidade desconhecida. Às vezes, o termo é estendido a mensagens de texto, mensagens diretas nas mídias sociais e análises falsas de produtos.

Os spammers querem induzi-lo a uma ação: comprar algo, clicar em links de phishing, instalar malware ou alterar visualizações.

O spam é lucrativo. Uma explosão de e-mail pode render US$ 1.000 em apenas algumas horas, custando aos spammers apenas alguns dólares – excluindo a configuração inicial. Uma campanha de spam farmacêutico online pode gerar cerca de US$ 7.000 por dia.

Anunciantes legítimos também querem induzi-lo à ação – comprando seus produtos, respondendo a suas pesquisas e se inscrevendo em boletins informativos.

Ainda assim, enquanto um e-mail de marketing pode ter um link para o site de uma empresa estabelecida e conter uma opção de cancelamento de inscrição de acordo com os regulamentos federais, um e-mail de spam não pode.

Os spammers também não têm acesso às listas de e-mail nas quais os usuários se inscreveram. Em vez disso, os spammers utilizam estratégias contra-intuitivas, como o golpe do “príncipe nigeriano”.

Um príncipe nigeriano afirma precisar de sua ajuda para desbloquear uma quantia absurda de dinheiro, prometendo recompensá-lo bem.

Os nativos digitais experientes descartam imediatamente tais fundamentos, mas o absurdo do pedido pode, na verdade, selecionar ingenuidade ou idade avançada, filtrando aqueles com maior probabilidade de cair nos golpes.

Avanços na IA, no entanto, significam que os spammers podem não ter que confiar em tais abordagens de acertar ou errar.

A IA pode permitir que eles atinjam indivíduos e tornem suas mensagens mais persuasivas com base em informações facilmente acessíveis, como postagens em mídias sociais.

Futuro do spam

É provável que você já tenha ouvido falar sobre os avanços em modelos generativos de linguagem ampla, como o ChatGPT.

A tarefa que esses LLMs generativos executam é enganosamente simples: dada uma sequência de texto, preveja qual token – pense nisso como parte de uma palavra – vem a seguir.

Em seguida, preveja qual token vem depois disso. E assim por diante, mais e mais.

De alguma forma, o treinamento apenas nessa tarefa, quando feito com texto suficiente em um LLM grande o suficiente, parece ser suficiente para imbuir esses modelos com a capacidade de executar surpreendentemente bem em muitas outras tarefas.

Várias maneiras de usar a tecnologia já surgiram, mostrando a capacidade da tecnologia de se adaptar e aprender sobre os indivíduos rapidamente.

Por exemplo, os LLMs podem escrever e-mails completos em seu estilo de escrita, com apenas alguns exemplos de como você escreve. E há o exemplo clássico – agora com mais de uma década – da Target descobrir que uma cliente estava grávida antes que seu pai soubesse.

Tanto os spammers quanto os profissionais de marketing se beneficiariam com a capacidade de prever mais sobre os indivíduos com menos dados.

Dada a sua página do LinkedIn, algumas postagens e uma ou duas imagens de perfil, os spammers armados com LLM podem fazer suposições razoavelmente precisas sobre suas tendências políticas, estado civil ou prioridades de vida.

Nossa pesquisa mostrou que os LLMs podem ser usados ​​para prever qual palavra um indivíduo dirá a seguir com um grau de precisão que supera em muito outras abordagens de IA em uma tarefa de geração de palavras chamada tarefa de fluência semântica.

Também mostramos que os LLMs podem responder a certos tipos de perguntas de testes de habilidades de raciocínio e prever como as pessoas responderão a essas perguntas.

Isso sugere que os LLMs já têm algum conhecimento de como é a capacidade típica de raciocínio humano.

Se os spammers passarem pelos filtros iniciais e conseguirem que você leia um e-mail, clique em um link ou até mesmo participe de uma conversa, sua capacidade de aplicar persuasão personalizada aumenta drasticamente.

Aqui, novamente, os LLMs podem mudar o jogo. Os primeiros resultados sugerem que os LLMs podem ser usados ​​para argumentar de forma persuasiva sobre tópicos que vão desde política até políticas de saúde pública.

Bom para o gander

AI, no entanto, não favorece um lado ou outro. Os filtros de spam também devem se beneficiar dos avanços do spam de IA, permitindo-lhes erguer novas barreiras para e-mails indesejados.

Os spammers geralmente tentam enganar os filtros com caracteres especiais, palavras com erros ortográficos ou texto oculto, contando com a propensão humana de perdoar pequenas anomalias de texto – por exemplo, “clique aqui n0w”.

Mas como a IA entende melhor as mensagens de spam, os filtros podem identificar e bloquear melhor o spam indesejado. E talvez até deixe passar spam desejado, como e-mail de marketing para o qual você se inscreveu explicitamente.

Imagine um filtro que prevê se você deseja ler um e-mail antes mesmo de lê-lo.

Apesar das crescentes preocupações com a IA – como evidenciado pelo CEO da Tesla, SpaceX e Twitter, Elon Musk, o fundador da Apple, Steve Wozniak, e outros líderes de tecnologia pedindo uma pausa no desenvolvimento da IA ​​– muito de bom pode vir dos avanços na tecnologia.

A IA pode nos ajudar a entender como as fraquezas do raciocínio humano podem ser exploradas por maus atores e desenvolver maneiras de combater atividades malévolas.

Todas as novas tecnologias podem resultar em admiração e perigo. A diferença está em quem cria e controla as ferramentas e como elas são usadas.

Este artigo foi atualizado para indicar que se tratava do pai de uma adolescente .

Tem alguma opinião sobre isso? Deixe-nos uma mensagem abaixo nos comentários ou leve a discussão para o nosso Twitter ou Facebook.

Recomendações dos editores:

• Como alterar as configurações de spam do Gmail e personalizar o filtro
• Como identificar e evitar spam no WhatsApp
• As páginas verificadas do Facebook foram invadidas e espalharam malware
• Líderes de tecnologia querem apertar o botão de pausa no treinamento de IA

Nota do Editor: Este artigo foi escrito por John Licato , Professor Assistente de Ciência da Computação e Diretor do AMHR Lab, University of South Florida e republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.