Como detectar plágio de ChatGPT e IA

O ChatGPT virou os mundos acadêmico e empresarial de cabeça para baixo com sua capacidade de gerar cópias coerentes e bem escritas sobre praticamente qualquer assunto do mundo em questão de segundos.

Suas habilidades notáveis ​​levaram alunos de todos os níveis educacionais a recorrer ao chatbot – assim como a seus rivais, como o Bard – para escrever ensaios complexos que, de outra forma, levariam horas para serem concluídos.

Isso deu início a uma conversa global sobre um novo fenômeno, geralmente chamado de “plágio do ChatGPT”. Este guia cobre as ferramentas que empresas e instituições educacionais estão usando para detectar plágio do ChatGPT, os perigos de trapacear com o ChatGPT – e se o uso do ChatGPT conta como plágio.

• Como detectar plágio do ChatGPT
• Verificadores de plágio AI e ChatGPT mais populares
• Os verificadores de conteúdo AI realmente funcionam?
• O uso do ChatGPT ou do Bard é realmente plágio?
• Os perigos de trapacear com o ChatGPT
• O ChatGPT plagia?
• O bardo plagia?
• Outras ferramentas de IA plagiam?
• Devo usar o ChatGPT para meus ensaios ou trabalhos?

Como detectar plágio do ChatGPT

Para detectar o plágio do ChatGPT, você precisa de um verificador de conteúdo AI. Os verificadores de conteúdo de IA examinam corpos de texto para determinar se foram produzidos por um chatbot como ChatGPT ou Bard, ou por um ser humano. No entanto, como abordaremos mais adiante, essas ferramentas estão longe de serem confiáveis.

É um pouco mais difícil detectar plágio quando se trata de código, algo que o ChatGPT também pode gerar com competência. Não existe exatamente o mesmo ecossistema de ferramentas de detecção de IA para código que existe para conteúdo.

No entanto, se você estiver em um ambiente universitário, por exemplo, e estiver enviando código muito além do seu nível técnico, seu professor ou conferencista pode ter algumas suspeitas muito razoáveis ​​de que você pediu ajuda ao ChatGPT.

As ferramentas de verificação de plágio de AI e ChatGPT mais populares revisadas

Desde o lançamento do ChatGPT em novembro de 2022, muitas empresas e instituições educacionais produziram verificadores de conteúdo de IA, que afirmam ser capazes de distinguir entre conteúdo gerado artificialmente e conteúdo criado por humanos. Agora, muitas empresas também estão usando o chatbot Bard do Google, que usa um modelo de linguagem diferente.

No entanto, a suposta precisão até mesmo das ferramentas de detecção de conteúdo de IA mais respeitáveis ​​é ferozmente disputada e casos judiciais entre estudantes falsamente acusados ​​de usar conteúdo de IA e educação já se materializaram.

O resultado final é o seguinte: nenhuma ferramenta neste espaço é 100% precisa, mas algumas são muito melhores que outras.

GPTZero

O GPTZero é uma ferramenta popular e gratuita de detecção de conteúdo de IA que afirma ser “o detector de IA mais preciso em casos de uso, verificado por várias fontes independentes”.

No entanto, em abril, um estudante de história da UC Davis provou que o GPTZero – uma ferramenta de detecção de conteúdo de IA usada por seu professor – estava incorreto quando rotulou seu ensaio como gerado por IA.

Testamos o GPTZero pedindo ao ChatGPT para escrever um conto. O GPTZero, infelizmente, não foi capaz de dizer que o conteúdo foi escrito por uma ferramenta de IA:

Originalidade.ai

Originality.ai é certamente uma das ferramentas de detecção de conteúdo AI mais precisas atualmente disponíveis.

A empresa conduziu seu próprio estudo sobre ferramentas de detecção de conteúdo de IA em abril deste ano, dentro do qual alimentou 600 blocos de texto gerados artificialmente e 600 gerados por humanos para seu próprio sistema de detecção de conteúdo, bem como outras ferramentas populares que afirmam fazer semelhantes. .

Como você pode ver nos resultados abaixo, Originality.ai superou todas as ferramentas incluídas no teste:

A única desvantagem de Originality.ai é que não há um plano gratuito e você não pode nem mesmo testá-lo gratuitamente como faria com os outros aplicativos incluídos neste artigo. custa $ 20 por 2.000 créditos, o que permitirá que você verifique 200.000 palavras.

Detector de conteúdo AI de copyleaks

Copyleaks é um detector de conteúdo AI gratuito que afirma ser capaz de distinguir entre cópias geradas por humanos e geradas por AI com 99,12% de precisão.

O Copyleaks também informará se aspectos específicos de um documento ou passagem foram escritos por IA, mesmo que outras partes pareçam ter sido escritas por um humano.

O Copyleaks diz que é capaz de detectar conteúdo gerado por IA criado por “ChatGPT, GPT-4, GPT-3, Jasper e outros” e até afirma que “assim que novos modelos forem lançados, poderemos detectá-lo automaticamente”.

CopyLeaks custa $ 8,33 por mês para 1.200 créditos (250 palavras de cópia por crédito).

Em um teste realizado pelo TechCrunch em fevereiro de 2023, no entanto, o Copyleaks classificou incorretamente vários tipos diferentes de cópia gerada por IA, incluindo um artigo de notícias, entrada de enciclopédia e uma carta de apresentação como gerada por humanos.

Além disso, o estudo do Originality.ai mencionado acima apenas descobriu que ele é preciso em 14,50% dos casos - muito longe da afirmação de 99,12% de precisão que o CopyLeaks faz.

No entanto, quando o testamos, parecia ser possível perceber que o texto que inserimos foi gerado pelo ChatGPT:

Detector Turnitin AI

A Turnitin é uma empresa de detecção de plágio com sede nos Estados Unidos que é implantada por várias universidades para digitalizar o trabalho de seus alunos. O Turnitin foi projetado para detectar todos os tipos de plágio, mas revelou em abril que está investindo em uma equipe focada em IA há algum tempo.

O Turnitin diz que pode “detectar a presença de escrita de IA com 98% de confiança e menos de um por cento de taxa de falsos positivos em nosso ambiente de laboratório controlado”.

No entanto, a empresa também diz que o conteúdo, se sinalizar um conteúdo como gerado por IA, deve ser tratado como uma “indicação, não uma acusação”. A verdadeira precisão do detector de AI do Turnitin foi contestada pelo Washington Post, bem como por outras fontes.

Atualmente, o software de detecção de conteúdo AI da Turnitin é gratuito, mas a empresa diz em um FAQ em seu site que está mudando para um programa de licenciamento pago em janeiro de 2024 – cujo preço não está especificado.

Classificador de texto OpenAI

Não querendo ser superado por verificadores de conteúdo de IA de terceiros, a própria OpenAI lançou um software projetado para classificar se o conteúdo foi gerado por IA.

O documento ou texto inserido deve ter mais de 1.000 caracteres. Depois de inserir seu documento, o OpenAI dirá quase instantaneamente a probabilidade de ter sido gerado por humanos.

Publiquei um trecho de um artigo recente da Tech.co, escrito por um escritor – que a OpenAI determinou com razão ser “muito improvável” ter sido escrito pela IA.

No mesmo artigo do TechCrunch que mencionamos anteriormente, a publicação diz que a OpenAI estima que seu classificador de texto perde 74% do conteúdo gerado por IA. É bom que eles sejam tão honestos sobre isso também – quando conduzimos um segundo teste, usando um conto gerado pelo ChatGPT, ele não percebeu o fato de que foi gerado por IA:

A detecção de conteúdo AI realmente funciona?

Nenhuma ferramenta de detecção de conteúdo de IA é 100% confiável – nossos testes provam isso de forma bastante contundente.

No entanto, nenhuma das ferramentas que discutimos hoje realmente afirma ser 100% precisa e muito poucas afirmam ser absolutamente livres de falsos positivos. Outros, como GPTZero, postam avisos sobre aceitar seus resultados como evangelho.

Vários universitários acusados ​​de usar inteligência artificial para produzir redações já foram obrigados a provar que seu trabalho era original.

No Texas, em março, um professor reprovou falsamente uma classe inteira de alunos depois de acusá-los injustamente de usar o ChatGPT para escrever redações. Há também uma coleção de relatórios – e estudos como o conduzido pela Originality.ai – que sugerem que mesmo os verificadores de plágio mais capazes não são tão precisos quanto afirmam.

Mesmo o detector de conteúdo AI do Turnitin não é infalível. No teste recente e relativamente pequeno conduzido pelo Washington Post que discutimos anteriormente, sua precisão ficou muito aquém dos 98% que eles afirmam ser capazes de produzir.

O Originality.ai, por outro lado, é certamente um dos mais robustos disponíveis – e mesmo sua tecnologia de detecção não está certa todas as vezes.

Além disso, se existirem falsos positivos em qualquer capacidade, sempre haverá espaço para os alunos alegarem que seu trabalho é original e simplesmente foi identificado incorretamente.

O uso do ChatGPT ou Bard é plágio?

É discutível se o ChatGPT é de fato plágio. A Oxford Languages ​​define plágio como “a prática de pegar o trabalho ou ideias de outra pessoa e passá-los como se fossem seus”.

O ChatGPT não é uma pessoa, e não é simplesmente reproduzir o trabalho e as ideias de outras pessoas quando gera uma resposta. Então, pela definição do dicionário, não é plágio total.

Mesmo se estivesse fazendo isso, se você fosse honesto sobre de onde veio (ou seja, ChatGPT), sem dúvida, isso não seria plágio de qualquer maneira.

No entanto, algumas escolas e universidades têm regras de plágio de longo alcance e consideram o uso de chatbots para escrever redações como tal. Um aluno da Furman University foi reprovado em seu diploma de filosofia em dezembro, depois de usar o ChatGPT para escrever seu ensaio. Em outro caso, um professor da Northern Michigan University relatou ter flagrado dois alunos usando o chatbot para escrever redações para a turma.

Usar o ChatGPT para gerar redações e depois passar isso como seu próprio trabalho talvez seja melhor descrito como “trapaça” e é definitivamente “desonesto”.

O objetivo de escrever um ensaio é mostrar que você é capaz de produzir pensamentos originais, entender conceitos relevantes, considerar cuidadosamente argumentos conflitantes, apresentar informações com clareza e citar suas fontes.

Há muito pouca diferença entre usar o ChatGPT dessa forma e pagar a outro aluno para escrever sua redação para você – o que é, claro, trapaça.

Com relação ao Bard do Google, a resposta é um pouco mais complicada. A mesma linha de lógica usada acima se aplica ao Bard e ao ChatGPT, mas Bard foi prejudicado por acusações de plágio e citando incorretamente coisas que extrai da Internet de uma forma que o ChatGPT não fez. Portanto, usar o Bard pode levar você a plagiar inadvertidamente outras fontes ( mais sobre isso abaixo ).

Os perigos de trapacear com o ChatGPT

Christopher Howell, professor assistente adjunto da Elon University, pediu recentemente a um grupo de alunos que usasse o ChatGPT para uma tarefa crítica e, em seguida, avaliasse os ensaios produzidos para eles.

Ele relatou em um longo tópico no Twitter (a primeira parte é mostrada abaixo) que todos os 63 alunos que participaram encontraram alguma forma de “alucinação” – incluindo citações falsas e fontes falsas e mal interpretadas – em suas tarefas.

O ChatGPT plagia suas respostas?

Não – o ChatGPT não está extraindo informações de outras fontes e simplesmente juntando-as, frase por frase. Este é um mal-entendido de como os transformadores pré-treinados generativos funcionam.

O ChatGPT – ou mais precisamente o modelo de linguagem GPT – é treinado em um enorme conjunto de dados de documentos, material do site e outros textos.

Ele usa algoritmos para encontrar sequências e padrões linguísticos em seus conjuntos de dados. Parágrafos, frases e palavras podem ser gerados com base no que o modelo de idioma aprendeu sobre o idioma a partir de sequências nesses conjuntos de dados.

É por isso que se você fizer a mesma pergunta ao ChatGPT ao mesmo tempo em dois dispositivos diferentes, suas respostas geralmente são extremamente semelhantes - mas ainda haverá variação e, às vezes, oferece respostas completamente diferentes.

Bard plagia suas respostas?

Maior rival do ChatGPT, o Google's Bard teve significativamente mais problemas com conteúdo plagiado desde o seu lançamento do que sua contraparte mais popular. O site de tecnologia Tom's Hardware descobriu que Bard havia plagiado um de seus artigos e, em seguida, pediu desculpas quando um de seus funcionários o denunciou.

Mais recentemente, em maio de 2023, PlagiarismCheck disse ao Yahoo News que gerou 35 trechos de texto com Bard e descobriu que havia plagiado acima de 5% em 25 deles simplesmente parafraseando o conteúdo existente já publicado na internet.

Uma grande diferença entre o Bard e o ChatGPT que talvez possa explicar isso é que o Bard pode pesquisar respostas na Internet, e é por isso que tende a lidar melhor com questões relacionadas a eventos após 2021, com as quais o ChatGPT luta. No entanto, isso também parece significar que ele extrai dados de fontes de uma maneira menos original e cita suas fontes com mais frequência.

Esses exemplos podem ter sido pontinhos, mas é bom saber os riscos se você estiver usando o Bard para um trabalho importante.

Outras ferramentas de IA plagiam?

Infelizmente, sim – e algumas empresas já se envergonharam ao usar ferramentas de IA que plagiaram o conteúdo. Por exemplo, descobriu-se que a CNET – um dos maiores sites de tecnologia do mundo – estava usando uma ferramenta de IA para gerar artigos e não foi transparente sobre isso. Cerca de metade dos artigos publicados pela CNET usando IA continham algumas informações incorretas.

Para piorar a situação, o Futurism, que lançou uma investigação sobre o plágio de IA da CNET, disse que “o mau comportamento do bot varia de cópia literal a edições moderadas a reformulações significativas, tudo sem o devido crédito do original”.

As ferramentas de IA que não geram conteúdo exclusivo e original – seja arte ou texto – têm o potencial de plagiar o conteúdo que já foi publicado na Internet. É importante entender exatamente como funciona o modelo de linguagem que sua ferramenta de IA está usando e também ter uma supervisão rigorosa sobre o conteúdo que está produzindo, ou você pode acabar na mesma posição que a CNET.

Você deve usar o ChatGPT para ensaios ou trabalho?

Usando o ChatGPT para Redações

O fato de o ChatGPT não simplesmente extrair respostas de outras fontes e misturar frases significa que as empresas podem usar o ChatGPT para uma variedade de tarefas diferentes sem se preocupar com questões de direitos autorais.

Mas sua mecânica interna também significa que muitas vezes alucina e comete erros. Está longe, longe de ser perfeito - e embora seja tentador fazer com que o ChatGPT escreva sua redação para a universidade ou faculdade, desaconselhamos isso.

As diretrizes de envio específicas de cada instituição educacional serão ligeiramente diferentes, é claro, mas é muito provável que já seja considerado “colar” ou plágio” em sua universidade ou escola. Além disso, independentemente de quão precisos sejam, as instituições educacionais estão usando detectores de conteúdo de IA, que irão melhorar com o tempo.

Usando o ChatGPT no trabalho

É claro que muitas pessoas já estão usando o ChatGPT no trabalho – ele está se mostrando útil em uma ampla variedade de setores e ajudando os funcionários em todos os tipos de funções a economizar um tempo valioso nas tarefas do dia-a-dia.

No entanto, se você estiver usando o ChatGPT no trabalho, recomendamos que seja aberto com seu gerente ou supervisor sobre isso – especialmente se você o estiver usando para atividades importantes, como redigir relatórios para partes interessadas externas.

Também recomendamos fortemente a edição pesada e a revisão cuidadosa de todo o trabalho que você está usando ChatGPT, Bard ou qualquer outra ferramenta de IA para gerar. É imprudente colocar informações confidenciais pessoais ou da empresa em qualquer chatbot, pois não há muita informação pública sobre onde esses chats são armazenados ou a infraestrutura de segurança do OpenAI.

Usando outras ferramentas de IA para ensaios ou trabalhos

Claro, Bard e ChatGPT não são os únicos chatbots de IA por aí. No entanto, hesitaríamos em oferecer nosso suporte a qualquer ferramenta de IA menor que não seja apoiada por modelos de linguagem poderosos. Eles não terão recursos tão bons e é improvável que você os ache tão úteis se experimentar usá-los para o trabalho.

As mesmas regras ainda se aplicam, no entanto – seja aberto com seu gerente e obtenha aprovação para usá-lo, não insira nenhum dado confidencial da empresa e sempre revise as respostas que receber.