Cum să detectați plagiatul ChatGPT și AI

ChatGPT a dat peste cap lumea academică și de afaceri cu capacitatea sa de a genera o copie coerentă și bine scrisă despre aproape orice subiect de pe pământ în câteva secunde.

Abilitățile sale remarcabile i-au făcut pe studenți de toate nivelurile educaționale apelând la chatbot – precum și la rivalii săi, cum ar fi Bard – pentru a scrie eseuri complexe, care altfel ar dura ore pentru a se termina.

Acest lucru a dat startul unei conversații globale despre un nou fenomen, adesea denumit „plagiat ChatGPT”. Acest ghid acoperă instrumentele pe care companiile și instituțiile de învățământ le folosesc pentru a detecta plagiatul ChatGPT, pericolele înșelăciunii cu ChatGPT și dacă utilizarea ChatGPT chiar contează ca plagiat.

• Cum să detectați plagiatul ChatGPT
• Cele mai populare verificatoare de plagiat AI și ChatGPT
• Verificările de conținut AI funcționează cu adevărat?
• Utilizarea ChatGPT sau Bard este de fapt plagiat?
• Pericolele înșelăciunii cu ChatGPT
• ChatGPT plagiază?
• Bard plagiază?
• Alte instrumente AI plagiază?
• Ar trebui să folosesc ChatGPT pentru eseurile sau munca mea?

Cum să detectați plagiatul ChatGPT

Pentru a detecta plagiatul ChatGPT, aveți nevoie de un verificator de conținut AI. Verificatoarele de conținut AI scanează corpuri de text pentru a determina dacă acestea au fost produse de un chatbot, cum ar fi ChatGPT sau Bard, sau de un om. Cu toate acestea, așa cum vom trata mai târziu, aceste instrumente sunt departe de a fi fiabile.

Este puțin mai greu să detectezi plagiatul când vine vorba de cod, ceva ce ChatGPT poate genera, de asemenea, cu capacitate. Nu există același ecosistem de instrumente de detectare AI pentru cod ca și pentru conținut.

Cu toate acestea, dacă vă aflați într-un mediu universitar, de exemplu, și trimiteți un cod cu mult peste nivelul dvs. tehnic, profesorul sau lectorul dvs. poate avea unele suspiciuni foarte rezonabile că ați cerut ChatGPT să vă ajute.

Cele mai populare instrumente de verificare a plagiatului AI și ChatGPT revizuite

De la lansarea ChatGPT în noiembrie 2022, o mulțime de companii și instituții de învățământ au produs verificatoare de conținut AI, care pretind că pot distinge între conținutul generat artificial și conținutul creat de oameni. Acum, multe companii folosesc și chatbot-ul Google Bard, care folosește un alt model de limbă.

Cu toate acestea, pretinsa acuratețe chiar și a celor mai reputate instrumente de detectare a conținutului AI este aprig contestată, iar cazurile în justiție între studenți acuzați în mod fals de utilizarea conținutului și educației AI s-au concretizat deja.

Concluzia este aceasta: niciun instrument din acest spațiu nu este 100% precis, dar unele sunt mult mai bune decât altele.

GPTZero

GPTZero este un instrument popular de detectare a conținutului AI gratuit, care susține că este „cel mai precis detector AI din toate cazurile de utilizare, verificat de mai multe surse independente”.

Cu toate acestea, în aprilie, un student la istorie de la UC Davis a demonstrat că GPTZero – un instrument de detectare a conținutului AI folosit de profesorul său – a fost incorect atunci când și-a etichetat eseul ca fiind generat de AI.

Am testat GPTZero cerând lui ChatGPT să scrie o nuvelă. GPTZero, din păcate, nu a putut spune că conținutul a fost scris de un instrument AI:

Originalitate.ai

Originality.ai este cu siguranță unul dintre cele mai precise instrumente de detectare a conținutului AI disponibile în prezent.

Compania și-a efectuat propriul studiu asupra instrumentelor de detectare a conținutului AI în aprilie a acestui an, în cadrul căruia a alimentat 600 de blocuri de text generate artificial și 600 de blocuri de text generate de om către propriul său sistem de detectare a conținutului, precum și alte instrumente populare care pretind că fac similare. .

După cum puteți vedea din rezultatele de mai jos, Originality.ai a depășit toate instrumentele incluse în test:

Singurul dezavantaj al Originality.ai este că nu există un plan gratuit și nici măcar nu îl puteți testa gratuit, așa cum puteți cu celelalte aplicații incluse în acest articol. costă 20 USD pentru 2.000 de credite, ceea ce vă va permite să verificați 200.000 de cuvinte.

Detector de conținut AI Copyleaks

Copyleaks este un detector de conținut AI care poate fi utilizat gratuit, care pretinde că poate face distincția între copia generată de oameni și cea generată de AI cu o acuratețe de 99,12%.

Copyleaks vă va spune, de asemenea, dacă anumite aspecte ale unui document sau pasaj sunt scrise de AI, chiar dacă alte părți ale acestuia par să fie scrise de un om.

Copyleaks spune că este capabil să detecteze conținut generat de AI creat de „ChatGPT, GPT-4, GPT-3, Jasper și alții” și chiar susține că „odată ce vor ieși modele mai noi, vom putea să-l detectăm automat”.

CopyLeaks costă 8,33 USD pe lună pentru 1.200 de credite (250 de cuvinte de copie per credit).

Cu toate acestea, într-un test efectuat de TechCrunch în februarie 2023, Copyleaks a clasificat incorect diferite tipuri diferite de copii generate de AI, inclusiv un articol de știri, o intrare în enciclopedie și o scrisoare de intenție ca fiind generate de om.

În plus, studiul lui Originality.ai la care se face referire mai sus a constatat că este exact doar în 14,50% din cazuri – foarte departe de afirmația de 99,12% pe care CopyLeaks o face.

Cu toate acestea, când l-am testat, părea să fie capabil să înțeleagă că textul pe care l-am introdus a fost generat de ChatGPT:

Turnitin AI Detector

Turnitin este o companie de detectare a plagiatului din SUA, care este desfășurată de o varietate de universități pentru a scana munca studenților lor. Turnitin este conceput pentru a detecta toate tipurile de plagiat, dar a dezvăluit în aprilie că investește într-o echipă axată pe inteligență artificială de ceva timp.

Turnitin spune că poate „detecta prezența scrisului AI cu o încredere de 98% și o rată de fals pozitive de mai puțin de 1% în mediul nostru de laborator controlat”.

Cu toate acestea, compania mai spune că conținutul, dacă semnalează un conținut ca fiind generat de AI, acesta ar trebui tratat ca o „indicație, nu o acuzație”. Adevărata acuratețe a detectorului AI al lui Turnitin a fost contestată de Washington Post, precum și de alte surse.

Software-ul de detectare a conținutului AI de la Turnitin este în prezent gratuit, dar compania spune într-o Întrebări frecvente de pe site-ul său web că se mută la un program de licențiere plătit în ianuarie 2024 - al cărui preț nu este specificat.

Clasificator de text OpenAI

Nedorind să fie depășiți de verificatorii de conținut AI terți, OpenAI înșiși au lansat un software conceput pentru a clasifica dacă conținutul a fost generat de AI.

Documentul sau textul pe care îl introduceți trebuie să aibă peste 1000 de caractere. Odată ce ați introdus documentul, OpenAI vă va spune aproape instantaneu cât de probabil crede că ar fi fost generat de oameni.

Am postat un extras dintr-un articol recent Tech.co, scris de un scriitor – despre care OpenAI l-a determinat pe bună dreptate că este „foarte puțin probabil” să fi fost scris de AI.

În același articol TechCrunch la care am făcut referire mai devreme, publicația spune că OpenAI estimează că clasificatorul său de text ratează 74% din conținutul generat de AI. Este bine că sunt atât de sinceri în privința asta – când am efectuat un al doilea test, folosind o poveste scurtă generată de ChatGPT, nu a reținut faptul că era generată de AI:

Detectarea conținutului AI funcționează cu adevărat?

Niciun instrument de detectare a conținutului AI nu este 100% fiabil – testele noastre demonstrează asta destul de răsunător.

Cu toate acestea, niciunul dintre instrumentele pe care le-am discutat astăzi nu pretinde de fapt a fi 100% precis și foarte puțini pretind că sunt absolut lipsiți de false pozitive. Alții, cum ar fi GPTZero, postează declinări de responsabilitate privind luarea rezultatelor lor drept Evanghelie.

O serie de studenți acuzați că folosesc inteligența artificială pentru a produce eseuri au fost deja forțați să demonstreze că munca lor a fost originală.

În Texas, în martie, un profesor a picat în mod fals o întreagă clasă de studenți după ce i-a acuzat pe nedrept că folosesc ChatGPT pentru a scrie eseuri. Există, de asemenea, o colecție de rapoarte – și studii precum cel realizat de Originality.ai – care sugerează că nici cele mai capabile verificatoare de plagiat nu sunt chiar atât de precise pe cât pretind ei.

Nici măcar detectorul de conținut AI de la Turnitin nu este sigur. În testul recent, relativ mic, efectuat de Washington Post despre care am discutat mai devreme, acuratețea sa a scăzut cu mult sub nivelul de 98% pe care pretind că sunt capabili să o producă.

Originality.ai, pe de altă parte, este cu siguranță unul dintre cele mai robuste disponibile – și chiar și tehnologia sa de detectare nu este potrivită de fiecare dată.

În plus, dacă există rezultate false pozitive în orice calitate, atunci va fi întotdeauna loc pentru studenți să pretindă că munca lor este originală și pur și simplu a fost identificată greșit.

Folosirea ChatGPT sau plagiatul Bard?

Este discutabil dacă ChatGPT este de fapt plagiat. Oxford Languages ​​definește plagiatul ca fiind „practica de a lua munca sau ideile altcuiva și de a le transmite drept ale cuiva”.

ChatGPT nu este o persoană și nu reproduce pur și simplu munca și ideile altor oameni atunci când generează un răspuns. Deci, după definiția dicționarului, nu este pur și simplu plagiat.

Chiar dacă ar fi făcut asta, dacă ai fi sincer de unde a venit (adică ChatGPT), probabil că oricum nu ar fi plagiat.

Cu toate acestea, unele școli și universități au reguli ample de plagiat și iau în considerare utilizarea chatbot-urilor pentru a scrie eseuri ca atare. Un student de la Universitatea Furman și-a picat diploma de filozofie în decembrie, după ce a folosit ChatGPT pentru a-și scrie eseul. Într-un alt caz, un profesor de la Universitatea Northern Michigan a raportat că a prins doi studenți folosind chatbot-ul pentru a scrie eseuri pentru clasa lor.

Folosirea ChatGPT pentru a genera eseuri și apoi trecerea asta drept propria ta lucrare este poate mai bine descrisă ca „înșelăciune” și este cu siguranță „necinstă”.

Scopul scrierii unui eseu este să arăți că ești capabil să produci gânduri originale, să înțelegi concepte relevante, să analizezi cu atenție argumentele conflictuale, să prezinți clar informațiile și să citezi sursele tale.

Există foarte puțină diferență între a folosi ChatGPT în acest fel și a plăti un alt student să-ți scrie eseul pentru tine – ceea ce înseamnă, desigur, înșelăciune.

În ceea ce privește Google Bard, răspunsul este puțin mai complicat. Aceeași linie de logică folosită mai sus se aplică lui Bard ca și ChatGPT, dar Bard a fost afectat de acuzații de plagiat și de a cita incorect lucruri pe care le extrage de pe internet într-un fel în care ChatGPT nu a făcut-o. Deci, folosirea lui Bard ar putea duce la plagiarea din greșeală a altor surse ( mai multe despre asta mai jos ).

Pericolele înșelăciunii cu ChatGPT

Christopher Howell, profesor asistent adjunct la Universitatea Elon, a cerut recent unui grup de studenți să folosească ChatGPT pentru o sarcină critică și apoi să noteze eseurile pe care le-a produs pentru ei.

El a raportat într-un fir lung de Twitter (din care prima parte este ilustrată mai jos) că toți cei 63 de studenți care au participat au găsit o formă de „halucinație” – inclusiv citate false și surse false și interpretate greșit – în temele lor.

ChatGPT plagiază în răspunsurile sale?

Nu – ChatGPT nu extrage informații din alte surse și pur și simplu le blochează, propoziție cu propoziție. Aceasta este o neînțelegere a modului în care funcționează transformatoarele generative pre-antrenate.

ChatGPT – sau mai precis modelul de limbă GPT – este instruit pe un set de date uriaș de documente, materiale de site și alte texte.

Folosește algoritmi pentru a găsi secvențe și modele lingvistice în seturile sale de date. Paragrafele, propozițiile și cuvintele pot fi apoi generate pe baza a ceea ce modelul de limbaj a învățat despre limbaj din secvențele din aceste seturi de date.

Acesta este motivul pentru care, dacă puneți aceeași întrebare ChatGPT în același timp de pe două dispozitive diferite, răspunsurile sale sunt de obicei extrem de similare - dar vor exista în continuare variații și, uneori, oferă răspunsuri complet diferite.

Bard plagiază în răspunsurile sale?

Cel mai mare rival al ChatGPT, Google Bard a avut mult mai multe probleme cu plagiarea conținutului de la lansare decât omologul său mai popular. Site-ul web de tehnologie Tom's Hardware a constatat că Bard a plagiat unul dintre articolele sale și apoi și-a cerut scuze când unul dintre membrii personalului său l-a sunat.

Mai recent, în mai 2023, PlagiarismCheck a declarat pentru Yahoo News că au generat 35 de bucăți de text cu Bard și a constatat că a fost plagiat cu peste 5% în 25 dintre ele, pur și simplu parafrazând conținutul existent deja publicat pe internet.

O mare diferență între Bard și ChatGPT care poate explica acest lucru este că Bard poate căuta răspunsuri pe internet, motiv pentru care tinde să se ocupe mai bine de întrebările legate de evenimentele de după 2021, cu care ChatGPT se luptă. Cu toate acestea, acest lucru pare să însemne și că extrage date din surse într-un mod mai puțin original și citează sursele mai des.

Aceste exemple pot fi fost blips, dar este bine să cunoașteți riscurile dacă utilizați Bard pentru o muncă importantă.

Alte instrumente AI plagiază?

Din păcate, da – iar unele companii s-au făcut deja jenate folosind instrumente AI care au plagiat conținut. De exemplu, CNET – unul dintre cele mai mari site-uri de tehnologie din lume – s-a dovedit că folosește un instrument AI pentru a genera articole și nu a fost deloc transparent în acest sens. Aproximativ jumătate dintre articolele pe care CNET le-a publicat folosind AI s-au dovedit a avea unele informații incorecte incluse.

Pentru a înrăutăți lucrurile, Futurism, care a lansat o investigație cu privire la plagiatul AI al CNET, a spus că „comportamentul neadecvat al botului variază de la copierea textuală la editări moderate la reformulari semnificative, toate fără a credita corect originalul”.

Instrumentele AI care nu generează conținut unic și original – fie că este artă sau text – au potențialul de a plagia conținutul care a fost deja publicat pe internet. Este important să înțelegeți exact cum funcționează modelul de limbaj pe care îl folosește instrumentul dvs. AI și, de asemenea, să aveți o supraveghere strictă asupra conținutului pe care îl produce, sau ați putea ajunge în aceeași poziție cu CNET.

Ar trebui să utilizați ChatGPT pentru eseuri sau muncă?

Utilizarea ChatGPT pentru eseuri

Faptul că ChatGPT nu trage pur și simplu răspunsuri din alte surse și amestecă propoziții înseamnă că companiile au putut să folosească ChatGPT pentru o varietate de sarcini diferite, fără a-și face griji cu privire la problemele legate de drepturile de autor.

Dar mecanica sa internă înseamnă, de asemenea, că halucinează adesea și face greșeli. Este departe, departe de a fi perfect – și, deși este tentant să-l convingi pe ChatGPT să-ți scrie eseul pentru universitate sau facultate, nu-l sfătuim.

Orientările specifice de trimitere ale fiecărei instituții de învățământ vor fi ușor diferite, desigur, dar este foarte probabil ca acestea să fie deja considerate „înșelăciune” sau plagiat la universitatea sau școala dumneavoastră. În plus, indiferent de cât de precise sunt, instituțiile de învățământ folosesc detectoare de conținut AI, care se vor îmbunătăți în timp.

Folosind ChatGPT la locul de muncă

Desigur, mulți oameni folosesc deja ChatGPT la locul de muncă – se dovedește util într-o gamă largă de industrii și îi ajută pe lucrătorii din tot felul de roluri să economisească timp prețios în sarcinile de zi cu zi.

Cu toate acestea, dacă utilizați ChatGPT la locul de muncă, vă sfătuim să fiți deschis cu managerul sau supervizorul dumneavoastră – mai ales dacă îl utilizați pentru activități importante, cum ar fi redactarea de rapoarte pentru părțile interesate externe.

De asemenea, vă recomandăm insistent să editați și să revizuiți îndeaproape toate lucrările pe care le utilizați ChatGPT, Bard sau orice alt instrument AI pentru a le genera. Nu este înțelept să introduceți informații personale sau despre companie în orice chatbot, deoarece nu există prea multe informații publice despre locul în care sunt stocate aceste chat-uri sau infrastructura de securitate a OpenAI.

Utilizarea altor instrumente AI pentru eseuri sau muncă

Desigur, Bard și ChatGPT nu sunt singurii chatbot-uri AI de acolo. Cu toate acestea, am ezita să ne acordăm sprijinul în spatele oricăror instrumente AI mai mici care nu sunt susținute de modele de limbaj puternice. Nu vor avea resurse la fel de bine și este puțin probabil să le găsiți la fel de utile dacă experimentați cu utilizarea lor pentru muncă.

Totuși, se aplică aceleași reguli – fiți deschis cu managerul dvs. și obțineți aprobarea de a le folosi, nu introduceți date sensibile ale companiei și revizuiți întotdeauna răspunsurile care vi se oferă.