Sondaj: ChatGPT și conținut AI – Pot oamenii să facă diferența?

Pot oamenii să facă diferența dintre scriitorii umani și AI și le afectează acest lucru încrederea în mărci?

Inteligența artificială (AI) poate acum să creeze confortabil imagini, muzică și text care ar fi putut fi realizate de un om talentat. Lumea conținutului online înregistrează o schimbare uriașă în anii 2020. Acest lucru este puternic afectat de chatbot-ul generativ, ChatGPT, care crește rapid, atingând primul său milion de utilizatori în doar cinci zile.

În timp ce cei interesați de tehnologie pot cunoaște multe despre AI și despre chatbot-uri precum ChatGPT, acest lucru nu este cunoscut pentru toată lumea. De fapt, unii oameni ar putea să nu știe nici măcar cât de sofisticat este rezultatul instrumentelor AI și dacă ceea ce citesc online a fost produs de un om sau de un AI.

Pentru a afla mai multe despre acest subiect, am chestionat peste 1.900 de americani pentru a vedea ce părere au despre conținutul AI online, cum le-a afectat încrederea în mărci și, în cele din urmă, dacă ar putea face diferența dintre AI și conținutul uman. Le-am rugat oamenilor să ghicească dacă textul a fost creat de inteligență artificială sau de oameni în domeniul sănătății, finanțelor, divertismentului, tehnologiei și călătoriilor. Aflați mai multe despre metodologia acestui studiu aici.

Iată ce crede publicul american despre conținutul AI online.

Descoperiri cheie

• Peste 53% nu pot identifica cu exactitate conținutul creat exclusiv de chatbot-uri AI, cum ar fi ChatGPT. Aceasta crește la 63,5% când se utilizează modelul GPT-4.0 .
• În medie, modelul de limbaj GPT-4.0 este cu 16,5% mai bun decât GPT-3.5 la convingerea oamenilor, o copie generată de AI a fost scrisă de un om.
• Conținutul de sănătate generat de inteligență artificială a reușit să înșele cel mai mult utilizatorii , 56,1% cred că conținutul de inteligență artificială a fost scris de un om sau editat de un om.
• Cititorii au ghicit corect conținutul generat de AI cel mai mult în sectorul tehnologiei , singurul sector în care mai mult de jumătate (51%) au identificat corect conținutul generat de AI.
• Cu GPT-4.0, conținutul tehnologic a fost, de asemenea, identificat corect ca fiind cel mai generat de AI (60,3%) .
• Conținutul AI GPT-4.0 a fost cel mai nedetectabil când vine vorba de călătorii , 66,5% dintre cititori crezând că conținutul a fost scris de oameni.
• Cei care sunt mai familiarizați cu instrumentele AI , cum ar fi ChatGPT, au fost puțin mai buni la identificarea conținutului AI , cu toate acestea, au fost totuși corecti doar în 48% din timp.
• Doar 40,8% dintre oamenii care nu erau complet familiarizați cu IA generativă au putut identifica corect conținutul AI .
• Majoritatea oamenilor (80,5%) cred că editorii online care postează bloguri și articole de știri ar trebui să precizeze în mod explicit dacă AI a fost implicată în crearea sa.
• Mai mult de șapte din zece (71,3%) au spus că ar avea mai puțină încredere într-o marcă dacă li s-ar oferi conținut generat de AI fără să li se spună acest lucru.
• Majoritatea oamenilor (46,5%) au spus că ar fi de acord ca inteligența artificială să îi sfătuiască pe teme de sănătate și financiare, cu toate acestea, 42,9% au spus că ar folosi astfel de sfaturi doar dacă un om ar fi editat și revizuit conținutul.

Pot oamenii să spună dacă textul este creat de AI?

Pentru a răspunde rapid la întrebarea principală a acestui studiu: nu, oamenii nu pot face diferența dintre conținutul AI și conținutul scris de oameni .

În medie, oamenii au putut identifica corect conținutul scris prin inteligență artificială doar în 46,9% din timp. Când se folosește GPT-4.0 în loc de GPT-3.5, doar 36,5% dintre cititori au fost capabili să identifice corect conținutul scris prin AI.

Acest lucru a variat între subiectul conținutului pe care îl citeau, dar, în general, oamenii puteau identifica AI aproape jumătate din timp. Aceasta înseamnă că conținutul AI este nedetectat de mai mult de jumătate dintre cititori.

Cu toate acestea, cercetând mai departe, putem vedea că 36,3% dintre oameni au considerat că conținutul AI a fost de fapt scris de un om, în timp ce 16,7% au considerat că este conținut AI editat ulterior de un om.

În cele din urmă, mai mult de jumătate (53%) au citit conținut scris cu inteligență artificială și au presupus că un om a fost implicat la un moment dat – așa este cât de convingător poate fi scos din instrument înainte ca un scriitor uman să-și aducă fler și personalitate.

GPT-3.5 vs GPT-4.0: Care model produce o copie mai convingătoare?

Versiunea originală a acestui studiu a fost întreprinsă înainte ca GPT-4.0 să fie lansat pe 14 martie 2023. După aceasta, ne-am actualizat constatările prin sondajul cititorilor din nou.

Am folosit aceleași subiecte și solicitări, dar de data aceasta am intervievat respondenții folosind conținut produs de ChatGPT cu GPT-4.0 în loc de modelul 3.5.

Am constatat că a existat o creștere cu 16,5% a numărului de persoane care credeau că conținutul generat de AI este creat de oameni, atunci când am folosit GPT-4.0.

Folosind GPT-3.5, am constatat că 53,1% dintre oameni credeau că scrierea în ChatGPT este umană, în timp ce folosind GPT-4.0, am constatat că 63,5% dintre oameni credeau că conținutul a fost creat sau editat de un scriitor uman.

Este ChatGPT mai bun în a scrie despre anumite subiecte?

O întrebare la care acest studiu a încercat să răspundă este dacă ChatGPT este mai bun în a scrie mai mult conținut uman pe baza diferitelor subiecte. Din descoperirile noastre, se pare că chatbot-ul AI este mai bun în a scrie conținut de sănătate mai convingător, iar scrierea tehnologică este mai ușor de observat de publicul larg.

Iată o prezentare generală a modului în care conținutul AI a fost perceput de publicul larg atunci când a generat text pe diferite subiecte:

Deoarece acest studiu a fost actualizat de atunci, putem compara și rezultatele GPT-3.5 și GPT-4.0 când vine vorba de conținut pe diferite subiecte. La fel ca GPT-3.5, când am folosit GPT-4.0, modelul de limbă a fost detectat cel mai mult în conținutul tehnologic (39,7%).

Conținutul de călătorie a fost cel mai nedetectabil când a fost vorba de GPT-4.0, deoarece 66,5% dintre cititori credeau că este editat uman sau uman. În timp ce conținutul de sănătate a fost cel mai nedetectabil când a fost vorba de GPT-3.5 (56,1%).

Cât de credibilă este copia generată de ChatGPT?

Următorul tabel dezvăluie procentul de persoane care au crezut că copia generată de ChatGPT a fost făcută de un AI, un om sau editată de un om atât în ​​GPT-3.5, cât și în GPT-4.0.

Mai jos am defalcat sectoarele în continuare, astfel încât să puteți vedea cât de bine ChatGPT produce conținut care sună uman pe diferite subiecte.

Cu cât sunteți mai familiarizat cu instrumentele AI, cu atât este mai probabil să detectați conținut AI... dar doar puțin

Cei care au spus că sunt familiarizați cu instrumentele AI, cum ar fi ChatGPT, au fost puțin mai buni la găsirea conținutului AI, cu toate acestea, au fost încă corecti doar în 48% din timp.

Această capacitate de a identifica scrisul AI scade cu 7,2% până la 40,8% atunci când se uită la oameni care au declarat că nu au auzit niciodată de AI generativă, ceea ce indică faptul că oamenii pot dobândi capacitatea de a vedea tendințe și modele în conținutul generat de AI.

În general, nu a existat nicio diferență statistică între bărbați și femei în detectarea conținutului AI.

Cât de convingătoare este scrisul AI în diferite industrii

Studiul nostru a chestionat oamenii dacă conținutul pe care îl citeau a fost realizat de o IA sau nu în cinci sectoare cheie. Mai jos este o detaliere a modului în care oamenii au obținut scoruri în fiecare gen de conținut: divertisment, finanțe, călătorii, tehnologie și sănătate.

Cititorii ar putea observa cel mai mult AI în conținutul tehnologic

Întrebările noastre tehnologice au oferit utilizatorilor răspunsuri la întrebări despre telefoane mobile, hardware de computer, tehnologie inteligentă, AI și furnizori de internet.

În medie, 51% dintre utilizatori au reușit să ghicească corect dacă răspunsurile scrise prin AI au fost cu siguranță create de AI, în timp ce o treime (33%) au crezut că același conținut a fost creat de oameni. Restul de 16% nu erau siguri, bănuind că era o formă de conținut AI editat ulterior de oameni.

În general, conținutul tehnologic a avut cel mai mare procent (51%) de utilizatori care au identificat corect conținutul AI. Femeile au fost puțin mai susceptibile de a identifica corect conținutul tehnologic scris de AI decât bărbații (52,4% față de 49,9%).

În ceea ce privește conținutul tehnologic scris de oameni, doar 36% dintre oameni au putut identifica că a fost scris de un om, majoritatea (48,4%) fiind convinși că AI l-a scris, restul de 15,6% au crezut în mod incorect că un om a editat probabil. Conținut scris prin inteligență artificială.

Conținutul de divertisment scris de inteligență artificială este cel mai probabil să păcălească tinerii de 18-24 de ani

În ceea ce privește scrierea de divertisment, în special, secțiuni de text care discută despre filme, teatru, jocuri video, streaming și muzică, 47,3% dintre respondenți au reușit să identifice corect conținutul AI. Cei cu vârsta cuprinsă între 18 și 24 de ani au fost cel mai probabil să creadă că conținutul scris prin inteligență artificială a fost scris de un om (41,1%), comparativ cu media generală de 36,3%.

În ceea ce privește conținutul de divertisment scris de oameni, a urmat o tendință similară, deoarece o mare majoritate (44,8%) au considerat că trebuie să fi fost scris de o IA și puțin mai puțini (38,9%) au ghicit că este un scriitor uman în mod corect.

Această confuzie urmează tendința generală că oamenii nu pot face diferența dintre AI și conținutul scris de oameni.

Voiaj

Când a venit vorba de scrierea de călătorii online, am testat respondenții cu conținut despre găsirea de zboruri și hoteluri la prețuri accesibile, pregătirea pentru călătorii în aer liber, sfaturi pentru închirierea de mașini de închiriat și opinii despre utilizarea agenților de turism.

Aproape exact în medie, 47% dintre oameni au identificat corect textul AI, dar 35,9% au spus că a fost scris de un om.

Cu toate acestea, conținutul de călătorie creat de oameni a polarizat foarte mult cititorii. Majoritatea (41,6%) au ghicit corect că textul a fost scris de un om și nu de o IA, totuși o cantitate similară (40,5%) de cititori au considerat că același conținut trebuie să fie creat de AI.

Finanţa

Oamenii au reușit să identifice bine conținutul AI atunci când a fost vorba de finanțare a conținutului, corectându-l în jur de 45,8% din timp, cu toate acestea, 37,2% credeau în continuare că același text AI trebuie făcut de un om.

În ceea ce privește conținutul scris de oameni, 42,5% au fost încrezători că a fost scris de o IA, în timp ce 40,5% au ghicit corect că a fost creat de o minte umană.

Conținutul de sănătate generat de AI a reușit să înșele 53,1% dintre utilizatori

În ceea ce privește conținutul de sănătate, le-am oferit utilizatorilor să scrie despre costurile pentru înlocuirea șoldului, pericolele paracetamolului, afecțiunile de sănătate mintală, planurile de fitness și examinările preventive ale sănătății.

În acest caz, cea mai mare parte a cititorilor din studiu (38,4%) au considerat că conținutul AI a fost scris de un om, în timp ce 43,9% au fost încrezători că este AI. Restul de 17,7% credeau că este un text AI editat de oameni.

Conținutul de sănătate creat de oameni și revizuit de profesioniștii medicali nu a atras cititorii. În general, conținutul creat de om în această zonă a făcut ca majoritatea oamenilor (44,9%) să creadă că a fost generat de AI, în timp ce 37,9% au crezut că un om l-a creat. Interesant, acest lucru înseamnă că puțin mai mulți oameni au considerat că conținutul de sănătate AI este mai uman decât conținutul real scris de oameni.

Din cele cinci sectoare pe care le-am analizat în acest studiu, conținutul de sănătate generat de AI a derutat cel mai mult utilizatorii. Acest lucru ar putea fi foarte periculos pe măsură ce ne îndreptăm către o lume în care AI se va introduce probabil în mai multe părți ale vieții noastre, inclusiv în asistența medicală.

Oamenii mai tineri se luptă mai mult cu identificarea conținutului AI

În cadrul studiului, în general, cei mai tineri respondenți au fost cei mai slabi la identificarea conținutului scris prin inteligență artificială , doar 2 din 5 (40,2%) dintre tinerii de 18-24 de ani au ghicit corect. În timp ce cei cu vârsta peste 65 de ani au fost mai cinici și au identificat corect conținutul AI de mai mult de jumătate din timp (52%).

Au oamenii încredere în conținutul scris prin inteligență artificială?

Dacă editorii de conținut, cum ar fi bloggerii, ziarele și revistele ar publica conținut AI fără să spună utilizatorilor (ceea ce unii au făcut, uneori chiar plini de erori), am vrut să știm ce ar crede cititorul obișnuit despre asta.

Majoritatea respondenților noștri (80,5%) au spus că dezvăluirile de inteligență artificială ar trebui să fie norma online, iar editorii ar trebui să conștientizeze oamenii.

Atunci nu este surprinzător că 71,3% au spus că ar avea mai puțină încredere într-o marcă dacă ar publica conținut AI fără să spună acest lucru în mod explicit. Restul de 28,7% au spus că nu le-ar afecta încrederea într-o marcă, ceea ce indică faptul că poate nu trebuie să li se spună tuturor de unde provine conținutul lor online.

Când a venit vorba de impactul pe care aceste dezvăluiri îl pot avea asupra cititorilor, povestea a fost similară. O majoritate puțin mai mică (67,8%) a spus că ar avea mai multă încredere într-o marcă dacă dezvăluirile de inteligență artificială ar fi prezente pe o bucată de conținut online, în timp ce puțin sub o treime (32,2%) au spus că nu le-ar afecta încrederea în mod pozitiv sau negativ.

În general, datele indică faptul că majoritatea oamenilor ar prefera mărcile care dezvăluie în mod explicit cum și unde a fost folosită inteligența artificială pentru a-și crea conținutul. Dacă aceasta devine norma în lumea conținutului online, rămâne încă de văzut.

Metodologie

1.920 de adulți americani din toate categoriile de vârstă au fost chestionați și li sa cerut să decidă dacă o bucată de text a fost creată de AI, un om sau AI și editată de un om. Acest lucru a fost întrebat pe 75 de bucăți de text unic și au fost colectate 3.166 de răspunsuri pentru această analiză. Datele sondajului au fost colectate în perioada 20.2.2023 până în 26.02.2023.

Respondenții la sondaj au fost întrebați cât de familiari sunt cu AI și conținutul AI. Majoritatea persoanelor din acest sondaj au încercat o formă de instrument AI cel puțin o dată, acesta include ChatGPT, dar este posibil să nu fie ChatGPT.

• 57,1% din audiența noastră a încercat cel puțin o dată o formă de instrument AI generativ
• 41,1% au auzit de el într-o anumită formă, dar nu le-au folosit niciodată personal
• 1,8% nu auziseră niciodată de vreo IA generativă înainte de a participa la sondaj

În analiză au fost folosite 25 de întrebări cu trei răspunsuri per întrebare: unul de la AI (ChatGPT), unul scris de un jurnalist uman și altul creat de AI apoi editat de un copywriter uman profesionist. Întrebările și răspunsurile au fost complet randomizate între utilizatori, astfel încât aceștia nu au putut vedea mai mult de un răspuns per întrebare.

Conținutul a fost ales prin selectarea întrebărilor foarte căutate (determinate de volumul de căutare Google) din sectoarele de divertisment, finanțe, tehnologie, călătorii și sănătate.

ChatGPT a primit solicitări să scrie în calitate de expert pe subiectul relevant (de exemplu, un jurnalist de călătorie sau un manager financiar) și să explice răspunsurile „pur și simplu”. Conținutul a fost eliminat din răspunsul AI dacă era evident că a fost scris de un AI, cum ar fi „OK, mă voi preface că sunt un manager financiar și asta este ceea ce aș spune”. Conținutul scris de oameni a fost obținut de pe site-uri de experți care au făcut conținut aprofundat cu privire la întrebarea respectivă. Orice site-uri care au dezvăluit utilizarea AI în conținutul lor nu au fost folosite pentru această analiză. Exemple de întrebări și răspunsuri date respondenților la sondaj pot fi găsite aici.

Actualizare GPT-4.0 pentru studiu

Pentru a evalua capacitățile GPT-4.0 în ChatGPT, am chestionat 1.394 de adulți americani în perioada 22 martie - 25 martie 2023. Li s-au pus aceleași întrebări dacă au crezut că un text a fost produs de un AI, un om sau editat de un om. Subiectele și interogările au fost aceleași ca și studiul GPT-3.5, exemple sunt date în foaia de calcul de mai sus.

Alte resurse AI

Puteți chiar să utilizați inteligența artificială pentru a vă ajuta să creați un site web în zilele noastre! Consultați ghidul nostru pentru cei mai buni creatori de site-uri AI pentru mai multe informații.

Această lucrare este licențiată în baza unei licențe internaționale Creative Commons Atribuire 4.0.