Sondaggio: ChatGPT e contenuti AI: le persone riescono a distinguere?

Le persone riescono a distinguere tra scrittori umani e scrittori con intelligenza artificiale e questo influisce sulla loro fiducia nei marchi?

L'intelligenza artificiale (AI) ora può creare comodamente immagini, musica e testo che avrebbero potuto essere realizzati da un essere umano di talento. Il mondo dei contenuti online sta assistendo a un enorme cambiamento negli anni ’20. Ciò è fortemente influenzato dal chatbot generativo, ChatGPT, che sta crescendo rapidamente, raggiungendo il suo primo milione di utenti in soli cinque giorni.

Anche se chi è interessato alla tecnologia può sapere molto sull'intelligenza artificiale e sui chatbot come ChatGPT, non è una conoscenza comune per tutti. In effetti, alcune persone potrebbero non sapere nemmeno quanto sia sofisticato il risultato degli strumenti di intelligenza artificiale e se ciò che stanno leggendo online sia stato prodotto da un essere umano o da un'intelligenza artificiale.

Per saperne di più su questo argomento, abbiamo intervistato oltre 1.900 americani per vedere cosa pensavano dei contenuti online basati sull’intelligenza artificiale, come hanno influenzato la loro fiducia nei marchi e, infine, se riuscivano a distinguere tra contenuti AI e contenuti umani. Abbiamo chiesto alle persone di indovinare se il testo è stato creato dall'intelligenza artificiale o dagli esseri umani per quanto riguarda contenuti di salute, finanza, intrattenimento, tecnologia e viaggi. Scopri di più sulla metodologia di questo studio qui.

Ecco cosa pensa il pubblico americano dei contenuti online basati sull'intelligenza artificiale.

Risultati chiave

• Oltre il 53% non è in grado di identificare con precisione i contenuti realizzati esclusivamente da chatbot IA, come ChatGPT. Questa percentuale sale al 63,5% quando si utilizza il modello GPT-4.0 .
• In media, il modello linguistico GPT-4.0 è migliore del 16,5% rispetto a GPT-3.5 nel convincere le persone che la copia generata dall'intelligenza artificiale è stata scritta da un essere umano.
• I contenuti sanitari generati dall’intelligenza artificiale sono stati quelli in grado di ingannare maggiormente gli utenti , con il 56,1% che pensava erroneamente che i contenuti dell’intelligenza artificiale fossero scritti da un essere umano o modificati da un essere umano.
• I lettori hanno indovinato correttamente i contenuti generati dall’intelligenza artificiale soprattutto nel settore tecnologico , l’unico settore in cui più della metà (51%) ha identificato correttamente i contenuti generati dall’intelligenza artificiale.
• Con GPT-4.0, anche i contenuti tecnologici sono stati correttamente identificati come quelli generati dall'intelligenza artificiale (60,3%) .
• I contenuti AI GPT-4.0 erano quelli meno rilevabili quando si trattava di viaggiare , con il 66,5% dei lettori che pensava che il contenuto fosse stato scritto da esseri umani.
• Coloro che hanno più familiarità con gli strumenti di intelligenza artificiale , come ChatGPT, erano leggermente più bravi nell'identificare i contenuti dell'intelligenza artificiale , tuttavia, avevano ancora ragione solo il 48% delle volte.
• Solo il 40,8% delle persone che non avevano alcuna familiarità con l’intelligenza artificiale generativa riusciva a identificare correttamente i contenuti dell’intelligenza artificiale .
• La maggior parte delle persone (80,5%) ritiene che gli editori online che pubblicano blog e articoli di notizie dovrebbero dichiarare esplicitamente se l’intelligenza artificiale è stata coinvolta nella sua creazione.
• Più di sette su dieci (71,3%) hanno affermato che si fiderebbero meno di un marchio se ricevessero contenuti generati dall’intelligenza artificiale senza che gli venga detto .
• La maggior parte delle persone (46,5%) ha affermato che sarebbe d’accordo con l’intelligenza artificiale per consigliarli su argomenti sanitari e finanziari, tuttavia, un altro 42,9% ha affermato che utilizzerebbe tale consiglio solo se un essere umano avesse modificato e rivisto il contenuto.

Le persone possono dire se il testo è stato creato dall'intelligenza artificiale?

Per rispondere rapidamente alla domanda principale di questo studio: no, le persone non riescono a distinguere tra contenuti AI e contenuti scritti da persone .

In media, le persone sono state in grado di identificare correttamente i contenuti scritti dall’intelligenza artificiale solo il 46,9% delle volte. Utilizzando GPT-4.0 invece di GPT-3.5, solo il 36,5% dei lettori è stato in grado di identificare correttamente i contenuti scritti dall'intelligenza artificiale.

Ciò variava in base all’argomento del contenuto che stavano leggendo, ma in generale le persone riuscivano a identificare l’intelligenza artificiale quasi la metà delle volte. Ciò significa che i contenuti dell’intelligenza artificiale non sono rilevabili da oltre la metà dei lettori.

Tuttavia, approfondendo ulteriormente questo aspetto, possiamo vedere che il 36,3% delle persone pensava che i contenuti dell’IA fossero stati effettivamente scritti da un essere umano, mentre il 16,7% pensava che si trattasse di contenuti dell’IA successivamente modificati da un essere umano.

Alla fine, più della metà (53%) ha letto i contenuti scritti dall'intelligenza artificiale e ha ipotizzato che a un certo punto fosse coinvolto un essere umano: ecco quanto può essere convincente appena uscito dallo strumento prima che uno scrittore umano abbia aggiunto stile e personalità.

GPT-3.5 vs GPT-4.0: quale modello produce una copia più convincente?

La versione originale di questo studio è stata intrapresa prima del lancio di GPT-4.0 il 14 marzo 2023. Successivamente, abbiamo aggiornato i nostri risultati intervistando nuovamente i lettori.

Abbiamo utilizzato gli stessi argomenti e suggerimenti, ma questa volta abbiamo intervistato gli intervistati utilizzando i contenuti prodotti da ChatGPT con GPT-4.0 anziché con il modello 3.5.

Abbiamo scoperto che c’è stato un aumento del 16,5% nel numero di persone che pensavano che i contenuti generati dall’intelligenza artificiale fossero stati realizzati da esseri umani, quando abbiamo utilizzato GPT-4.0.

Utilizzando GPT-3.5, abbiamo scoperto che il 53,1% delle persone pensava che il copywriting di ChatGPT fosse umano, mentre utilizzando GPT-4.0, abbiamo scoperto che il 63,5% delle persone credeva che il contenuto fosse stato creato o modificato da uno scrittore umano.

ChatGPT è più bravo a scrivere su determinati argomenti?

Una domanda a cui questo studio ha cercato di rispondere è se ChatGPT sia migliore nello scrivere contenuti più umani basati su argomenti diversi. Dai nostri risultati, sembra che il chatbot AI sia più bravo a scrivere contenuti sanitari più convincenti e la sua scrittura tecnologica sia più facile da individuare dal grande pubblico.

Ecco una panoramica di come il contenuto dell'intelligenza artificiale è stato percepito dal grande pubblico durante la generazione di testo su diversi argomenti:

Poiché questo studio è stato aggiornato nel frattempo, possiamo anche confrontare i risultati di GPT-3.5 e GPT-4.0 quando si tratta di contenuti su argomenti diversi. Proprio come GPT-3.5, quando abbiamo utilizzato GPT-4.0, il modello linguistico è stato rilevato maggiormente nei contenuti tecnologici (39,7%).

I contenuti di viaggio erano quelli meno rilevabili quando si trattava di GPT-4.0, poiché il 66,5% dei lettori credeva che fossero umani o modificati da esseri umani. Mentre i contenuti sanitari erano i meno rilevabili quando si trattava di GPT-3.5 (56,1%).

Quanto è credibile la copia generata da ChatGPT?

La tabella seguente rivela la percentuale di persone che pensano che la copia generata da ChatGPT sia stata creata da un'intelligenza artificiale, da un essere umano o modificata da un essere umano sia in GPT-3.5 che in GPT-4.0.

Di seguito abbiamo suddiviso ulteriormente i settori in modo che tu possa vedere quanto bene ChatGPT produce contenuti dal suono umano su diversi argomenti.

Quanto più hai familiarità con gli strumenti di intelligenza artificiale, tanto più è probabile che tu riesca a rilevare i contenuti dell'intelligenza artificiale... ma solo leggermente

Coloro che hanno affermato di avere familiarità con gli strumenti di intelligenza artificiale, come ChatGPT, erano leggermente più bravi nel trovare contenuti di intelligenza artificiale, tuttavia, avevano ancora ragione solo il 48% delle volte.

Questa capacità di identificare la scrittura dell’intelligenza artificiale scende dal 7,2% al 40,8% quando si considerano le persone che hanno dichiarato di non aver mai sentito parlare di intelligenza artificiale generativa, indicando che le persone possono acquisire la capacità di vedere tendenze e modelli nei contenuti generati dall’intelligenza artificiale.

Nel complesso, non è stata riscontrata alcuna differenza statistica tra uomini e donne nel rilevamento dei contenuti dell’intelligenza artificiale.

Quanto è convincente la scrittura sull'intelligenza artificiale in diversi settori

Il nostro studio ha intervistato le persone in cinque settori chiave per stabilire se il contenuto che stavano leggendo fosse stato realizzato da un’intelligenza artificiale o meno. Di seguito è riportato un dettaglio del punteggio ottenuto dalle persone in ciascun genere di contenuto: intrattenimento, finanza, viaggi, tecnologia e salute.

I lettori potrebbero individuare maggiormente l’intelligenza artificiale nei contenuti tecnologici

Le nostre domande sulla tecnologia hanno fornito agli utenti risposte a domande su telefoni cellulari, hardware di computer, tecnologia intelligente, intelligenza artificiale e provider Internet.

In media, il 51% degli utenti è stato in grado di indovinare correttamente se le risposte scritte dall’intelligenza artificiale fossero state effettivamente create dall’intelligenza artificiale, mentre un terzo (33%) pensava che lo stesso contenuto fosse stato creato da esseri umani. Il restante 16% non era sicuro, immaginando che si trattasse di una forma di contenuto AI successivamente modificato dagli esseri umani.

Nel complesso, i contenuti tecnologici hanno avuto la percentuale più alta (51%) di utenti che hanno identificato correttamente il contenuto AI. Le donne erano leggermente più propense a identificare correttamente i contenuti tecnologici scritti dall'intelligenza artificiale rispetto agli uomini (52,4% contro 49,9%).

Quando si trattava di contenuti tecnologici scritti da esseri umani, solo il 36% delle persone riusciva a identificare che fosse stato scritto da un essere umano, con la maggioranza (48,4%) convinta che lo avesse scritto l’intelligenza artificiale, il restante 15,6% pensava erroneamente che un essere umano probabilmente lo avesse modificato. Contenuti scritti dall'intelligenza artificiale.

Contenuti di intrattenimento scritti dall'intelligenza artificiale che hanno maggiori probabilità di ingannare i giovani di età compresa tra i 18 e i 24 anni

Quando si tratta di scrittura di intrattenimento, in particolare di sezioni di testo che parlano di film, teatro, videogiochi, streaming e musica, il 47,3% degli intervistati è stato in grado di identificare correttamente i contenuti AI. Quelli di età compresa tra 18 e 24 anni erano più propensi a pensare che i contenuti scritti dall'intelligenza artificiale fossero scritti da un essere umano (41,1%) rispetto alla media complessiva del 36,3%.

Quando si è trattato di contenuti di intrattenimento scritti da esseri umani, si è osservata una tendenza simile poiché un’ampia maggioranza (44,8%) pensava che dovessero essere stati scritti da un’intelligenza artificiale, e un po’ meno (38,9%) ha indovinato correttamente che si trattasse di uno scrittore umano.

Questa confusione segue la tendenza generale secondo cui le persone non riescono a distinguere bene la differenza tra l’intelligenza artificiale e i contenuti scritti da esseri umani.

Viaggio

Per quanto riguarda la scrittura di viaggi online, abbiamo testato gli intervistati con contenuti su come trovare voli e hotel convenienti, prepararsi per i viaggi all’aria aperta, consigli per noleggiare auto a noleggio e opinioni sull’utilizzo delle agenzie di viaggio.

Quasi esattamente nella media, il 47% delle persone ha identificato correttamente il testo dell’intelligenza artificiale, ma il 35,9% ha affermato che è stato scritto da un essere umano.

Tuttavia, i contenuti di viaggio creati dall’uomo hanno polarizzato molto i lettori. La maggioranza (41,6%) ha indovinato correttamente che il testo è stato scritto da un essere umano e non da un’intelligenza artificiale, tuttavia una quantità simile (40,5%) di lettori ritiene che lo stesso contenuto debba essere stato realizzato dall’intelligenza artificiale.

Finanza

Le persone sono state in grado di individuare bene i contenuti dell’intelligenza artificiale quando si trattava di finanziare i contenuti, ottenendo risultati corretti circa il 45,8% delle volte, tuttavia, il 37,2% pensava ancora che lo stesso testo dell’intelligenza artificiale dovesse essere realizzato da un essere umano.

Per quanto riguarda i contenuti scritti da esseri umani, il 42,5% era sicuro che fossero stati scritti da un’intelligenza artificiale, mentre il 40,5% aveva indovinato correttamente che fossero stati creati da una mente umana.

I contenuti sanitari generati dall’intelligenza artificiale sono riusciti a ingannare il 53,1% degli utenti

Per quanto riguarda i contenuti sanitari, abbiamo fornito agli utenti testi sui costi di sostituzione dell'anca, sui pericoli del paracetamolo, sulle condizioni di salute mentale, sui piani di fitness e sugli screening sanitari preventivi.

In questo caso, la percentuale più alta di lettori nello studio (38,4%) pensava che il contenuto dell’IA fosse stato scritto da un essere umano, mentre il 43,9% era sicuro che fosse l’IA. Il restante 17,7% credeva che si trattasse di testo AI modificato dall'uomo.

I contenuti sanitari creati da esseri umani e revisionati da professionisti medici non hanno conquistato i lettori. In generale, i contenuti creati dall’uomo in quest’area hanno fatto sì che la maggior parte delle persone (44,9%) pensassero che fossero generati dall’intelligenza artificiale, mentre il 37,9% pensava che fossero stati creati da un essere umano. È interessante notare che ciò significa che un numero leggermente maggiore di persone ritiene che i contenuti sanitari dell’intelligenza artificiale siano più umani dei contenuti effettivamente scritti da esseri umani.

Dei cinque settori esaminati in questo studio, i contenuti sanitari generati dall’intelligenza artificiale sono quelli che confondono maggiormente gli utenti. Ciò potrebbe essere molto pericoloso mentre ci muoviamo verso un mondo in cui l’intelligenza artificiale probabilmente si inserirà in più ambiti della nostra vita, compresa l’assistenza sanitaria.

I più giovani hanno maggiori difficoltà a identificare i contenuti dell’intelligenza artificiale

Nell'ambito dello studio, in generale, gli intervistati più giovani sono stati i più scarsi nell'identificare i contenuti scritti dall'intelligenza artificiale , con solo 2 su 5 (40,2%) tra i 18 e i 24 anni che hanno indovinato correttamente. Mentre quelli di età superiore ai 65 anni erano più cinici e identificavano correttamente i contenuti dell’intelligenza artificiale più della metà delle volte (52%).

Le persone si fidano dei contenuti scritti dall’intelligenza artificiale?

Se gli editori di contenuti, come blogger, giornali e riviste pubblicassero contenuti basati sull’intelligenza artificiale senza dirlo agli utenti (cosa che alcuni hanno fatto, a volte anche pieno di errori), vorremmo sapere cosa ne penserebbe il lettore quotidiano.

La maggior parte dei nostri intervistati (80,5%) ha affermato di ritenere che la divulgazione dell’intelligenza artificiale dovrebbe essere la norma online e che gli editori dovrebbero sensibilizzare le persone.

Non sorprende quindi che il 71,3% abbia affermato che si fiderebbe meno di un marchio se pubblicasse contenuti AI senza dirlo esplicitamente. Il restante 28,7% ha affermato che ciò non influenzerebbe tuttavia la loro fiducia in un marchio, indicando che forse non tutti hanno bisogno di sapere da dove provengono i loro contenuti online.

Per quanto riguarda l’impatto che queste rivelazioni potrebbero avere sui lettori, la storia è stata simile. Una maggioranza leggermente più piccola (67,8%) ha affermato che si fiderebbe di più di un marchio se le informazioni sull’intelligenza artificiale fossero presenti su un contenuto online, mentre poco meno di un terzo (32,2%) ha affermato che ciò non avrebbe alcun impatto positivo o negativo sulla loro fiducia.

Nel complesso, i dati indicano che la maggior parte delle persone preferirebbe i brand che rivelano esplicitamente come e dove l’intelligenza artificiale è stata utilizzata per creare i propri contenuti. Se questa diventerà la norma nel mondo dei contenuti online è ancora da vedere.

Metodologia

Sono stati intervistati 1.920 adulti americani di tutte le fasce d'età e è stato chiesto loro di decidere se un pezzo di testo è stato creato dall'intelligenza artificiale, da un essere umano o dall'intelligenza artificiale e modificato da un essere umano. Questa domanda è stata posta su 75 pezzi di testo univoco e per questa analisi sono state raccolte 3.166 risposte. I dati del sondaggio sono stati raccolti dal 20/02/2023 al 26/02/2023.

Agli intervistati è stato chiesto quanto avessero familiarità con l'intelligenza artificiale e i suoi contenuti. La maggior parte delle persone in questo sondaggio ha provato almeno una volta qualche forma di strumento di intelligenza artificiale, questo include ChatGPT, ma potrebbe non essere ChatGPT.

• Il 57,1% del nostro pubblico ha provato almeno una volta qualche forma di strumento di intelligenza artificiale generativa
• Il 41,1% ne aveva sentito parlare in qualche forma ma non li aveva mai utilizzati personalmente
• L’1,8% non aveva mai sentito parlare di IA generativa prima di prendere parte al sondaggio

Nell'analisi sono state utilizzate 25 domande con tre risposte per domanda: una dall'AI (ChatGPT), una scritta da un giornalista umano e un'altra creata dall'AI e poi modificata da un copywriter professionista umano. Le domande e le risposte erano completamente randomizzate tra gli utenti in modo che non potessero vedere più di una risposta per domanda.

Il contenuto è stato scelto selezionando domande altamente ricercate (determinate dal volume di ricerca di Google) nei settori dell'intrattenimento, della finanza, della tecnologia, dei viaggi e della salute.

A ChatGPT è stato chiesto di scrivere come esperto sull'argomento rilevante (ad esempio un giornalista di viaggio o un manager finanziario) e di spiegare le risposte "semplicemente". Il contenuto veniva rimosso dalla risposta dell'IA se risultava evidente che era stato scritto da un'intelligenza artificiale, ad esempio "OK, farò finta di essere un manager finanziario e questo è quello che direi". I contenuti scritti da esseri umani provenivano da siti di esperti che avevano realizzato contenuti approfonditi sulla rispettiva questione. Tutti i siti che avevano rivelato l'utilizzo dell'intelligenza artificiale nei loro contenuti non sono stati utilizzati per questa analisi. Esempi di domande e risposte fornite agli intervistati possono essere trovati qui.

Aggiornamento GPT-4.0 per lo studio

Per valutare le capacità di GPT-4.0 in ChatGPT, abbiamo intervistato 1.394 adulti americani tra il 22 marzo e il 25 marzo 2023. Sono state poste loro le stesse domande se pensavano che un testo fosse stato prodotto da un'intelligenza artificiale, da un essere umano o modificato da un umano. Gli argomenti e le domande erano gli stessi dello studio GPT-3.5, gli esempi sono forniti nel foglio di calcolo sopra.

Altre risorse sull'intelligenza artificiale

Oggigiorno puoi persino utilizzare l'intelligenza artificiale per aiutarti a creare un sito Web! Consulta la nostra guida ai migliori costruttori di siti Web AI per ulteriori informazioni.

Quest'opera è distribuita sotto la licenza Creative Commons Attribuzione 4.0 Internazionale.