ChatGPT è il futuro delle chat, solo se lo usi bene

Nota del redattore: questo articolo è stato scritto da Jonathan May, professore associato di ricerca di informatica, University of Southern California, e ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.

Non ci vuole molto per convincere ChatGPT a commettere un errore di fatto. Mio figlio sta facendo un reportage sui presidenti degli Stati Uniti, quindi ho pensato di aiutarlo cercando alcune biografie.

Ho provato a chiedere un elenco di libri su Abraham Lincoln e ha fatto un ottimo lavoro:

Il numero 4 non è giusto. Garry Wills ha scritto notoriamente "Lincoln a Gettysburg" e lo stesso Lincoln ha scritto la proclamazione di emancipazione, ovviamente, ma non è un brutto inizio.

Poi ho provato qualcosa di più difficile, chiedendo invece del molto più oscuro William Henry Harrison, e ha fornito coraggiosamente un elenco, quasi tutto sbagliato.

I numeri 4 e 5 sono corretti; il resto non esiste o non è stato creato da quelle persone. Ho ripetuto esattamente lo stesso esercizio e ho ottenuto risultati leggermente diversi:

Questa volta i numeri 2 e 3 sono corretti e gli altri tre non sono libri reali o non scritti da quegli autori.

Il numero 4, "William Henry Harrison: His Life and Times", è un vero libro, ma è di James A. Green, non di Robert Remini, un noto storico dell'epoca Jacksoniana.

Ho chiamato l'errore e ChatGPT si è corretto con entusiasmo e poi mi ha detto con sicurezza che il libro era in realtà scritto da Gail Collins (che ha scritto un'altra biografia di Harrison), e poi ha continuato a dire di più sul libro e su di lei.

Alla fine ho rivelato la verità e la macchina è stata felice di funzionare con la mia correzione. Poi ho mentito in modo assurdo, dicendo che durante i loro primi cento giorni i presidenti devono scrivere una biografia di qualche ex presidente, e ChatGPT mi ha chiamato a riguardo.

Poi ho mentito sottilmente, attribuendo erroneamente la paternità della biografia di Harrison allo storico e scrittore Paul C. Nagel, e questo ha comprato la mia bugia.

Quando ho chiesto a ChatGPT se ero sicuro di non mentire, ha affermato che è solo un "modello di linguaggio AI" e non ha la capacità di verificare l'accuratezza.

Tuttavia ha modificato tale affermazione dicendo "Posso solo fornire informazioni basate sui dati di formazione che mi sono stati forniti, e sembra che il libro 'William Henry Harrison: His Life and Times' sia stato scritto da Paul C. Nagel e pubblicato nel 1977 .”

Questo non è vero.

Parole, non fatti

Da questa interazione può sembrare che a ChatGPT sia stata fornita una libreria di fatti, comprese affermazioni errate su autori e libri.

Dopotutto, il creatore di ChatGPT, OpenAI, afferma di aver addestrato il chatbot su "vaste quantità di dati da Internet scritti da umani".

Tuttavia, quasi certamente non gli sono stati dati i nomi di una serie di libri inventati su uno dei presidenti più mediocri. In un certo senso, però, questa falsa informazione si basa effettivamente sui suoi dati di addestramento.

In qualità di informatico, spesso metto in campo lamentele che rivelano un malinteso comune su modelli di linguaggio di grandi dimensioni come ChatGPT e i suoi fratelli più anziani GPT3 e GPT2: che sono una sorta di "super Google" o versioni digitali di un bibliotecario di riferimento, alla ricerca di risposte a domande da una biblioteca di fatti infinitamente grande, o mescolando insieme pastiches di storie e personaggi.

Non fanno nulla di tutto ciò, almeno non sono stati esplicitamente progettati per farlo.

Suona bene

Un modello linguistico come ChatGPT, che è più formalmente noto come "trasformatore generativo preaddestrato" (questo è ciò che stanno per G, P e T), prende nella conversazione corrente, forma una probabilità per tutte le parole nel suo vocabolario dato che conversazione, quindi sceglie una di esse come probabile parola successiva.

Poi lo fa ancora, e ancora, e ancora, finché non si ferma.

Quindi non ha fatti, di per sé. Sa solo quale parola dovrebbe venire dopo. In altre parole, ChatGPT non cerca di scrivere frasi vere. Ma cerca di scrivere frasi plausibili.

Quando si parla in privato con i colleghi di ChatGPT, spesso sottolineano quante affermazioni effettivamente false produce e lo respingono.

Per me, l'idea che ChatGPT sia un sistema di recupero dati imperfetto è fuori luogo.

Dopotutto, le persone usano Google da due decenni e mezzo. C'è già un buon servizio di accertamento dei fatti là fuori.

In effetti, l'unico modo in cui sono stato in grado di verificare se tutti quei titoli di libri presidenziali fossero accurati era cercare su Google e quindi verificare i risultati.

La mia vita non sarebbe molto migliore se ricevessi quei fatti in una conversazione, invece del modo in cui li ho ottenuti per quasi metà della mia vita, recuperando documenti e poi facendo un'analisi critica per vedere se posso fidarmi dei contenuti.

Partner di improvvisazione

D'altra parte, se posso parlare con un bot che mi darà risposte plausibili alle cose che dico, sarebbe utile in situazioni in cui l'accuratezza fattuale non è poi così importante.

Alcuni anni fa uno studente e io abbiamo provato a creare un "bot di improvvisazione", uno che rispondesse a qualunque cosa tu dicessi con un "sì e" per mantenere viva la conversazione.

Abbiamo dimostrato, in un documento, che il nostro bot era più bravo a "sì, e-ing" rispetto ad altri bot in quel momento, ma in AI, due anni sono storia antica.

Ho provato un dialogo con ChatGPT - uno scenario di esplorazione spaziale di fantascienza - che non è diverso da quello che potresti trovare in una tipica lezione di improvvisazione.

ChatGPT è molto più bravo a "sì, e-ing" rispetto a quello che abbiamo fatto, ma non ha affatto accentuato il dramma. Mi sentivo come se stessi facendo tutto il lavoro pesante.

Dopo alcune modifiche sono riuscito a renderlo un po' più coinvolgente e alla fine ho sentito che era un esercizio abbastanza buono per me, che non ho fatto molta improvvisazione da quando mi sono laureato al college più di 20 anni fa.

Certo, non vorrei che ChatGPT comparisse su "Di chi è la linea comunque?" e questa non è una grande trama di "Star Trek" (sebbene sia ancora meno problematica di "Codice d'onore").

Ma quante volte ti sei seduto per scrivere qualcosa da zero e ti sei trovato terrorizzato dalla pagina vuota davanti a te?

Iniziare con una brutta prima bozza può superare il blocco dello scrittore e far fluire i succhi creativi, e ChatGPT e modelli linguistici di grandi dimensioni sembrano gli strumenti giusti per aiutare in questi esercizi.

E per una macchina progettata per produrre stringhe di parole che suonino nel miglior modo possibile in risposta alle parole che gli dai - e non per fornirti informazioni - sembra l'uso giusto per lo strumento.

Hai qualche idea su questo? Scrivici una riga qui sotto nei commenti o trasferisci la discussione sul nostro Twitter o Facebook.

Raccomandazioni della redazione:

• Le consegne con i droni stanno diventando una realtà: siamo pronti?
• Le app scaricate da paesi diversi comportano maggiori rischi per la privacy
• I ricercatori rivelano come rilevano l'audio deepfake: ecco come
• I servitori robot domestici sono ancora molto lontani, ecco perché