ChatGPT adalah masa depan obrolan, hanya jika Anda menggunakannya dengan benar

Catatan Editor: Artikel ini ditulis oleh Jonathan May, Research Associate Professor of Computer Science, University of Southern California, dan diterbitkan ulang dari The Conversation di bawah lisensi Creative Commons. Baca artikel aslinya.

Tidak perlu banyak waktu untuk membuat ChatGPT melakukan kesalahan faktual. Putra saya sedang membuat laporan tentang presiden AS, jadi saya pikir saya akan membantunya dengan melihat beberapa biografi.

Saya mencoba meminta daftar buku tentang Abraham Lincoln dan hasilnya cukup bagus:

Nomor 4 tidak benar. Garry Wills terkenal menulis "Lincoln di Gettysburg," dan Lincoln sendiri yang menulis Proklamasi Emansipasi, tentu saja, tapi itu bukan awal yang buruk.

Kemudian saya mencoba sesuatu yang lebih keras, malah bertanya tentang William Henry Harrison yang jauh lebih tidak jelas, dan dengan gagah berani memberikan daftar, yang hampir semuanya salah.

Angka 4 dan 5 benar; sisanya tidak ada atau tidak ditulis oleh orang-orang tersebut. Saya mengulangi latihan yang sama persis dan mendapatkan hasil yang sedikit berbeda:

Kali ini nomor 2 dan 3 benar dan tiga lainnya bukan buku sebenarnya atau tidak ditulis oleh penulis tersebut.

Nomor 4, “William Henry Harrison: His Life and Times,” adalah buku sungguhan, tetapi ditulis oleh James A. Green, bukan oleh Robert Remini, seorang sejarawan terkenal di zaman Jacksonian.

Saya menyebutkan kesalahannya, dan ChatGPT dengan penuh semangat mengoreksi dirinya sendiri dan kemudian dengan yakin memberi tahu saya bahwa buku itu sebenarnya ditulis oleh Gail Collins (yang menulis biografi Harrison yang berbeda), dan kemudian berbicara lebih banyak tentang buku itu dan tentang dia.

Saya akhirnya mengungkapkan kebenarannya, dan mesin senang bekerja dengan koreksi saya. Kemudian saya berbohong dengan tidak masuk akal, mengatakan selama seratus hari pertama presiden harus menulis biografi beberapa mantan presiden, dan ChatGPT memanggil saya untuk itu.

Saya kemudian berbohong secara halus, dengan salah menghubungkan kepengarangan biografi Harrison dengan sejarawan dan penulis Paul C. Nagel, dan itu membeli kebohongan saya.

Ketika saya bertanya kepada ChatGPT apakah saya yakin saya tidak berbohong, ia mengklaim bahwa itu hanya "model bahasa AI" dan tidak memiliki kemampuan untuk memverifikasi akurasi.

Namun itu mengubah klaim itu dengan mengatakan “Saya hanya dapat memberikan informasi berdasarkan data pelatihan yang telah saya berikan, dan tampaknya buku 'William Henry Harrison: His Life and Times' ditulis oleh Paul C. Nagel dan diterbitkan pada tahun 1977 .”

Ini tidak benar.

Kata-kata, bukan fakta

Tampaknya dari interaksi ini ChatGPT diberi perpustakaan fakta, termasuk klaim yang salah tentang penulis dan buku.

Lagi pula, pembuat ChatGPT, OpenAI, mengklaim telah melatih chatbot pada "sejumlah besar data dari internet yang ditulis oleh manusia."

Namun, hampir pasti tidak ada nama dari kumpulan buku yang dibuat-buat tentang salah satu presiden yang paling biasa-biasa saja. Namun, di satu sisi, informasi palsu ini memang didasarkan pada data pelatihannya.

Sebagai seorang ilmuwan komputer, saya sering mengajukan keluhan yang mengungkapkan kesalahpahaman umum tentang model bahasa besar seperti ChatGPT dan kakaknya GPT3 dan GPT2: bahwa mereka adalah semacam "Google super", atau versi digital dari pustakawan referensi, mencari jawaban untuk pertanyaan dari beberapa perpustakaan fakta yang sangat besar, atau memadukan cerita dan karakter bersama-sama.

Mereka tidak melakukan semua itu – setidaknya, mereka tidak dirancang secara eksplisit untuk itu.

Kedengarannya bagus

Model bahasa seperti ChatGPT, yang lebih formal dikenal sebagai "transformator pra-pelatihan generatif" (itulah singkatan dari G, P, dan T), mengambil percakapan saat ini, membentuk kemungkinan untuk semua kata dalam kosa katanya mengingat bahwa percakapan, dan kemudian memilih salah satu dari mereka sebagai kemungkinan kata berikutnya.

Kemudian hal itu terjadi lagi, dan lagi, dan lagi, sampai berhenti.

Jadi itu tidak memiliki fakta, per se. Itu hanya tahu kata apa yang harus datang selanjutnya. Dengan kata lain, ChatGPT tidak mencoba menulis kalimat yang benar. Tapi itu memang mencoba menulis kalimat yang masuk akal.

Saat berbicara secara pribadi dengan rekan kerja tentang ChatGPT, mereka sering kali menunjukkan berapa banyak pernyataan yang tidak benar secara faktual yang dihasilkannya dan mengabaikannya.

Bagi saya, gagasan bahwa ChatGPT adalah sistem pengambilan data yang cacat tidak penting.

Orang-orang telah menggunakan Google selama dua setengah dekade terakhir. Sudah ada layanan pencarian fakta yang cukup bagus di luar sana.

Padahal, satu-satunya cara saya bisa memverifikasi apakah semua judul buku kepresidenan itu akurat adalah dengan Googling dan kemudian memverifikasi hasilnya.

Hidup saya tidak akan jauh lebih baik jika saya mendapatkan fakta-fakta itu dalam percakapan, alih-alih cara saya mendapatkannya selama hampir separuh hidup saya, dengan mengambil dokumen dan kemudian melakukan analisis kritis untuk melihat apakah saya dapat mempercayai isinya.

Mitra perbaikan

Di sisi lain, jika saya dapat berbicara dengan bot yang akan memberi saya tanggapan yang masuk akal untuk hal-hal yang saya katakan, itu akan berguna dalam situasi di mana akurasi faktual tidak terlalu penting.

Beberapa tahun yang lalu seorang siswa dan saya mencoba membuat "bot improvisasi", yang akan menanggapi apa pun yang Anda katakan dengan "ya, dan" untuk membuat percakapan tetap berjalan.

Kami menunjukkan, di sebuah makalah, bahwa bot kami lebih baik dalam "ya, dan-ing" daripada bot lain pada saat itu, tetapi dalam AI, dua tahun adalah sejarah kuno.

Saya mencoba dialog dengan ChatGPT – sebuah skenario penjelajah ruang angkasa fiksi ilmiah – yang tidak berbeda dengan apa yang Anda temukan di kelas improvisasi pada umumnya.

ChatGPT jauh lebih baik dalam "ya, dan-ing" daripada yang kami lakukan, tetapi itu tidak benar-benar meningkatkan drama sama sekali. Saya merasa seolah-olah saya melakukan semua pekerjaan berat.

Setelah beberapa penyesuaian, saya membuatnya sedikit lebih terlibat, dan pada akhirnya saya merasa itu adalah latihan yang cukup bagus untuk saya, yang belum melakukan banyak peningkatan sejak saya lulus kuliah lebih dari 20 tahun yang lalu.

Tentu, saya tidak ingin ChatGPT muncul di “Baris Siapa Itu?” dan ini bukan plot "Star Trek" yang bagus (meski masih kurang bermasalah dibandingkan "Kode Kehormatan").

Tapi berapa kali Anda duduk untuk menulis sesuatu dari awal dan mendapati diri Anda ketakutan dengan halaman kosong di depan Anda?

Memulai dengan draf pertama yang buruk dapat menembus blok penulis dan membuat jus kreatif mengalir, dan ChatGPT serta model bahasa besar tampaknya merupakan alat yang tepat untuk membantu latihan ini.

Dan untuk mesin yang dirancang untuk menghasilkan rangkaian kata yang terdengar sebaik mungkin sebagai tanggapan atas kata-kata yang Anda berikan - dan bukan untuk memberi Anda informasi - sepertinya penggunaan yang tepat untuk alat tersebut.

Punya pemikiran tentang ini? Berikan kami satu baris di bawah ini di komentar, atau bawa diskusi ke Twitter atau Facebook kami.

Rekomendasi Editor:

• Pengiriman drone menjadi kenyataan – apakah kita siap untuk itu?
• Aplikasi yang diunduh dari berbagai negara menimbulkan risiko privasi yang lebih tinggi
• Peneliti mengungkapkan bagaimana mereka mendeteksi audio deepfake – begini caranya
• Pelayan robot rumah tangga masih jauh – inilah alasannya