Anket: ChatGPT ve Yapay Zeka İçeriği –İnsanlar farkı anlayabilir mi?

İnsanlar, insan ve yapay zeka yazarları arasındaki farkı anlayabilir mi ve bu onların markalara olan güvenini etkiler mi?

Yapay Zeka (AI) artık yetenekli bir insanın yapabileceği görüntüleri, müziği ve metinleri rahatlıkla oluşturabiliyor. Çevrimiçi içerik dünyası 2020'lerde büyük bir değişim yaşıyor. Bu, hızla büyüyen ve yalnızca beş gün içinde ilk bir milyon kullanıcısına ulaşan üretken sohbet robotu ChatGPT'den büyük ölçüde etkileniyor.

Teknolojiyle ilgilenenler yapay zeka ve ChatGPT gibi sohbet robotları hakkında çok şey biliyor olsa da bu herkesin bildiği bir bilgi değil. Aslında bazı insanlar yapay zeka araçlarının çıktılarının ne kadar karmaşık olduğunu ve çevrimiçi okuduklarının bir insan mı yoksa yapay zeka tarafından mı üretildiğini bile bilmiyor olabilir.

Bu konu hakkında daha fazla bilgi edinmek için, çevrimiçi yapay zeka içeriği hakkında ne düşündüklerini, bunun markalara olan güvenlerini nasıl etkilediğini ve son olarak yapay zeka ile insan içeriği arasındaki farkı anlayıp anlayamadıklarını öğrenmek amacıyla 1.900'den fazla Amerikalıyla anket yaptık. İnsanlardan sağlık, finans, eğlence, teknoloji ve seyahat içeriğinde metnin yapay zeka tarafından mı yoksa insanlar tarafından mı oluşturulduğunu tahmin etmelerini istedik. Bu çalışmanın metodolojisi hakkında daha fazla bilgiyi buradan edinebilirsiniz.

İşte Amerikan halkının çevrimiçi yapay zeka içeriği hakkında ne düşündüğü.

Önemli bulgular

• %53'ten fazlası, tamamen ChatGPT gibi yapay zeka sohbet robotları tarafından oluşturulan içeriği doğru bir şekilde tanımlayamıyor . GPT-4.0 modeli kullanıldığında bu oran %63,5'e çıkıyor .
• Ortalama olarak, GPT-4.0 dil modeli, insanları yapay zeka tarafından oluşturulan kopyanın bir insan tarafından yazıldığına ikna etme konusunda GPT-3.5'ten %16,5 daha iyidir .
• Yapay zeka tarafından oluşturulan sağlık içeriği, kullanıcıları en fazla aldatabilen içerik oldu ; %56,1'i, yapay zeka içeriğinin bir insan tarafından yazıldığını veya düzenlendiğini yanlış düşünüyordu.
• Okuyucular , yapay zeka tarafından oluşturulan içeriği en çok teknoloji sektöründe doğru tahmin etti; bu sektör, yarıdan fazlasının (%51) yapay zeka tarafından oluşturulan içeriği doğru şekilde tanımladığı tek sektör.
• GPT-4.0 ile teknoloji içeriğinin en çok (%60,3) yapay zeka tarafından oluşturulduğu doğru bir şekilde belirlendi.
• Okuyucuların %66,5'i içeriğin insanlar tarafından yazıldığını düşünerek, GPT-4.0 yapay zeka içeriği seyahat sırasında en tespit edilemeyen içerik oldu.
• ChatGPT gibi yapay zeka araçlarına daha aşina olanlar , yapay zeka içeriğini tanımlamada marjinal olarak daha iyiydiler ancak yine de vakaların yalnızca %48'inde doğruydular .
• Üretken yapay zekaya tamamen aşina olmayan kişilerin yalnızca %40,8'i yapay zeka içeriğini doğru bir şekilde tanımlayabildi .
• İnsanların çoğunluğu (%80,5) blog ve haber makaleleri yayınlayan çevrimiçi yayıncıların, bunların oluşturulmasında yapay zekanın payı olup olmadığını açıkça belirtmesi gerektiğine inanıyor.
• On kişiden yedisinden fazlası (%71,3) kendilerine söylenmeden yapay zeka tarafından oluşturulan içerik verilirse bir markaya daha az güveneceklerini söyledi.
• Çoğu kişi (%46,5) yapay zekanın kendilerine sağlık ve finans konularında tavsiyelerde bulunmasının sorun olmayacağını söylerken, %42,9'u da bu tür tavsiyeleri yalnızca içeriğin bir insan tarafından düzenlenmesi ve gözden geçirilmesi durumunda kullanacaklarını söyledi.

İnsanlar metnin yapay zeka tarafından oluşturulup oluşturulmadığını anlayabilir mi?

Bu çalışmanın ana sorusunu hızlı bir şekilde yanıtlamak gerekirse: Hayır, insanlar yapay zeka içeriği ile insan tarafından yazılan içerik arasındaki farkı anlayamıyor .

Ortalama olarak, insanlar yapay zeka tarafından yazılan içeriği yalnızca %46,9 oranında doğru bir şekilde tanımlayabildiler. GPT-3.5 yerine GPT-4.0 kullanıldığında okuyucuların yalnızca %36,5'i yapay zeka tarafından yazılan içeriği doğru bir şekilde tanımlayabildi.

Bu, okudukları içeriğin konusuna göre değişiklik gösteriyordu ancak genel olarak insanlar yapay zekayı neredeyse yarı yarıya tanımlayabiliyordu. Bu, AI içeriğinin okuyucuların yarısından fazlası tarafından tespit edilemediği anlamına geliyor.

Ancak konuyu daha da derinleştirdiğimizde, insanların %36,3'ünün yapay zeka içeriğinin aslında bir insan tarafından yazıldığını düşündüğünü, %16,7'sinin ise bunun daha sonra bir insan tarafından düzenlenmiş yapay zeka içeriği olduğunu düşündüğünü görüyoruz.

Sonuçta, yarıdan fazlası (%53) yapay zekayla yazılmış içeriği okudu ve bir noktada bir insanın dahil olduğunu varsaydı; bir insan yazarın herhangi bir yetenek ve kişilik eklemesinden önce araçtan çıktığı anda bu kadar ikna edici olabilir.

GPT-3.5 ve GPT-4.0: Hangi model daha ikna edici metinler üretiyor?

Bu çalışmanın orijinal versiyonu, GPT-4.0'ın 14 Mart 2023'te kullanıma sunulmasından önce gerçekleştirilmişti. Bunun ardından, okuyuculara bir kez daha anket uygulayarak bulgularımızı güncelledik.

Aynı konuları ve yönlendirmeleri kullandık, ancak bu sefer katılımcılara 3.5 modeli yerine GPT-4.0 ile ChatGPT tarafından üretilen içeriği kullanarak anket yaptık.

GPT-4.0 kullandığımızda yapay zeka tarafından oluşturulan içeriğin insanlar tarafından yapıldığını düşünenlerin sayısında %16,5 oranında bir artış olduğunu tespit ettik.

GPT-3.5'i kullanarak insanların %53,1'inin ChatGPT metin yazarlığının insan olduğunu düşündüğünü, GPT-4.0'ı kullanarak ise insanların %63,5'inin içeriğin bir insan yazar tarafından oluşturulduğuna veya düzenlendiğine inandığını bulduk.

ChatGPT belirli konular hakkında yazma konusunda daha mı iyi?

Bu çalışmanın cevaplamaya çalıştığı sorulardan biri, ChatGPT'nin farklı konulara dayalı olarak daha fazla insan içeriği yazmada daha iyi olup olmadığıdır. Bulgularımıza göre yapay zeka sohbet robotunun daha ikna edici sağlık içeriği yazma konusunda daha iyi olduğu ve teknoloji yazılarının halk tarafından fark edilmesinin daha kolay olduğu görülüyor.

Farklı konularda metin oluştururken AI içeriğinin genel halk tarafından nasıl algılandığına dair bir genel bakış burada verilmiştir:

Bu çalışma güncellendiğinden, farklı konulardaki içerik söz konusu olduğunda GPT-3.5 ve GPT-4.0'ın sonuçlarını da karşılaştırabiliyoruz. Tıpkı GPT-3.5 gibi GPT-4.0 kullandığımızda da dil modeli en çok teknoloji içeriğinde (%39,7) tespit edildi.

Okuyucuların %66,5'i bunun insan veya insan tarafından düzenlendiğine inandığından, GPT-4.0 söz konusu olduğunda seyahat içeriği en tespit edilemeyen içerikti. GPT-3.5 (%56,1) söz konusu olduğunda ise en tespit edilemeyen içerik sağlık içeriğiydi.

ChatGPT tarafından oluşturulan kopya ne kadar inandırıcıdır?

Aşağıdaki tablo, hem GPT-3.5 hem de GPT-4.0'da ChatGPT tarafından oluşturulan kopyanın bir yapay zeka veya bir insan tarafından yapıldığını veya bir insan tarafından düzenlendiğini düşünen kişilerin yüzdesini göstermektedir.

ChatGPT'nin farklı konularda insana benzeyen içerikleri ne kadar iyi ürettiğini görebilmeniz için aşağıda sektörleri daha ayrıntılı olarak inceledik.

Yapay Zeka araçlarına ne kadar aşina olursanız, Yapay Zeka içeriğini tespit etme olasılığınız da o kadar artar, ancak yalnızca çok az

ChatGPT gibi yapay zeka araçlarına aşina olduklarını söyleyenler, yapay zeka içeriğini bulma konusunda çok az daha iyiydi ancak yine de sadece %48 oranında haklıydılar.

Yapay zeka yazılarını tanımlama yeteneği, üretken yapay zekayı hiç duymadıklarını belirten kişilere bakıldığında %7,2 ila %40,8 oranında düşüyor, bu da insanların yapay zeka tarafından oluşturulan içerikteki eğilimleri ve kalıpları görme yeteneğini kazanabildiğini gösteriyor.

Genel olarak yapay zeka içerik tespitinde kadın ve erkek arasında istatistiksel bir fark yoktu.

Farklı sektörlerde yapay zeka yazımı ne kadar ikna edici?

Çalışmamız insanlara okudukları içeriğin bir yapay zeka tarafından oluşturulup oluşturulmadığı konusunda beş temel sektörde bir anket yaptı. Aşağıda insanların her içerik türünde nasıl puan aldığını gösteren bir döküm yer almaktadır: eğlence, finans, seyahat, teknoloji ve sağlık.

Okuyucular yapay zekayı en çok teknoloji içeriğinde fark etti

Teknoloji sorularımız kullanıcılara cep telefonları, bilgisayar donanımı, akıllı teknoloji, yapay zeka ve internet sağlayıcıları hakkındaki soruların yanıtlarını verdi.

Ortalama olarak, kullanıcıların %51'i yapay zeka tarafından yazılan yanıtların kesinlikle yapay zeka tarafından yaratılıp yaratılmadığını doğru bir şekilde tahmin edebildi; üçte biri (%33) aynı içeriğin insanlar tarafından yapıldığını düşünüyordu. Geri kalan %16 ise bunun daha sonra insanlar tarafından düzenlenen bir tür yapay zeka içeriği olduğunu tahmin ederek emin değildi.

Genel olarak teknoloji içeriği, yapay zeka içeriğini doğru şekilde tanımlayan kullanıcılar arasında en yüksek yüzdeye (%51) sahip oldu. Kadınların AI tarafından yazılan teknoloji içeriğini erkeklere göre biraz daha doğru tanımlama olasılığı daha yüksekti (%52,4'e karşı %49,9).

İnsanlar tarafından yazılan teknoloji içeriği söz konusu olduğunda, insanların yalnızca %36'sı bunun bir insan tarafından yazıldığını tespit edebildi; çoğunluk (%48,4) bunu yapay zekanın yazdığına inanıyordu; geri kalan %15,6 ise hatalı bir şekilde muhtemelen bir insanın düzenlediğini düşünüyordu. Yapay zeka tarafından yazılan içerik.

Yapay zeka tarafından yazılan eğlence içerikleri büyük olasılıkla 18-24 yaş arası gençleri kandırıyor

Eğlence yazımı, özellikle de film, tiyatro, video oyunları, internet yayını ve müzik konularını tartışan metin bölümleri söz konusu olduğunda, katılımcıların %47,3'ü yapay zeka içeriğini doğru bir şekilde tanımlayabildi. 18-24 yaş grubundakiler, genel ortalama %36,3'e kıyasla yapay zeka tarafından yazılan içeriğin bir insan tarafından (%41,1) yazıldığını düşünüyor.

İnsanların yazdığı eğlence içerikleri söz konusu olduğunda da benzer bir eğilim görüldü; büyük çoğunluk (%44,8) bunun bir yapay zeka tarafından yazılmış olması gerektiğini düşünürken, biraz daha azı (%38,9) bunun bir insan yazar olduğunu doğru tahmin etti.

Bu kafa karışıklığı, insanların yapay zeka ile insan tarafından yazılan içerik arasındaki farkı tam olarak anlayamadıkları yönündeki genel eğilimi takip ediyor.

Seyahat

Çevrimiçi seyahat yazıları söz konusu olduğunda, katılımcıları uygun fiyatlı uçuşlar ve oteller bulma, açık havada seyahate hazırlanma, kiralık araba kiralamayla ilgili ipuçları ve seyahat acentelerini kullanma hakkındaki görüşlerle ilgili içeriklerle test ettik.

Neredeyse tam ortalamada, insanların %47'si yapay zeka metnini doğru bir şekilde tanımladı, ancak %35,9'u bunun bir insan tarafından yazıldığını söyledi.

Ancak insan yapımı seyahat içeriği okuyucuları oldukça kutuplaştırdı. Çoğunluk (%41,6) metnin bir yapay zeka tarafından değil de bir insan tarafından yazıldığını doğru tahmin etti; ancak benzer sayıda okuyucu (%40,5) aynı içeriğin yapay zeka tarafından yapılması gerektiğini düşünüyordu.

Finans

Konu içeriğin finansmanı olduğunda insanlar yapay zeka içeriğini iyi bir şekilde tespit edebildiler ve yaklaşık %45,8 oranında doğru sonuç elde ettiler, ancak %37,2'si yine de aynı yapay zeka metninin bir insan tarafından yapılması gerektiğini düşünüyordu.

İnsan tarafından yazılan içeriğe bakıldığında, %42,5'i bunun bir yapay zeka tarafından yazıldığından emin olurken, %40,5'i bunun bir insan zihni tarafından oluşturulduğunu doğru tahmin etti.

Yapay zeka tarafından oluşturulan sağlık içeriği kullanıcıların %53,1'ini aldatmayı başardı

Sağlık içeriğine gelince, kullanıcılara kalça protezi maliyetleri, parasetamolün tehlikeleri, zihinsel sağlık koşulları, fitness planları ve önleyici sağlık taramaları hakkında yazılar sunduk.

Bu durumda, çalışmadaki okuyucuların en büyük kısmı (%38,4) yapay zeka içeriğinin bir insan tarafından yazıldığını düşünürken, %43,9'u bunun yapay zeka olduğundan emin. Geriye kalan yüzde 17,7'lik kesim ise bunun insan tarafından düzenlenmiş yapay zeka metni olduğuna inanıyor.

İnsanlar tarafından oluşturulan ve tıp uzmanları tarafından incelenen sağlık içerikleri okuyucu kazanmadı. Genel olarak bu alandaki insan yapımı içeriğin çoğu kişi (%44,9) bunun yapay zeka tarafından oluşturulduğunu düşünürken, %37,9'u bunu bir insanın yarattığını düşünüyordu. İlginç bir şekilde bu, yapay zeka sağlık içeriğinin, insanlar tarafından yazılan gerçek içerikten daha insani olduğunu düşünenlerin sayısının biraz daha fazla olduğu anlamına geliyor.

Bu çalışmada incelediğimiz beş sektör arasında yapay zeka tarafından oluşturulan sağlık içeriği kullanıcıların kafasını en çok karıştıran sektör oldu. Yapay zekanın kendisini sağlık hizmetleri de dahil olmak üzere hayatımızın daha fazla alanına yerleştireceği bir dünyaya doğru ilerlerken bu çok tehlikeli olabilir.

Gençler yapay zeka içeriğini tanımlamakta daha çok zorlanıyor

Araştırma genelinde genel olarak en genç katılımcılar yapay zeka tarafından yazılan içeriği belirlemede en zayıf olanlar oldu ; 18-24 yaş grubundakilerin yalnızca 5'te 2'si (%40,2) doğru tahminde bulundu. 65 yaş üstü olanlar ise daha şüpheciydi ve yarıdan fazlasında (%52) yapay zeka içeriğini doğru bir şekilde tanımladılar.

İnsanlar yapay zeka tarafından yazılan içeriğe güveniyor mu?

Blog yazarları, gazeteler ve dergiler gibi içerik yayıncıları, kullanıcılara haber vermeden yapay zeka içeriği yayınlasalardı (bazıları bunu yaptı, hatta bazen hatalarla dolu), sıradan okuyucunun bu konuda ne düşüneceğini bilmek istedik.

Yanıt verenlerimizin çoğunluğu (%80,5) yapay zeka açıklamalarının çevrimiçi ortamda norm olması gerektiğini ve yayıncıların insanları bilinçlendirmesi gerektiğini düşündüklerini söyledi.

Bu durumda %71,3'ün, bir markanın açıkça belirtmeden yapay zeka içeriği yayınlaması durumunda daha az güveneceğini söylemesi de şaşırtıcı değil. Geriye kalan %28,7'lik kesim ise bunun bir markaya olan güvenlerini etkilemeyeceğini söyledi; bu da belki de herkese çevrimiçi içeriklerinin nereden geldiğinin söylenmesine gerek olmadığını belirtti.

Bu açıklamaların okuyucular üzerinde yaratabileceği etkiye gelince hikaye benzerdi. Biraz daha küçük bir çoğunluk (%67,8), bir çevrimiçi içerikte yapay zeka açıklamalarının bulunması durumunda bir markaya daha fazla güveneceklerini söylerken, üçte birinden biraz azı (%32,2) bunun güvenlerini olumlu veya olumsuz etkilemeyeceğini söyledi.

Genel olarak veriler, çoğu insanın, içeriklerini oluşturmak için yapay zekanın nasıl ve nerede kullanıldığını açıkça ortaya koyan markaları tercih edeceğini gösteriyor. Bunun çevrimiçi içerik dünyasında norm haline gelip gelmeyeceği henüz görülmedi.

Metodoloji

Tüm yaş aralıklarından 1.920 Amerikalı yetişkinle anket yapıldı ve bir metin parçasının yapay zeka tarafından mı, bir insan tarafından mı yoksa yapay zeka tarafından mı oluşturulduğuna ve bir insan tarafından mı düzenlendiğine karar vermeleri istendi. Bu soru 75 benzersiz metinde soruldu ve bu analiz için 3.166 yanıt toplandı. Anket verileri 20.02.2023 ile 26.02.2023 tarihleri ​​arasında toplandı.

Anket katılımcılarına yapay zeka ve yapay zeka içeriğine ne kadar aşina oldukları soruldu. Bu ankete katılanların çoğunluğu en az bir kez bir çeşit yapay zeka aracı denemişti; buna ChatGPT dahildir, ancak ChatGPT olmayabilir.

• Hedef kitlemizin %57,1'i bir tür üretken yapay zeka aracını en az bir kez denemişti
• %41,1'i bunu bir şekilde duymuş ancak kişisel olarak hiç kullanmamıştır.
• %1,8'i ankete katılmadan önce herhangi bir üretken yapay zeka duymamıştı

Analizde, soru başına üç yanıt içeren 25 soru kullanıldı: biri yapay zekadan (ChatGPT), biri bir insan gazeteci tarafından yazılmış, diğeri ise yapay zeka tarafından oluşturuldu ve daha sonra profesyonel bir metin yazarı tarafından düzenlendi. Sorular ve cevaplar kullanıcılar arasında tamamen rastgele dağıtıldı, böylece soru başına birden fazla cevap göremediler.

İçerik, eğlence, finans, teknoloji, seyahat ve sağlık sektörlerinde en çok aranan (Google arama hacmine göre belirlenen) sorular seçilerek seçildi.

ChatGPT'ye ilgili konu hakkında bir uzman olarak (örneğin bir seyahat gazetecisi veya bir finans yöneticisi) yazması ve yanıtları "basitçe" açıklaması yönünde yönlendirmeler verildi. İçerik, "Tamam, finans yöneticisi gibi davranacağım ve söyleyeceğim şey bu" gibi bir yapay zeka tarafından yazıldığını açıkça ortaya koyuyorsa, yapay zeka yanıtından kaldırıldı. İnsanların yazdığı içerik, ilgili soru hakkında derinlemesine içerik hazırlayan uzman sitelerden alınmıştır. İçeriklerinde yapay zeka kullanıldığını açıklayan hiçbir site bu analiz için kullanılmadı. Anket katılımcılarına verilen soru ve yanıtların örneklerine buradan ulaşabilirsiniz.

Çalışmaya Yönelik GPT-4.0 Güncellemesi

ChatGPT'de GPT-4.0'ın yeteneklerini değerlendirmek için 22 Mart ile 25 Mart 2023 tarihleri ​​arasında 1.394 Amerikalı yetişkinle anket yaptık. Onlara bir metnin bir yapay zeka mı, bir insan tarafından mı üretildiğini yoksa bir insan tarafından mı düzenlendiğini düşündükleriyle aynı sorular soruldu. bir insan. Konular ve sorgular GPT-3.5 çalışmasıyla aynıydı; örnekler yukarıdaki e-tabloda verilmiştir.

Diğer Yapay Zeka Kaynakları

Bugünlerde bir web sitesi oluşturmanıza yardımcı olması için yapay zekayı bile kullanabilirsiniz! Daha fazla bilgi için en iyi AI web sitesi oluşturucularına yönelik kılavuzumuza göz atın.

Bu çalışma Creative Commons Atıf 4.0 Uluslararası Lisansı kapsamında lisanslanmıştır.