ChatGPT ve diğer dil yapay zekaları da bizim kadar mantıksız

Geçtiğimiz birkaç yıl, şiir yazmak, insan benzeri konuşmalar yapmak ve tıp fakültesi sınavlarını geçmek gibi şeyler yapabilen büyük dil modeli yapay zeka sistemlerinde bir ilerleme patlaması gördü.

Bu ilerleme, ChatGPT gibi işten çıkarmalardan ve artan yanlış bilgilendirmeden büyük üretkenlik artışlarına kadar çok çeşitli önemli sosyal ve ekonomik sonuçları olabilecek modeller ortaya çıkardı.

Etkileyici yeteneklerine rağmen, büyük dil modelleri aslında düşünmezler. Temel hatalar yapma ve hatta bir şeyler uydurma eğilimindedirler.

Ancak akıcı bir dil ürettikleri için insanlar onlara düşünüyormuş gibi yanıt verme eğilimindedir.

Bu, araştırmacıları modellerin "bilişsel" yeteneklerini ve önyargılarını incelemeye yöneltti; bu, büyük dil modellerinin geniş çapta erişilebilir olmasıyla önemi artan bir çalışmadır.

Bu araştırma dizisi, Google'ın arama motoruna entegre edilmiş ve bu nedenle BERTology olarak adlandırılan BERT gibi erken dönem büyük dil modellerine dayanmaktadır.

Bu araştırma, bu tür modellerin neler yapabileceği ve nerede yanlış yaptıkları hakkında zaten çok şey ortaya koydu.

Örneğin, zekice tasarlanmış deneyler, birçok dil modelinin olumsuzlamayla başa çıkmakta - örneğin, "ne değildir" şeklinde ifade edilen bir soruda - ve basit hesaplamalar yapmakta zorlandığını göstermiştir.

Yanlış olduklarında bile cevaplarına aşırı güvenebilirler. Diğer modern makine öğrenimi algoritmaları gibi, neden belirli bir şekilde cevap verdikleri sorulduğunda kendilerini açıklamakta güçlük çekiyorlar.

kelimeler ve düşünceler

BERTology ve bilişsel bilim gibi ilgili alanlarda artan araştırmalardan ilham alan öğrencim Zhisheng Tang ve ben, büyük dil modelleri hakkında görünüşte basit olan bir soruyu yanıtlamak için yola çıktık: Bunlar rasyonel mi?

Rasyonel kelimesi günlük İngilizcede genellikle aklı başında veya mantıklı ile eşanlamlı olarak kullanılsa da, karar verme alanında özel bir anlamı vardır.

İster bireysel bir insan, ister bir organizasyon gibi karmaşık bir varlık olsun, bir karar alma sistemi, bir dizi seçenek verildiğinde, beklenen kazancı en üst düzeye çıkarmayı seçerse rasyoneldir.

"Beklenen" niteleyicisi önemlidir çünkü kararların önemli belirsizlik koşulları altında alındığını gösterir.

Adil bir yazı tura atarsam, ortalama olarak zamanın yarısında tura geleceğini biliyorum. Ancak, herhangi bir yazı tura atmanın sonucu hakkında bir tahminde bulunamam.

Kumarhanelerin ara sıra büyük ödemeleri karşılayabilmesinin nedeni budur: Dar ev oranları bile ortalama olarak muazzam karlar sağlar.

İlk bakışta, anlamlarını tam olarak anlamadan kelimeler ve cümleler hakkında doğru tahminler yapmak için tasarlanmış bir modelin beklenen kazancı anlayabileceğini varsaymak tuhaf görünüyor.

Ancak dil ve bilişin iç içe geçtiğini gösteren çok sayıda araştırma var.

Mükemmel bir örnek, 20. yüzyılın başlarında bilim adamları Edward Sapir ve Benjamin Lee Whorf tarafından yapılan ufuk açıcı araştırmalardır. Çalışmaları, kişinin ana dilinin ve kelime dağarcığının, bir kişinin düşünme biçimini şekillendirebileceğini öne sürdü.

Bunun ne ölçüde doğru olduğu tartışmalıdır, ancak Kızılderili kültürleri üzerine yapılan araştırmalardan elde edilen destekleyici antropolojik kanıtlar vardır.

Örneğin, turuncu ve sarı için ayrı kelimeleri olmayan Güneybatı Amerika'daki Zuni halkı tarafından konuşulan Zuni dilini konuşanlar, bu renkleri ayrı kelimelere sahip dilleri konuşanlar kadar etkili bir şekilde ayırt edemezler. renkler.

Bahis yapmak

Peki dil modelleri rasyonel midir?

Beklenen kazancı anlayabilirler mi? Orijinal formlarında, BERT gibi modellerin bahis benzeri seçenekler sunulduğunda rastgele davrandığını göstermek için ayrıntılı bir dizi deney gerçekleştirdik.

Bu, ona şöyle hileli bir soru verdiğimizde bile böyledir: Yazı tura atarsanız ve tura gelirse, bir elmas kazanırsınız; yazı gelirse, bir araba kaybedersiniz. Hangisini alırdın? Doğru cevap tura, ancak AI modelleri yaklaşık yarısında yazı seçti.

Şaşırtıcı bir şekilde, modele yalnızca küçük bir dizi örnek soru ve cevap kullanarak nispeten rasyonel kararlar vermesinin öğretilebileceğini bulduk.

İlk bakışta, bu, modellerin gerçekten de dille "oynamaktan" daha fazlasını yapabileceğini gösteriyor gibi görünebilir. Bununla birlikte, daha ileri deneyler, durumun aslında çok daha karmaşık olduğunu gösterdi.

Örneğin, bahis sorularımızı çerçevelemek için madeni para yerine kartlar veya zarlar kullandığımızda, rastgele seçimin üzerinde kalmasına rağmen performansın %25'in üzerinde önemli ölçüde düştüğünü gördük.

Bu nedenle, modele rasyonel karar vermenin genel ilkelerinin öğretilebileceği fikri, en iyi ihtimalle çözümlenmemiştir.

ChatGPT kullanarak yürüttüğümüz daha yeni vaka incelemeleri, karar vermenin çok daha büyük ve daha gelişmiş büyük dil modelleri için bile önemsiz ve çözülmemiş bir sorun olmaya devam ettiğini doğrulamaktadır.

Kararı doğru almak

Bu çalışma hattı önemlidir çünkü belirsizlik koşulları altında rasyonel karar verme, maliyetleri ve faydaları anlayan sistemler oluşturmak için kritik öneme sahiptir.

Akıllı bir sistem, beklenen maliyetleri ve faydaları dengeleyerek, dünyanın COVID-19 salgını sırasında yaşadığı tedarik zinciri kesintileri etrafında planlama, envanter yönetimi veya finansal danışman olarak hizmet verme konusunda insanlardan daha iyisini yapabilirdi.

Çalışmamız nihayetinde, bu tür amaçlar için büyük dil modelleri kullanılıyorsa, insanların çalışmalarını yönlendirmesi, gözden geçirmesi ve düzenlemesi gerektiğini gösteriyor.

Ve araştırmacılar, büyük dil modellerine genel bir rasyonalite duygusu kazandırmayı bulana kadar, özellikle yüksek riskli karar verme gerektiren uygulamalarda, modellere dikkatle yaklaşılmalıdır.

Bu konuda herhangi bir fikriniz var mı? Yorumlarda bize bir satır bırakın veya tartışmayı Twitter veya Facebook'umuza taşıyın.

Editörlerin Önerileri:

• Sesiniz internet bağlantısı olan herkes tarafından klonlanabilir
• Teknoloji şirketleri kadın yetenekleri endişe verici oranlarda kaybediyor
• Meta'nın 'düz' yönetim yapısı boş bir hayal - işte nedeni bu
• Dış iskelet robo-botları herkes için eşsiz bir stabilite ortaya çıkaracak

Editörün Notu: Bu makale Güney Kaliforniya Üniversitesi Endüstri ve Sistem Mühendisliği Araştırma Görevlisi Mayank Kejriwal tarafından yazılmıştır ve Creative Commons lisansı altında The Conversation'dan yeniden yayınlanmıştır. Orijinal makaleyi okuyun.