ChatGPT to przyszłość czatowania, tylko jeśli używasz go właściwie

Uwaga edytora: Ten artykuł został napisany przez Jonathana Maya, profesora nadzwyczajnego informatyki na Uniwersytecie Południowej Kalifornii i ponownie opublikowany z The Conversation na licencji Creative Commons. Przeczytaj oryginalny artykuł.

Nie trzeba wiele, aby ChatGPT popełnił błąd rzeczowy. Mój syn pisze reportaż o prezydentach USA, więc pomyślałem, że mu w tym pomogę, przeglądając kilka biografii.

Próbowałem poprosić o listę książek o Abrahamie Lincolnie i wykonałem całkiem niezłą robotę:

Numer 4 nie pasuje. Garry Wills napisał słynnego „Lincolna pod Gettysburgiem”, a sam Lincoln napisał oczywiście Proklamację Emancypacji, ale to niezły początek.

Potem spróbowałem czegoś trudniejszego, pytając zamiast tego o znacznie mniej znanego Williama Henry'ego Harrisona, i odważnie przedstawiłem listę, z której prawie wszystkie były błędne.

Liczby 4 i 5 są poprawne; reszta nie istnieje lub nie jest autorstwa tych ludzi. Powtórzyłem dokładnie to samo ćwiczenie i uzyskałem nieco inne wyniki:

Tym razem numery 2 i 3 są poprawne, a pozostałe trzy nie są prawdziwymi książkami lub nie zostały napisane przez tych autorów.

Numer 4, „William Henry Harrison: His Life and Times”, jest prawdziwą książką, ale jest autorstwa Jamesa A. Greena, a nie Roberta Reminiego, dobrze znanego historyka epoki Jacksona.

Zgłosiłem błąd, a ChatGPT chętnie się poprawił, a potem z przekonaniem powiedział mi, że książka została napisana przez Gail Collins (która napisała inną biografię Harrisona), a następnie powiedział więcej o książce i o niej.

W końcu ujawniłem prawdę, a maszyna z radością uruchomiła moją korektę. Potem absurdalnie skłamałem, mówiąc, że w ciągu pierwszych stu dni prezydenci muszą napisać biografię jakiegoś byłego prezydenta, a ChatGPT mnie do tego wezwał.

Następnie subtelnie skłamałem, błędnie przypisując autorstwo biografii Harrisona historykowi i pisarzowi Paulowi C. Nagelowi, i to kupiło moje kłamstwo.

Kiedy zapytałem ChatGPT, czy na pewno nie kłamię, stwierdził, że to tylko „model języka AI” i nie ma możliwości weryfikacji dokładności.

Jednak zmodyfikował to twierdzenie, mówiąc: „Mogę podać informacje tylko na podstawie dostarczonych mi danych szkoleniowych i wydaje się, że książka„ William Henry Harrison: His Life and Times ” została napisana przez Paula C. Nagela i opublikowana w 1977 r. ”.

To nie jest prawda.

Słowa, nie fakty

Z tej interakcji może wynikać, że ChatGPT otrzymał bibliotekę faktów, w tym niepoprawne twierdzenia dotyczące autorów i książek.

W końcu twórca ChatGPT, OpenAI, twierdzi, że wyszkolił chatbota na „ogromnych ilościach danych z Internetu napisanych przez ludzi”.

Jednak prawie na pewno nie podano im tytułów zmyślonych książek o jednym z najbardziej przeciętnych prezydentów. Jednak w pewnym sensie ta fałszywa informacja jest rzeczywiście oparta na danych treningowych.

Jako informatyk często zgłaszam skargi, które ujawniają powszechne nieporozumienie na temat dużych modeli językowych, takich jak ChatGPT i jego starsi bracia GPT3 i GPT2: że są one swego rodzaju „super Google” lub cyfrowymi wersjami bibliotekarza referencyjnego, wyszukującego odpowiedzi na pytania z jakiejś nieskończenie wielkiej biblioteki faktów lub sklejanie ze sobą pastiszów historii i postaci.

Nie robią nic z tego – przynajmniej nie zostały do ​​tego wyraźnie zaprojektowane.

Brzmi dobrze

Model języka, taki jak ChatGPT, który jest bardziej formalnie znany jako „generatywny wstępnie wytrenowany transformator” (to właśnie oznaczają G, P i T), bierze udział w bieżącej rozmowie, tworzy prawdopodobieństwo dla wszystkich słów w swoim słowniku, biorąc pod uwagę, że rozmowę, a następnie wybiera jedno z nich jako prawdopodobne następne słowo.

Potem robi to znowu, i znowu, i znowu, aż przestaje.

Więc nie ma faktów per se. Po prostu wie, jakie słowo powinno być następne. Innymi słowy, ChatGPT nie próbuje pisać zdań, które są prawdziwe. Ale stara się pisać zdania, które są wiarygodne.

Podczas prywatnych rozmów ze współpracownikami na temat ChatGPT często zwracają oni uwagę na to, jak wiele merytorycznie nieprawdziwych stwierdzeń generuje i odrzucają.

Dla mnie pomysł, że ChatGPT jest wadliwym systemem wyszukiwania danych, jest bez sensu.

W końcu ludzie używają Google przez ostatnie dwie i pół dekady. Istnieje już całkiem niezła usługa wyszukiwania faktów.

W rzeczywistości jedynym sposobem, w jaki byłem w stanie zweryfikować, czy wszystkie tytuły książek prezydenckich są dokładne, było skorzystanie z Google, a następnie zweryfikowanie wyników.

Moje życie nie byłoby o wiele lepsze, gdybym zdobywał te fakty w rozmowie, zamiast w sposób, w jaki zdobywałem je przez prawie połowę mojego życia, odzyskując dokumenty, a następnie przeprowadzając krytyczną analizę, aby sprawdzić, czy mogę ufać ich zawartości.

Partner improwizacji

Z drugiej strony, jeśli mógłbym porozmawiać z botem, który dałby mi wiarygodne odpowiedzi na to, co mówię, byłoby to przydatne w sytuacjach, w których dokładność faktów nie jest aż tak ważna.

Kilka lat temu wraz ze studentem próbowaliśmy stworzyć „improwizowanego bota”, który odpowiadałby na wszystko, co powiedziałeś, „tak” i podtrzymywał rozmowę.

Pokazaliśmy w artykule, że nasz bot był lepszy w „tak i-i” niż inne boty w tamtym czasie, ale w AI dwa lata to już historia starożytna.

Wypróbowałem dialog z ChatGPT – scenariusz eksploratora kosmosu science fiction – który nie różni się od tego, co można znaleźć na typowych zajęciach improwizacji.

ChatGPT jest znacznie lepszy w „tak, i-ing” niż to, co zrobiliśmy, ale tak naprawdę wcale nie zwiększyło to dramaturgii. Czułem się, jakbym dźwigał wszystkie ciężary.

Po kilku poprawkach sprawiłem, że było to trochę bardziej zaangażowane i pod koniec dnia poczułem, że było to całkiem niezłe ćwiczenie dla mnie, który nie robił wiele improwizacji, odkąd ukończyłem studia ponad 20 lat temu.

Jasne, nie chciałbym, aby ChatGPT pojawiał się w „Who Line Is It Anyway?” i nie jest to świetna fabuła „Star Trek” (choć i tak jest mniej problematyczna niż „Code of Honor”).

Ale ile razy usiadłeś, aby napisać coś od zera i przeraziłeś się pustą stroną przed sobą?

Rozpoczęcie od złego pierwszego szkicu może przełamać blokadę twórczą i pobudzić kreatywność, a ChatGPT i duże modele językowe wydają się być odpowiednimi narzędziami do pomocy w tych ćwiczeniach.

A jeśli chodzi o maszynę zaprojektowaną do generowania ciągów słów, które brzmią jak najlepiej w odpowiedzi na słowa, które jej podajesz – a nie do dostarczania informacji – wydaje się to właściwym zastosowaniem tego narzędzia.

Masz jakieś przemyślenia na ten temat? Napisz do nas poniżej w komentarzach lub przenieś dyskusję na naszego Twittera lub Facebooka.

Zalecenia redaktorów:

• Dostawy dronami stają się rzeczywistością – czy jesteśmy na to gotowi?
• Aplikacje pobrane z różnych krajów stanowią większe zagrożenie dla prywatności
• Badacze ujawniają, w jaki sposób wykrywają fałszywe dźwięki — oto jak to zrobić
• Słudzy robotów domowych są jeszcze daleko – oto dlaczego