Ankieta: Treść ChatGPT i AI – czy ludzie potrafią dostrzec różnicę?

Czy ludzie potrafią odróżnić pisarzy pracujących od ludzi od AI i czy wpływa to na ich zaufanie do marek?

Sztuczna inteligencja (AI) może teraz wygodnie tworzyć obrazy, muzykę i tekst, które mógłby stworzyć utalentowany człowiek. W roku 2020 w świecie treści online nastąpi ogromna zmiana. Duży wpływ na to ma chatbot generatywny ChatGPT, który szybko się rozwija i dociera do pierwszego miliona użytkowników w zaledwie pięć dni.

Chociaż osoby zainteresowane technologią mogą dużo wiedzieć o sztucznej inteligencji i chatbotach takich jak ChatGPT, nie jest to wiedza powszechna dla wszystkich. W rzeczywistości niektórzy ludzie mogą nawet nie wiedzieć, jak zaawansowane są narzędzia AI i czy to, co czytają w Internecie, zostało stworzone przez człowieka czy sztuczną inteligencję.

Aby dowiedzieć się więcej na ten temat, przeprowadziliśmy ankietę wśród ponad 1900 Amerykanów, aby zobaczyć, co myślą o treściach opartych na sztucznej inteligencji w Internecie, jak wpłynęło to na ich zaufanie do marek i ostatecznie czy potrafią odróżnić sztuczną inteligencję od treści ludzkich. Poprosiliśmy ludzi, aby odgadli, czy tekst został stworzony przez sztuczną inteligencję czy przez ludzi i dotyczył treści związanych ze zdrowiem, finansami, rozrywką, technologią i podróżami. Więcej informacji na temat metodologii tego badania można znaleźć tutaj.

Oto, co amerykańska opinia publiczna myśli o treściach opartych na sztucznej inteligencji w Internecie.

Kluczowe wnioski

• Ponad 53% nie potrafi dokładnie zidentyfikować treści tworzonych wyłącznie przez chatboty AI, takie jak ChatGPT. W przypadku modelu GPT-4.0 odsetek ten wzrasta do 63,5% .
• Model języka GPT-4.0 jest średnio o 16,5% lepszy niż GPT-3.5 w przekonywaniu ludzi. Kopia wygenerowana przez sztuczną inteligencję została napisana przez człowieka.
• Treści zdrowotne generowane przez sztuczną inteligencję były w stanie najbardziej oszukać użytkowników – 56,1% błędnie uważało, że treści oparte na sztucznej inteligencji zostały napisane przez człowieka lub przez niego zredagowane.
• Czytelnicy najczęściej poprawnie odgadli treści generowane przez sztuczną inteligencję w sektorze technologii – jedynym sektorze, w którym ponad połowa (51%) poprawnie zidentyfikowała treści generowane przez sztuczną inteligencję.
• W przypadku GPT-4.0 treści techniczne zostały również poprawnie zidentyfikowane jako najczęściej generowane przez sztuczną inteligencję (60,3%) .
• Treści oparte na sztucznej inteligencji GPT-4.0 były najbardziej niewykrywalne , jeśli chodzi o podróże – 66,5% czytelników uważało, że zostały napisane przez ludzi.
• Ci, którzy są bardziej zaznajomieni z narzędziami AI , takimi jak ChatGPT, byli minimalnie lepsi w identyfikowaniu treści AI , jednak nadal byli poprawni tylko w 48% przypadków.
• Tylko 40,8% osób, które nie były zaznajomione z generatywną sztuczną inteligencją, było w stanie poprawnie zidentyfikować treści AI .
• Większość osób (80,5%) uważa, że ​​wydawcy internetowi publikujący blogi i artykuły prasowe powinni wyraźnie stwierdzać, czy w ich tworzenie zaangażowana była sztuczna inteligencja .
• Ponad siedmiu na dziesięciu (71,3%) stwierdziło , że mniej zaufałoby marce , gdyby bez ostrzeżenia otrzymali treści generowane przez sztuczną inteligencję.
• Większość osób (46,5%) stwierdziła , że ​​nie przeszkadzałaby im sztuczna inteligencja doradzająca im w kwestiach zdrowotnych i finansowych, jednak osobne 42,9% stwierdziło, że skorzystałoby z takich porad tylko wtedy, gdyby treść została zredagowana i przejrzana przez człowieka .

Czy ludzie potrafią stwierdzić, czy tekst został stworzony przez sztuczną inteligencję?

Aby szybko odpowiedzieć na główne pytanie tego badania: nie, ludzie nie potrafią odróżnić treści AI od treści pisanych przez ludzi .

Średnio ludzie byli w stanie poprawnie zidentyfikować treści napisane przez sztuczną inteligencję tylko w 46,9% przypadków. Używając GPT-4.0 zamiast GPT-3.5, tylko 36,5% czytelników było w stanie poprawnie zidentyfikować treści napisane przez sztuczną inteligencję.

Różniło się to w zależności od tematu czytanych treści, ale ogólnie rzecz biorąc, ludzie byli w stanie zidentyfikować sztuczną inteligencję prawie w połowie przypadków. Oznacza to, że treści AI są niewykrywalne dla ponad połowy czytelników.

Jednak zagłębiając się w tę kwestię, możemy zobaczyć, że 36,3% osób uważało, że treści AI zostały w rzeczywistości napisane przez człowieka, a 16,7% uważało, że były to treści AI później edytowane przez człowieka.

Ostatecznie ponad połowa (53%) czytała treści napisane przez sztuczną inteligencję i założyła, że ​​w pewnym momencie był w to zaangażowany człowiek – tak przekonujące może to być bezpośrednio po wyjęciu z narzędzia, zanim autor-człowiek doda mu talentu i osobowości.

GPT-3.5 vs GPT-4.0: Który model zapewnia bardziej przekonującą kopię?

Oryginalną wersję tego badania przeprowadzono przed wypuszczeniem GPT-4.0 14 marca 2023 r. Następnie zaktualizowaliśmy nasze ustalenia, ponownie przeprowadzając ankietę wśród czytelników.

Wykorzystaliśmy te same tematy i podpowiedzi, ale tym razem ankietowani respondenci korzystali z treści wyprodukowanych przez ChatGPT z GPT-4.0 zamiast z modelu 3.5.

Odkryliśmy, że po zastosowaniu GPT-4.0 liczba osób, które uważały, że treści generowane przez sztuczną inteligencję zostały stworzone przez ludzi, wzrosła o 16,5%.

Korzystając z GPT-3.5, odkryliśmy, że 53,1% osób uważało, że copywriting ChatGPT jest dziełem człowieka, natomiast korzystając z GPT-4.0, odkryliśmy, że 63,5% osób uważało, że treść została stworzona lub zredagowana przez człowieka.

Czy ChatGPT jest lepszy w pisaniu na określone tematy?

Jedno z pytań, na które starano się odpowiedzieć w tym badaniu, dotyczy tego, czy ChatGPT lepiej radzi sobie z pisaniem większej liczby treści ludzkich na różne tematy. Z naszych ustaleń wynika, że ​​chatbot oparty na sztucznej inteligencji lepiej radzi sobie z pisaniem bardziej przekonujących treści dotyczących zdrowia, a teksty oparte na technologii są łatwiejsze do zauważenia przez ogół społeczeństwa.

Oto przegląd tego, jak treść AI była postrzegana przez ogół społeczeństwa podczas generowania tekstów na różne tematy:

Ponieważ badanie to zostało zaktualizowane, możemy również porównać wyniki GPT-3.5 i GPT-4.0, jeśli chodzi o treści dotyczące różnych tematów. Podobnie jak w przypadku GPT-3.5, gdy korzystaliśmy z GPT-4.0, model językowy został najczęściej wykryty w treści technologicznej (39,7%).

Treści podróżnicze były najbardziej niewykrywalne w przypadku GPT-4.0, ponieważ 66,5% czytelników uważało, że zostały zredagowane przez człowieka. Natomiast zawartość zdrowotna była najbardziej niewykrywalna w przypadku GPT-3,5 (56,1%).

Jak wiarygodna jest kopia wygenerowana przez ChatGPT?

Poniższa tabela pokazuje odsetek osób, które uważały, że kopia wygenerowana przez ChatGPT została utworzona przez sztuczną inteligencję, człowieka lub edytowana przez człowieka zarówno w GPT-3.5, jak i GPT-4.0.

Poniżej dokładniej podzieliliśmy sektory, dzięki czemu możesz zobaczyć, jak dobrze ChatGPT tworzy treści o brzmieniu ludzkim na różne tematy.

Im lepiej znasz narzędzia AI, tym większe prawdopodobieństwo, że wykryjesz zawartość AI… ale tylko nieznacznie

Ci, którzy twierdzili, że znają narzędzia AI, takie jak ChatGPT, byli minimalnie lepsi w znajdowaniu treści AI, jednak nadal mieli rację tylko w 48% przypadków.

Ta zdolność identyfikowania tekstów AI spada o 7,2% do 40,8% w przypadku osób, które stwierdziły, że nigdy nie słyszały o generatywnej sztucznej inteligencji, co wskazuje, że ludzie mogą zyskać zdolność dostrzegania trendów i wzorców w treściach generowanych przez sztuczną inteligencję.

Ogólnie rzecz biorąc, nie było statystycznej różnicy między mężczyznami i kobietami w zakresie wykrywania treści AI.

Jak przekonujące jest pisanie AI w różnych branżach

W naszym badaniu ankietowaliśmy ludzi, czy treści, które czytają, zostały stworzone przez sztuczną inteligencję, czy nie, w pięciu kluczowych sektorach. Poniżej znajduje się zestawienie wyników użytkowników w poszczególnych gatunkach treści: rozrywka, finanse, podróże, technologia i zdrowie.

Czytelnicy najczęściej dostrzegają sztuczną inteligencję w treściach technologicznych

Nasze pytania dotyczące technologii dały użytkownikom odpowiedzi na pytania dotyczące telefonów komórkowych, sprzętu komputerowego, inteligentnych technologii, sztucznej inteligencji i dostawców Internetu.

Średnio 51% użytkowników było w stanie poprawnie odgadnąć, czy odpowiedzi napisane przez sztuczną inteligencję na pewno zostały stworzone przez sztuczną inteligencję, a jedna trzecia (33%) uważała, że ​​te same treści zostały stworzone przez ludzi. Pozostałe 16% nie miało pewności, domyślając się, że jest to forma treści AI edytowana później przez ludzi.

Ogólnie rzecz biorąc, najwyższy odsetek (51%) użytkowników, którzy poprawnie zidentyfikowali zawartość AI, miał treści technologiczne. Kobiety nieco częściej niż mężczyźni prawidłowo identyfikowały treści technologiczne napisane przez sztuczną inteligencję (52,4% w porównaniu z 49,9%).

Jeśli chodzi o treści techniczne napisane przez człowieka, tylko 36% osób było w stanie stwierdzić, że zostały napisane przez człowieka, większość (48,4%) była przekonana, że ​​napisała je sztuczna inteligencja, pozostałe 15,6% błędnie uważało, że prawdopodobnie edytował je człowiek Treści napisane przez sztuczną inteligencję.

Treści rozrywkowe napisane przez sztuczną inteligencję najprawdopodobniej zwodzą osoby w wieku 18–24 lat

Jeśli chodzi o teksty o tematyce rozrywkowej, a konkretnie fragmenty tekstu dotyczące filmów, teatru, gier wideo, transmisji strumieniowej i muzyki, 47,3% respondentów było w stanie poprawnie zidentyfikować treści oparte na sztucznej inteligencji. Osoby w wieku 18–24 lat najczęściej uważały, że treści napisane przez sztuczną inteligencję zostały napisane przez człowieka (41,1%) w porównaniu do ogólnej średniej wynoszącej 36,3%.

Jeśli chodzi o treści rozrywkowe pisane przez ludzi, podobna tendencja panowała: zdecydowana większość (44,8%) uważała, że ​​zostały napisane przez sztuczną inteligencję, a nieco mniej (38,9%) prawidłowo odgadło, że jest to autor człowieka.

To zamieszanie wynika z ogólnego trendu, zgodnie z którym ludzie nie do końca potrafią odróżnić sztuczną inteligencję od treści pisanych przez ludzi.

Podróż

Jeśli chodzi o teksty podróżnicze w Internecie, przetestowaliśmy respondentów podając treści dotyczące wyszukiwania niedrogich lotów i hoteli, przygotowań do podróży na świeżym powietrzu, wskazówek dotyczących wynajmu samochodów do wynajęcia oraz opinii na temat korzystania z biur podróży.

Prawie dokładnie średnio 47% osób poprawnie zidentyfikowało tekst sztucznej inteligencji, ale 35,9% stwierdziło, że został napisany przez człowieka.

Treści podróżnicze tworzone przez człowieka bardzo jednak spolaryzowały czytelników. Większość (41,6%) poprawnie odgadła, że ​​tekst napisał człowiek, a nie sztuczna inteligencja, jednak podobna liczba (40,5%) czytelników uważała, że ​​tę samą treść musi stworzyć sztuczna inteligencja.

Finanse

Użytkownicy byli w stanie dobrze rozpoznać treści oparte na sztucznej inteligencji, jeśli chodzi o treści finansowe, poprawiając je w około 45,8% przypadków, jednak 37,2% nadal uważało, że ten sam tekst oparty na sztucznej inteligencji musiał napisać człowiek.

Jeśli chodzi o treści pisane przez ludzi, 42,5% było przekonanych, że zostały napisane przez sztuczną inteligencję, a 40,5% poprawnie odgadło, że stworzył je ludzki umysł.

Treści zdrowotne generowane przez sztuczną inteligencję oszukały 53,1% użytkowników

Jeśli chodzi o treści dotyczące zdrowia, daliśmy użytkownikom możliwość pisania o kosztach wymiany stawu biodrowego, zagrożeniach związanych ze stosowaniem paracetamolu, schorzeniach psychicznych, planach fitness i profilaktycznych badaniach przesiewowych.

W tym przypadku największa część czytelników biorących udział w badaniu (38,4%) uważała, że ​​treść AI została napisana przez człowieka, a 43,9% było przekonanych, że jest to sztuczna inteligencja. Pozostałe 17,7% uważa, że ​​jest to tekst AI zredagowany przez człowieka.

Treści dotyczące zdrowia tworzone przez ludzi i sprawdzane przez lekarzy nie przekonały czytelników. Ogólnie rzecz biorąc, większość osób (44,9%) w przypadku treści stworzonych przez człowieka w tym obszarze uważała, że ​​zostały wygenerowane przez sztuczną inteligencję, a 37,9% uważało, że stworzył je człowiek. Co ciekawe, oznacza to, że nieco więcej osób uważało, że treści zdrowotne AI są bardziej ludzkie niż treści napisane przez człowieka.

Spośród pięciu sektorów, które sprawdziliśmy w tym badaniu, treści zdrowotne generowane przez sztuczną inteligencję najbardziej dezorientowały użytkowników. Może to być bardzo niebezpieczne w miarę zbliżania się do świata, w którym sztuczna inteligencja prawdopodobnie wkroczy w więcej obszarów naszego życia, w tym w opiekę zdrowotną.

Młodsi ludzie mają większe trudności z identyfikacją treści AI

Ogólnie rzecz biorąc, w całym badaniu najmłodsi respondenci najgorzej radzili sobie z identyfikowaniem treści napisanych przez sztuczną inteligencję , a tylko 2 na 5 (40,2%) osób w wieku 18–24 lat odgadło poprawnie. Natomiast osoby w wieku 65+ były bardziej cyniczne i prawidłowo identyfikowały zawartość sztucznej inteligencji w ponad połowie przypadków (52%).

Czy ludzie ufają treściom pisanym przez sztuczną inteligencję?

Gdyby wydawcy treści, tacy jak blogerzy, gazety i czasopisma, mieli publikować treści oparte na sztucznej inteligencji, nie informując o tym użytkowników (co niektórzy zrobili, czasami nawet popełniając błędy), chcieliśmy wiedzieć, co o tym pomyśli zwykły czytelnik.

Większość naszych respondentów (80,5%) stwierdziła, że ​​ich zdaniem ujawnianie sztucznej inteligencji powinno być normą w Internecie, a wydawcy powinni mieć obowiązek informowania o tym ludzi.

Nie jest więc zaskoczeniem, że 71,3% stwierdziło również, że mniej zaufałoby marce, gdyby publikowała treści oparte na sztucznej inteligencji, nie mówiąc tego wprost. Pozostałe 28,7% stwierdziło jednak, że nie wpłynie to na ich zaufanie do marki, co wskazuje, że być może nie wszyscy muszą wiedzieć, skąd pochodzą ich treści online.

Jeśli chodzi o wpływ, jaki te ujawnienia mogą mieć na czytelników, sytuacja była podobna. Nieco mniejsza większość (67,8%) stwierdziła, że ​​zaufałaby marce bardziej, gdyby w treściach online znajdowały się informacje o sztucznej inteligencji, a nieco mniej niż jedna trzecia (32,2%) stwierdziła, że ​​nie wpłynie to pozytywnie ani negatywnie na ich zaufanie.

Ogólnie rzecz biorąc, dane wskazują, że większość ludzi preferowałaby marki, które wyraźnie ujawniają, w jaki sposób i gdzie wykorzystano sztuczną inteligencję do tworzenia ich treści. Nie wiadomo jeszcze, czy stanie się to normą w świecie treści online.

Metodologia

W badaniu wzięło udział 1920 dorosłych Amerykanów we wszystkich przedziałach wiekowych i poproszono ich o podjęcie decyzji, czy fragment tekstu został stworzony przez sztuczną inteligencję, człowieka czy sztuczną inteligencję i zredagowany przez człowieka. Zapytano o to 75 fragmentów unikalnego tekstu, a do tej analizy zebrano 3166 odpowiedzi. Dane ankietowe zbierano od 20.02.2023 do 26.02.2023.

Respondentów ankiety zapytano, jak dobrze znają sztuczną inteligencję i jej treści. Większość osób biorących udział w tej ankiecie przynajmniej raz wypróbowała jakąś formę narzędzia AI, obejmuje to ChatGPT, ale niekoniecznie jest to ChatGPT.

• 57,1% naszych odbiorców przynajmniej raz wypróbowało jakąś formę narzędzia generatywnej sztucznej inteligencji
• 41,1% słyszało o nich w jakiejś formie, ale nigdy nie korzystało z nich osobiście
• 1,8% nigdy przed wzięciem udziału w badaniu nie słyszało o żadnej generatywnej sztucznej inteligencji

Do analizy wykorzystano 25 pytań z trzema odpowiedziami na każde pytanie: jedno od AI (ChatGPT), jedno napisane przez dziennikarza będącego człowiekiem, a drugie stworzone przez sztuczną inteligencję, a następnie zredagowane przez zawodowego copywritera będącego człowiekiem. Pytania i odpowiedzi były całkowicie losowe wśród użytkowników, więc nie mogli zobaczyć więcej niż jednej odpowiedzi na pytanie.

Treść została wybrana poprzez wybranie najczęściej wyszukiwanych (określonych na podstawie liczby wyszukiwań w Google) pytań z sektorów rozrywki, finansów, technologii, podróży i zdrowia.

ChatGPT otrzymał wskazówki, aby napisać jako ekspert w danej dziedzinie (na przykład dziennikarz podróżniczy lub menedżer finansowy) i wyjaśnić odpowiedzi „po prostu”. Treść została usunięta z odpowiedzi AI, jeśli wyraźnie wskazywała, że ​​została napisana przez sztuczną inteligencję, na przykład „OK, będę udawać menedżera finansowego i to właśnie powiedziałbym”. Treści pisane przez ludzi pochodziły ze stron eksperckich, które zawierały szczegółowe treści na poszczególne pytania. Do tej analizy nie uwzględniono witryn, które ujawniły wykorzystanie sztucznej inteligencji w swoich treściach. Przykładowe pytania i odpowiedzi udzielone respondentom ankiety można znaleźć tutaj.

Aktualizacja GPT-4.0 do badania

Aby ocenić możliwości GPT-4.0 w ChatGPT, przeprowadziliśmy ankietę wśród 1394 dorosłych Amerykanów w okresie od 22 do 25 marca 2023 r. Zadano im te same pytania, czy ich zdaniem tekst został stworzony przez sztuczną inteligencję, człowieka, czy też zredagowany przez sztuczną inteligencję. człowiek. Tematyka i pytania były takie same jak w badaniu GPT-3.5, przykłady podano w powyższym arkuszu kalkulacyjnym.

Inne zasoby AI

Obecnie możesz nawet użyć sztucznej inteligencji do stworzenia strony internetowej! Aby uzyskać więcej informacji, zapoznaj się z naszym przewodnikiem po najlepszych kreatorach witryn AI.

Ta praca jest dostępna na licencji Creative Commons Uznanie autorstwa 4.0 Międzynarodowe.