Опрос: ChatGPT и AI-контент. Могут ли люди заметить разницу?

Могут ли люди отличить писателей-людей от ИИ-писателей и влияет ли это на их доверие к брендам?

Искусственный интеллект (ИИ) теперь может с легкостью создавать изображения, музыку и текст, которые мог бы создать талантливый человек. В 2020-х годах в мире онлайн-контента происходят огромные изменения. На это сильно влияет генеративный чат-бот ChatGPT, который быстро растет и всего за пять дней достиг своего первого миллиона пользователей.

Хотя те, кто интересуется технологиями, могут много знать об искусственном интеллекте и чат-ботах, таких как ChatGPT, это не всем известно. Фактически, некоторые люди могут даже не знать, насколько сложны результаты инструментов ИИ и было ли то, что они читают в Интернете, создано человеком или ИИ.

Чтобы узнать больше по этой теме, мы опросили более 1900 американцев, чтобы узнать, что они думают об ИИ-контенте в Интернете, как это повлияло на их доверие к брендам и, в конечном итоге, смогут ли они увидеть разницу между ИИ и человеческим контентом. Мы просили людей угадать, был ли текст создан искусственным интеллектом или людьми в сфере здравоохранения, финансов, развлечений, технологий и путешествий. Подробнее о методологии этого исследования можно узнать здесь.

Вот что американская публика думает об ИИ-контенте в Интернете.

Ключевые результаты

• Более 53% не могут точно идентифицировать контент, созданный исключительно чат-ботами с искусственным интеллектом, такими как ChatGPT. При использовании модели GPT-4.0 этот показатель возрастает до 63,5% .
• В среднем языковая модель GPT-4.0 на 16,5% лучше, чем GPT-3.5, убеждает людей в том, что текст, сгенерированный ИИ, был написан человеком.
• Больше всего пользователей обманывал контент, созданный с помощью искусственного интеллекта : 56,1% ошибочно полагали, что контент с искусственным интеллектом был написан или отредактирован человеком.
• Читатели правильно угадали контент, созданный ИИ, больше всего в технологическом секторе, единственном секторе, где более половины (51%) правильно определили контент, созданный ИИ.
• В GPT-4.0 технический контент также был правильно определен как больше всего созданный искусственным интеллектом (60,3%) .
• Контент GPT-4.0 AI был самым незаметным , когда речь шла о путешествиях : 66,5% читателей считали, что контент был написан людьми.
• Те, кто лучше знаком с инструментами искусственного интеллекта , такими как ChatGPT, немного лучше распознавали контент искусственного интеллекта , однако они все равно были верны только в 48% случаев.
• Только 40,8% людей, совершенно незнакомых с генеративным ИИ, смогли правильно определить контент ИИ .
• Большинство людей (80,5%) считают, что онлайн-издатели, публикующие блоги и новостные статьи, должны прямо указывать, участвовал ли ИИ в их создании.
• Более семи из десяти (71,3%) заявили, что стали бы меньше доверять бренду, если бы им предоставили контент, созданный искусственным интеллектом , без предварительного уведомления .
• Большинство людей (46,5%) заявили, что они были бы согласны, если бы ИИ давал им советы по вопросам здравоохранения и финансов, однако отдельные 42,9% заявили, что воспользовались бы такими советами только в том случае, если бы контент редактировал и просматривал человек .

Могут ли люди определить, создан ли текст искусственным интеллектом?

Чтобы быстро ответить на главный вопрос этого исследования: нет, люди не могут отличить контент ИИ от контента, написанного человеком .

В среднем люди смогли правильно идентифицировать контент, написанный ИИ, только в 46,9% случаев. При использовании GPT-4.0 вместо GPT-3.5 только 36,5% читателей смогли правильно идентифицировать контент, написанный ИИ.

Это варьировалось в зависимости от темы контента, который они читали, но, как правило, люди могли идентифицировать ИИ почти в половине случаев. Это означает, что контент ИИ не обнаруживается более чем половиной читателей.

Однако, углубившись в это дальше, мы видим, что 36,3% людей считали, что контент ИИ на самом деле был написан человеком, а 16,7% думали, что это контент ИИ, позже отредактированный человеком.

В конечном итоге более половины (53%) прочитали контент, написанный ИИ, и предположили, что в какой-то момент в нем участвовал человек — вот насколько убедительно это может быть прямо из инструмента, прежде чем человек-писатель добавил немного чутья и индивидуальности.

GPT-3.5 против GPT-4.0: какая модель создает более убедительный текст?

Первоначальная версия этого исследования была проведена до запуска GPT-4.0 14 марта 2023 года. После этого мы обновили наши результаты, еще раз опросив читателей.

Мы использовали те же темы и подсказки, но на этот раз опросили респондентов, использующих контент, созданный ChatGPT с GPT-4.0 вместо модели 3.5.

Мы обнаружили, что при использовании GPT-4.0 число людей, считающих, что контент, созданный искусственным интеллектом, создан людьми, увеличилось на 16,5%.

Используя GPT-3.5, мы обнаружили, что 53,1% людей считали, что копирайтинг ChatGPT был человеком, тогда как с помощью GPT-4.0 мы обнаружили, что 63,5% людей считали, что контент был создан или отредактирован человеком-писателем.

ChatGPT лучше пишет на определенные темы?

Один из вопросов, на который стремилось ответить это исследование, заключается в том, лучше ли ChatGPT писать больше человеческого контента на разные темы. Судя по нашим результатам, чат-бот с искусственным интеллектом лучше пишет более убедительный контент о здоровье, а его технологии легче заметить широкой публике.

Вот обзор того, как контент ИИ воспринимался широкой публикой при создании текста на разные темы:

Поскольку это исследование с тех пор было обновлено, мы также можем сравнить результаты GPT-3.5 и GPT-4.0, когда речь идет о контенте по разным темам. Как и в случае с GPT-3.5, когда мы использовали GPT-4.0, языковая модель обнаруживалась больше всего в технологическом контенте (39,7%).

Контент о путешествиях был самым незаметным , когда дело касалось GPT-4.0: 66,5% читателей считали, что он создан или отредактирован человеком. В то время как содержание здоровья было самым необнаружимым , когда дело касалось GPT-3,5 (56,1%).

Насколько правдоподобна копия, созданная ChatGPT?

В следующей таблице показан процент людей, которые считали, что копия, созданная ChatGPT, была создана искусственным интеллектом, человеком или отредактирована человеком как в GPT-3.5, так и в GPT-4.0.

Ниже мы более подробно разбили сектора, чтобы вы могли увидеть, насколько хорошо ChatGPT создает человечный контент по различным темам.

Чем лучше вы знакомы с инструментами ИИ, тем больше вероятность, что вы сможете обнаружить контент ИИ… но лишь незначительно.

Те, кто сказал, что они знакомы с инструментами искусственного интеллекта, такими как ChatGPT, немного лучше находили контент искусственного интеллекта, однако они все равно были правы только в 48% случаев.

Эта способность идентифицировать написанное ИИ снижается на 7,2% до 40,8%, если посмотреть на людей, которые заявили, что никогда не слышали о генеративном ИИ, что указывает на то, что люди могут получить способность видеть тенденции и закономерности в контенте, созданном ИИ.

В целом, не было статистической разницы между мужчинами и женщинами в обнаружении контента ИИ.

Насколько убедительно ИИ пишет в разных отраслях

В нашем исследовании люди опросили людей о том, создан ли контент, который они читают, искусственным интеллектом или нет, в пяти ключевых секторах. Ниже приводится разбивка оценок людей в каждом жанре контента: развлечения, финансы, путешествия, технологии и здоровье.

Читатели чаще всего видят ИИ в технологическом контенте.

Наши вопросы о технологиях дали пользователям ответы на вопросы о сотовых телефонах, компьютерном оборудовании, интеллектуальных технологиях, искусственном интеллекте и интернет-провайдерах.

В среднем 51% пользователей смогли правильно угадать, действительно ли ответы, написанные ИИ, были созданы ИИ, а треть (33%) считали, что тот же контент был создан людьми. Остальные 16% не были уверены, предполагая, что это была форма контента ИИ, позже отредактированная людьми.

В целом, технологический контент имел самый высокий процент (51%) пользователей, которые правильно определили контент ИИ. Женщины несколько чаще правильно определяли технический контент, написанный с помощью ИИ, чем мужчины (52,4% против 49,9%).

Когда дело дошло до технического контента, написанного человеком, только 36% людей могли определить, что он был написан человеком, при этом большинство (48,4%) были убеждены, что его написал ИИ, а остальные 15,6% ошибочно полагали, что его, вероятно, редактировал человек. Контент, написанный искусственным интеллектом.

Развлекательный контент, написанный искусственным интеллектом, скорее всего, обманет подростков в возрасте 18–24 лет.

Когда дело дошло до написания развлекательных материалов, а именно разделов текста, посвященных фильмам, театру, видеоиграм, потоковым передачам и музыке, 47,3% респондентов смогли правильно идентифицировать контент ИИ. Люди в возрасте от 18 до 24 лет чаще всего думали, что контент, написанный искусственным интеллектом, был написан человеком (41,1%) по сравнению со средним показателем в 36,3%.

Когда дело дошло до развлекательного контента, написанного людьми, наблюдалась аналогичная тенденция: подавляющее большинство (44,8%) считали, что он, должно быть, был написан искусственным интеллектом, и немного меньше (38,9%) правильно догадались, что это был писатель-человек.

Эта путаница следует за общей тенденцией, согласно которой люди не могут отличить ИИ от контента, написанного человеком.

Путешествовать

Когда дело дошло до написания онлайн-путешествий, мы протестировали респондентов, предоставивших информацию о поиске доступных авиабилетов и отелей, подготовке к путешествиям на природе, советах по аренде автомобилей напрокат и мнениях об использовании турагентов.

В среднем 47% людей правильно определили текст ИИ, но 35,9% заявили, что он был написан человеком.

Однако созданный человеком контент о путешествиях сильно поляризовал читателей. Большинство (41,6%) правильно догадались, что текст был написан человеком, а не искусственным интеллектом, однако такое же количество (40,5%) читателей считали, что тот же контент должен быть создан искусственным интеллектом.

Финансы

Люди смогли хорошо распознать контент ИИ, когда дело касалось финансирования контента, и правильно поняли его примерно в 45,8% случаев, однако 37,2% по-прежнему считали, что тот же текст ИИ должен был быть создан человеком.

Что касается контента, написанного человеком, 42,5% были уверены, что он написан искусственным интеллектом, а 40,5% правильно предположили, что он был создан человеческим разумом.

Созданному искусственным интеллектом контенту о здоровье удалось обмануть 53,1% пользователей

Что касается контента о здоровье, мы предлагали пользователям писать о стоимости замены тазобедренного сустава, опасностях парацетамола, психических расстройствах, планах фитнеса и профилактических медицинских осмотрах.

При этом наибольшая часть читателей в исследовании (38,4%) считали, что контент, созданный ИИ, был написан человеком, а 43,9% были уверены, что это ИИ. Остальные 17,7% считали, что это текст, отредактированный человеком.

Контент о здоровье, созданный людьми и проверенный медицинскими работниками, не привлек читателей. В целом, большинство людей (44,9%) в отношении контента, созданного руками человека, считали, что он создан искусственным интеллектом, а 37,9% считали, что его создал человек. Интересно, что это означает, что немного больше людей считают, что контент о здоровье ИИ более человечен, чем реальный контент, написанный людьми.

Из пяти секторов, которые мы рассмотрели в этом исследовании, больше всего пользователей смущал контент о здоровье, созданный с помощью ИИ. Это может быть очень опасно, поскольку мы приближаемся к миру, в котором ИИ, скорее всего, внедрится во все больше сфер нашей жизни, включая здравоохранение.

Молодым людям сложнее идентифицировать контент ИИ

В ходе исследования, как правило, самые молодые респонденты хуже всего распознавали написанный искусственным интеллектом контент : только двое из пяти (40,2%) респондентов в возрасте от 18 до 24 лет угадывали правильно. А люди в возрасте 65+ были более циничными и правильно идентифицировали контент ИИ более чем в половине случаев (52%).

Доверяют ли люди контенту, написанному ИИ?

Если бы издатели контента, такие как блоггеры, газеты и журналы, публиковали контент ИИ, не сообщая об этом пользователям (что некоторые и делали, иногда даже с ошибками), мы хотели бы знать, что подумает об этом обычный читатель.

Большинство наших респондентов (80,5%) заявили, что, по их мнению, раскрытие информации об ИИ должно стать нормой в Интернете, и издатели должны информировать людей об этом.

Поэтому неудивительно, что 71,3% также заявили, что будут меньше доверять бренду, если он будет публиковать контент ИИ, не сказав об этом явно. Остальные 28,7% заявили, что это не повлияет на их доверие к бренду, указывая на то, что, возможно, не всем нужно сообщать, откуда берется их онлайн-контент.

Когда дело дошло до влияния этих разоблачений на читателей, история была схожей. Чуть меньшее большинство (67,8%) заявили, что они будут больше доверять бренду, если раскрытие информации ИИ будет присутствовать в части онлайн-контента, а чуть менее трети (32,2%) заявили, что это не повлияет на их доверие ни положительно, ни отрицательно.

В целом данные показывают, что большинство людей отдают предпочтение брендам, которые открыто раскрывают, как и где ИИ использовался для создания их контента. Станет ли это нормой в мире онлайн-контента, еще неизвестно.

Методология

1920 взрослых американцев всех возрастных категорий были опрошены и попросили решить, был ли фрагмент текста создан ИИ, человеком или ИИ и отредактирован человеком. Этот вопрос был задан в 75 фрагментах уникального текста, и для этого анализа было собрано 3166 ответов. Данные опроса собирались с 20.02.2023 по 26.02.2023.

Респондентов опроса спрашивали, насколько они знакомы с ИИ и его контентом. Большинство людей, участвовавших в этом опросе, хотя бы один раз пробовали какой-либо инструмент искусственного интеллекта, включая ChatGPT, но, возможно, не ChatGPT.

• 57,1% нашей аудитории хотя бы раз пробовали какой-либо инструмент генеративного искусственного интеллекта.
• 41,1% слышали о них в той или иной форме, но никогда не использовали их лично.
• 1,8% никогда не слышали о каком-либо генеративном искусственном интеллекте до участия в опросе.

В анализе было использовано 25 вопросов с тремя ответами на вопрос: один от ИИ (ChatGPT), один написан журналистом-человеком, а другой создан ИИ, а затем отредактирован профессиональным копирайтером-человеком. Вопросы и ответы были полностью рандомизированы для пользователей, поэтому они не могли видеть более одного ответа на вопрос.

Контент был выбран путем выбора наиболее популярных (определяемых объемом поиска Google) вопросов в секторах развлечений, финансов, технологий, путешествий и здравоохранения.

ChatGPT предлагалось написать в качестве эксперта по соответствующей теме (например, туристического журналиста или финансового менеджера) и объяснить ответы «просто». Содержимое удалялось из ответа ИИ, если было очевидно, что оно написано ИИ, например: «Хорошо, я притворюсь финансовым менеджером и вот что я бы сказал». Написанный людьми контент был получен с экспертных сайтов, которые предоставили подробный контент по соответствующему вопросу. Любые сайты, которые раскрыли использование ИИ в своем контенте, не использовались для этого анализа. Примеры вопросов и ответов, заданных респондентам опроса, можно найти здесь.

Обновление GPT-4.0 для изучения

Чтобы оценить возможности GPT-4.0 в ChatGPT, мы опросили 1394 взрослых американцев в период с 22 по 25 марта 2023 года. Им задали одни и те же вопросы о том, считают ли они, что текст был создан искусственным интеллектом, человеком или отредактирован человек. Темы и запросы были такими же, как и в исследовании GPT-3.5, примеры приведены в таблице выше.

Другие ресурсы по искусственному интеллекту

Сегодня вы даже можете использовать ИИ для создания веб-сайта! Для получения дополнительной информации ознакомьтесь с нашим руководством по лучшим конструкторам веб-сайтов с использованием искусственного интеллекта.

Эта работа доступна под лицензией Creative Commons Attribution 4.0 International License.