설문조사: ChatGPT 및 AI 콘텐츠 – 사람들이 차이점을 알 수 있나요?

사람들은 인간 작가와 AI 작가의 차이를 구분할 수 있으며 이것이 브랜드에 대한 신뢰에 영향을 줍니까?

이제 인공 지능(AI)은 재능 있는 인간이 만들 수 있었던 이미지, 음악, 텍스트를 편안하게 만들 수 있습니다. 2020년대 온라인 콘텐츠의 세계는 큰 변화를 맞이하고 있습니다. 이는 빠르게 성장하고 있는 생성 챗봇인 ChatGPT의 영향을 크게 받아 단 5일 만에 처음으로 사용자 100만 명을 돌파했습니다.

기술에 관심이 있는 사람들은 AI 및 ChatGPT와 같은 챗봇에 대해 많이 알고 있을 수 있지만 모든 사람이 아는 것은 아닙니다. 실제로 일부 사람들은 AI 도구의 출력이 얼마나 정교한지, 온라인에서 읽고 있는 내용이 인간에 의해 생성되었는지 아니면 AI에 의해 생성되었는지조차 알지 못할 수도 있습니다.

이 주제에 대해 자세히 알아보기 위해 우리는 1,900명이 넘는 미국인을 대상으로 온라인 AI 콘텐츠에 대한 생각, 브랜드 신뢰에 어떤 영향을 미쳤는지, 그리고 궁극적으로 AI와 인간 콘텐츠의 차이점을 알 수 있는지 알아보기 위해 설문조사를 실시했습니다. 건강, 금융, 엔터테인먼트, 기술, 여행 콘텐츠 전반에 걸쳐 텍스트가 인공지능에 의해 생성된 것인지, 인간이 생성한 것인지 추측해 보도록 요청했습니다. 여기에서 이 연구의 방법론에 대해 자세히 알아보세요.

미국 대중이 온라인 AI 콘텐츠에 대해 어떻게 생각하는지 살펴보겠습니다.

중요한 발견들

• 53% 이상이 ChatGPT와 같은 AI 챗봇 으로만 만들어진 콘텐츠를 정확하게 식별하지 못합니다 . GPT-4.0 모델을 사용하면 이는 63.5%까지 상승합니다 .
• 평균적으로 GPT-4.0 언어 모델은 AI 생성 사본이 인간에 의해 작성되었음을 사람들에게 확신시키는 데 있어 GPT-3.5보다 16.5% 더 좋습니다 .
• AI가 생성한 건강 콘텐츠는 사용자를 가장 많이 속일 수 있었으며 , 56.1%는 AI 콘텐츠가 사람이 작성했거나 사람이 편집했다고 잘못 생각했습니다.
• 독자들은 기술 부문 에서 AI 생성 콘텐츠를 가장 많이 정확하게 추측했으며 , 절반 이상(51%)이 AI 생성 콘텐츠를 올바르게 식별한 유일한 부문이었습니다.
• GPT-4.0을 사용하면 기술 콘텐츠 도 AI에서 생성된 콘텐츠가 가장 많이 (60.3%) 정확하게 식별되었습니다.
• GPT-4.0 AI 콘텐츠는 여행 에 있어서 가장 감지하기 어려운 콘텐츠였으며, 독자의 66.5%는 그 콘텐츠가 사람이 쓴 것이라고 생각했습니다.
• ChatGPT와 같은 AI 도구에 더 익숙한 사람들은 AI 콘텐츠를 식별하는 데 약간 더 뛰어 났지만 여전히 정확도는 48%에 불과 했습니다.
• 제너레이티브 AI에 전혀 익숙하지 않은 사람 중 40.8%만이 AI 콘텐츠를 올바르게 식별 할 수 있었습니다.
• 대다수의 사람들(80.5%)은 블로그와 뉴스 기사를 게시하는 온라인 게시자가 AI가 창작에 관여했는지 명시적으로 밝혀야 한다고 생각합니다.
• 10명 중 7명 이상 (71.3%)이 AI 생성 콘텐츠를 말하지 않고 제공받을 경우 브랜드를 덜 신뢰 하겠다고 답했습니다.
• 대부분의 사람들(46.5%)은 AI가 건강 및 금융 주제에 대해 조언하는 것이 괜찮을 것이라고 답했지만, 별도의 42.9% 는 인간이 내용을 편집하고 검토한 경우에만 그러한 조언을 사용할 것이라고 답했습니다.

AI가 텍스트를 생성했는지 사람들이 알 수 있나요?

이 연구의 주요 질문에 빠르게 대답하려면: 아니요, 사람들은 AI 콘텐츠와 인간이 작성한 콘텐츠의 차이를 구분할 수 없습니다 .

평균적으로 사람들은 AI로 작성된 콘텐츠를 46.9% 만 정확하게 식별할 수 있었습니다. GPT-3.5 대신 GPT-4.0을 사용할 경우 독자 중 36.5% 만이 AI로 작성된 콘텐츠를 올바르게 식별할 수 있었습니다.

이는 읽고 있는 콘텐츠의 주제에 따라 다르지만 일반적으로 사람들은 거의 절반의 시간 동안 AI를 식별할 수 있었습니다. 이는 독자의 절반 이상이 AI 콘텐츠를 감지하지 못한다는 것을 의미합니다.

그러나 좀 더 자세히 살펴보면, AI 콘텐츠가 실제로 사람이 작성한 것이라고 생각한 사람이 36.3%였고, 나중에 사람이 편집한 AI 콘텐츠라고 생각한 사람은 16.7%였습니다.

궁극적으로 절반 이상(53%)이 AI가 작성한 콘텐츠를 읽고 어느 시점에 인간이 관련되어 있다고 가정했습니다. 이는 인간 작가가 재능과 개성을 추가하기 전에 도구에서 곧바로 나올 수 있다는 것이 얼마나 설득력이 있는지를 보여줍니다.

GPT-3.5 vs GPT-4.0: 어떤 모델이 더 설득력 있는 카피를 만들어 내나요?

이 연구의 원본 버전은 2023년 3월 14일 GPT-4.0이 출시되기 전에 수행되었습니다. 이후 독자를 대상으로 다시 한 번 설문조사를 실시하여 결과를 업데이트했습니다.

동일한 주제와 프롬프트를 사용했지만 이번에는 3.5 모델 대신 GPT-4.0을 사용하여 ChatGPT에서 생성된 콘텐츠를 사용하여 응답자를 설문조사했습니다.

GPT-4.0을 사용했을 때 AI가 만든 콘텐츠를 인간이 만든 것이라고 생각하는 사람의 수가 16.5% 증가한 것으로 나타났습니다.

GPT-3.5를 사용하면 53.1%의 사람들이 ChatGPT 카피라이팅이 인간이라고 생각하는 반면, GPT-4.0을 사용하면 63.5%의 사람들이 콘텐츠가 인간 작가에 의해 생성되거나 편집되었다고 믿는 것으로 나타났습니다.

ChatGPT가 특정 주제에 대해 글을 쓰는 데 더 능숙합니까?

이 연구가 답하고자 하는 한 가지 질문은 ChatGPT가 다양한 주제를 기반으로 더 많은 인간적인 콘텐츠를 작성하는 데 더 나은지 여부입니다. 우리의 연구 결과에 따르면 AI 챗봇은 보다 설득력 있는 건강 콘텐츠를 작성하는 데 더 뛰어나고 일반 대중이 AI 챗봇의 기술 작성을 더 쉽게 발견할 수 있는 것으로 나타났습니다.

다음은 다양한 주제에 대한 텍스트를 생성할 때 일반 대중이 AI 콘텐츠를 어떻게 인식했는지에 대한 개요입니다.

이후 이 연구가 업데이트되었으므로 다양한 주제에 대한 콘텐츠와 관련하여 GPT-3.5와 GPT-4.0의 결과를 비교할 수도 있습니다. GPT-3.5와 마찬가지로 GPT-4.0을 사용했을 때 기술 콘텐츠(39.7%)에서 언어 모델이 가장 많이 검출 됐다.

여행 콘텐츠는 GPT-4.0에서 가장 감지하기 어려웠 습니다. 독자의 66.5%가 그것이 사람이 편집했거나 편집했다고 믿었기 때문입니다. 건강 콘텐츠는 GPT-3.5(56.1%)에서 가장 감지되지 않았습니다 .

ChatGPT로 생성된 사본은 얼마나 믿을만합니까?

다음 표는 GPT-3.5와 GPT-4.0 모두에서 ChatGPT로 생성된 복사본이 AI, 인간에 의해 만들어졌거나 인간에 의해 편집되었다고 생각한 사람들의 비율을 보여줍니다.

아래에서는 ChatGPT가 다양한 주제에 대해 사람처럼 들리는 콘텐츠를 얼마나 잘 생성하는지 확인할 수 있도록 부문을 더 세분화했습니다.

AI 도구에 더 익숙해질수록 AI 콘텐츠를 감지할 가능성이 높아지지만…

ChatGPT와 같은 AI 도구에 익숙하다고 답한 사람들은 AI 콘텐츠를 찾는 데 약간 더 나았지만 여전히 정답률은 48%에 불과했습니다.

AI 글쓰기를 식별하는 능력은 생성 AI에 대해 들어본 적이 없다고 말한 사람들을 볼 때 7.2%에서 40.8%까지 떨어지며, 이는 사람들이 AI 생성 콘텐츠의 추세와 패턴을 볼 수 있는 능력을 얻을 수 있음을 나타냅니다.

전체적으로 AI 콘텐츠 탐지에서는 남성과 여성 간 통계적 차이가 없었다.

다양한 산업 분야에서 AI 글쓰기가 얼마나 설득력이 있습니까?

우리 연구에서는 사람들이 읽고 있는 콘텐츠가 5가지 주요 부문에 걸쳐 AI에 의해 제작되었는지 여부에 대해 설문조사를 실시했습니다. 다음은 엔터테인먼트, 금융, 여행, 기술, 건강 등 각 콘텐츠 장르에서 사람들이 얻은 점수를 분석한 것입니다.

독자는 기술 콘텐츠에서 AI를 가장 많이 발견할 수 있습니다.

우리의 기술 질문은 사용자에게 휴대폰, 컴퓨터 하드웨어, 스마트 기술, AI 및 인터넷 제공업체에 대한 질문에 대한 답변을 제공했습니다.

평균적으로 사용자의 51%는 AI가 작성한 답변이 확실히 AI가 만든 것인지 정확하게 추측할 수 있었고, 3분의 1(33%)은 동일한 콘텐츠가 인간이 만든 것이라고 생각했습니다. 나머지 16%는 확신이 없어 나중에 인간이 편집한 AI 콘텐츠의 한 형태일 것으로 추측했다.

전체적으로 기술 콘텐츠는 AI 콘텐츠를 정확하게 식별한 사용자 비율이 가장 높았습니다(51%). 여성은 남성보다 AI로 작성된 기술 콘텐츠를 정확하게 식별할 가능성이 약간 더 높았습니다(52.4% 대 49.9%).

사람이 작성한 기술 콘텐츠의 경우 36%의 사람들만이 사람이 작성했음을 식별할 수 있었으며 대다수(48.4%)는 AI가 작성했다고 확신했으며 나머지 15.6%는 사람이 편집했을 가능성이 있다고 잘못 생각했습니다. AI가 작성한 콘텐츠.

18~24세 청소년을 속일 가능성이 가장 높은 AI 기반 엔터테인먼트 콘텐츠

엔터테인먼트 글쓰기, 특히 영화, 연극, 비디오 게임, 스트리밍, 음악을 논의하는 텍스트 섹션의 경우 응답자의 47.3%가 AI 콘텐츠를 올바르게 식별할 수 있었습니다. 전체 평균 36.3%에 비해 18~24세 연령층에서는 AI로 작성된 콘텐츠를 사람이 썼다고 생각할 가능성이 가장 높았으며(41.1%).

사람이 쓴 엔터테인먼트 콘텐츠의 경우에도 AI가 쓴 것이 틀림없다고 생각하는 사람이 대다수(44.8%)로 비슷한 경향이 나타났고, 사람이 쓴 것이 맞다고 추측한 사람은 약간 적었다(38.9%).

이러한 혼란은 사람들이 AI와 사람이 작성한 콘텐츠의 차이를 잘 구분할 수 없다는 일반적인 추세에 따른 것입니다.

여행하다

온라인 여행 글쓰기의 경우 저렴한 항공권 및 호텔 찾기, 야외 여행 준비, 렌터카 대여 요령, 여행사 이용에 대한 의견에 대한 내용으로 응답자를 테스트했습니다.

거의 정확히 평균적으로 47%의 사람들이 AI 텍스트를 올바르게 식별했지만 35.9%는 인간이 쓴 것이라고 답했습니다.

그러나 인간이 만든 여행 콘텐츠는 독자를 많이 양극화했습니다. 대다수(41.6%)는 AI가 아닌 사람이 쓴 텍스트라고 정확하게 추측했지만, 비슷한 비율(40.5%)의 독자는 같은 내용을 AI가 작성해야 한다고 생각했습니다.

재원

금융 콘텐츠의 경우 AI 콘텐츠를 잘 찾아낼 수 있는 비율이 약 45.8%로 정확했지만, 여전히 같은 AI 텍스트를 사람이 만들어야 한다고 생각하는 비율은 37.2%였다.

사람이 작성한 콘텐츠에 대해서는 42.5%가 AI가 작성한 것이라고 확신했고, 40.5%는 사람의 마음이 만든 것이라고 정확하게 추측했습니다.

AI가 생성한 건강 콘텐츠는 사용자의 53.1%를 속였습니다.

건강 콘텐츠의 경우 사용자에게 고관절 교체 비용, 파라세타몰의 위험성, 정신 건강 상태, 피트니스 계획 및 예방 건강 검진에 대한 글을 제공했습니다.

이 경우, 연구 대상 독자 중 가장 높은 비율(38.4%)이 AI 콘텐츠가 사람이 쓴 것이라고 생각했고, 43.9%는 AI라고 확신했습니다. 나머지 17.7%는 인간이 편집한 AI 텍스트라고 믿었습니다.

인간이 만들고 의료 전문가가 검토한 건강 콘텐츠는 독자의 관심을 끌지 못했습니다. 일반적으로 이 분야의 인간이 만든 콘텐츠는 대부분(44.9%)이 AI가 제작했다고 생각하고 있었고, 37.9%는 인간이 만들었다고 생각했습니다. 흥미롭게도 이는 실제 사람이 작성한 콘텐츠보다 AI 건강 콘텐츠가 더 인간적이라고 생각하는 사람들이 약간 더 많다는 것을 의미합니다.

본 연구에서 검토한 5개 부문 중 AI가 생성한 건강 콘텐츠가 사용자를 가장 혼란스럽게 했습니다. AI가 의료를 포함해 우리 삶의 더 많은 부분에 개입할 가능성이 높은 세상으로 나아가고 있기 때문에 이는 매우 위험할 수 있습니다.

젊은이들은 AI 콘텐츠를 식별하는 데 더 많은 어려움을 겪습니다.

연구 전반에 걸쳐 일반적으로 가장 어린 응답자는 AI로 작성된 콘텐츠를 식별하는 능력이 가장 낮았으며 , 18~24세 응답자 중 5명 중 2명(40.2%)만이 정확하게 추측했습니다. 65세 이상 연령층은 절반 이상(52%) 더 냉소적이었고 AI 콘텐츠를 정확하게 식별했습니다.

사람들은 AI가 작성한 콘텐츠를 신뢰합니까?

블로거, 신문, 잡지와 같은 콘텐츠 게시자가 사용자에게 알리지 않고(때로는 오류가 가득한 경우도 있음) AI 콘텐츠를 게시한다면 우리는 일상적인 독자가 이에 대해 어떻게 생각할지 알고 싶었습니다.

응답자의 대다수(80.5%)는 AI 공개가 온라인에서 표준이 되어야 하며 게시자는 사람들에게 이를 알려야 한다고 생각한다고 말했습니다.

또한 71.3%가 명시적으로 언급하지 않고 AI 콘텐츠를 게시하면 브랜드를 덜 신뢰하겠다고 답한 것도 놀라운 일이 아닙니다. 나머지 28.7%는 브랜드에 대한 신뢰에는 영향을 미치지 않을 것이라고 답했습니다. 이는 모든 사람에게 온라인 콘텐츠의 출처를 알릴 필요가 없음을 나타냅니다.

이러한 공개가 독자에게 미칠 수 있는 영향에 관한 이야기도 비슷했습니다. 약간 적은 비율(67.8%)이 온라인 콘텐츠에 AI 공개가 포함된 경우 브랜드를 더 신뢰하겠다고 답했으며, 3분의 1 미만(32.2%)은 AI 공개가 신뢰에 긍정적 또는 부정적 영향을 미치지 않을 것이라고 답했습니다.

전반적으로 데이터에 따르면 대부분의 사람들은 AI가 콘텐츠 제작에 어떻게, 어디서 사용되었는지 명시적으로 밝히는 브랜드를 선호합니다. 이것이 온라인 콘텐츠 세계의 표준이 될지는 아직 알 수 없습니다.

방법론

모든 연령대의 미국 성인 1,920명을 대상으로 설문조사를 실시하여 텍스트가 AI에 의해 작성되었는지, 인간이 작성했는지, AI가 작성하고 편집했는지 여부를 묻는 질문을 받았습니다. 이는 75개의 고유한 텍스트에 대해 질문되었으며 이 분석을 위해 3,166개의 응답이 수집되었습니다. 설문조사 데이터는 2023년 2월 20일부터 2023년 2월 26일까지 수집되었습니다.

설문조사 응답자들은 AI와 AI 콘텐츠에 얼마나 친숙한지 질문을 받았습니다. 이 설문조사에 참여한 대다수의 사람들은 어떤 형태의 AI 도구를 한 번 이상 사용해 본 적이 있습니다. 여기에는 ChatGPT가 포함되지만 ChatGPT는 아닐 수도 있습니다.

• 청중 중 57.1%가 어떤 형태로든 생성 AI 도구를 한 번 이상 사용해 본 적이 있습니다.
• 41.1%는 어떤 형태로든 들어본 적이 있지만 개인적으로 사용한 적이 없습니다.
• 1.8%는 설문조사에 참여하기 전에 생성 AI에 대해 들어본 적이 없습니다.

질문당 3개의 답변이 포함된 25개의 질문이 분석에 사용되었습니다. 하나는 AI(ChatGPT)에서, 하나는 인간 저널리스트가 작성하고, 다른 하나는 AI가 작성한 후 인간 전문 카피라이터가 편집했습니다. 질문과 답변은 사용자 전체에 걸쳐 완전히 무작위로 분류되어 질문당 하나 이상의 답변을 볼 수 없습니다.

콘텐츠는 엔터테인먼트, 금융, 기술, 여행, 건강 분야에서 검색량이 많은(구글 검색량 기준) 질문을 선정하여 선정되었습니다.

ChatGPT에는 관련 주제에 대한 전문가(예: 여행 저널리스트 또는 재무 관리자)로 글을 쓰고 답변을 "간단하게" 설명하라는 메시지가 제공되었습니다. "알겠습니다. 재무 관리자인 척하겠습니다. 제가 할 말은 이렇습니다"와 같이 AI가 작성한 것이 분명할 경우 AI 답변에서 콘텐츠가 삭제되었습니다. 사람이 직접 작성한 콘텐츠는 해당 질문에 대한 심층적인 콘텐츠를 제공하는 전문가 사이트에서 가져온 것입니다. 콘텐츠에 AI 사용을 공개한 사이트는 이 분석에 사용되지 않았습니다. 설문조사 응답자에게 제공되는 질문 및 응답의 예는 여기에서 확인할 수 있습니다.

GPT-4.0 연구 업데이트

ChatGPT에서 GPT-4.0의 기능을 평가하기 위해 우리는 2023년 3월 22일부터 3월 25일까지 미국 성인 1,394명을 대상으로 설문조사를 실시했습니다. 그들에게는 텍스트가 AI에 의해 생성되었는지, 인간에 의해 생성되었는지, 아니면 AI에 의해 편집되었는지에 대해 동일한 질문을 받았습니다. 인간. 주제와 쿼리는 GPT-3.5 연구와 동일했으며 위 스프레드시트에 예시가 나와 있습니다.

기타 AI 리소스

요즘에는 AI를 사용하여 웹사이트를 만들 수도 있습니다! 자세한 내용은 최고의 AI 웹사이트 빌더에 대한 가이드를 확인하세요.

이 저작물은 Creative Commons Attribution 4.0 국제 라이선스에 따라 라이선스가 부여됩니다.