調査: ChatGPT と AI コンテンツ – 人々は違いを見分けることができますか?

人々は人間のライターと AI ライターの違いを見分けることができますか?これはブランドに対する信頼に影響しますか?

人工知能 (AI) は、才能のある人間が作成できたであろう画像、音楽、テキストを快適に作成できるようになりました。 オンライン コンテンツの世界は 2020 年代に大きな変化を迎えています。 これは、生成型チャットボットである ChatGPT の影響を大きく受けており、急速に成長しており、わずか 5 日で最初の 100 万人のユーザーに達しました。

テクノロジーに興味がある人は AI や ChatGPT などのチャットボットについてよく知っているかもしれませんが、すべての人にとって一般的な知識ではありません。 実際、AI ツールの出力がどれほど洗練されているか、オンラインで読んでいる内容が人間によって作成されたのか AI によって作成されたのかさえ知らない人もいるかもしれません。

このテーマについてさらに詳しく知るために、私たちは 1,900 人以上のアメリカ人を対象に、オンラインの AI コンテンツについてどう思うか、それがブランドへの信頼にどのような影響を与えるか、そして最終的には AI と人間のコンテンツの違いが見分けられるかどうかを調査しました。 私たちは人々に、健康、金融、エンターテインメント、テクノロジー、旅行のコンテンツにわたって、テキストが AI によって作成されたのか人間によって作成されたのかを推測してもらいました。 この研究の方法論について詳しくは、こちらをご覧ください。

アメリカ国民がオンラインの AI コンテンツについてどう考えているかは次のとおりです。

主な調査結果

• 53% 以上は、ChatGPT のような純粋に AI チャットボットによって作成されたコンテンツを正確に識別できません。 GPT-4.0 モデルを使用すると、これは 63.5% に上昇します。
• 平均すると、 GPT-4.0 言語モデルは、 AI が生成したコピーが人間によって書かれたものであると人々に納得させる点で、GPT-3.5 よりも 16.5% 優れています。
• AI によって生成された健康コンテンツが最もユーザーを欺くことができ、56.1% が AI コンテンツが人間によって書かれた、または人間によって編集されたものであると誤って考えていました。
• 読者がAI 生成コンテンツを最も正確に推測したのはテクノロジー分野で、半数以上 (51%) が AI 生成コンテンツを正しく識別した唯一の分野でした。
• GPT-4.0 では、技術コンテンツも AI によって生成されたものとして最も多く(60.3%)正しく識別されました。
• GPT-4.0 AI コンテンツは旅行に関しては最も検出されにくく、読者の 66.5% がコンテンツは人間によって書かれたものだと考えていました。
• ChatGPT などのAI ツールに精通している人は、 AI コンテンツの識別にわずかに優れていましたが、それでも正解率は 48%にすぎませんでした。
• 生成 AI にまったく慣れていない人のうち、 AI コンテンツを正しく識別できた人はわずか 40.8% でした。
• 大多数 (80.5%) は、ブログやニュース記事を投稿するオンライン パブリッシャーは、その作成にAI が関与しているかどうかを明示する必要があると考えています。
• 10 人中 7 人以上(71.3%)が、AI が生成したコンテンツを何も言われずに与えられたら、ブランドに対する信頼が下がると回答しました。
• ほとんどの人 (46.5%) は、健康や経済に関するトピックについてAI がアドバイスしても問題ないと回答しましたが、別の 42.9% は、人間がコンテンツを編集してレビューした場合にのみ、そのようなアドバイスを利用すると回答しました。

テキストが AI によって作成されたかどうかを人々は判断できますか?

この研究の主な質問に簡単に答えると、「いいえ、人々は AI コンテンツと人間が書いたコンテンツの違いを見分けることができません。」

平均して、人々が AI で書かれたコンテンツを正しく識別できたのは46.9%の確率だけでした。 GPT-3.5 の代わりに GPT-4.0 を使用した場合、AI で書かれたコンテンツを正しく識別できた読者は36.5%のみでした。

これは読んでいるコンテンツのトピックによって異なりますが、一般的に、人々はほぼ半分の確率で AI を識別できました。 これは、読者の半数以上が AI コンテンツを検出できないことを意味します。

しかし、これをさらに掘り下げると、36.3% の人が AI コンテンツは実際に人間によって書かれたものであると考えており、16.7% は AI コンテンツが後で人間によって編集されたものであると考えていることがわかります。

最終的に、半数以上 (53%) が AI で書かれたコンテンツを読み、ある時点で人間が関与していると想定しました。これは、人間のライターがセンスや個性を追加する前に、ツールから直接作成したコンテンツにどれほど説得力を持たせることができるかということです。

GPT-3.5 と GPT-4.0: どちらのモデルがより説得力のあるコピーを生成しますか?

この研究のオリジナル版は、2023 年 3 月 14 日に GPT-4.0 が開始される前に実施されました。その後、読者に再度アンケートを実施して調査結果を更新しました。

同じトピックとプロンプトを使用しましたが、今回は 3.5 モデルではなく GPT-4.0 を使用して ChatGPT によって生成されたコンテンツを使用して回答者を調査しました。

GPT-4.0を使用すると、AIが生成したコンテンツが人間によって作成されたと考える人の数が16.5%増加したことがわかりました。

GPT-3.5 を使用した場合、53.1% の人が ChatGPT のコピーライティングは人間によるものであると考えていたのに対し、GPT-4.0 を使用した場合、63.5% の人がコンテンツは人間のライターによって作成または編集されたと信じていることがわかりました。

ChatGPT は特定のトピックについて書くのが得意ですか?

この研究で答えようとした疑問の 1 つは、ChatGPT がさまざまなトピックに基づいてより人間的なコンテンツを書くのに優れているかどうかです。 私たちの調査結果から、AI チャットボットはより説得力のある健康コンテンツを書くのが得意であり、そのテクノロジーに関する文章は一般の人々に見つけられやすいようです。

以下は、さまざまなトピックに関するテキストを生成するときに、 AI コンテンツが一般の人々にどのように認識されたかの概要です。

この調査はその後更新されているため、さまざまなトピックに関するコンテンツに関して GPT-3.5 と GPT-4.0 の結果を比較することもできます。 GPT-3.5 と同様に、GPT-4.0 を使用した場合、テクノロジー コンテンツで言語モデルが最も多く検出されました (39.7%)。

GPT-4.0 に関しては旅行コンテンツが最も検出されにくく、読者の 66.5% が旅行コンテンツが人間によるもの、または人間が編集したものであると信じていました。 一方、健康内容が最も検出されなかったのは GPT-3.5 (56.1%) でした。

ChatGPT で生成されたコピーはどの程度信憑性がありますか?

次の表は、GPT-3.5 と GPT-4.0 の両方で、ChatGPT によって生成されたコピーが AI か人間によって作成されたか、人間によって編集されたと考えた人の割合を示しています。

以下では、ChatGPT がさまざまなトピックに関して人間のような内容のコンテンツをどの程度うまく生成しているかがわかるように、セクターをさらに分類しています。

AI ツールに精通すればするほど、AI コンテンツを検出できる可能性が高くなります…ただし、ほんの少しだけです

ChatGPT などの AI ツールに精通していると答えた人は、AI コンテンツを見つけるのがわずかに優れていましたが、それでも正解率は 48% にすぎませんでした。

AI の書き込みを識別するこの能力は、生成 AI について聞いたことがないと答えた人を対象にすると 7.2% から 40.8% 低下します。これは、人々が AI によって生成されたコンテンツの傾向とパターンを認識する能力を獲得できることを示しています。

全体として、AI コンテンツ検出においては男性と女性の間に統計的な差はありませんでした。

さまざまな業界での AI ライティングの説得力

私たちの調査では、5つの主要な分野にわたって、読んでいるコンテンツがAIによって作成されたかどうかについて人々にアンケートを実施しました。 以下は、エンターテインメント、金融、旅行、テクノロジー、健康など、コンテンツの各ジャンルでユーザーがどのようにスコアを獲得したかの内訳です。

読者はテクノロジー コンテンツの中で AI を最もよく見つけることができます

私たちのテクノロジーに関する質問により、ユーザーは携帯電話、コンピューター ハードウェア、スマート テクノロジー、AI、インターネット プロバイダーに関する質問に答えることができました。

平均して、ユーザーの 51% は、AI が書いた回答が間違いなく AI によって作成されたものであるかどうかを正しく推測できましたが、3 分の 1 (33%) は同じ内容が人間によって作成されたものであると考えていました。 残りの 16% は確信が持てず、AI コンテンツの一種で後から人間が編集したものではないかと推測していました。

全体として、AI コンテンツを正しく識別したユーザーの割合が最も高かったのはテクノロジー コンテンツ (51%) でした。 女性は男性よりも AI で書かれた技術コンテンツを正しく識別する可能性がわずかに高かった (52.4% 対 49.9%)。

人間が書いたテクノロジー コンテンツに関しては、それが人間によって書かれたものであると認識できた人はわずか 36% で、大多数 (48.4%) が AI によって書かれたものであると確信しており、残りの 15.6% は人間が編集した可能性が高いと誤って考えていました。 AI によって書かれたコンテンツ。

AI で書かれたエンターテイメント コンテンツは 18 ～ 24 歳を騙す可能性が最も高い

エンターテインメントの文章、特に映画、演劇、ビデオゲーム、ストリーミング、音楽について論じた文章のセクションに関しては、回答者の 47.3% が AI コンテンツを正しく識別できました。 18 ～ 24 歳の人々は、AI によって書かれたコンテンツが人間によって書かれたものであると考える可能性が最も高く (41.1%)、全体平均の 36.3% と比較しました。

人間が書いたエンターテイメント コンテンツに関しても同様の傾向があり、大多数 (44.8%) が AI によって書かれたに違いないと考え、わずかに少ない (38.9%) が人間の作者であると正しく推測しました。

この混乱は、人々が AI と人間が書いたコンテンツの違いを完全に区別できないという一般的な傾向に従っています。

旅行

オンライン旅行記事に関しては、手頃な航空券やホテルの検索、アウトドア旅行の準備、レンタカーを借りる際のヒント、旅行代理店の利用に関する意見などの内容で回答者をテストしました。

ほぼ平均すると、47% の人が AI テキストを正しく識別しましたが、35.9% は人間によって書かれたと回答しました。

しかし、人間が作成した旅行コンテンツは読者を大きく二極化させました。 大多数 (41.6%) は、テキストが AI ではなく人間によって書かれたものであると正しく推測しましたが、同程度の読者 (40.5%) は、同じコンテンツが AI によって作成されたに違いないと考えていました。

ファイナンス

金融コンテンツに関しては、人々は AI コンテンツをうまく見分けることができ、約 45.8% の確率で正解しましたが、37.2% は依然として、同じ AI テキストは人間が作成する必要があると考えていました。

人間が書いたコンテンツに関しては、42.5% が AI によって書かれたと確信しており、40.5% が人間の頭脳によって作成されたと正しく推測しました。

AI が生成した健康コンテンツはユーザーの 53.1% を騙すことに成功

健康コンテンツに関しては、人工股関節置換術の費用、パラセタモールの危険性、精神的健康状態、フィットネス計画、予防的健康診断についての文章をユーザーに提供しました。

この場合、調査対象の読者の最も高い割合 (38.4%) が AI コンテンツは人間によって書かれたと考えており、43.9% はそれが AI であると確信していました。 残りの 17.7% は、それが人間によって編集された AI テキストであると信じていました。

人間が作成し、医療専門家によってレビューされた健康コンテンツは、読者を魅了しませんでした。 一般に、この分野における人間が作成したコンテンツについては、ほとんどの人 (44.9%) が AI によって生成されたと考えており、37.9% は人間が作成したと考えていました。 興味深いことに、これは、AI 健康コンテンツが実際に人間が書いたコンテンツよりも人間らしいと考えた人がわずかに多いことを意味します。

この調査で調査した 5 つの分野のうち、AI によって生成された健康コンテンツがユーザーを最も混乱させました。 AI がヘルスケアを含む私たちの生活のより多くの部分に組み込まれる可能性が高い世界に向かって進む中、これは非常に危険である可能性があります。

若者ほどAIコンテンツの識別に苦労している

調査全体を通じて、一般に、 AI によって書かれたコンテンツを識別するのが最も苦手なのは最年少の回答者であり、正しく推測できたのは 18 ～ 24 歳の 5 人に 2 人 (40.2%) のみでした。 一方、65 歳以上の人々はより皮肉的で、半分以上 (52%) の時間で AI コンテンツを正しく識別しました。

人々は AI によって書かれたコンテンツを信頼しますか?

ブロガー、新聞、雑誌などのコンテンツ発行者が、ユーザーに通知せずに AI コンテンツを公開した場合 (実際にそうしている人もいますが、時には間違いだらけです)、私たちは日常の読者がこれについてどう思うかを知りたいと考えました。

回答者の大多数 (80.5%) は、AI の開示はオンラインで標準となるべきであり、出版社は人々に知らせる必要があると考えていると述べました。

71.3% が、明確に言わずに AI コンテンツを公開した場合、ブランドに対する信頼が下がると回答したことも驚くことではありません。 しかし、残りの 28.7% は、ブランドに対する信頼には影響しないと回答しており、オンライン コンテンツの出所をすべての人に知らせる必要はないかもしれないことを示しています。

こうした情報開示が読者に与える影響に関しても、同様のことが言えました。 わずかに少ない過半数（67.8%）が、オンライン コンテンツに AI 開示が存在する場合、ブランドをより信頼すると回答しましたが、3 分の 1 弱（32.2%）は、信頼にプラスにもマイナスにも影響しないと回答しました。

全体として、データは、コンテンツの作成に AI がどのように、どこで使用されたかを明示的に明らかにするブランドをほとんどの人が好むことを示しています。 これがオンライン コンテンツの世界で標準になるかどうかはまだわかりません。

方法論

あらゆる年齢層のアメリカ成人1,920人を対象に調査が行われ、ある文章がAIによって作成されたのか、人間によって作成されたのか、あるいはAIと人間によって編集されたのかを判断するよう求められた。 この分析のために 75 個の固有のテキストにわたって質問され、3,166 個の回答が収集されました。 調査データは 2023 年 2 月 20 日から 2023 年 2 月 26 日まで収集されました。

調査回答者は、AI および AI コンテンツについてどの程度精通しているかを尋ねられました。 この調査の参加者の大多数は、何らかの形式の AI ツールを少なくとも 1 回試したことがあり、これには ChatGPT が含まれますが、ChatGPT ではない可能性があります。

• 視聴者の 57.1% が、何らかの形式の生成 AI ツールを少なくとも 1 回試したことがある
• 41.1% が何らかの形で聞いたことはあるが、個人的に使用したことはなかった
• 1.8% は調査に参加するまで生成 AI について聞いたことがありませんでした

分析には 25 の質問が使用され、質問ごとに 3 つの回答が使用されました。1 つは AI (ChatGPT)、1 つは人間のジャーナリストによって書かれ、もう 1 つは AI によって作成され、人間のプロのコピーライターによって編集されました。 質問と回答はユーザー間で完全にランダム化されているため、質問ごとに複数の回答が表示されることはありません。

コンテンツは、エンターテインメント、金融、テクノロジー、旅行、健康分野でよく検索された (Google の検索ボリュームによって決定される) 質問を選択することによって選択されました。

ChatGPT には、関連するトピックの専門家 (旅行ジャーナリストや財務マネージャーなど) として執筆し、回答を「簡単に」説明するよう求められました。 「OK、財務マネージャーのふりをして、私ならこう言います」など、AI によって書かれたことが明らかなコンテンツは、AI の回答から削除されました。 人間が書いたコンテンツは、それぞれの質問について詳細なコンテンツを作成した専門サイトから得られました。 コンテンツ内での AI の使用を公開していたサイトは、この分析には使用されませんでした。 アンケート回答者に対する質問と回答の例は、ここでご覧いただけます。

研究のための GPT-4.0 アップデート

ChatGPT の GPT-4.0 の機能を評価するために、2023 年 3 月 22 日から 3 月 25 日まで、1,394 人のアメリカ成人を対象に調査を行いました。彼らには、テキストが AI によって作成されたと思うか、人間によって作成されたと思うか、または編集されたと思うかについて同じ質問がされました。人間。 トピックとクエリは GPT-3.5 研究と同じで、例は上のスプレッドシートに示されています。

その他の AI リソース

最近では AI を利用して Web サイトを作成することもできます。 詳細については、最高の AI ウェブサイトビルダーのガイドをご覧ください。

この作品は、クリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされています。