Enquête : ChatGPT et contenu IA – Les gens peuvent-ils faire la différence ?

Les gens peuvent-ils faire la différence entre les écrivains humains et IA et cela affecte-t-il leur confiance dans les marques ?

L'intelligence artificielle (IA) peut désormais créer confortablement des images, de la musique et du texte qui auraient pu être créés par un humain talentueux. Le monde du contenu en ligne connaît un énorme changement dans les années 2020. Ceci est fortement impacté par le chatbot génératif ChatGPT, qui connaît une croissance rapide, atteignant son premier million d’utilisateurs en seulement cinq jours.

Même si les personnes intéressées par la technologie en savent beaucoup sur l'IA et les chatbots comme ChatGPT, ce n'est pas une connaissance commune à tout le monde. En fait, certaines personnes ne savent peut-être même pas à quel point les résultats des outils d’IA sont sophistiqués et si ce qu’ils lisent en ligne a été produit par un humain ou une IA.

Pour en savoir plus sur ce sujet, nous avons interrogé plus de 1 900 Américains pour savoir ce qu’ils pensaient du contenu d’IA en ligne, quel impact cela avait sur leur confiance dans les marques et, finalement, s’ils pouvaient faire la différence entre l’IA et le contenu humain. Nous avons demandé aux gens de deviner si le texte avait été créé par l'IA ou par des humains dans les domaines de la santé, de la finance, du divertissement, de la technologie et des voyages. Apprenez-en davantage sur la méthodologie de cette étude ici.

Voici ce que le public américain pense du contenu d’IA en ligne.

Principales conclusions

• Plus de 53 % ne peuvent pas identifier avec précision le contenu uniquement créé par des chatbots IA, comme ChatGPT. Ce chiffre s'élève à 63,5 % lors de l'utilisation du modèle GPT-4.0 .
• En moyenne, le modèle linguistique GPT-4.0 est 16,5 % meilleur que GPT-3.5 pour convaincre les gens que la copie générée par l'IA a été écrite par un humain.
• Le contenu sur la santé généré par l'IA est celui qui a le plus trompé les utilisateurs , 56,1 % d'entre eux pensant à tort que le contenu de l'IA a été écrit ou édité par un humain.
• Les lecteurs ont le plus deviné correctement le contenu généré par l'IA dans le secteur technologique , le seul secteur où plus de la moitié (51 %) ont correctement identifié le contenu généré par l'IA.
• Avec GPT-4.0, le contenu technologique a également été correctement identifié comme étant le plus généré par l'IA (60,3 %) .
• Le contenu de l'IA GPT-4.0 était le plus indétectable en matière de voyage , avec 66,5 % des lecteurs pensant que le contenu avait été écrit par des humains.
• Ceux qui sont plus familiers avec les outils d'IA , comme ChatGPT, étaient légèrement meilleurs pour identifier le contenu de l'IA , cependant, ils n'avaient toujours raison que dans 48 % du temps.
• Seules 40,8 % des personnes qui ne connaissaient absolument pas l’IA générative pouvaient identifier correctement le contenu de l’IA .
• La majorité des personnes interrogées (80,5 %) pensent que les éditeurs en ligne publiant des blogs et des articles d’actualité devraient indiquer explicitement si l’IA a été impliquée dans leur création.
• Plus de sept personnes sur dix (71,3 %) ont déclaré qu’elles feraient moins confiance à une marque si on leur proposait du contenu généré par l’IA sans qu’on le leur demande .
• La plupart des gens (46,5 %) ont déclaré qu'ils accepteraient que l'IA les conseille sur des sujets de santé et financiers. Cependant, 42,9 % ont déclaré qu'ils n'utiliseraient de tels conseils que si un humain avait modifié et examiné le contenu.

Les gens peuvent-ils savoir si le texte est créé par l’IA ?

Pour répondre rapidement à la question principale de cette étude : non, les gens ne peuvent pas faire la différence entre le contenu de l'IA et le contenu écrit par l'homme .

En moyenne, les gens n’ont pu identifier correctement le contenu écrit par l’IA que dans 46,9 % du temps. En utilisant GPT-4.0 au lieu de GPT-3.5, seuls 36,5 % des lecteurs étaient correctement capables d'identifier le contenu écrit par l'IA.

Cela variait selon le sujet du contenu qu'ils lisaient, mais en général, les gens pouvaient identifier l'IA presque la moitié du temps. Cela signifie que le contenu de l’IA est indétectable par plus de la moitié des lecteurs.

Cependant, en approfondissant cela, nous pouvons voir que 36,3 % des personnes pensaient que le contenu de l’IA avait en fait été écrit par un humain, tandis que 16,7 % pensaient qu’il s’agissait d’un contenu d’IA modifié ultérieurement par un humain.

En fin de compte, plus de la moitié (53 %) ont lu du contenu écrit sur l'IA et ont supposé qu'un humain était impliqué à un moment donné – c'est dire à quel point il peut être convaincant dès la sortie de l'outil avant qu'un écrivain humain n'y ait ajouté du flair et de la personnalité.

GPT-3.5 vs GPT-4.0 : quel modèle produit une copie la plus convaincante ?

La version originale de cette étude a été réalisée avant le lancement de GPT-4.0 le 14 mars 2023. Après cela, nous avons mis à jour nos résultats en interrogeant à nouveau les lecteurs.

Nous avons utilisé les mêmes sujets et invites, mais cette fois, nous avons interrogé les répondants en utilisant le contenu produit par ChatGPT avec GPT-4.0 au lieu du modèle 3.5.

Nous avons constaté qu'il y avait une augmentation de 16,5 % du nombre de personnes pensant que le contenu généré par l'IA avait été créé par des humains, lorsque nous avons utilisé GPT-4.0.

En utilisant GPT-3.5, nous avons constaté que 53,1 % des personnes pensaient que la rédaction de ChatGPT était humaine, tandis qu'en utilisant GPT-4.0, nous avons constaté que 63,5 % des personnes pensaient que le contenu avait été créé ou modifié par un écrivain humain.

ChatGPT est-il meilleur pour écrire sur certains sujets ?

Une question à laquelle cette étude cherchait à répondre est de savoir si ChatGPT est plus efficace pour rédiger du contenu plus humain basé sur différents sujets. D’après nos résultats, il semble que le chatbot IA soit plus efficace pour rédiger du contenu sur la santé plus convaincant et que sa rédaction technologique soit plus facile à repérer par le grand public.

Voici un aperçu de la façon dont le contenu de l'IA a été perçu par le grand public lors de la génération de textes sur différents sujets :

Comme cette étude a depuis été mise à jour, nous pouvons également comparer les résultats de GPT-3.5 et GPT-4.0 en ce qui concerne le contenu sur différents sujets. Tout comme GPT-3.5, lorsque nous avons utilisé GPT-4.0, le modèle linguistique a été le plus détecté dans le contenu technologique (39,7 %).

Le contenu de voyage était le plus indétectable en ce qui concerne GPT-4.0, puisque 66,5 % des lecteurs pensaient qu'il était humain ou modifié par des humains. Alors que le contenu sur la santé était le plus indétectable en ce qui concerne GPT-3,5 (56,1 %).

Dans quelle mesure la copie générée par ChatGPT est-elle crédible ?

Le tableau suivant révèle le pourcentage de personnes qui pensaient que la copie générée par ChatGPT avait été réalisée par une IA, un humain ou modifiée par un humain dans GPT-3.5 et GPT-4.0.

Ci-dessous, nous avons décomposé les secteurs afin que vous puissiez voir dans quelle mesure ChatGPT produit du contenu à consonance humaine sur différents sujets.

Plus vous êtes familier avec les outils d’IA, plus vous avez de chances de détecter le contenu de l’IA… mais seulement légèrement

Ceux qui disaient être familiers avec les outils d'IA, comme ChatGPT, étaient légèrement meilleurs pour trouver du contenu d'IA, cependant, ils n'avaient toujours raison que dans 48 % du temps.

Cette capacité à identifier l'écriture de l'IA diminue de 7,2 % à 40,8 % si l'on considère les personnes qui ont déclaré n'avoir jamais entendu parler de l'IA générative, ce qui indique que les gens peuvent acquérir la capacité de voir les tendances et les modèles dans le contenu généré par l'IA.

Dans l’ensemble, il n’y avait aucune différence statistique entre les hommes et les femmes en matière de détection de contenu IA.

Dans quelle mesure l’écriture d’IA est-elle convaincante dans différents secteurs

Notre étude a interrogé les gens pour savoir si le contenu qu'ils lisaient était créé ou non par une IA dans cinq secteurs clés. Voici une répartition des scores des internautes dans chaque genre de contenu : divertissement, finance, voyage, technologie et santé.

Les lecteurs pourraient repérer l’IA dans le contenu technologique le plus

Nos questions technologiques ont donné aux utilisateurs des réponses aux questions concernant les téléphones portables, le matériel informatique, les technologies intelligentes, l'IA et les fournisseurs d'accès Internet.

En moyenne, 51 % des utilisateurs ont été capables de deviner correctement si les réponses écrites par l'IA avaient bel et bien été créées par l'IA, tandis qu'un tiers (33 %) pensaient que le même contenu avait été créé par des humains. Les 16 % restants n’en étaient pas sûrs, estimant qu’il s’agissait d’une forme de contenu d’IA édité ultérieurement par des humains.

Dans l’ensemble, le contenu technologique présentait le pourcentage le plus élevé (51 %) d’utilisateurs ayant correctement identifié le contenu de l’IA. Les femmes étaient légèrement plus susceptibles que les hommes d’identifier correctement le contenu technologique écrit par l’IA (52,4 % contre 49,9 %).

En ce qui concerne le contenu technologique écrit par des humains, seulement 36 % des personnes pouvaient identifier qu'il avait été écrit par un humain, la majorité (48,4 %) étant convaincues que l'IA l'avait écrit, les 15,6 % restants pensaient à tort qu'un humain l'avait probablement édité. Contenu écrit par l'IA.

Le contenu de divertissement écrit par l'IA est le plus susceptible de tromper les 18-24 ans

En ce qui concerne l'écriture de divertissement, en particulier les sections de texte traitant de films, de théâtre, de jeux vidéo, de streaming et de musique, 47,3 % des personnes interrogées ont été capables d'identifier correctement le contenu de l'IA. Les personnes âgées de 18 à 24 ans étaient les plus susceptibles de penser que le contenu écrit par l'IA avait été écrit par un humain (41,1 %), contre une moyenne globale de 36,3 %.

En ce qui concerne le contenu de divertissement écrit par des humains, une tendance similaire s'est suivie : une grande majorité (44,8 %) pensait qu'il devait avoir été écrit par une IA, et un peu moins (38,9 %) devinaient correctement qu'il s'agissait d'un écrivain humain.

Cette confusion suit la tendance générale selon laquelle les gens ne peuvent pas vraiment faire la différence entre l'IA et le contenu écrit par l'homme.

Voyage

En ce qui concerne la rédaction de voyages en ligne, nous avons testé les répondants avec du contenu sur la recherche de vols et d'hôtels abordables, la préparation aux voyages en plein air, des conseils pour louer des voitures de location et des opinions sur le recours aux agents de voyages.

Avec une moyenne presque exacte, 47 % des personnes ont identifié correctement le texte de l'IA, mais 35,9 % ont déclaré qu'il avait été écrit par un humain.

Cependant, le contenu de voyage créé par l'homme a beaucoup polarisé les lecteurs. La majorité (41,6 %) a deviné correctement que le texte avait été écrit par un humain et non par une IA, mais un nombre similaire (40,5 %) de lecteurs pensaient que le même contenu devait être créé par l'IA.

Finance

Les gens étaient capables de bien repérer le contenu de l'IA lorsqu'il s'agissait de financer du contenu, le réussissant environ 45,8 % du temps, cependant, 37,2 % pensaient toujours que le même texte d'IA devait être rédigé par un humain.

En ce qui concerne le contenu écrit par des humains, 42,5 % étaient convaincus qu'il avait été écrit par une IA, tandis que 40,5 % ont deviné correctement qu'il avait été créé par un esprit humain.

Le contenu sur la santé généré par l’IA a réussi à tromper 53,1 % des utilisateurs

En ce qui concerne le contenu sur la santé, nous avons donné aux utilisateurs des articles sur les coûts des arthroplasties de la hanche, les dangers du paracétamol, les problèmes de santé mentale, les plans de remise en forme et les examens de santé préventifs.

Dans ce cas, la plus grande partie des lecteurs de l’étude (38,4 %) pensaient que le contenu de l’IA avait été écrit par un humain, tandis que 43,9 % étaient convaincus qu’il s’agissait d’une IA. Les 17,7 % restants pensaient qu’il s’agissait d’un texte d’IA édité par des humains.

Le contenu sur la santé créé par des humains et examiné par des professionnels de la santé n’a pas convaincu les lecteurs. De manière générale, la plupart des personnes (44,9 %) pensent qu'il a été généré par l'IA, tandis que 37,9 % pensent qu'il a été créé par un humain. Il est intéressant de noter que cela signifie qu’un peu plus de personnes pensent que le contenu de l’IA sur la santé est plus humain que le contenu écrit par des humains.

Parmi les cinq secteurs que nous avons examinés dans cette étude, le contenu sur la santé généré par l’IA est celui qui a le plus dérouté les utilisateurs. Cela pourrait être très dangereux à mesure que nous nous dirigeons vers un monde où l’IA s’insérera probablement dans davantage de domaines de nos vies, y compris dans les soins de santé.

Les jeunes ont davantage de mal à identifier le contenu de l’IA

Dans l'ensemble de l'étude, en général, les répondants les plus jeunes étaient les plus incapables d'identifier le contenu écrit par l'IA , avec seulement 2 personnes sur 5 (40,2 %) parmi les 18-24 ans ayant deviné correctement. Tandis que les personnes âgées de 65 ans et plus étaient plus cyniques et identifiaient correctement le contenu de l'IA dans plus de la moitié du temps (52 %).

Les gens font-ils confiance au contenu écrit par l’IA ?

Si les éditeurs de contenu, tels que les blogueurs, les journaux et les magazines, publiaient du contenu IA sans en informer les utilisateurs (ce que certains ont fait, parfois même plein d'erreurs), nous voulions savoir ce que le lecteur ordinaire en penserait.

La majorité de nos personnes interrogées (80,5 %) ont déclaré qu'elles pensaient que les divulgations liées à l'IA devraient être la norme en ligne et que les éditeurs devraient être obligés d'en informer les gens.

Il n’est donc pas surprenant que 71,3 % aient également déclaré qu’ils feraient moins confiance à une marque si elle publiait du contenu IA sans le dire explicitement. Les 28,7 % restants ont cependant déclaré que cela n'affecterait pas leur confiance dans une marque, ce qui indique qu'il n'est peut-être pas nécessaire de dire à tout le monde d'où vient leur contenu en ligne.

En ce qui concerne l’impact que ces divulgations pourraient avoir sur les lecteurs, la situation était similaire. Une majorité légèrement plus faible (67,8 %) ont déclaré qu'elles feraient davantage confiance à une marque si les informations fournies par l'IA étaient présentes sur un contenu en ligne, tandis qu'un peu moins d'un tiers (32,2 %) ont déclaré que cela n'aurait pas d'impact positif ou négatif sur leur confiance.

Dans l’ensemble, les données indiquent que la plupart des gens privilégieraient les marques qui révèlent explicitement comment et où l’IA a été utilisée pour créer leur contenu. Reste à savoir si cela deviendra la norme dans le monde du contenu en ligne.

Méthodologie

1 920 adultes américains de toutes tranches d’âge ont été interrogés et invités à décider si un morceau de texte avait été créé par l’IA, par un humain, ou par l’IA et édité par un humain. Cette question a été posée sur 75 morceaux de texte unique et 3 166 réponses ont été collectées pour cette analyse. Les données de l'enquête ont été collectées du 20/02/2023 au 26/02/2023.

Il a été demandé aux personnes interrogées dans quelle mesure elles connaissaient l'IA et son contenu. La majorité des personnes ayant participé à cette enquête ont essayé une forme d'outil d'IA au moins une fois, cela inclut ChatGPT, mais peut-être pas ChatGPT.

• 57,1 % de notre audience a essayé au moins une fois une forme d'outil d'IA générative
• 41,1 % en avaient entendu parler sous une forme ou une autre mais ne l'avaient jamais utilisé personnellement
• 1,8 % n’avaient jamais entendu parler d’IA générative avant de participer à l’enquête

25 questions ont été utilisées dans l'analyse avec trois réponses par question : une issue de l'IA (ChatGPT), une écrite par un journaliste humain et une autre créée par l'IA puis éditée par un rédacteur professionnel humain. Les questions et les réponses étaient complètement randomisées entre les utilisateurs afin qu'ils ne puissent pas voir plus d'une réponse par question.

Le contenu a été choisi en sélectionnant des questions très recherchées (déterminées par le volume de recherche Google) dans les secteurs du divertissement, de la finance, de la technologie, des voyages et de la santé.

ChatGPT a été invité à écrire en tant qu'expert sur le sujet concerné (par exemple un journaliste de voyage ou un directeur financier) et à expliquer les réponses « simplement ». Le contenu a été supprimé de la réponse de l'IA s'il montrait évident qu'il avait été écrit par une IA, par exemple « OK, je vais faire semblant d'être un directeur financier et voici ce que je dirais ». Le contenu écrit par des humains provenait de sites experts qui avaient rédigé un contenu approfondi sur la question concernée. Les sites ayant divulgué l’utilisation de l’IA dans leur contenu n’ont pas été utilisés pour cette analyse. Des exemples de questions et de réponses données aux personnes interrogées peuvent être trouvés ici.

Mise à jour GPT-4.0 pour étudier

Pour évaluer les capacités de GPT-4.0 dans ChatGPT, nous avons interrogé 1 394 adultes américains entre le 22 mars et le 25 mars 2023. On leur a posé les mêmes questions : s'ils pensaient qu'un texte avait été produit par une IA, un humain ou édité par un humain. Les sujets et les requêtes étaient les mêmes que ceux de l'étude GPT-3.5, des exemples sont donnés dans la feuille de calcul ci-dessus.

Autres ressources d'IA

De nos jours, vous pouvez même utiliser l’IA pour vous aider à créer un site Web ! Consultez notre guide des meilleurs créateurs de sites Web d’IA pour plus d’informations.

Ce travail est sous licence internationale Creative Commons Attribution 4.0.