ChatGPT écrit mieux que l'humain, si l'origine reste secrète

Résumé

Une étude montre que des lecteurs distinguent mal les nouvelles de ChatGPT des textes humains, mais les valorisent davantage quand ils ignorent qu’elles sont générées.

Les faits

Dans trois expériences réunissant plus de 2 500 participants, les testeurs n’ont pas fait mieux que le hasard pour distinguer des nouvelles de fiction écrites par des humains de textes générés par ChatGPT 4.0. L’étude, signée par Sydney Sears et Deena Skolnick Weisberg et publiée dans Judgment and Decision Making, a opposé trois récits issus de revues littéraires à trois récits produits à partir d’instructions sur le thème, le style et la perspective narrative des originaux. Dans le premier test, 1 682 participants ont lu un seul récit d’environ 1 000 mots. La moitié se voyait dire que le texte venait d’un humain, l’autre moitié qu’il venait de ChatGPT, mais cette information n’était exacte que pour la moitié des cas dans chaque groupe. Les récits générés par ChatGPT ont été mieux notés que les textes humains sur deux critères : la qualité perçue et l’immersion. Sur une échelle de moins 3 à plus 3, les textes de ChatGPT ont obtenu une moyenne de 1,54 contre 0,97 pour les textes humains en qualité perçue. Pour l’immersion, l’écart était de 1,42 contre 1,00. Les attitudes des participants envers l’IA ont aussi influencé les scores : les personnes favorables à l’IA notaient plus haut, et l’effet s’inversait chez les participants sceptiques. Dans deux autres expériences réunissant 905 participants au total, le protocole a été rendu plus difficile : chaque personne lisait à la fois un texte humain et un texte généré par l’IA, puis devait identifier lequel venait de quel auteur. Là encore, les participants n’ont pas fait mieux que le hasard.

Pourquoi c’est important

Ce résultat montre que la performance d’un texte d’IA ne dépend pas seulement de ses qualités formelles, mais aussi de la perception de son origine. Autrement dit, l’étiquette « écrit par un humain » ou « écrit par ChatGPT » modifie la réception du récit, indépendamment de l’auteur réel. Pour l’édition, les plateformes et les outils de recommandation, l’enjeu est stratégique : un contenu généré peut être mieux évalué qu’un texte humain, mais seulement tant que l’empreinte de sa machine n’est pas explicitement révélée. L’étude suggère donc que la bataille se joue autant sur la qualité narrative que sur la crédibilité accordée à la signature.

Questions fréquentes

Que montre l’étude ?

Que des lecteurs notent parfois mieux des récits de ChatGPT que des récits humains, tout en étant incapables de les distinguer correctement.

Combien de personnes ont participé ?

Plus de 2 500 participants au total, dont 1 682 dans le premier test et 905 dans les deux suivants.

Quels critères ont été mesurés ?

La qualité perçue et l’immersion, avec des scores plus élevés pour les textes générés par ChatGPT.

L’étiquette d’auteur change-t-elle les résultats ?

Oui. Les textes présentés comme écrits par un humain sont mieux notés, quelle que soit leur origine réelle.

Les participants identifient-ils correctement l’auteur ?

Non. Dans les expériences, ils n’ont pas fait mieux que le hasard.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.