IA 6x plus convaincante que l'humain - une expérimentation secrète sur Reddit

Quartier général (Publique) Actualité
1

Reddit vient de révéler il y a quelques jours que des chercheurs de l’Université de Zurich ont réalisé une expérimentation IA secrète et non autorisée sur la communauté r/changemyview. Des chatbots ont été utilisés pour débattre sur des sujets sensibles.

Résultat: l’IA était 6x plus convaincante que l’humain (une seule étude et non validée par des pairs, donc à considérer)

Inquiétant? Pour l’instant, ça demeure surtout étonnant que personne n’ait remarqué le stratagème (1700 commentaires).

Intéressant de lire les résultats de Can AI Change Your View? Evidence from a
Large-Scale Online Field Experiment

Au niveau éthique par contre, on repassera.

4 « J'aime »
2

Voici le document pour les curieux:

J’ai feedé à ChatGPT pour qu’il me fasse un TL;DR:

Résumé:

  • Test réel sur r/ChangeMyView (nov-24 → mar-25).
  • 1 061 posts traités, 478 valides.
  • 3 traitements :
    1. Générique (contenu seul)
    2. Personnalisé (démographie inférée)
    3. Aligné-communauté (fine-tune sur anciens ∆).
  • Taux de persuasion (∆) : humain 3 %; Générique 17 %; Personnalisé 18 %; Aligné 9 %. → LLM = 3-6 × humains.
  • Personnalisé = 99e centile de tous les usagers, 98e chez les “experts”. Générique reste ≥ 96e.
  • Aucun redditeur n’a flairé le bot → risque massif de manipulation furtive.

Fig 1 : capture d’un post CMV avec hiérarchie des réponses; rappelle que seul l’OP donne le ∆. Sert de décor.

image
image722×859 125 KB

Fig 2 : flow-chart 6 étapes : filtrage post → randomisation → profilage (optionnel) → 16 drafts multi-LLM → tournoi de jugement → publication différée ≈ 15 min. Montre l’industrialisation du procédé.

image
image997×577 91.6 KB

Fig 3 : barres ; baseline humain ridicule (0 .027). Générique ~0 .168, Personnalisé ~0 .180, Aligné ~0 .090. Intervalles 95 % minuscules → effet robuste.

image
image703×397 18 KB

Fig 4 : courbes cumulées des taux utilisateur. Traits verticaux aux moyennes LLM ; lisible d’un coup : Personnalisé se place au 99,4 % de tous les comptes, 98,2 % des experts; Générique 98,7 / 96,5 %; Aligné 88,9 / 75,4 %. Montre que même la pire variante explose la majorité des humains.

image
image752×564 41.1 KB

Vraiment pertinent! Merci pour le partage Mathieu!!

3

Qui me dit que c’est toi qui m’écris? :joy:

4

Ce qui a après ça:

C’est ChatGPT, comme j’ai dit. :stuck_out_tongue:

1 « J'aime »
5

Merci pour ce partage. C’est à la fois fascinant… et révélateur.

Que l’IA soit plus convaincante que l’humain ne me surprend qu’à moitié. Avec des algorithmes formés à optimiser la rhétorique, à anticiper les biais cognitifs et à maintenir un ton calme et logique, elle dispose d’un avantage structurel pour des débats rationnels.

Mais le plus troublant n’est pas la performance en soi. C’est, comme tu le soulignes, l’absence de détection par la communauté humaine. Cela pose deux questions essentielles :

  1. Avons-nous encore des repères pour discerner le dialogue authentique de l’argumentation synthétique ?
  2. Quels garde-fous éthiques imaginons-nous pour préserver les espaces de débat sincère ?

En tant que coach et accompagnant, je vois une autre dimension : l’IA peut exceller à « convaincre », mais peut-elle transformer ? Créer de véritables prises de conscience ? Favoriser un changement durable qui émerge de l’intérieur et non par simple adhésion logique ?

Convaincre et accompagner sont deux réalités différentes.
Le premier manipule des idées. Le second soutient des personnes.

La vraie question est peut-être là : quelle place voulons-nous laisser à l’humanité dans nos futurs espaces de débat ?

4 « J'aime »
6

J’aime bien la distinction que tu fais. Je vais y réfléchir.

7

C’est intéressant comme expérience. Je ne peux pas dire que ça me surprend que personne s’en ait aperçu sachant qu’encore peu de gens l’utilise et que bien prompter je crois qu’il peut très bien sonner comme un humain .

1 « J'aime »
8

Ce sont d’excellentes questions et celles qui me font peur pour l’avenir. Ou il y a homme, il y a hommerie et souvent l’éthique est mis de côté à la longue.

Par contre, je vais continuer à l’utiliser.

Est-ce qu’il peut éventuellement remplacer un thérapeute. Je crois que c’est une possibilité à envisager, toutefois je crois qu’il faut garder en tête les risques s’y rapportant. Toutefois je crois que la lecture d’un humain ne pourra jamais être remplacé par un IA. Il peut prédire un comportement général, mais 1 personne en particulier, je crois que ça restera difficile.

9

Si l’IA a accès aux données personnelles de la personne, je ne vois pas pourquoi pas!

Donne à l’IA l’ensemble des posts que t’as vu sur Facebook, des téléséries que t’as écouté, des films que t’as écouté, de la musique que t’as écouté, des statistiques de sommeil, des prescriptions de médecins, des conversations par courriel, des conversations par texto. Et l’IA te connaît beaucoup mieux que n’importe quel thérapeute!

1 « J'aime »
10

Quand je travaillais sur un projet de Big Data, avec 330 données, on avait réussi à créer un modèle prédictif avec seulement 6 données, pour une précision de 95% de mémoire. Ce qu’on appelle une analyse multivariée.

On n’imagine pas à quel point ça peut être facile d’identifier certaines choses avec peu de données… surtout quand elles ne semblent pas utiles pour ça.

Un test pour s’en convaincre (peut-être) si vous utilisez beaucoup une IA. Demandez-lui quel est votre profil MBTI à partir des échanges que vous avez eus jusqu’à présent.

De mon côté, c’était exactement le résultat que j’avais obtenu en faisant le vrai test.

2 « J'aime »
11

Je vais essayer ton idée de demander à l’IA mon profil MBTI, c’est une super suggestion! Je suis curieux de savoir si ça marche même avec des conversations assez limitées ou s’il faut vraiment un historique conséquent.

12

Je crois que ça prend quand même quelques échanges. Tu nous diras.

13

J’embarque tard dans le débat (et sans IA!!).

Mais j’ai une vision un peu différente de la situation.

Convaincre est un art, dont l’immense majorité des gens ignorent les principes de base (que l’IA maîtrise beaucoup mieux).

Avez-vous déjà vu une personne se défendre seule devant un juge, pour un ticket de police par exemple ? Pratiquement tous les arguments mentionnés sont totalement irrecevables (n’ont aucune valeur argumentaire).

Un autre exemple ; une chicane de voisin. À entendre un et l’autre, chacun a 100% raison.

Déjà au Moyen Âge, Saint Thomas d’Aquin animait des « joutes oratoires » pour former des étudiants au débat. Il n’évaluait pas ses étudiants sur la qualité des arguments, mais sur la qualité de la communication.

Il avait une règle simple : un argument n’a de la valeur que si si les 2 parties sont d’accords avec une des prémisses de la discussion.

Exemple simple : il est inutile de citer un passage de la Bible pour appuyer une idée si ton adversaire ne croit pas à la BIble comme référence intellectuelle. Si les 2 adversaires croient à la BIble, alors on pourra, à partir de cette prémisse commune, développer les idées qui y sont inclus.

La plupart des débats (surtout sur les réseaux sociaux) sont totalement stériles, car chacun se fiche complètement de ce que pense l’autre. Et si t’es pas d’accord avec moi, alors forcément t’es un imbécile; c’est comme ça que ça se termine la plupart du temps.

L’IA a été programmée pour s’adapter au niveau mental et intellectuel de son interlocuteur. Elle ne va pas le traiter d’imbécile s’il n’est pas d’accord avec elle.

Si l’IA a l’impression que son interlocuteur ne comprend pas le sujet, ou n’est pas d’accord avec elle, elle va tout de suite chercher le « point commun », ensuite développer son idée, méthodiquement, avec patience.

Elle a aussi l’avantage de la « connaissance générale » qui permet d’appuyer son idée avec des exemples précis de la vie courante ou de la culture générale.

L’IA n’est donc pas plus convainquante parce que les idées qu’elles promeuent sont meilleures. Elle est plus convainquante, parce qu’elle applique méthodiquement les principes de base de l’argumentation. Ce n’est pas l’argument qui a de la valeur, c’est la manière de le communiquer.

Cela est d’une grande leçon pour nous, car le marketing est aussi un art de convaincre.

Quel est le blog qui sera le mieux référencés sur Google ? Celui qui exposent ses idées avec les meilleurs arguments, ou celui qui applique méthodiquement les principes SEO ?

Donc pour moi cette expérience n’est d’aucune surprise. Surtout pas sur Reddit…

14

Il va connaître tes goûts, tes preferences, etc, mais te connaître toi en profondeur, pas certaine, mais d’un autre côté, pas tous les thérapeutes qui peuvent le faire non plus. :thinking: Intéressant point à tester. Oh que je sens que ça va m’amener dans un rabbit hole :rofl::rofl::rofl:

15

Bons points il peut appliquer les stratégies sans biais systématiquement.