ChatGPT et l’indifférence à la vérité
Vous connaissez peut-être le mot anglais bullshit, qu’on peut traduire en français par connerie ou foutaise. Le philosophe américain Harry Frankfurt en a fait un concept tout à fait sérieuxOn bullshit, 2005.
. Pour lui, le bullshit n’est pas le mensonge mais l’indifférence à la vérité : les bullshitters, qu’on trouve notamment dans la publicité ou la politique, ne se préoccupent pas de savoir si ce qu’ils disent est vrai ou faux ; ce qui compte, ce sont les effets que leurs énoncés produisent.
Dans un article récent, que j’ai découvert via Étienne Nadji, trois auteurs appliquent ce concept de bullshit à ChatGPTHicks, Humphries et Slater, « ChatGPT is bullshit », 2024.
. Pour eux, c’est une bullshit machine : un générateur de conneries. Autre traduction, plus littérale et plus vulgaire mais tout aussi parlante : ChatGPT dit de la merde.
Pourquoi ce débat terminologique est-il important ? Parce qu’il nous donne des ressources pour critiquer le terme « hallucination », utilisé pour décrire le fait que ChatGPT génère parfois de fausses informations – un terme impropre et dont il faudrait se débarrasser si on veut avoir un vrai débat sur ce que des outils comme ChatGPT risquent de faire à nos sociétés.
Dire que ChatGPT « hallucine » est un anthropomorphisme : c’est une métaphore, une représentation calquée sur une réalité que nous vivons en tant qu’humains ; en l’occurrence, on hallucine quand on perçoit quelque chose qui n’est pas vraiment là.
Or la réalité du fonctionnement de ChatGPT, qui est basé sur un grand modèle de langue (large language model, LLM) est très différente :
“LLMs do not perceive, so they surely do not “mis-perceive”. […] What occurs in the case of an LLM delivering false utterances is not an unusual or deviant form of the process it usually goes through […] the very same process occurs when its outputs happen to be true. […] It falsely indicates that ChatGPT is, in general, attempting to convey accurate information in its utterances. Where it does track truth, it does so indirectly, and incidentally. […] It is bullshitting, even when it’s right.” « Les LLMs ne perçoivent pas, ils ne peuvent donc pas “mal percevoir”. […] Lorsqu’un LLM énonce quelque chose de faux, ce n’est pas dû à un accident de parcours […] il suit exactement le même processus lorsqu’il énonce quelque chose de vrai. […] Dire que ChatGPT hallucine, c’est sous-entendre qu’en temps normal il essaye de transmettre des informations justes. Or c’est faux : le fait que ChatGPT tombe juste n’est qu’un résultat indirect de son fonctionnement. […] ChatGPT se fout de ce qu’il raconte, y compris quand il a raisonIbid., p. 38‑39.
. »
C’est essentiel à comprendre : en tant que programme, la fonction de ChatGPT n’est pas de nous informer mais de simuler un interlocuteur humain. Pour cela, il assemble des éléments de langage de manière probabiliste. Les messages qu’il produit de cette manière n’ont de fond que pour la forme : ils doivent être cohérents d’un point de vue linguistique, et c’est ce qui définit leur contenu sémantique ; que ce contenu soit vrai ou faux, peu importe.
Alors pourquoi parle-t-on d’« hallucinations » ? Pour les concepteurs d’outils, comme OpenAI pour ChatGPT, c’est assez intéressant : au lieu de reconnaître leur responsabilité dans la création d’un générateur de conneries, ils rejettent la faute sur les modèles de langue qui ne seraient pas assez aboutis. La solution est alors toute trouvée : il faut continuer à améliorer les modèles. Jouer sur le langage permet à ces acteurs économiques de détourner notre attention et d’esquiver des épreuves de justification : c’est la mécanique de l’impenséRobert (dir.), L’impensé numérique - Tome 2, 2020.
.
Pour compléter, on peut reprendre le vocabulaire de McLuhanPour comprendre les médias, 2015 [1968].
et analyser ChatGPT en tant que média : on cherche ici à attirer notre attention sur le contenu de ChatGPT plutôt que sur son caractère. On se focalise sur la nature vraie ou fausse des propos générés ; ce qui nous pousse dans une logique familière, celle de la lutte contre la désinformation qui passe notamment par la vérification des faits. Ce faisant, on n’examine pas la nature de ChatGPT en tant que média, son caractère ; or c’est ce dernier qui influence le plus nos activités, et qui peut affecter durablement l’évolution de nos sociétés.
Ce qui caractérise ChatGPT, nous l’avons vu, c’est qu’il se fout de ce qu’il raconte : il communique pour communiquer. Je crois qu’il y a lieu de s’inquiéter des effets d’un tel média sur nos sociétés. Comme le dénonçait notamment Norbert Wiener, lorsqu’il n’y a de communication que pour elle-même, elle n’a plus de valeur« Rôle de l’intellectuel et du savant », 2014 [1954].
.
Quelle culture de l’information ChatGPT pourrait-il produire ? Récemment, Julien Gossa signalait sur Mastodon un sondage effectué au sein des écoles privées du pôle Léonard de Vinci, et qui suggère que l’utilisation de ChatGPT par des étudiants se traduit le plus souvent par une dépendance à l’outil sans réelle maîtrise de celui-ci : ChatGPT augmente la productivité mais réduit la littératie. L’IA générative est-elle en train de fabriquer de nouvelles formes d’usines, comme le suggère Olivier Ertzscheid dans son dernier ouvrage, avec un « cognitariatNewfield, « Structure et silence du cognitariat », 2009.
» docile ?
Les crises auxquelles l’humanité fait face nécessitent un sursaut d’intelligence collective ; la rhétorique de l’« hallucination » masque un projet de société qui va dans le sens inverse. Même si la bulle IA implose, ses effets peuvent pourrir plusieurs générations d’apprenants, donc il faut réagir. L’un des axes stratégiques, c’est l’éducation aux médias et à l’information. Comme je l’ai esquissé dans ce billet, les SIC peuvent produire des analyses critiques de ChatGPT en tant que média, pour alimenter cette réponse. Au boulot !
Bibliographie
Frankfurt, Harry G. On bullshit. Princeton University Press, 2005. 978-0-691-12294-6.
, Michael Townsen,
Humphries, James et
Slater, Joe.
« ChatGPT is bullshit ».
Ethics and Information Technology. 2024, Vol. 26, n° 2, p. 38.
https://doi.org/10.1007/s10676-024-09775-5.
McLuhan, Marshall. Pour comprendre les médias: les prolongements technologiques del’homme. Trad. par Jean Paré. Seuil, 2015 [1968]. 978-2-7578-5014-5.
, Christopher.
« Structure et silence du cognitariat ».
Multitudes. Trad. par Yves Citton. 2009, Vol. 39, n° 4, p. 68‑78.
https://doi.org/10.3917/mult.039.0068.
(dir.).
L’impensé numérique - Tome 2. Interprétations critiques et logiques pragmatiques de l’impensé. Editions des archives contemporaines, 2020. 978-2-8130-0357-7.
https://doi.org/10.17184/eac.9782813003577.
Wiener, Norbert. « Rôle de l’intellectuel et du savant ». Dans : Cybernétique et société: l’usage humain des êtres humains. Trad. par Ronan Le Roux et Pierre Yves Mistoulon. Seuil, 2014 [1954], p. 158‑162. 978-2-7578-4278-2.