larlet-fr-david/david/2024/_sources/2024-06-28 - CompAIgnon.md

# CompAIgnon

> [en] Tech companies big and small sell AI as something that thinks for us. It *does* replace thought with statistics—but it is not intelligent. No one knows what the future will bring. ==But is a future without thought a better future?==
>
> Now, with a tool that might help us think… How about using AI not to think less but *more*?
> 
> <cite>*[Turning the Tables on AI](https://ia.net/topics/turning-the-tables-on-ai)*</cite>

Un article qui ne considère pas les <abbr lang="en" title="Large Language Model">LLM</abbr> comme des machines à écrire mais comme des aides à penser. Ce n’est [toujours pas pour moi](/david/2024/01/13/) mais j’apprécie cette tentative d’inverser la relation.

Quelles doutes / confidences serait-on prêt·es à confesser à une IA plus qu’à un humain ? Qu’est-ce que cela raconterait de nos peurs et insécurités ?

> [en] The people who are most confident AI can replace writers are the ones who think writing is typing.
>
> <cite>Andrew Ti sur X</cite>

---

> [en] Trust is a precious commodity. ==It takes a long time to build trust.== It takes a short time to destroy it.
>
> I am honestly astonished that so many companies don’t seem to realise what they’re destroying.
>
> <cite>*[Adactio: Journal-Trust](https://adactio.com/journal/21160)*</cite>

Lorsque la confiance est perdue avant même d’avoir vraiment été gagnée. [Coucou Kagi](https://blog.kagi.com/what-is-next-for-kagi#9). Et peut-être que c’est une bonne chose de ne pas se sentir loyal envers une marque / entreprise en fait ? Profit et confiance font rarement bon ménage.

> [en] Apple’s been big on touting their environmental record in past presentations but left it out of this one. ==Maybe it’s hard to hype fancy autocorrect== when we’re spinning carbon-intensive power plants back up to power it.
>
> Less privacy. More environmental impact. More hype. *Cool.*
>
> More than anything it all goes to show that the one thing you can count on companies to do over the long term is disappoint you.
> 
> <cite>*[Did anyone ask for these AI features? • Cory Dransfeldt](https://coryd.dev/posts/2024/did-anyone-ask-for-these-ai-features/)*</cite>

---

> [en] Recently, however, a number of execs and so-called “thought leaders” in tech seem to have genuinely convinced themselves that generative AI is on the verge of replacing all the work done by junior engineers. I have read so many articles about how junior engineering work is being automated out of existence, or that the need for junior engineers is shriveling up. It has officially driven me bonkers.
>
> All of this bespeaks a deep misunderstanding about what engineers actually do. ==By not hiring and training up junior engineers, we are cannibalizing our own future.== We need to *stop doing that*.
>
> <cite>*[Generative AI Is Not Going To Build Your Engineering Team For You](https://stackoverflow.blog/2024/06/10/generative-ai-is-not-going-to-build-your-engineering-team-for-you/)*</cite>

C’est l’une de mes réflexions actuelles pour une future activité qui inclurait de la transmission / montée en compétence technique. J’ai l’impression de pouvoir apporter des choses dans le domaine et les personnes que l’on appelle « junior » galèrent pour trouver du boulot alors qu’elles sont déjà capables.

---

> [en] The modern tech company or capitalistic enterprise is taking cues from fascism and dictators in how they introduce a small piece of controversy, like a testing of the waters. Wait for an “overreaction” by the masses/their audience/core users, wait for that to burnout and normalize, before flooding the zone with too much to fight or argue with all at once. ==This is the same way fascism causes burnout== and complacency and feelings of helplessness, like there’s nothing to be done to fight the thing.
>
> This is what is being done with AI.
> 
> <cite>*[I’ve had this thought but never put it into words.](https://micro.anniegreens.lol/2024/05/06/ive-had-this.html)*</cite>

À relire dans un contexte d’élections \#OhWait.

---

> L’une des grandes peurs entourant le déploiement des systèmes d’intelligence artificielle (IA) concerne ses potentielles « dérives », quand celle-ci pourrait « déraper ». Sauf que, rappelle Ollivier Dyens, l’humanité n’a pas eu besoin de l’IA pour commettre des atrocités – camps de concentration, bombe atomique, massacres à la machette et à la baïonnette, etc. *Pourquoi devrions-nous avoir davantage peur de l’IA ?*
>
> L’intelligence artificielle, en tant que reflet de « nous-mêmes », pourrait en fait nous servir de miroir, à nous faire voir ce qui nous caractérise  (en tant qu’êtres humains, individuellement et collectivement), ==à nous montrer nos propres biais – et en particulier ceux que nous n’arrivons pas à discerner nous-mêmes.==
> 
> <cite>*[Cinq idées reçues lors de l’école d’été sur les humanités numériques](https://www.lobrassard.net/carnet/2024-06-14-idees-recues-ecole-ete-humanites-numeriques.html)*</cite>

Compte-tenu de la façon dont sont entraînés ces LLM, la démonstration de ces biais se ferait en les accentuant… ce qui aurait potentiellement pour effet de les encourager au final ?!

---

> Selon Louise Champoux-Paillé et Anne-Marie Croteau de l’École de gestion John-Molson, Université Concordia, les femmes sont moins intéressées par l’IA que les hommes, donc sont plus à risque de perdre leur emploi dans l’avenir. En fait, est-ce vraiment un manque d’intérêt ou ne serait-ce pas plutôt ==la difficulté de se tailler une place parce que les hommes ont la préférence?==
> 
> <cite>*[Le panneau des préjugés](https://mimo.blog/le-panneau-des-prejuges)*</cite>

En parlant de biais.

---

> Dire que ChatGPT « hallucine » est un anthropomorphisme : c’est une métaphore, une représentation calquée sur une réalité que nous vivons en tant qu’humains ; en l’occurrence, on hallucine quand on perçoit quelque chose qui n’est pas vraiment là.
>
> Or la réalité du fonctionnement de ChatGPT, qui est basé sur un grand modèle de langue (large language model, LLM) est très différente : […]
> 
> C’est essentiel à comprendre : en tant que programme, ==la fonction de ChatGPT n’est pas de nous informer mais de simuler un interlocuteur humain.== Pour cela, il assemble des éléments de langage de manière probabiliste.
> 
> <cite>*[ChatGPT et l’indifférence à la vérité](https://www.arthurperret.fr/blog/2024-06-21-chatgpt-et-l-indifference-a-la-verite.html)*</cite>

De l’importance du champ lexical qui entoure ces technologies. Ces outils ne manipulent pas que des mots, ils nous font croire à une nouvelle vérité alors qu’ils n’en ont pas la capacité. Et une partie de l’humanité devient croyante. (Le parallèle avec une religion est assumé.)

---

> [en] Don’t let the past steal your present.
> 
> <cite>Cherríe L. Moraga</cite>

Comment les LLM peuvent-ils nous empêcher de tourner en rond pour aller [vers la spirale](/david/stream/2018/04/07/) ? Je me fais du souci [pour la science](https://arxiv.org/abs/2406.07016) notamment :

> [en] Recent large language models (LLMs) can generate and revise text with human-level performance, and have been widely commercialized in systems like ChatGPT. These models come with clear limitations: they can produce inaccurate information, reinforce existing biases, and be easily misused. Yet, many scientists have been using them to assist their scholarly writing. How wide-spread is LLM usage in the academic literature currently? To answer this question, we use an unbiased, large-scale approach, free from any assumptions on academic LLM usage. We study vocabulary changes in 14 million PubMed abstracts from 2010-2024, and show how the appearance of LLMs led to an abrupt increase in the frequency of certain style words. ==Our analysis based on excess words usage suggests that at least 10% of 2024 abstracts were processed with LLMs. This lower bound differed across disciplines, countries, and journals, and was as high as 30% for some PubMed sub-corpora. We show that the appearance of LLM-based writing assistants has had an unprecedented impact in the scientific literature, surpassing the effect of major world events such as the Covid pandemic.== 

Avec l’éternel questionnement associé, qui ne date pas d’hier :

> [en] So we enshrine the idea of intelligence into our computing paradigm when we don’t even know what it means for ourselves. ==Are we making computers smarter or ourselves dumber?==
>
> > You can’t tell if a machine has gotten smarter or if you’ve just lowered your own standards of intelligence to such a degree that the machine seems smart.
>
> Prescient.
>
> <cite>*[Notes From “You Are Not A Gadget”](https://blog.jim-nielsen.com/2024/notes-from-you-are-not-a-gadget/)*</cite>

#écriture #IA #parvenir