# ? Colloque « Intelligence Artificielle : fiction ou actions ? » : La gouvernementalité algorithmique (archive) Pour la pérennité des contenus liés. Non-indexé, retrait sur simple email.

### Source originale du contenu

Merci pour votre accueil dans cette institution intimidante pour une juriste devenue un peu dénaturée et indisciplinée avec les années. Plutôt que quitter le droit, dont je ne cessais de constater le caractère éminemment inadéquat face à une réalité galopante, une réalité sauvage que le droit peine à caractériser, mon approche a été de me plonger dans les objets, et plus précisément de m’intéresser aux algorithmes. D’ailleurs, le droit est lui-même un système relativement algorithmique, même si un juriste ne perçoit pas forcément ses algorithmes. Il y a donc une richesse à s’intéresser aux algorithmes pour revenir ensuite au droit.

Pour être tout à fait sincère, j’ai pris du recul par rapport au droit, j’ai regardé les algorithmes et certains de leurs usages, et finalement je me dis que j’aime fort le droit. Aujourd’hui, je reviens à des enjeux beaucoup plus juridiques, mais plutôt de la philosophie du droit, pour essayer de décaper les concepts juridiques considérés comme acquis. Par exemple, comment redonner de la vitalité à ces concepts juridiques assez figés que sont les notions de vie privée ou d’individu pour les rendre adéquats au monde numérique actuel, monde dans lequel il nous faut bien vivre même s’il n’est pas tout à fait habitable.

### Mutation du capitalisme ?

Cette intervention se situe dans le contexte d’une mutation du capitalisme. Le monde numérique consacre un type de capitalisme : on parle de capitalisme des plateformes ou de capitalisme numérique, c’est-à-dire une transformation ou une mutation du capitalisme financier, qu’il pourra éventuellement remplacer.

Qu’entendre par capitalisme numérique ? Mon hypothèse de travail, exposée aux remarques et critiques, est que l’objet principal de l’accumulation capitaliste des plateformes n’est plus tellement l’argent, la finance ou les banques, ce sont les données. D’ailleurs, les acteurs de ce nouveau monde rémunèrent assez peu leurs actionnaires et réinvestissent la majorité de leurs résultats pour continuer à grandir, développer leur impact, et bénéficier d’un important effet de réseau.

Alors pourquoi parler de capitalisme numérique ? Parce que cette accumulation de données tient lieu de richesse.

Que valent les données ? Au moment de leur collecte, bien souvent, la valeur marginale d’une donnée, fût-elle à caractère personnel, ne vaut strictement rien. La donnée n’a de valeur que potentielle. D’où l’intérêt de l’accumulation des données qui induit une accumulation non pas de pouvoir, mais de puissance. Cette puissance que construisent les données est celle de fabriquer de nouveaux espaces spéculatifs avec opportunités et risques. Les possesseurs de ces données ont alors la possibilité de gérer ces nouveaux espaces spéculatifs et agir par avance.

### La gouvernementalité algorithmique

Mon thème de prédilection, quasi-obsessionnel depuis des années, est la question de la gouvernementalité algorithmique. Terme un peu barbare, certes, qui part du fait que les data sont devenues les nouvelles coordonnées de modélisation du social. Plutôt que par les nomenclatures ou normes précédentes, normes sociales, juridiques, éthiques, ou même comptables, c’est à partir des données récoltées en temps réel, enrichissant des bases statistiques en extension permanente, que les individus sont classés. « Classés » ne veut plus dire classification, ce terme est encore trop rigide pour le capitalisme numérique. Il vaut mieux parler de profilage : nous sommes dans un monde de hiérarchisation, d’appareillement, de scores, ou de notation. Nous vivons dans une société de notation, ce qui est une nouvelle manière de gouverner les individus.

L’IA est le titre du Colloque, donc je me dois de le mentionner pour annoncer que je ne vais plus prononcer les termes d’« Intelligence artificielle ». Il est préférable de parler d’algorithme, de machine learning, de datamining, de détection de patterns ou de corrélations, ce qui permet d’être plus limité dans les ambitions.

Face à cette nouvelle manière de gouverner les comportements qui consiste à détecter par avance ce dont sont capables les corps grâce à la détection algorithmique de patterns, de modèles de comportements, quels sont les problèmes pour les juristes ? La question est de savoir comment notre droit, issu d’une longue et lente sédimentation langagière dans une civilisation du signe, du signifiant et du texte, peut s’accommoder d’une révolution numérique en passe de nous faire basculer dans une civilisation du signal numérique asignifiant, asémantique, mais calculable, bref : une civilisation de l’algorithme ? Cette évolution rend-elle encore possible l’exercice par le droit de sa fonction anthropologique ? Et qu’est-ce que la fonction anthropologique du droit ? Alain Supiot, juriste français spécialiste du droit du travail et de théorie du droit, professeur au Collège de France depuis 2012, l’explique dans son livre « Homo juridicus : essai sur la fonction anthropologique du droit » (Éditions du Seuil, Paris, 2005). Alain Supiot énonce que faire de chacun de nous un « homo juridicus » est la manière occidentale de lier dimensions biologiques et symboliques de l’être humain. Dans ce contexte, la perspective « cybernétique » dans laquelle nous plonge le capitalisme numérique, la dimension biologique et la dimension symbolique de l’existence humaine ne sont plus appréhendées que comme un pur flux de données quantifiables dans un espace purement métrique. Un espace purement métrique est un espace dans lequel chaque point de données ne s’évalue plus par rapport à un référentiel présent et historiquement localisé dans un espace physique, mais en fonction de sa relation, c’est-à-dire de sa distance statistique ou de la force de la corrélation avec laquelle chaque point de données peut être mis en relation avec un autre point de données. Nous voilà donc dans un espace purement métrique qui génère une réalité numérique sans plus aucun lien, sans plus aucun rapport avec le monde physique dont pourtant cette donnée émane. Le capitalisme numérique résulte donc du fait que les données constituent une nouvelle forme d’infrastructure ou de capital éminemment fongible, reproductible à souhait, virtuellement inépuisable, puisque les données ne risquent pas d’éteindre leur source qui est le monde physique et toutes les relations, interactions et les comportements qui s’y produisent. Et, en outre, ces données sont susceptibles d’être exploitées pour un nombre de fins quasiment infini ou qui n’a de limite que l’imagination de ceux qui veulent s’en servir.

Pour le droit, cela signifie aussi qu’une bonne partie des présupposés épistémiques du fonctionnement même de la discipline juridique se trouvent mis à mal. Affirmation abstraite, que des exemples illustreront par la suite. A titre d’hypothèse, la métaphysique juridique est une métaphysique de séparation, c’est-à-dire que la métaphysique juridique, tout comme le fonctionnement du droit, présuppose une distance ou un espacement entre le monde et ses représentations. A l’opposé de l’idéologie technique des big datas qui présuppose, au contraire, que regarder les données est suffisant pour pouvoir dire tout du monde ; c’est comme si les données étaient le langage des choses mêmes, une espèce de distinction entre les signaux quantifiables et ce que ces signaux sont censés représenter, et donc, in fine, une maladie du signe, un aplatissement de toute représentation.

L’engouement pour l’intelligence des données, perçu dans quasiment tous les domaines d’activité, serait ainsi symptomatique d’une crise radicale de la représentation : non que nos représentations ne soient pas assez fiables ou pas suffisamment réalistes, c’est la représentation en tant que telle qui est rejetée. L’accès au monde doit être immédiat et d’une manière non médiée. On voudrait que le monde parle de lui-même, sans qu’il ne soit plus besoin de l’interpréter, de le représenter, de le transcrire sous une forme symbolique, sous une forme langagière.

Dans une certaine mesure, cette vision fonctionne relativement bien, en regardant par exemple les façons dont opère le machine learning dans des systèmes dits prédictifs. Illustration : dans le domaine de la libération conditionnelle, il existe des prototypes, des algorithmes de recommandation automatique destinés au juge d’application des peines – c’est leur dénomination en Belgique –, qui vont préconiser la libération ou non d’un détenu en fonction de la proximité de ce détenu avec un profil de risques de comportement récidiviste.

Les juges font beaucoup d’erreurs. La décision humaine est difficile, car elle n’est pas toujours objective. Nous sommes pleins de biais, de préjugés de toute sorte, raciaux ou autres. Donc pourquoi pas objectiver une décision ? En outre, il va y avoir une collaboration entre l’homme et la machine puisqu’il ne s’agit que d’une recommandation. Le juge d’application des peines a toujours le loisir de s’écarter de la recommandation. Néanmoins, dans les faits, cette recommandation va avoir une force normative extrêmement contraignante. Ce n’est pas un déterminisme technologique, c’est un déterminisme sociotechnique. Si un juge d’application des peines décide de ne pas suivre la recommandation de maintenir en détention un individu pour lequel l’algorithme a perçu un risque de récidive, c’est parce qu’il connaît personnellement la personne, il l’a rencontrée, il l’a vue plusieurs fois, et le juge pense vraiment que la récidive est très peu probable et que le détenu a de bonnes chances de réinsertion. Imaginons alors que le juge décide la relaxe et qu’il y ait récidive.

Le juge prend alors une responsabilité « au carré » : il aura désobéi à l’algorithme et devra éventuellement justifier sa décision de libération en utilisant le même langage que l’algorithme, donc un langage quantitatif ; c’est quasi-impossible pour un juge. Donc, de fait, la recommandation algorithmique de maintien en détention va avoir pour effet de produire dans la réalité ce qui a été prédit par l’algorithme, c’est de la prophétie auto-réalisatrice.

Un autre exemple. Dans son livre « La théorie du drone », le philosophe français Grégoire Chamayou (2013, La Fabrique Editions), chargé de recherche au CNRS et rattaché à l’Institut d’Histoire des Représentations et des Idées dans les Modernités (IHRIM) évoque des frappes par drones armés Predator sur des cibles désignées par les algorithmes, des personnes non nommément identifiées mais classées en risque potentiel de terrorisme actif en raison d’indices numériques qu’ils ont laissés. Ces personnes sont donc frappées par anticipation. Il sera vraiment impossible d’établir la validité de la modélisation algorithmique dans la mesure où, précisément, on ne saura jamais si la personne préemptivement éliminée serait passée à l’acte sans intervention de l’algorithme et du missile destructeur.

Ce nouveau mode de gouvernement, cette gouvernementalité algorithmique, a pour cible non pas l’actualité, mais le possible ; on peut analyser cela comme un système immunitaire d’une actualité calculable contre l’inqualifiable. La cible n’est plus du tout conforme à la description de Michel Foucault dans la biopolitique (Naissance de la biopolitique, Cours au Collège de France 1978-1979, Gallimard-Seuil, 2004). Foucault identifie comme cibles les malades mentaux, la lèpre, les étrangers, les enfants, etc., bref des cibles aisément identifiables. Dans le cas présent, la cible est beaucoup plus générale, et se trouve partout : c’est l’incertitude, l’altération.

Poussons le raisonnement jusqu’au bout : comment la vie se définit-elle ? Elle est définie précisément par sa capacité d’altération. En conséquence, l’éventuelle mise en place d’un système algorithmique peut être un système immunitaire du calcul de la passibilité des machines contre la passibilité des organismes, contre les événements organiques, contre l’altération, donc contre la vie. Raisonnement extrême, certes, pour stimuler la contradiction.

Beaucoup considèrent comme un mieux l’émergence des algorithmes, y compris dans le domaine de la justice, parce que moins biaisés qu’un juge. Ils seront aussi moins biaisés qu’un policier. Les apports des algorithmes ne sont en général pas professés par les experts de l’algorithmique, mais plutôt par les industriels de la sécurité, qui ont une idéologie technique qu’ils essaient de propager en promettant la rationalisation des pratiques à tous les stades de l’administration et de la justice.

Quelques exemples de déploiements et de perspectives d’application

Le premier stade est la prévention des conflits et des infractions, la police prédictive. La société américaine Palantir Technologies a testé ces technologies de police prédictive à la Nouvelle-Orléans. Entre mai et juin 2013, la Nouvelle-Orléans connaissait le sixième taux le plus important de meurtres et d’assassinats de tous les États-Unis. Palantir a déployé un logiciel permettant l’identification de membres des gangs, déploiement secret car réalisé sous couvert d’un programme philanthropique : new release for life. Nous sommes là dans une logique de prédiction. Le tout étant extrêmement confidentiel, il semble que les informations utilisées soient les liens avec des personnes appartenant notoirement à des gangs, ou des personnes avec des antécédents criminels. La corrélation peut avoir un sens. D’autres informations viennent des médias sociaux. Une fois identifiée des individus potentiellement acteurs dans des violences, se met en œuvre un programme de prévention ou de participation à des programmes de socialisation. Complexe, car la présomption d’innocence fait partie des grands principes de la justice.

Au niveau de la résolution judiciaire, on parle de Smart Legal Research, et de préparation du travail des juges par des algorithmes, avec des systèmes de recherche dans toutes les lois et toute la jurisprudence existante. Effectivement, pour ceci, un algorithme sera plus efficace qu’un juriste. La difficulté à venir est que juges et avocats ne s’inspireront plus que de ce qui a été produit.

Certains ont émis l’idée que l’automatisation du travail des juges, et même le remplacement des juges par des robots, pourraient être un « plus », par exemple s’il y a corruption de la justice. Néanmoins, les algorithmes des « juges-robots » auront été entraînés à partir de jugements venant de juges corrompus.

Je voudrais citer Bernard Stiegler, philosophe français travaillant sur les mutations actuelles liées au développement technologique et numérique, par ailleurs créateur et président du groupe Ars Industrialis ; il dirige également depuis 2006 l’Institut de recherche et d’innovation (IRI) au sein du centre Georges Pompidou. Stiegler énonce qu’il n’y a pas, pour l’instant, tant d’Intelligence artificielle et mais plutôt de la bêtise artificielle. A réfléchir, car, en plus, avec une contestabilité plus difficile des décisions, parce que rendues par un algorithme perçu comme objectif, neutre et impartial, il y a un risque de biais gigantesque.

Il y a également des algorithmes qui peuvent être utilisés pour prédire les résultats de décisions judiciaires. Cela peut être vu comme une solution opérationnelle et d’optimisation de l’action judiciaire, car les tribunaux sont encombrés par des causes perdues. Si un citoyen a dans l’idée de faire appel à la justice, il peut anticiper et faire analyser son cas par un algorithme qui va prédire la probabilité de succès de la procédure à venir. Evidemment, les assurances voudront intervenir, et, par exemple, exiger des cabinets d’avocats l’utilisation de ces algorithmes en refusant d’assurer ceux qui ne le feront pas. Le principe d’égalité d’accès à la justice va être tout à fait mis à mal.

Autre exemple : l’évaluation des montants adéquats d’une indemnité ou d’une pénalité. Situation parfois hétérogène, avec des décisions non déterministes des juges. Un algorithme d’évaluation des pénalités pourrait être une aide pour donner une impression de partialité et d’inégalité très diminuées. Mais qu’en est-il de l’indépendance des juges, qui seront mis en concurrence les uns par rapport aux autres, puisque l’on va savoir ce que fait tel ou tel juge ? Or, le principe d’indépendance de la décision judiciaire est primordial.

Un dernier exemple positif : l’automatisation ou la sous-traitance des services juridiques à des machines pourrait être intéressante dans un certain nombre de situations. Il arrive que les bénéficiaires d’allocations sociales affrontent une relative opacité bureaucratique qui, parfois, les empêche d’exercer effectivement leurs droits. Mettre des algorithmes à leur service serait utile, en référence au droit des gouvernés invoqué par Michel Foucault.

### Vive l’homo juridicus

Pour terminer, il est fondamental que les juristes prennent en compte les ambitions épistémiques tout à fait particulières de ces algorithmes. Le fait est qu’il ne s’agit pas de causalité mais de corrélation, que l’objectif n’est pas le présent, mais l’avenir, que le sujet d’expérience n’est pas constitué de personnes, mais de profils. Un profil n’est jamais une personne en particulier, c’est seulement un espace spéculatif de comportements possibles.

Or, un juge, quand il a à se prononcer, observe des comportements et non des personnes. Le droit est une métaphysique de l’absence ou de la séparation : les faits et le droit sont différents. Un état de fait, des données, ne peuvent pas servir à établir des normes, par exemple. La normativité juridique, la loi, transcende l’état de fait. Elle ne peut pas en être déduite.

Les algorithmes aujourd’hui produisent de la normativité immanente au réel. L’individu est irréductible à ses comportements. Une des leçons, étrangement pertinente aujourd’hui, que Hannah Arendt a tirées de l’expérience du totalitarisme, c’est que le premier pas essentiel sur la route menant à la domination totale consiste à tuer en l’homme la personne juridique, à nier la fonction anthropologique du droit au nom d’un prétendu réalisme biologique, politique ou économique, on pourrait même ajouter « numérique ». Il s’agit là d’un point commun à toutes les entreprises totalitaires. Cette leçon semble aujourd’hui oubliée par les juristes qui soutiennent que la personne juridique est un pur artefact sans rapport avec l’être humain concret. Artefact, la personne juridique l’est, à n’en pas douter. Mais dans l’univers symbolique qui est le propre de l’homme – univers symbolique et pas numérique – tout est artefact. La personnalité juridique n’est certes pas un fait de nature, c’est une certaine représentation de l’homme qui postule l’unité de sa chair et de son esprit et qui interdit de le réduire à son être biologique ou à son être mental.

Cet interdit est visé par ceux qui cherchent aujourd’hui à disqualifier le sujet de droit au profit de profils quantifiables, par exemple, pour pouvoir appréhender l’être humain comme une simple unité de compte et le traiter comme du bétail ou, ce qui revient au même, comme une pure abstraction.

La mission qui nous incombe à nous, juristes, est de penser les modalités spécifiques et les opérations techniques du droit à travers lesquelles le droit permet l’émergence et la survivance de sujets comme puissance d’individuation d’un commun sachant hériter du passé et accueillir l’avenir, donc d’un commun qui n’est assignable à aucun présent calculé numériquement. Telle est la tâche cruciale et non différable qui incombe aux juristes, sous peine de voir se dissoudre l’homo juridicus en homo numericus.