larlet-fr-david-cache/cache/8d647be8b3060ad93349f551fe8a8cbd/index.md

title: Concrètement, comment rendre les algorithmes responsables et équitables ?
url: http://www.internetactu.net/2018/07/19/concretement-comment-rendre-les-algorithmes-responsables-et-equitables/
hash_url: 8d647be8b3060ad93349f551fe8a8cbd

<p>Face aux multiples biais inscrits dans la production même des données utilisées par les algorithmes et les outils d’apprentissage automatisés, le risque, rappelle la chercheuse <a href="http://katecrawford.net/">Kate Crawford</a> (<a href="https://twitter.com/katecrawford">@katecrowford</a>), co-fondatrice de l’<a href="https://ainowinstitute.org">AI Now Institute</a> (<a href="https://twitter.com/AINowInstitute">@AINowInstitute</a>), est que <em>« plutôt que de concevoir des systèmes censés résoudre les problèmes, nous les exacerbions »</em>. La question à laquelle sont confrontés les ingénieurs consiste à trouver les modalités pour rendre les systèmes techniques plus responsables, plus équitables. Les initiatives en ce sens se multiplient : en mai, le conseil municipal de New York, sous la responsabilité de <a href="https://twitter.com/carmelynmalalis">Carmelyn Malalis</a>, responsable de la <a href="https://www1.nyc.gov/site/cchr/index.page">Commission sur les droits de l’homme de la ville</a>, <a href="https://www1.nyc.gov/office-of-the-mayor/news/251-18/mayor-de-blasio-first-in-nation-task-force-examine-automated-decision-systems-used-by">a adopté un projet de loi et lancé un groupe de travail</a> sur les biais algorithmiques, <a href="https://www.nature.com/articles/d41586-018-05469-3">rapporte <em>Nature</em></a> en évoquant également <a href="https://www.wired.com/story/emmanuel-macron-talks-to-wired-about-frances-ai-strategy/">les promesses du président français de rendre le code des algorithmes publics ouvert</a>, ou les appels du gouvernement britannique à rendre les données utilisées par les services publics transparents et responsables, en se dotant <a href="https://www.gov.uk/government/publications/data-ethics-framework/data-ethics-framework">d’un cadre éthique des données</a>. Ce cadre éthique rappelle quelques grandes évidences, comme inviter les concepteurs à être clairs sur leurs objectifs, à utiliser les données d’une manière proportionnée aux besoins en cherchant à les minimiser, à en comprendre les limites et à avoir une approche responsable… et complète <a href="http://internetactu.net/a-lire-ailleurs/nesta-principes-pour-la-prise-de-decision-algorithmique-du-secteur-public/">les principes émis par le Nesta pour améliorer la prise de décision algorithmique </a>. Mais rendre les algorithmes équitables, responsables et efficaces n’est pas si simple. Ces questions ne sont pas nouvelles, rappelle l’article de <em>Nature</em>, mais à mesure que de grands ensembles de données et des modèles plus complexes se répandent, <em>« il devient de plus en plus difficile d’ignorer leurs implications éthiques »</em>, explique le spécialiste de la justiciabilité des algorithmes <a href="http://cs.utah.edu/~suresh/">Suresh Venkatasubramanian</a> (<a href="https://twitter.com/geomblog">@geomblog</a>, <a href="https://algorithmicfairness.wordpress.com/">blog</a>). </p>
<p>L’article de <em>Nature</em> revient bien sûr sur la difficulté à créer des services algorithmiques responsables en évoquant notamment l’outil de prédiction du risque de maltraitance et d’agression d’enfants développés par le bureau de l’enfance, de la jeunesse et des familles du comté d’Allegheny en Pennsylvanie, qu’avait étrillé le livre de Virginia Eubanks, <a href="http://internetactu.net/2018/01/15/de-lautomatisation-des-inegalites/">dont nous avions rendu compte</a> ou les limites des logiciels de police prédictive (<a href="http://internetactu.net/search/predpol">dont nous avons également déjà beaucoup parlé</a>). Et rappelle la difficulté à définir mathématiquement l’équité, comme <a href="https://youtube.com/watch?v=jIXIuYdnyyk">l’a souligné</a> l’informaticien <a href="http://randomwalker.info/">Arvind Narayanan</a> (<a href="https://twitter.com/random_walker">@random_walker</a>) lors de la dernière édition de <a href="https://fatconference.org">la conférence FAT</a> (la conférence annuelle sur l’équité, la responsabilité et la transparence). Outre les biais et déséquilibres statistiques, rappelle <a href="https://david.robinsonian.com/">David Robinson</a> (<a href="https://twitter.com/dgrobinson">@drobinsonian</a>), responsable des associations <a href="https://medium.com/equal-future">EqualFuture</a> et <a href="https://www.teamupturn.org/">Upturn</a> (et qui a notamment publié <a href="http://omidyar.com/sites/default/files/file_archive/Public%20Scrutiny%20of%20Automated%20Decisions.pdf">un rapport sur la question de l’examen public des décisions automatisées (.pdf)</a>), leur impact dépend surtout de la manière dont sont utilisés ces systèmes, avec le risque, que pointait Eubanks, que les plus discriminés soient encore plus surveillés par ces systèmes. </p>
<p><img src="http://www.internetactu.net/wp-content/uploads/2018/07/AI-Now-Institute-1024x669.png" alt="Page d'accueil de l'AI Now Institude" title="Page d'accueil de l'AI Now Institude" class="aligncenter size-large wp-image-32514" srcset="http://www.internetactu.net/wp-content/uploads/2018/07/AI-Now-Institute-1024x669.png 1024w, http://www.internetactu.net/wp-content/uploads/2018/07/AI-Now-Institute-300x196.png 300w, http://www.internetactu.net/wp-content/uploads/2018/07/AI-Now-Institute-768x502.png 768w, http://www.internetactu.net/wp-content/uploads/2018/07/AI-Now-Institute.png 1265w" sizes="(max-width: 1024px) 100vw, 1024px"/></p>
<p/><h2>Comment traquer les biais ?</h2>
<p>Pour remédier à ces problèmes, beaucoup d’agences américaines ont recours à des chercheurs extérieurs pour déjouer les biais de leurs systèmes. En avril, l’<a href="https://ainowinstitute.org/">AI Now Institute</a> a <a href="https://medium.com/@AINowInstitute/algorithmic-impact-assessments-toward-accountable-automation-in-public-agencies-bd9856e6fdde">défini un cadre</a> (<a href="https://ainowinstitute.org/aiareport2018.pdf">voir le rapport (.pdf)</a>) pour les organismes publics qui souhaitent mettre en place des outils de prise de décision algorithmique, recommandant notamment de mettre à contribution la communauté de la recherche et de permettre à ceux que le système calcul de faire appel des décisions prises à leur sujet. Ce travail d’évaluation de l’impact algorithmique rappelle que les systèmes de décision automatisés sont déjà nombreux. L’initiative AI Now a appelé à la fin de l’utilisation de systèmes opaques pour les décisions publiques, afin d’assurer l’équité et la régularité des procédures et se prémunir contre la discrimination. Leurs recommandations invitent les systèmes à respecter le droit d’information du public, à recourir à des examens par des chercheurs indépendants, à améliorer l’expertise des organismes qui les conçoivent et à développer des modalités pour permettre au public de contester les décisions prises. L’initiative recommande aux agences publiques de répertorier et décrire les systèmes de décision automatisés, y compris d’évaluer leur portée et impact. Elle recommande également de mettre en place des modalités d’accès afin que des chercheurs, des experts indépendants, des associations ou des journalistes puissent accéder et évaluer ces systèmes et pour cela doivent s’assurer notamment que leurs fournisseurs privés de systèmes acceptent ces vérifications. Elle souligne également que les agences doivent monter en compétences pour être expertes des systèmes qu’elles mettent en place, notamment pour mieux informer le public, et invite les fournisseurs de solutions à privilégier l’équité, la responsabilité et la transparence dans leurs offres. Cela permettrait également aux organismes publics de développer des procédures de médiation, d’appel ou de réfutation des décisions prises. Obliger les systèmes à publier des analyses d’impact de leurs outils de décision automatisé pourrait enfin permettre au public d’évaluer les outils et la transparence des services.  </p>
<p>La question de la mesure d’impact avait déjà été pointée par le travail original de <a href="http://nickdiakopoulos.com">Nicholas Diakopoulos</a> (<a href="https://twitter.com/ndiakopoulos">@ndiakopoulos</a>) et <a href="http://sorelle.friedler.net/">Sorelle Friedler</a> (<a href="https://twitter.com/kdphd">@kdphd</a>) pour <a href="https://datasociety.net">Data &amp; Society</a> réalisé en 2016 dont <a href="http://internetactu.net/a-lire-ailleurs/comment-rendre-les-algorithmes-responsables/">nous avions rendu compte</a>. Le rapport de l’AI Now Institute a depuis tenté de compléter la proposition, mais il demeure difficile de saisir, pratiquement, à quoi pourrait ressembler une déclaration d’impact. Pour cela, le chercheur <a href="https://andrewselbst.com/">Andrew Selbst</a> (<a href="https://twitter.com/aselbst">@aselbst</a>) recommande, <a href="https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2819182">dans un de ses articles</a>, de s’inspirer des <a href="https://fr.wikipedia.org/wiki/Étude_d%27impact">études d’impact environnementales</a> (<a href="https://www.ecologique-solidaire.gouv.fr/levaluation-environnementale">voir également les explications sur le site du Ministère de la transition écologique et solidaire</a>), afin de faire établir un rapport sur l’efficacité et le caractère discriminatoire des systèmes automatisés, qui seraient soumis à évaluation publique (ou qui pourrait fonctionner sur le modèle des <a href="https://cnil.fr/fr/ce-quil-faut-savoir-sur-lanalyse-dimpact-relative-la-protection-des-donnees-aipd">Analyses d’impact relatives à la protection des données de la Cnil</a>). Bien sûr, Andrew Selbst n’en est pas moins critique sur les études d’impact. Dans le cadre environnemental, ces études s’avèrent longues, coûteuses (jargonneuses) et pas toujours très utiles. Cependant, elles permettent de responsabiliser le producteur de traitement automatisé, d’explorer des alternatives argumentées (et donc de mieux comprendre les options choisies comme celles rejetées) et de mieux expliciter les conséquences des systèmes.   </p>
<p><img src="http://www.internetactu.net/wp-content/uploads/2018/07/171002_fiche_risque_fr_screen_rgb-1024x724.jpg" alt="Matrice de déclaration d'impact relative à la protection des données par la CNIL" title="Matrice de déclaration d'impact relative à la protection des données par la CNIL" class="aligncenter size-large wp-image-32515" srcset="http://www.internetactu.net/wp-content/uploads/2018/07/171002_fiche_risque_fr_screen_rgb-1024x724.jpg 1024w, http://www.internetactu.net/wp-content/uploads/2018/07/171002_fiche_risque_fr_screen_rgb-300x212.jpg 300w, http://www.internetactu.net/wp-content/uploads/2018/07/171002_fiche_risque_fr_screen_rgb-768x543.jpg 768w" sizes="(max-width: 1024px) 100vw, 1024px"/></p>
<p>Mais ce n’est pas la seule piste qui permettrait d’interroger les biais des systèmes automatisés. Microsoft travaille à un outil de détection automatique des biais, Facebook également (notamment via le projet Fairness Flow <a href="https://cnet.com/news/facebook-starts-building-ai-with-an-ethical-compass/">annoncé</a> par <a href="https://research.fb.com/people/kloumann-isabel-mette/">Isabel Kloumann</a> du <a href="https://research.fb.com/category/facebook-ai-research/">département d’IA de FB research</a> à la dernière conférence de F8 Conference parmi une longue liste <a href="https://facebook.ai/developers/">d’outils pour l’IA</a>)  <a href="https://www.technologyreview.com/s/611138/microsoft-is-creating-an-oracle-for-catching-biased-ai-algorithms/">rapporte la <em>Technology Review</em></a>. <a href="https://fastcompany.com/40583554/this-tool-lets-you-see-and-correct-the-bias-in-an-algorithm">Accenture a également lancé un outil de ce type</a>. D’autres chercheurs, comme <a href="https://cbw.sh">Christo Wilson</a> (<a href="https://twitter.com/bowlinearl">@bowlinearl</a>), travaillent à construire des outils pour simuler des systèmes afin d’en découvrir les biais, via des formes de rétro-ingénierie très convaincantes, à l’image de ce qu’il a construit <a href="https://dl.acm.org/citation.cfm?id=2815681">pour comprendre l’algorithme de tarification d’Uber</a> ou du travail réalisé pour <a href="https://dl.acm.org/citation.cfm?doid=3173574.3174225">comprendre les biais de genre des moteurs de recherche d’emplois</a>. Wilson est notamment responsable d’un <a href="http://personalization.ccs.neu.edu/">groupe de recherche sur l’audit algorithmique</a> créé par le collège d’informatique de l’université Northeastern. En mai, <a href="http://rayidghani.com">Rayid Ghani</a> (<a href="twitter.com/rayidghani">@rayidghani</a>), directeur du <a href="https://dsapp.uchicago.edu/">Centre pour la Science des données et les politiques publiques de l’université de Chicago</a> a lancé un logiciel open source, <a href="https://dsapp.uchicago.edu/aequitas/">Aequitas</a>, pour aider les ingénieurs à auditer leurs modèles. </p>
<p><img src="http://www.internetactu.net/wp-content/uploads/2018/07/fairnesstreeaequitas-1024x640.png" alt="L'arbre de décision équitable d'Aequitas" title="L'arbre de décision équitable d'Aequitas" class="aligncenter size-large wp-image-32516" srcset="http://www.internetactu.net/wp-content/uploads/2018/07/fairnesstreeaequitas-1024x640.png 1024w, http://www.internetactu.net/wp-content/uploads/2018/07/fairnesstreeaequitas-300x188.png 300w, http://www.internetactu.net/wp-content/uploads/2018/07/fairnesstreeaequitas-768x480.png 768w, http://www.internetactu.net/wp-content/uploads/2018/07/fairnesstreeaequitas.png 1200w" sizes="(max-width: 1024px) 100vw, 1024px"/></p>
<p>La mathématicienne Cathy O’Neil (<a href="https://twitter.com/mathbabedotorg">@mathbabedotorg</a>, <a href="https://mathbabe.org">blog</a>), qui <a href="http://internetactu.net/search/Cathy+O%27Neil">s’est fait connaître en dénonçant les dangers de ces outils</a>, a lancé <a href="http://oneilrisk.com">une entreprise d’audit algorithmique</a>. Visiblement, <a href="https://www.wired.com/story/want-to-prove-your-business-is-fair-audit-your-algorithm/">souligne <em>Wired</em></a>, ses premiers clients sont des entreprises qui ont besoin de certifier qu’elles sont équitables : comme cela a été le cas de <a href="https://rentlogic.com/">Rentlogic</a>, une entreprise qui évalue les immeubles automatiquement pour leur attribuer une note, ou comme <a href="https://www.pymetrics.com">Pymetrics</a>, une entreprise qui utilise des tests de personnalité pour aider les entreprises à embaucher qui avait besoin d’assurer que ses logiciels n’étaient pas discriminants. L’article de <em>Wired</em> rappelle que s’il n’existe pas de protocole standard pour ces audits réalisés par des entreprises indépendantes, ceux-ci sont rarement altruistes. <em>« Les entreprises peuvent avoir à prouver aux régulateurs que leur technologie ne discrimine pas une catégorie de personnes protégée. Pour d’autres, un audit pourrait empêcher de futurs litiges. Pour d’autres encore, recevoir un sceau d’approbation de la part d’un tiers est un outil marketing, suggérant aux clients potentiels qu’ils peuvent avoir confiance… Quelle que soit la raison, de plus en plus d’entreprises se soumettent à des audits externes, signe qu’ils peuvent devenir la norme »</em>. Mais si l’audit est une pratique courante, ce n’est pas encore le cas de l’audit des systèmes algorithmiques. </p>
<p>Tant et si bien que certains chercheurs et activistes en appellent à un moratoire à l’utilisation d’algorithmes dans certains domaines, comme la justice pénale, à l’exemple du <a href="http://www.law.nyu.edu/centers/race-inequality-law">Centre sur la race, l’inégalité et la loi</a> de l’école de droit de l’université de New York. </p>
<h2>Comment passer des serments éthiques à leur implémentation concrète ?</h2>
<p>Autre réponse aux difficultés actuelles, ces derniers temps, la publication de déclarations éthiques a connu une rare inflation. <a href="https://blog.google/technology/ai/ai-principles/">Google a notamment proposé des objectifs et principes très généraux pour cadrer ses développements en intelligence artificielle</a>. Dans son livre, <em><a href="https://amzn.to/2uLQMNe">Weapons of Math Destruction</a></em>, Cathy O’Neil avait émis l’idée de créer un serment d’Hippocrate pour les datascientists, sous la forme d’un code de conduite édictant quelques principes moraux. <a href="http://wired.co.uk/article/data-ai-ethics-hippocratic-oath-cathy-o-neil-weapons-of-math-destruction">Elle soulignait dans une remarquable interview pour <em>Wired</em></a>, que ce code de conduite n’était certes pas suffisant en soi, notamment parce que les datascientists ne sont pas seuls à décider de ce qui sera implémenté dans les services développés par les entreprises. Pour autant, ces techniciens ne peuvent pas seulement suivre <em>« les recommandations des manuels d’optimisation qu’ils utilisent, sans tenir compte des conséquences plus larges de leur travail »</em>. Cathy O’Neil a proposé une matrice éthique, <a href="https://www.tandfonline.com/doi/pdf/10.1080/11287462.2004.10800856">basée sur les travaux du philosophe Ben Mepham qui l’a utilisé en bioéthique</a>, qui aide à saisir ce sur quoi ce que l’on développe a un impact, et de l’autre ce dont s’inquiète les gens qui sont impactés par ce que l’on développe. Cette grille confronte quelques notions (exactitude, cohérence, partialité, transparence, équité, rapidité) à leur impact sur chacune des parties prenantes. La matrice sert à créer une conversation. Chaque case propose des questions : <em>« qui souffre si le système se trompe ? »</em> Le but est de révéler des problèmes. Quand la réponse pose problème, la case est colorée de rouge. </p>
<p><img src="http://www.internetactu.net/wp-content/uploads/2018/07/cathyoneilmatrix-1024x768.jpg" alt="La matrice éthique de Cathy O'Neil" title="La matrice éthique de Cathy O'Neil" class="aligncenter size-large wp-image-32517" srcset="http://www.internetactu.net/wp-content/uploads/2018/07/cathyoneilmatrix-1024x768.jpg 1024w, http://www.internetactu.net/wp-content/uploads/2018/07/cathyoneilmatrix-300x225.jpg 300w, http://www.internetactu.net/wp-content/uploads/2018/07/cathyoneilmatrix-768x576.jpg 768w, http://www.internetactu.net/wp-content/uploads/2018/07/cathyoneilmatrix.jpg 1200w" sizes="(max-width: 1024px) 100vw, 1024px"/><br/>
<em>Image : la matrice éthique de Cathy O’Neil, présentée sur la scène de la <a href="https://nyk.brandwatch.com">Now You Know Conference</a> de mai 2018 à Chicago via <a href="https://twitter.com/joodoo9/status/993899052713545728">Giles Palmer</a>.</em></p>
<p>Elle propose également de se poser plusieurs questions, comme <em>« les algorithmes que nous déployons vont-ils améliorer les processus humains qu’ils remplacent ? »</em> Bien souvent, on constate qu’ils fonctionnent beaucoup plus mal que les systèmes précédents. Pour elle, il est également nécessaire de se demander : <em>« pour qui l’algorithme échoue-t-il ? »</em> Un système de reconnaissance facial échoue-t-il plus souvent pour les femmes que pour les hommes, pour les gens de couleurs que pour les blancs, pour les personnes âgées que pour les jeunes ?… Enfin, elle invite à se poser une troisième catégorie de questions : « est-ce que cela fonctionne pour la société (donc à très large échelle) ? Est-ce que nous enregistrons les erreurs du système ? Peut-on les réintroduire dans l’algorithme pour l’améliorer ? Est-ce que le système a des conséquences non intentionnelles ?… » Et la chercheuse de rappeler qu’aucunes de ces questions ne mettent en danger les secrets des algorithmes que les entreprises veulent protéger. Même sur la question de l’audit des algorithmes, explique-t-elle, elles n’ont pas nécessairement besoin de dévoiler leurs algorithmes magiques. Il suffirait d’effectuer des tests avec des données pas nécessairement d’avoir accès au code source de leurs systèmes. </p>
<p>Pour l’instant, Cathy O’Neil a refusé de signer les serments d’Hippocrate pour les datascientists qui lui ont été soumis. Pour elle, trop souvent, ils n’insistent pas assez sur la responsabilité du datascientist. </p>
<p>Bon, cela n’a pas refroidi les initiatives. En février, <a href="https://www.wired.com/story/should-data-scientists-adhere-to-a-hippocratic-oath/">Tom Simonite pour <em>Wired</em></a> rapportait les échanges qui avaient lieu lors de la conférence Data For Good Exchange, organisée par DJ Patil, l’ancien datascientist de l’administration Obama, et qui avaient donné lieu à <a href="https://github.com/Data4Democracy/ethics-resources">une première liste de principes éthiques</a> (qui a visiblement abouti depuis <a href="https://datapractices.org/community-principles-on-ethical-data-sharing/">à ce code de conduite sur l’éthique des pratiques des données</a>). Un des participants est demeuré sceptique : <em>« Le projet de serment ressemble à une liste de principes généraux avec lesquels personne ne serait en désaccord »</em>. Simonite souligne que le milieu ne dispose ni d’autorité ni de législation pour faire respecter des règles de pratique de toute façon. Et si les formations de datascientist se multiplient, nombre de ceux qui font ce travail sont des autodidactes. <a href="https://blogs.microsoft.com/blog/2018/01/17/future-computed-artificial-intelligence-role-society/">Dans son long rapport sur l’IA et la société</a>, Microsoft estime que des principes de base pourraient être utiles. <em>« Mais le président de Microsoft, Brad Smith, suggère que l’entreprise ne s’attend pas à ce que les clients qui construisent des systèmes d’intelligence artificielle en utilisant les services d’informatique en nuage de Microsoft répondent nécessairement aux mêmes normes. »</em> </p>
<p><img src="http://www.internetactu.net/wp-content/uploads/2018/07/Community-Principles-on-Ethical-Data-Sharing-1024x669.png" alt="Code de conduite sur l'éthique des données" title="Code de conduite sur l'éthique des données" class="aligncenter size-large wp-image-32518" srcset="http://www.internetactu.net/wp-content/uploads/2018/07/Community-Principles-on-Ethical-Data-Sharing-1024x669.png 1024w, http://www.internetactu.net/wp-content/uploads/2018/07/Community-Principles-on-Ethical-Data-Sharing-300x196.png 300w, http://www.internetactu.net/wp-content/uploads/2018/07/Community-Principles-on-Ethical-Data-Sharing-768x502.png 768w, http://www.internetactu.net/wp-content/uploads/2018/07/Community-Principles-on-Ethical-Data-Sharing.png 1265w" sizes="(max-width: 1024px) 100vw, 1024px"/></p>
<p><img src="http://www.internetactu.net/wp-content/uploads/2018/07/Serment-d-Hippocrate-pour-Data-Scientist-300x172.png" alt="" class="alignright size-medium wp-image-32519" srcset="http://www.internetactu.net/wp-content/uploads/2018/07/Serment-d-Hippocrate-pour-Data-Scientist-300x172.png 300w, http://www.internetactu.net/wp-content/uploads/2018/07/Serment-d-Hippocrate-pour-Data-Scientist.png 624w" sizes="(max-width: 300px) 100vw, 300px"/>Le militant pour la protection de la vie privée <a href="https://ar.al/">Aral Balkan</a> (<a href="https://twitter.com/aral">@aral</a>) estime qu’un code d’éthique risque surtout d’être utilisé comme caution de vertu par les entreprises pour continuer à faire comme d’habitude. Appliquer le RGPD aux États-Unis aurait plus d’impact pour prévenir les dommages algorithmiques. <a href="https://virginia-eubanks.com/2018/02/21/a-hippocratic-oath-for-data-science/">Sur son blog</a>, Virginia Eubanks a réagi en proposant plutôt un « serment de non-violence numérique », qui, dans la forme au moins, est plus impliquant pour celui amené à le prononcer que de signer à quelques grands principes vagues. <a href="https://www.forbes.com/sites/baininsights/2018/06/13/data-scientists-take-a-hippocratic-oath/#7ac069f61bcb">Sur <em>Forbes</em></a>, <a href="http://www.bain.com/about/people-and-values/our-team/profiles/lori-sherer.aspx">Lori Sherer de Bain &amp; Company</a> proposait également de transcrire le serment d’Hippocrate à l’intention des datascientists. Le think tank britannique qui milite pour un internet plus équitable <a href="https://doteveryone.org.uk/">DotEveryOne</a> (<a href="https://twitter.com/doteveryoneuk">@doteveryone</a>) en <a href="https://medium.com/doteveryone/oaths-pledges-and-manifestos-a-master-list-of-ethical-tech-values-26e2672e161c">a recensé des centaines</a> (sous forme de principes, serments, manifestes… <a href="https://docs.google.com/document/d/1SN6hYeKe3eRK6x9D0Sr7GpCA4nirpyo3u68xG1A6NDs/edit#">voir la liste</a>) et en a proposé <a href="https://medium.com/doteveryone/the-tech-industry-needs-a-moral-compass-3ce1665a287f">un très court</a>. La France n’est pas en reste, <a href="https://abonnes.lemonde.fr/festival/article/2018/07/05/un-serment-d-hippocrate-pour-les-professionnels-de-l-intelligence-artificielle_5326218_4415198.html">rapportait récemment <em>Le Monde</em></a> : l’association <a href="https://dataforgood.fr/">Data for good</a> (<a href="https://twitter.com/dataforgood_fr">@dataforgood_fr</a>) a publié <a href="https://www.hippocrate.tech/">un serment d’Hippocrate pour datascientists</a> et un collectif d’entrepreneurs franco-américains ont publié <a href="https://www.holbertonturingoath.org/">le serment Holberton-Turing</a>. </p>
<p><img src="http://www.internetactu.net/wp-content/uploads/2018/07/Serment-d-Hippocrate-pour-Data-Scientist-1.png" alt="Les principes du serment d'Hippocrate de Data for Good" title="Les principes du serment d'Hippocrate de Data for Good" class="aligncenter size-full wp-image-32520" srcset="http://www.internetactu.net/wp-content/uploads/2018/07/Serment-d-Hippocrate-pour-Data-Scientist-1.png 748w, http://www.internetactu.net/wp-content/uploads/2018/07/Serment-d-Hippocrate-pour-Data-Scientist-1-292x300.png 292w" sizes="(max-width: 748px) 100vw, 748px"/></p>
<p>Les deux initiatives s’inspirent du <a href="https://fr.wikipedia.org/wiki/Serment_d%27Hippocrate">serment d’Hippocrate</a> que les médecins prêtent à la fin de leurs études. Ce rite de passage qui a plus valeur morale que portée juridique (par rapport au code de déontologie par exemple) rappelle aux médecins qu’ils ont des obligations  légales, morales et éthiques. Mais, comme l’explique très bien l’écrivain et médecin <a href="https://fr.wikipedia.org/wiki/Martin_Winckler">Martin Winckler</a> (<a href="http://martinwinckler.com/">blog</a>, <a href="https://twitter.com/MartinWinckler">@MartinWinckler</a>) dans l’édifiant <em><a href="https://amzn.to/2zRxBr7">Les brutes en blanc</a></em> (2016), son ouvrage sur la maltraitance médicale, l’éthique n’a cessé d’évoluer. Dans le serment d’Hippocrate originel, il est ainsi interdit aux médecins d’offrir aux femmes la possibilité d’avorter sans que leur mari  l’ait décidé. L’éthique se définit toujours par rapport à la morale dominante… rappelle Winckler. Pour lui, le serment d’Hippocrate derrière lequel se cache le corps médical est devenu une barrière à l’évolution des pratiques éthiques (comme de reconsidérer les questions de fin de vie ou de maltraitance). Le serment ne protège pas de la culture propre à chaque discipline, et le prêter ne protège pas de l’asymétrie de la relation entre le médecin et le patient, pas plus qu’elle ne protège de l’asymétrie entre le système de calcul et le calculé. Les règles de conduite ne suffisent pas toujours à créer des repères moraux. Dans son livre, Winckler finalement propose une autre approche qu’il faudrait certainement explorer, en donnant des conseils pratiques aux patients. Est-ce à dire qu’il faudrait plutôt construire des principes pour les calculés plutôt que pour les calculeurs ?   </p>
<p><a href="https://oreilly.com/ideas/doing-good-data-science">Sur O’Reilly Media</a>, Mike Loukides (<a href="https://twitter.com/mikeloukides">@mikeloukides</a>), <a href="https://hilarymason.com/">Hilary Mason</a> (<a href="https://twitter.com/hmason">@hmason</a>) et DJ Patil (<a href="https://twitter.com/dpatil">@dpatil</a>, <a href="https://medium.com/@dpatil">blog</a>), l’ancien datascientist de l’administration Obama, rappellent que les spécialistes des données n’ont pas attendu les problèmes récents pour se doter de codes d’éthique, à l’image du <a href="https://acm.org/about-acm/acm-code-of-ethics-and-professional-conduct">code d’éthique de l’ACM</a>, l’une des grandes associations du secteur informatique, qui date de 1993, ou <a href="http://amstat.org/asa/files/pdfs/EthicalGuidelines.pdf">celui (.pdf)</a> de l’Association américaine de statistique… Mais l’enjeu demeure de les mettre en pratique. <em>« Tout code d’éthique des données vous indiquera que vous ne devez pas collecter des données de sujets expérimentaux sans leur consentement éclairé. Mais ce code de conduite ne vous dira pas comment implémenter ce consentement éclairé. Or, celui-ci est facile si vous interrogez quelques personnes pour une expérience de psychologie. Mais il signifie quelque chose de bien différent en ligne »</em>. Et ce n’est pas la même chose bien sûr de demander la permission via une fenêtre pop-up par exemple ou que via une case précochée cachée… La mise en oeuvre de principes éthiques englobe des questions qui vont des choix dans l’interface utilisateur aux choix de structuration des données ou d’interrogation des données de connexion. Et pose la question de rendre néanmoins le service utilisable sans dégrader l’expérience utilisateur… L’enjeu consiste à réfléchir <em>« à la mise en oeuvre pratique des principes éthiques »</em>, et à partager les meilleures pratiques. Comment par exemple concevoir une expérience utilisateur équitable sans rendre l’application inutilisable ? Faut-il mieux montrer aux utilisateurs une fenêtre pop-up avec des informations juridiques ou guider longuement l’utilisateur dans des explications sur les choix qu’il peut faire (pas sûr que l’un ou l’autre ne soient de bonnes options ni qu’ils ne rencontrent une grande approbation des utilisateurs comme des concepteurs d’ailleurs) ? Comment vérifier que les applications soient équitables si nous décidons de ne plus recourir à des données sensibles ? … <em>« En tant que technologues, nous partageons fréquemment de bonnes pratiques dans les conférences, sur nos blogs, via les technologies open source que nous développons, mais nous discutons rarement de problèmes tels que comment obtenir un consentement éclairé de l’utilisateur ».</em></p>
<p>Pour les trois auteurs, il est nécessaire de créer des cultures d’entreprises où l’on peut avoir ces discussions. <em>« Il nous faut réfléchir aux conséquences involontaires produites par ce que nous imaginons »</em>. Cela nécessite de créer ces espaces et ces temps dans les calendriers mêmes des projets. Il est nécessaire également de pouvoir arrêter la chaîne de production en cas de problème, surtout à l’heure du développement agile et du déploiement en temps réel de nouvelles fonctionnalités… L’autre problème, soulignent les auteurs, est bien sûr que les environnements d’entreprises sont souvent hostiles à tout autre chose qu’à la rentabilité à court terme. Si, <a href="https://www.linkedin.com/pulse/ethics-shape-customer-experience-ai-susan-etlinger/">comme le disait Susan Etlinger</a>, l’éthique est un bon investissement, les changements de la culture d’entreprise, eux, prendront du temps. Reste, rappellent-ils, que les utilisateurs préfèrent s’engager avec des entreprises auxquelles ils peuvent faire confiance pour qu’elles n’en tirent pas un avantage injuste, au détriment de l’utilisateur. Les utilisateurs préféreront traiter avec des entreprises qui les traiteront et traiteront leurs données de manière responsable, et pas seulement pour en tirer un profit à court terme ou un engagement  qu’il faut toujours maximiser. Et ces entreprises-là seront celles qui créeront un espace éthique au sein de leurs organisations, pas seulement en engageant des éthiciens, mais en faisant que les datascientists, les ingénieurs, les concepteurs, les spécialistes de l’IA au sein de ces entreprises y travaillent de concert.  </p>
<p><img src="http://www.internetactu.net/wp-content/uploads/2018/07/Of-oaths-and-checklists-O-Reilly-Media-206x300.png" alt="la checklist de contrôle du développement de systèmes automatisés" title="la checklist de contrôle du développement de systèmes automatisés" class="alignright size-medium wp-image-32521" srcset="http://www.internetactu.net/wp-content/uploads/2018/07/Of-oaths-and-checklists-O-Reilly-Media-206x300.png 206w, http://www.internetactu.net/wp-content/uploads/2018/07/Of-oaths-and-checklists-O-Reilly-Media.png 629w" sizes="(max-width: 206px) 100vw, 206px"/><a href="https://www.oreilly.com/ideas/of-oaths-and-checklists">Dans un autre article pour O’Reilly Media</a>, les 3 mêmes auteurs pointent les limites des serments et déclaration d’intention. On ne les prête qu’une fois et on évalue donc insuffisamment et peu régulièrement si on est à la hauteur des enjeux. Les serments sont très généraux : souvent, ils déclarent ne pas vouloir nuire, mais les médecins eux-mêmes, même en prêtant serment, n’ont pas toujours fait le bien, sans savoir tout le temps qu’ils faisaient du mal au regard des connaissances dont ils disposaient. <em>« Ces principes généraux sont une bonne idée, mais restent vides sur l’exécution, et les systèmes automatisés sont avant tout des questions d’exécution »</em>. Ces principes sont certes importants, mais <em>« ils ne nous amènent pas au point final que nous voulons atteindre. Ils ne relient pas nos idées sur ce qui est bien ou juste aux pratiques qui créent le bien ou la justice. Nous pouvons parler longtemps de l’importance d’être juste et impartial sans savoir comment être juste et impartial. Le serment peut-être finalement dangereux : il devient un outil pour vous convaincre que vous êtes quelqu’un de bien, que vous faites de bonnes choses… quand, en fait, vous ne savez pas. »</em></p>
<p>Par contre, ces serments et principes sont utiles pour susciter des discussions, pour sensibiliser à ces enjeux, pour comprendre que le travail réalisé n’est pas neutre. D’où leur démultiplication.</p>
<p>Les 3 auteurs s’inspirent de la célèbre <a href="https://amzn.to/2JA9ehk">liste de contrôle</a> imaginée par le chirurgien <a href="http://atulgawande.com/">Atul Gawande</a> pour réduire les erreurs dans les salles d’opération. <em>« Contrairement aux serments, les cheklists relient le principe à la pratique »</em> En cochant une case sur un formulaire après avoir fait ce que vous deviez faire, vous ne risquez pas de l’oublier. La liste de contrôle n’est pas quelque chose qu’on récite une fois et qu’on oublie, c’est quelque chose que vous travaillez à chaque procédure. Leur efficacité est liée à leur simplicité. Les 3 auteurs sont partis du travail du manuel d’éthique des données du gouvernement britannique pour en proposer une. Elle n’est pas sans faille, mais ils l’a proposent comme une version à améliorer. </p>
<p>Audit, déclaration d’impact social, matrices, checklists… sont autant d’outils pratiques à construire pour rendre les développements logiciels responsables et équitables. Espérons que ces méthodes continuent à se développer. </p>
<p>Hubert Guillaud</p>
<p><em>Pour rappel, avec <a href="http://www.fing.org">la Fing</a>, éditeur d’<a href="http://www.internetactu.net">InternetActu.net</a>, via <a href="http://fing.org/nossystemes?lang=fr">le groupe de travail NosSystèmes</a> nous avons également établi <a href="http://fing.org/?Nos-Systemes-les-pistes-d&amp;lang=fr">des principes</a> pour rendre les systèmes techniques plus responsables, qui recoupent en grande partie certains des enjeux esquissés dans cet article. Des méthodes, outils et techniques qui devraient permettre d’améliorer et préciser notre grille de lecture.</em>  </p>