Les algos peuvent vous pourrir la vie

Les algorithmes^[1] ne sont guère qu’une série d’instructions pas-à-pas généralement exécutées par un programme sur une machine. Cependant leur complexité et leur opacité pour le commun des mortels sont redoutables, et bien plus encore leur omniprésence dans tous les compartiments de notre vie, y compris la plus intime. Si le code fait la loi, c’est justement parce que les algorithmes sont à la fois puissants, invasifs et sont devenus aujourd’hui indispensables.
L’article ci-dessous ne met pas l’accent sur les nombreux domaines où nous utilisons des algorithmes sans en avoir conscience, il pointe davantage les risques et menaces qu’ils représentent lorsque ce sont les algorithmes qui déterminent notre existence, à travers quelques exemples parmi bien d’autres. Il pose également l’intéressante question de la responsabilité de ceux qui élaborent les algorithmes. Suffira-t-il de réclamer des concepteurs d’algorithmes un sympathique engagement solennel à la manière de celui des acteurs du Web ?

Les codeurs dont les algos contrôlent nos vies, qui les contrôle ? Pouvons-nous avoir un droit de regard sur les algorithmes qui désormais menacent de régir nos vies ?

Les algorithmes sont formidables mais peuvent aussi ruiner des vies

Extrait de l’essai (en anglais) The Formula: How Algorithms Solve All Our Problems—and Create More par Luke Dormehl.

Source : article du magazine Wired Algorithms are great and all, but can also ruin our lives

Traduction Framalang : Wan, r0u, goofy, Sphinx, sinma, Omegax, ylluss, audionuma

Le 5 avril 2011, John Gass, 41 ans, a reçu un courrier du service d’enregistrement des véhicules motorisés (Registry of Motor Vehicles ou RMV) de l’État du Massachusetts. La lettre informait M. Gass que son permis de conduire avait été annulé, qu’il lui était désormais interdit de conduire et que cela prenait effet immédiatement. Le seul problème, c’est qu’en bon conducteur n’ayant pas commis d’infraction grave au code de la route depuis des années, M. Gass n’avait aucune idée du motif de ce courrier.

Après plusieurs appels téléphoniques frénétiques, suivis par une entrevue avec les fonctionnaires du service, il en a appris la raison : son image avait été automatiquement signalée par un algorithme de reconnaissance faciale conçu pour parcourir une base de données de millions de permis de conduire de l’État, à la recherche de possibles fausses identités criminelles. L’algorithme avait déterminé que Gass ressemblait suffisamment à un autre conducteur du Massachusetts pour présumer d’une usurpation d’identité, d’où le courrier automatisé du RMV.

Les employés du RMV se sont montrés peu compréhensifs, affirmant qu’il revenait à l’individu accusé de prouver son identité en cas d’erreur quelconque et faisant valoir que les avantages de la protection du public l’emportaient largement sur les désagréments subis par les quelques victimes d’une accusation infondée.

John Gass est loin d’être la seule victime de ces erreurs d’algorithmes. En 2007, un bogue dans le nouveau système informatique du Département des services de santé de Californie a automatiquement mis fin aux allocations de milliers de personnes handicapées et de personnes âgées à bas revenus. Leurs frais d’assurance maladie n’étant plus payés, ces citoyens se sont alors retrouvés sans couverture médicale.

Là où le système précédent aurait notifié les personnes concernées qu’elles n’étaient plus considérées comme éligibles aux allocations en leur envoyant un courrier, le logiciel maintenant opérationnel, CalWIN, a été conçu pour les interrompre sans avertissement, à moins de se connecter soi-même et d’empêcher que cela n’arrive. Résultat : un grand nombre de ceux dont les frais n’étaient plus pris en charge ne s’en sont pas rendu compte avant de recevoir des factures médicales salées. Encore beaucoup n’avaient-ils pas les compétences nécessaires en anglais pour naviguer dans le système de santé en ligne et trouver ce qui allait de travers.

Des failles similaires sont à l’origine de la radiation de votants des listes électorales sans notification, de petites entreprises considérées à tort comme inéligibles aux contrats gouvernementaux, et d’individus identifiés par erreur comme « parents mauvais payeurs ». Comme exemple notable de ce dernier cas, Walter Vollmer, mécanicien de 56 ans, a été ciblé à tort par le Service fédéral de localisation des parents, et s’est vu envoyer une facture de pension alimentaire à hauteur de 206 000 $. L’épouse de M. Vollmer, 32 ans, a par la suite montré des tendances suicidaires, persuadée que son mari avait eu une vie cachée pendant la majeure partie de leur mariage.

Une possibilité tout aussi alarmante : qu’un algorithme puisse ficher par erreur un individu comme terroriste. Un sort qui attend chaque semaine environ 1500 voyageurs malchanceux qui prennent l’avion. Parmi les victimes passées de ces erreurs de corrélation de données, on retrouve d’anciens généraux de l’armée, un garçon de quatre ans, ainsi qu’un pilote d‘American Airlines, qui a été détenu 80 fois au cours d’une même année.

Beaucoup de ces problèmes sont dus aux nouveaux rôles joués par les algorithmes dans l’application de la loi. Les budgets réduits menant à des réductions de personnel, les systèmes automatisés, auparavant de simples instruments administratifs, sont maintenant des décideurs à part entière.

Dans nombre de cas, le problème est plus vaste que la simple recherche d’un bon algorithme pour une tâche donnée. Il touche à la croyance problématique selon laquelle toutes les tâches possibles et imaginables peuvent être automatisées. Prenez par exemple l’extraction de données, utilisée pour découvrir les complots terroristes : de telles attaques sont statistiquement rares et ne se conforment pas à un profil bien défini comme, par exemple, les achats sur Amazon. Les voyageurs finissent par abandonner une grande partie de leur vie privée au profit des algorithmes d’extraction de données, avec peu de résultats, si ce n’est des faux-positifs. Comme le note Bruce Schneier, le célèbre expert en sécurité informatique :

Chercher des complots terroristes… c’est comme chercher une aiguille dans une botte de foin, ce n’est pas en accumulant davantage de foin sur le tas qu’on va rendre le problème plus facile à résoudre. Nous ferions bien mieux de laisser les personnes chargées d’enquêtes sur de possibles complots prendre la main sur les ordinateurs, plutôt que de laisser les ordinateurs faire le travail et les laisser décider sur qui l’on doit enquêter.

Bien qu’il soit clair qu’un sujet aussi brûlant que le terrorisme est un candidat parfait pour ce type de solutions, le problème central se résume encore une fois à cette promesse fantomatique de l’objectivité des algorithmes. « Nous sommes tous absolument effrayés par la subjectivité et l’inconstance du comportement humain », explique Danielle Citron, professeur de droit à l’Université du Maryland. « Et à l’inverse, nous manifestons une confiance excessive pour tout ce que peuvent accomplir les ordinateurs ».

Le professeur Citron suggère que l’erreur vient de ce que nous « faisons confiance aux algorithmes, parce que nous les percevons comme objectifs, alors qu’en réalité ce sont des humains qui les conçoivent, et peuvent ainsi leur inculquer toutes sortes de préjugés et d’opinions ». Autrement dit, un algorithme informatique a beau être impartial dans son exécution, cela ne veut pas dire qu’il n’a pas de préjugés codés à l’intérieur.

Ces erreurs de jugement, implicites ou explicites, peuvent être causées par un ou deux programmeurs, mais aussi par des difficultés d’ordre technique. Par exemple, les algorithmes utilisés dans la reconnaissance faciale avaient par le passé de meilleurs taux de réussite pour les hommes que pour les femmes, et meilleurs pour les personnes de couleur que pour les Blancs.

Ce n’est pas par préjugé délibéré qu’un algorithme ciblera plus d’hommes afro-américains que de femmes blanches, mais cela ne change rien au résultat. De tels biais peuvent aussi venir de combinaisons plus abstraites, enfouies dans le chaos des corrélations de jeux de données.

Prenez par exemple l’histoire de l’afro-américaine Latanya Sweeney, docteure de l’Université d’Harvard. En effectuant des recherches sur Google, elle fut choquée de découvrir que les résultats de ses recherches étaient accompagnés de publicités demandant : « Avez-vous déjà été arrêté(e) ? ». Ces annonces n’apparaissaient pas pour ses collègues blancs. Sweeney se lança alors dans une étude, démontrant que les outils d’apprentissage automatique utilisés par Google étaient incidemment racistes, en associant plus souvent des noms donnés à des personnes noires avec des publicités ayant trait aux rapports d’arrestation.

Le système de recommandation de Google Play révèle un problème similaire : il suggère aux utilisateurs qui téléchargent Grindr, un outil de réseautage social basé sur la localisation pour les gays, de télécharger également une application qui assure le suivi géolocalisé des délinquants sexuels. Au vu de ces deux cas, devons-nous conclure que les algorithmes ont fait une erreur, ou plutôt qu’ils sont révélateurs des préjugés inhérents à leurs concepteurs ? Ou, ce qui semble plus probable, ne seraient-ils pas révélateurs d’associations inappropriées et à grande échelle entre — dans le premier cas — les personnes noires et le comportement criminel, et — dans le deuxième cas — l’homosexualité et les agressions sexuelles ?

Peu importe la raison, peu importe la façon répréhensible dont ces corrélations codifiées peuvent exister, elles révèlent une autre face de la culture algorithmique. Quand un seul individu fait explicitement une erreur de jugement, il ne peut jamais affecter qu’un nombre fini de personnes. Un algorithme, quant à lui, a le potentiel d’influer sur un nombre de vies exponentiellement plus grand.

Pour aller plus loin, 4 articles en français sur le même sujet :

Note

[1] Pour une définition plus élaborée voir Qu’est-ce qu’un algorithme