Les algos peuvent vous pourrir la vie

image_pdfimage_print

Les algorithmes[1] ne sont guère qu’une série d’instructions pas-à-pas généralement exécutées par un programme sur une machine. Cependant leur complexité et leur opacité pour le commun des mortels sont redoutables, et bien plus encore leur omniprésence dans tous les compartiments de notre vie, y compris la plus intime. Si le code fait la loi, c’est justement parce que les algorithmes sont à la fois puissants, invasifs et sont devenus aujourd’hui indispensables.
L’article ci-dessous ne met pas l’accent sur les nombreux domaines où nous utilisons des algorithmes sans en avoir conscience, il pointe davantage les risques et menaces qu’ils représentent lorsque ce sont les algorithmes qui déterminent notre existence, à travers quelques exemples parmi bien d’autres. Il pose également l’intéressante question de la responsabilité de ceux qui élaborent les algorithmes. Suffira-t-il de réclamer des concepteurs d’algorithmes un sympathique engagement solennel à la manière de celui des acteurs du Web ?

Les codeurs dont les algos contrôlent nos vies, qui les contrôle ? Pouvons-nous avoir un droit de regard sur les algorithmes qui désormais menacent de régir nos vies ?

tweet_clochix.png

 

Les algorithmes sont formidables mais peuvent aussi ruiner des vies

Extrait de l’essai (en anglais) The Formula : How Algorithms Solve All Our Problems—and Create More par Luke Dormehl.

Source : article du magazine Wired Algorithms are great and all, but can also ruin our lives

Traduction Framalang : Wan, r0u, goofy, Sphinx, sinma, Omegax, ylluss, audionuma

Le 5 avril 2011, John Gass, 41 ans, a reçu un courrier du service d’enregistrement des véhicules motorisés (Registry of Motor Vehicles ou RMV) de l’État du Massachusetts. La lettre informait M. Gass que son permis de conduire avait été annulé, qu’il lui était désormais interdit de conduire et que cela prenait effet immédiatement. Le seul problème, c’est qu’en bon conducteur n’ayant pas commis d’infraction grave au code de la route depuis des années, M. Gass n’avait aucune idée du motif de ce courrier.

Après plusieurs appels téléphoniques frénétiques, suivis par une entrevue avec les fonctionnaires du service, il en a appris la raison : son image avait été automatiquement signalée par un algorithme de reconnaissance faciale conçu pour parcourir une base de données de millions de permis de conduire de l’État, à la recherche de possibles fausses identités criminelles. L’algorithme avait déterminé que Gass ressemblait suffisamment à un autre conducteur du Massachusetts pour présumer d’une usurpation d’identité, d’où le courrier automatisé du RMV.

Les employés du RMV se sont montrés peu compréhensifs, affirmant qu’il revenait à l’individu accusé de prouver son identité en cas d’erreur quelconque et faisant valoir que les avantages de la protection du public l’emportaient largement sur les désagréments subis par les quelques victimes d’une accusation infondée.

John Gass est loin d’être la seule victime de ces erreurs d’algorithmes. En 2007, un bogue dans le nouveau système informatique du Département des services de santé de Californie a automatiquement mis fin aux allocations de milliers de personnes handicapées et de personnes âgées à bas revenus. Leurs frais d’assurance maladie n’étant plus payés, ces citoyens se sont alors retrouvés sans couverture médicale.

Là où le système précédent aurait notifié les personnes concernées qu’elles n’étaient plus considérées comme éligibles aux allocations en leur envoyant un courrier, le logiciel maintenant opérationnel, CalWIN, a été conçu pour les interrompre sans avertissement, à moins de se connecter soi-même et d’empêcher que cela n’arrive. Résultat : un grand nombre de ceux dont les frais n’étaient plus pris en charge ne s’en sont pas rendu compte avant de recevoir des factures médicales salées. Encore beaucoup n’avaient-ils pas les compétences nécessaires en anglais pour naviguer dans le système de santé en ligne et trouver ce qui allait de travers.

Des failles similaires sont à l’origine de la radiation de votants des listes électorales sans notification, de petites entreprises considérées à tort comme inéligibles aux contrats gouvernementaux, et d’individus identifiés par erreur comme « parents mauvais payeurs ». Comme exemple notable de ce dernier cas, Walter Vollmer, mécanicien de 56 ans, a été ciblé à tort par le Service fédéral de localisation des parents, et s’est vu envoyer une facture de pension alimentaire à hauteur de 206 000 $. L’épouse de M. Vollmer, 32 ans, a par la suite montré des tendances suicidaires, persuadée que son mari avait eu une vie cachée pendant la majeure partie de leur mariage.

Une possibilité tout aussi alarmante : qu’un algorithme puisse ficher par erreur un individu comme terroriste. Un sort qui attend chaque semaine environ 1500 voyageurs malchanceux qui prennent l’avion. Parmi les victimes passées de ces erreurs de corrélation de données, on retrouve d’anciens généraux de l’armée, un garçon de quatre ans, ainsi qu’un pilote d‘American Airlines, qui a été détenu 80 fois au cours d’une même année.

Beaucoup de ces problèmes sont dus aux nouveaux rôles joués par les algorithmes dans l’application de la loi. Les budgets réduits menant à des réductions de personnel, les systèmes automatisés, auparavant de simples instruments administratifs, sont maintenant des décideurs à part entière.

Dans nombre de cas, le problème est plus vaste que la simple recherche d’un bon algorithme pour une tâche donnée. Il touche à la croyance problématique selon laquelle toutes les tâches possibles et imaginables peuvent être automatisées. Prenez par exemple l’extraction de données, utilisée pour découvrir les complots terroristes : de telles attaques sont statistiquement rares et ne se conforment pas à un profil bien défini comme, par exemple, les achats sur Amazon. Les voyageurs finissent par abandonner une grande partie de leur vie privée au profit des algorithmes d’extraction de données, avec peu de résultats, si ce n’est des faux-positifs. Comme le note Bruce Schneier, le célèbre expert en sécurité informatique :

Chercher des complots terroristes… c’est comme chercher une aiguille dans une botte de foin, ce n’est pas en accumulant davantage de foin sur le tas qu’on va rendre le problème plus facile à résoudre. Nous ferions bien mieux de laisser les personnes chargées d’enquêtes sur de possibles complots prendre la main sur les ordinateurs, plutôt que de laisser les ordinateurs faire le travail et les laisser décider sur qui l’on doit enquêter.

Bien qu’il soit clair qu’un sujet aussi brûlant que le terrorisme est un candidat parfait pour ce type de solutions, le problème central se résume encore une fois à cette promesse fantomatique de l’objectivité des algorithmes. « Nous sommes tous absolument effrayés par la subjectivité et l’inconstance du comportement humain », explique Danielle Citron, professeur de droit à l’Université du Maryland. « Et à l’inverse, nous manifestons une confiance excessive pour tout ce que peuvent accomplir les ordinateurs ».

Le professeur Citron suggère que l’erreur vient de ce que nous « faisons confiance aux algorithmes, parce que nous les percevons comme objectifs, alors qu’en réalité ce sont des humains qui les conçoivent, et peuvent ainsi leur inculquer toutes sortes de préjugés et d’opinions ». Autrement dit, un algorithme informatique a beau être impartial dans son exécution, cela ne veut pas dire qu’il n’a pas de préjugés codés à l’intérieur.

Ces erreurs de jugement, implicites ou explicites, peuvent être causées par un ou deux programmeurs, mais aussi par des difficultés d’ordre technique. Par exemple, les algorithmes utilisés dans la reconnaissance faciale avaient par le passé de meilleurs taux de réussite pour les hommes que pour les femmes, et meilleurs pour les personnes de couleur que pour les Blancs.

Ce n’est pas par préjugé délibéré qu’un algorithme ciblera plus d’hommes afro-américains que de femmes blanches, mais cela ne change rien au résultat. De tels biais peuvent aussi venir de combinaisons plus abstraites, enfouies dans le chaos des corrélations de jeux de données.

Prenez par exemple l’histoire de l’afro-américaine Latanya Sweeney, docteure de l’Université d’Harvard. En effectuant des recherches sur Google, elle fut choquée de découvrir que les résultats de ses recherches étaient accompagnés de publicités demandant : « Avez-vous déjà été arrêté(e) ? ». Ces annonces n’apparaissaient pas pour ses collègues blancs. Sweeney se lança alors dans une étude, démontrant que les outils d’apprentissage automatique utilisés par Google étaient incidemment racistes, en associant plus souvent des noms donnés à des personnes noires avec des publicités ayant trait aux rapports d’arrestation.

Le système de recommandation de Google Play révèle un problème similaire : il suggère aux utilisateurs qui téléchargent Grindr, un outil de réseautage social basé sur la localisation pour les gays, de télécharger également une application qui assure le suivi géolocalisé des délinquants sexuels. Au vu de ces deux cas, devons-nous conclure que les algorithmes ont fait une erreur, ou plutôt qu’ils sont révélateurs des préjugés inhérents à leurs concepteurs ? Ou, ce qui semble plus probable, ne seraient-ils pas révélateurs d’associations inappropriées et à grande échelle entre — dans le premier cas — les personnes noires et le comportement criminel, et — dans le deuxième cas — l’homosexualité et les agressions sexuelles ?

Peu importe la raison, peu importe la façon répréhensible dont ces corrélations codifiées peuvent exister, elles révèlent une autre face de la culture algorithmique. Quand un seul individu fait explicitement une erreur de jugement, il ne peut jamais affecter qu’un nombre fini de personnes. Un algorithme, quant à lui, a le potentiel d’influer sur un nombre de vies exponentiellement plus grand.

twittClochix2.png

Pour aller plus loin, 4 articles en français sur le même sujet :

Note

[1] Pour une définition plus élaborée voir Qu’est-ce qu’un algorithme

Goofy

je lis des livres et mange des nouilles.

12 Responses

  1. Je ne comprends pas le propos de cet article. Il fait une longue liste de cas où des gens ont décidé de mettre en place un système automatisé nuisible à certains utilisateurs, et/ou de ne pas mettre en place de démarche de traitement des faux positifs.

    Je ne comprends pas quel sens donner à la conclusion.

    > Peu importe la raison, peu importe la façon répréhensible dont ces corrélations codifiées peuvent exister, elles révèlent une autre face de la culture algorithmique.

    Qu’est-ce que la « culture algorithmique » ? (un nouveau nom pour le scientisme ?) Je doute que ce concept ait un sens, mais il faudrait dans tous les cas commencer par cela.

    > Quand un seul individu fait explicitement une erreur de jugement, il ne peut jamais affecter qu’un nombre fini de personnes.

    Et quand c’est le président d’un pays…

  2. Cet article est dépourvu de toute rigueur intellectuelle.

    Les algo n’y sont pour rien dans cette histoire, le problème se situe au niveau des gens qui les utilisent.

    Le problème de John Gass n’est pas d’avoir été identifié à tort par un programme, mais de ne pas avoir disposé de recours après le faux positif.

    De même pour les faux terroristes, le problème est-il d’avoir un programme qui trouve des terroristes qui n’en sont pas, ou d’avoir des autorités qui prennent tout le monde pour des terroristes potentiels ?

    Cet article fait un mélange grossier entre l’outil et l’utilisateur, en confondant mauvais usage et mauvais outil.

  3. @ Aurélien Pierre  » le problème se situe au niveau des gens qui les utilisent. »
    l’article ne suggère pas autre chose dans sa dernière partie. Bien sûr qu’il y a une responsabilité humaine. Dire que c’est celle des « autorités » est un discours facile qui masque la responsabilité des codeurs.
    Par ailleurs dédouaner absolument l’outil (qui serait neutre ?) en écrivant « les algos n’y sont pour rien » pose pas mal de questions. Une technologie provoque ses usages.

  4. @Goofy :
    premièrement, par rapport à la « responsabilité des codeurs » :
    l’erreur est humaine, point. Un·e codeu·r·se fera toujours des erreurs.
    Si on est pas foutu·e de prendre en compte la subjectivité et l’erreur
    intrinsèque à la nature humaine, alors c’est là qu’est le problème,
    comme l’a souligné Aurélien Pierre.

    Deuxièmement, ce n’est pas une technologie qui provoque ses usages mais
    un usage qui provoque des technologies. Les technologies ne sortent pas
    de nulle part, d’une origine divine <i lang= »la »>ex
    machina</i>, de façon extérieure à l’humanité pour ensuite venir
    l’influencer objectivement de l’extérieur en la contraignant méchamment.
    Non. Comme le dit Bayart (et comme il le répétait très bien à sa
    dernière conférence à l’Ubuntu-Party) : on se retrouve dans le mythe de
    la créature Frankenstein. Et ce mythe n’a jamais existé. Internet n’est
    pas venu perturbé l’humanité pendant qu’elle stagnait gentiment dans un
    équilibre cosmique, l’humanité s’est munie d’Internet (et notamment de
    l’ordinateur, pour créer Internet). L’outil ne se « révolte » pas, même
    si on en a l’impression. L’outil fait ce qu’on lui a demandé de faire.
    Or, deux choses : ceux qui commandent l’outil sont imparfaits, et — ce
    qui découle en partie de la première chose — il peuvent être
    malveillants. Quand on vit dans un monde autoritaire, et qu’une autorité
    base ses décisions sur un algorithme qui en sait trop et qui en plus
    sait mal, il y a un problème.

    Toutefois cet article me semble extrêmement intéressant en ce qui
    concerne l’autopsie d’une caractéristique intrinsèque à l’idéologie du
    libéralisme consistant à nier les déterminismes sociaux. Pour moi croire
    qu’un algo puisse être objectif, raisonnable ou forcément sans erreurs
    c’est une forme de négation des déterminismes sociaux : de la même façon
    que la société « programme » les humain·e·s et leur inculque toutes les
    constructions sociales qui font ce qu’illes sont, puis que le système
    capitaliste nie que ces constructions sociales aient une quelconque
    importance, en basant toute sa justification « morale » (morale oui,
    juste, éthique, non) sur des concepts de « mérite » qui n’ont aucun sens
    sans le « libre-arbitre » supposant que les humain·e·s ne sont « pas
    déterminé·e·s » par ce qu’on leur enseigne, ce qu’on construit en
    elleux.

    Et du coup cette négation des constructions sociales, du déterminisme
    sociale, pire, de la société elle-même, de son rôle fondamental dans la
    constitution d’un·e humain·e, et du rôle fondamental de l’humain·e, et
    du concept de culture qui remplace celui de nature chez cellui-ci et sa
    société, elle aboutit à des conceptions assez absurdes mais surtout
    arbitraires basées sur le « mérite » et la « responsabilité », où ceux
    qui auront le plus de chance et auront de meilleurs moyens (soit par
    très grand hasard, soit par bonne naissance : ethnie attribuée,
    nationalité, classe, validité, neurotypisme, hétérosexualité, cisgenrité
    et sexe masculin de préférence) auront plus tendance à plus souvent
    mieux « réussir », et donc avoir plus de « mérite », et donc recevoir en
    récompense plus de ressources (quant à la culture, santé, célébrité,
    aux diplômes, compétences, au capital, à l’assurance, la stabilité
    psychologique, etc.) et de moyens, et donc ayant plus de moyens ille
    réussira mieux et aura encore plus de moyens… à l’infini… Sauf que la
    réciproque est vraie : si pas d’bol on tombe dans les 99%, ben avec
    moins de moyens on est moins compétitifs et on « réussit » moins, du
    coup on a moins de moyens (que d’autres), réussit moins, et a encore
    moins de moyens… et au final ça juste tend à augmenter à outrance toutes
    les inégalités dans tous les domaines.

    Et évidemment, pour justifier ça, toute la logique libérale est de dire
    que ces moyens ne sont pas du tout la raison principale pour laquelle on
    réussit, et que s’il on réussit c’est parce qu’on a la « volonté » (qui
    est supérieure à tout, si on veut on peut, quelque soit le contexte et
    l’irrationnalité intrinsèque au fonctionnement des schémas de réflexion
    du cerveau humain), et par « initiative personnelle » (après c’est pas
    comme si ces trucs aussi étaient socialement construit et dépendaient de
    la situation dans laquelle on se trouve), à faire la louange du
    « progrès personnel » (alors qu’on ne se construit, qu’on ne s’améliore
    <strong>jamais</strong> seul·e), en niant tout autre type de
    déterminisme.

    Et de façon assez marrante, cette conception libérale elle se retrouve
    dans la négation du mauvais impact que peuvent avoir certains
    programmes, logiciel, machines, algorithmes… C’est comme si on
    attribuait une essence intrinsèque et indépendante à celleux-ci, comme
    s’ils se retrouvaient avec un libre-arbitre, voir pire, comme une sorte
    d’essentialisme tenant du déterminisme biologique, du biologisme, bref,
    d’une quelconque « nature » algorithmique, d’une essence inexistante
    qu’on leur attribue… sauf que c’est un truc qui est ostensiblement
    technique et déterministe, du coup c’en devient drôle.

    C’est d’autant plus drôle que du coup, ces algorithmes très souvent
    reproduisent ces schémas libéraux absurdes. En effet non seulement dans
    ce contexte on nie les constructions sociales qui déterminent la façon
    dont sont faits ces programmes, mais en niant leur
    <em>influence</em> on les reproduit et s’y adapte, plutôt
    que de tenter de les résoudre.

    C’est le vieux problème du « s’adapter à la société… ou adapter la
    société à soi », comme le disait George Bernard Shaw : « L’homme
    raisonnable s’adapte au monde : l’homme déraisonnable persiste à tenter
    d’adapter le monde à lui-même. Par conséquent tout progrès dépend de
    l’homme déraisonnable. ». Or on se retrouve alors dans quelque chose de
    proche de l’attitude libérale face au sexisme : d’abord on dit que ça
    n’existe pas, puis quand on montre des choses comme les inégalités
    salariales ou les jouets alors illes disent « bon ok, on attribue des
    stéréotypes alors que c’est pas vrai les filles sont pas comme ça, c’est
    pas bien, on va exiger la parité et dire que bouh c’est débile les
    filles sont pas comme ça », puis quand on leur parle de, par exemple,
    sanctionner le marketing genré « nan mais se baser sur des idées reçues
    sur les filles c’est une chose, mais bon si c’est vraiment des
    stéréotypes pas vrais alors ça veut dire que c’est juste débile et
    qu’avec le progrès ça marchera pas et du coup la Sainte Invisible Main
    du Marché le sanctionnerait par elle-même, donc on fait rien ». Or du
    coup on voit la situation de façon binaire en disant « soit les filles
    sont comme ça, soit elles sont pas comme ça, si c’est un stéréotype
    elles sont pas comme ça, mais vu que le marketing genré et le marché en
    général arrivent à s’en nourrir, c’est qu’elles le sont, donc bon, où
    est le problème ? ». Or la question n’est pas « les femmes sont-elles
    comme ça ? », mais « le sont-elles <em>essentiellement</em>,
    c’est-à-dire <strong>par essence</strong> ? ». Le
    sont-elles vraiment parce que ce sont des femmes où parce qu’on a vu en
    elles des femmes et ont les en a fait devenir ?

    En effet là où il faudrait dire « aucun déterminisme biologique ne rend
    les femmes comme ça, ce sont des constructions sociales qui soutiennent
    le patriarcat en construisant en la femme des schémas de soumission aux
    règles patriarcales qui le font, et ils faut les combattre car elles
    diminuent l’égalité en réduisant leur liberté car en les soumettant à la
    domination masculine », les libér·aux·ales nient la possibilité de
    constructions sociales, et s’illes observent un pattern commun à un
    groupe défini par une caractéristique aussi floue et mineure que le
    sexe, illes se mettent à attribuer à ce genre soit un déterminisme
    biologique (et là on tend vers l’idéologie fasciste, plus cohérente mais
    aussi plus autoritaire), soit persiste à dire que ça sort de nulle
    part, que c’est une pure coincidence, que du coup le marketing genré est
    là aussi par coincidence, le sexisme en général aussi, que tout ça
    n’est qu’un énorme malentendu et que le patriarcat n’a d’ailleurs jamais
    existé, que sinon ce serait nier le libre-arbitre, et que « bon hein,
    les femmes elles devraient avoir le droit à être plus femmes, plus
    genrées et plus soumises, et puis du coup aussi à avoir le droit de ne
    pas avoir le droit à l’IVG et à la GPA et à la contraception libre et
    gratuite et ça et ça et ça, et ferme ta gueule d’abord, tu racontes que
    de la merde qui consiste à dire tout [« le genre “femme” c’est ça »] et
    son contraire [« la femme n’est pas vraiment comme ça, le genre “femme”
    est socialement construit (c’est la partie après la virgule qui ne leur
    est pas accessible depuis leur pensée limitée) »]. »

    Du coup on retourne sur le « s’adapter à la société ou adapter la
    société à nous » : cette idéologie tend à nier le fait qu’on puisse
    adapter la société, et en faire un artefact vide de sens et privé de
    déterminismes, composés de la simple somme des individus (et non de
    <em>la somme des interactions entre eux</em>, bref, de leur
    <em>culture</em>, dans le cas de l’humanité), bref, à nier
    la société elle-même, rendant ainsi impossible l’idée qu’on puisse
    l’adapter à nous, et imposant la nécessité de se conformer à ses normes,
    fusse-t-elles profondément autoritaires, inégalitaires et
    individualistes.

    De cette façon ainsi on se retrouve avec des algorithmes qui, produits
    dans un contexte de négation de la société (allez, lachons-le :
    antisocialiste, de droite :>, notez que ça inclut les partis, « de
    gauche », qui ont vite fait d’oublier leurs idées, pour se réembourber
    dans cette idéologie libérale et bourgeoise (de toute façon la
    démocratie représentative est déjà intrinsèquement élitiste) et vouloir
    se conformer à « répondre à l’Opinion », comme si l’« Opinion » était
    unitaire, comme si elle n’était pas quand bien même socialement
    construite), les algorithmes reflètent parfaitement cet état d’esprit,
    de façon mathématique (c’est beau :o), et s’adaptent à la société au
    mieux dans l’immédiat sans adapter la société à eux. Ainsi, plutôt de,
    je ne sais pas, utiliser des algorithmes de filtrage à équations
    bayésiennes autostabilisantes pour via des systèmes de dénonciation
    décentralisés (potentiellement P2P avec de la crypto par dessus) pour
    identifier des messages racistes, sexistes, etc. on récupère ces
    messages sexistes, racistes, etc. on remarque qu’ils sont
    statistiquement répandus et communs… et les algos les répètent x) dans
    les suggestions, dans les liens, les recherches, les recherches d’amis,
    les filtres, les pubs, les propositions… du coup comme on l’a déjà
    pointé, celui qui cherchera des trucs plutôt d’un certain sujet tendera à
    trouver ce qui lui « convient » le plus, donc des trucs où on est
    d’accord avec ellui, toujours, à ainsi créer des bulles (les bulles de
    Google :D), des circuits fermés et à « extrêmiser » les gens, à creuser
    tendanciellement les inégalités d’opinions, et plus seulement de
    capital, culture, humeur, compétence, papiers, etc. x)

    Bref, ces algos agissent de façon rigide et indépendamment de la volonté
    des utilisateurs, ils analysent ces actes, sans demander son avis
    (toujours l’idéologie libérale et son foutu libre-arbitre à croire que
    la simple « volonté » suffit à aller contre n’importe quoi, que donc
    tout ce qu’on fait va forcément dans le sens de notre volonté, qu’on se
    trompe jamais, qu’on est tou·te·s rationnel·le·s et qu’on a absolument
    pas d’émotions pour donner un sens à notre raison). Et que nie-t-on
    encore une fois en niant la société ? L’idée que l’on puisse
    <strong>agir</strong> sur ces algorithmes rigides, qu’on
    puisse leur faire demander l’avis des utilisateurs et se baser dessus,
    qu’on puisse diffuser leur code source, le vulgariser, l’expliquer et le
    partager. Le logiciel libre quoi.

    Bref, c’est du gros libéralisme pourri, et ça nie la société et le
    logiciel libre. Et comme dit Bayart « à la fin c’est nous qui gagne »,
    na !

  5. Oh
    et du coup j’oubliais, par rapport au « manque de rigueur », ou aux
    erreurs fortuites, qui prennent alors une ampleur catastrophique, sans
    que ce soit volontaire, malfaisant ou autoritaire, c’est là encore non
    pas un but mais une *dérive* du capitalisme : le technologisme.

    On appelle ça injustement « scientisme », comme « foi déraisonnée en la
    science ». Or la Science, c’est le savoir acquis de façon rationnelle et
    empirique (la seule vraie façon d’obtenir du savoir) et surtout
    *collective*. Il n’y a pas de « foi » en la Science, puisque la Science
    c’est la raison et elle s’*oppose* à la foi. Donc « croire tout ce que
    dit la Science » (en prenant en compte que la « Science » ne déclame pas
    les faits vrais ou faux, elles les déclarent plus ou moins plausibles
    et probables en fonction de la précision des observations empiriques)
    n’est pas une dérive, une faute, ou une « erreur » (c’est même le strict
    opposé). Le dire c’est que de la bonne vieille attitude naturaliste
    réactionnaire à la limite du fascisme (« L’induction est impossible !
    Tout est question d’interprétation ! Aucune vérité n’existe en dehors de
    la Foi ! Vous m’entendez Winston ? »).

    Par contre le vrai problème ici, et qui est hautement critiquable, c’est
    la foi en la *technologie*. Or la technologie n’est censée être que
    l’*application* de la Science. Or, avec le capitalisme, la Science se
    meurt : par nécessité de « compétitivité » les tests, essais,
    expériences, se raréfient, les observations se font floues, et surtout
    tout est fait de façon individuelle, le travail n’est plus collaboratif,
    on brevète à foison, on cesse toute réflexion collective, le Savoir
    n’est plus, la Science non plus. Or, tenter d’appliquer la Technique
    sans la Science, en oubliant ce que les expériences, les raisonnements
    et la collaborations requis par la Science peuvent préciser, nuancer,
    porte à des dérives qui rendent la Technique de plus en plus fragile. On
    oublie que la Science ne donne pas de vérité certaine, on oublie de
    partager le savoir, on oublie de faire davantages de tests. Et on se
    retrouve avec des algos qui foutent des citoyens aléatoire en prison,
    des OGM cancérigènes et des médicaments vitaux brevetés. La magie du
    Capital x)

    Et c’est d’ailleurs pour ça que le logiciel libre continue d’exploser
    technologiquement même en période de crise, alors que tous les autres
    domaines technologiques stagnent scientifiquement. Alors que les 9/10 du
    boulot d’un prof d’université consiste à remplir de la paperasse, alors
    que toutes les avancées technologiques ne font que progresser par
    inertie sur la base de connaissance scientifiques qui soit se sont
    accumulée avant qu’on se mette à stagner comme ça, soit continuent de se
    créer, mais à vitesse énormément ammoindrie.

    Et à coté de ça, le logiciel libre se développe x) bon, cf la dernière
    phrase de mon dernier commentaire 😉

  6. @Goofy avec un raisonnement similaire, on rend les ingénieurs de chez Renault responsables de tous les tués par une automobile Renault ?

    Parce que la voiture, si on la laisse faire sans réagir, elle peut tuer des gens. Est-elle en cause pour autant ? Ou bien on admet que la voiture, comme l’algo, n’est pas plus intelligente que la personne qui la conçue ni que celle qui l’opère, et que c’est donc à l’utilisateur d’effectuer un contrôle de la machine ?

    Je rejoins Galex sur un point : l’excès de confiance dans la technologie. Le problème provient du fait que l’utilisateur – non formé la plupart du temps – voit le système technologique comme une boîte noire magique conçue par une entité supérieure. Il n’y a que les ingénieurs pour savoir que ce n’est qu’un machin buggué et plein de défauts…

    Du danger de mettre dans les mains de tout le monde des outils qu’ils ne comprennent pas et qui semblent fonctionner tous seuls.

  7. Je suis content de voir que vous n’avez pas peur de faire dire ce qui vous convient à cet article pour pouvoir exposer votre point de vue sur un tas de choses. Continuez, les commentaires sont faits pour ça.

    @Aurélien Pierre mépris assez classique envers les utilisateurs naïfs, ignorants, non formés, etc. et donc disqualifiés d’avance. D’ailleurs c’est d’eux que vient le danger, finalement. Ben voyons.

    Juste pour entretenir l’endroit là où ça vous chatouille, un petit pas de côté vers cet article qui se demande si vraiment un objet technologique (ici à propos de logiciel) est neutre http://blog-libre.org/post/2014/10/… (dernier paragraphe).

  8. Et encore là on parle que d’algos… (quoique, z’en êtes vraiment sûrs ? y’a pas déjà quelques IA parmi les systèmes cités ?)

    Parce que j’imagine que débugger une IA, supprimer les préjugés et les biais qu’on lui a appris (sciemment ou pas), ça doit être autrement plus difficile que « juste » corriger un bug dans un algo… mais d’ici que les gens comprennent que laisser des automates limités (quand les IA seront plus intelligentes que nous, je dis pas…) prendre des décisions sans les contrôler est stupide, y’a encore du chemin.

    PS : Moi, ce que j’en pense de la neutralité technologique peut par exemple se réduire (avec perte) à l’adage « Quand vous avez un marteau dans la main, tous vos problèmes ressemblent à des clous. » Olivier Ertzscheid a abordé le problème dans un certain nombre d’articles assez intéressants (par exemple http://affordance.typepad.com/mon_w… ).

  9. merci @ginko pour le lien vers cet article effectivement riche et intéressant. Je l’ajoute aux liens de suite à l’article ci-dessus.

  10. @Goofy je ne comprends pas où vous voulez en venir, pas plus que l’article donné par Ginko.

    Parce qu’il y a des faux positifs, on devrait abolir les algo de tri ? Et parce qu’il y a des sites pédophiles, on devrait abolir internet ? Et parce qu’il y a des tueurs, on devrait vendre des couteaux à bout rond aussi ?

    L’article de Olivier Ertzscheid évite la question qu’il pose en filant la métaphore et en détournant l’attention par des éléments de language, au final c’est quand même essentiellement du vent. Sur le fond, sa thèse est aussi simpliste que celles qu’il prétend démonter.

    Et puis oui, le danger vient de l’utilisateur. Quand on manipule du matériel dangereux, on commence par apprendre puis par respecter ses règles de sécurité. L’algo fait ce qu’on lui demande, s’il n’y a pas un humain derrière pour contrôler ce qu’il fait, c’est la faute de l’humain, pas celle de l’algo. Un algo est fait pour ordonner des cases, pas pour faire appliquer la loi. Si des fénéants se reposent un peu trop sur leur machine, ce c’est certainement pas la fautes des programmeurs.

    Impliquer la responsabilité du technicien dans son objet technique est beaucoup moins simple que ce qui est suggéré ici.

  11. @Aurélien PIERRE

    >Parce qu’il y a des faux positifs, on devrait abolir les algo de tri ?

    Qui a dit ça ici en dehors de vous ?

    Je trouve cette violence dans vos réponses surprenante. Qu’attaque-t-on chez vous lorsque l’on remet en cause cette chimère de la neutralité technologique ?

    Je suis dev et enthousiaste par rapport à la techno. Fervent dans la croyance qu’elle peut apporter le progrès. Mais c’est quand même sacrément naïf de penser qu’un outil puisse être totalement neutre, incapable d’influencer a minima son propre usage. Juste au cas où, vous connaissez les concepts d’ergonomie et d’affordance ?

    L’utilisateur a bon dos. Facile de tout lui faire porter.

  12. salut la sphere,

    ce que je ne comprend pas moi perso : c’est comment des gens qui comprennent correctement le francais peuvent ne pas saisir l’essence de ce plaidoyer ?

    plusieurs commentaires sur les algo (bons , pas bons), sur la responsabilite des codeurs … et pas une bribe pour dire que si le code etait ouvert et libre (dans le sens de la fsf) , toutes ces derives auraient deja ete corrigees ?

    on ne peut pas s’appuyer sur la morale ni sur l’intelligence, ni sur le savoir, ni sur la sagesse, ni sur aucun des caracteres subjectifs humains pour creer de l’objectivite … le dicton dit que les chiens ne font pas de chats (et vice versa) … mais la collaboration de plusieurs personnes aux origines et horizons diverses le peuvent sur du code ouvert et libre, chacun a leur tour sur un petit bout comme des petits pas sur un long chemin, produire un meilleure code affranchi de la subjectivite de chacun grace a la sagesse des autres … c’est comme ca aussi qu’on construit une meilleure humanite …