Temps de lecture 9 min
Les algorithmes[1] ne sont guère qu’une série d’instructions pas-à-pas généralement exécutées par un programme sur une machine. Cependant leur complexité et leur opacité pour le commun des mortels sont redoutables, et bien plus encore leur omniprésence dans tous les compartiments de notre vie, y compris la plus intime. Si le code fait la loi, c’est justement parce que les algorithmes sont à la fois puissants, invasifs et sont devenus aujourd’hui indispensables.
L’article ci-dessous ne met pas l’accent sur les nombreux domaines où nous utilisons des algorithmes sans en avoir conscience, il pointe davantage les risques et menaces qu’ils représentent lorsque ce sont les algorithmes qui déterminent notre existence, à travers quelques exemples parmi bien d’autres. Il pose également l’intéressante question de la responsabilité de ceux qui élaborent les algorithmes. Suffira-t-il de réclamer des concepteurs d’algorithmes un sympathique engagement solennel à la manière de celui des acteurs du Web ?
Les codeurs dont les algos contrôlent nos vies, qui les contrôle ? Pouvons-nous avoir un droit de regard sur les algorithmes qui désormais menacent de régir nos vies ?
Les algorithmes sont formidables mais peuvent aussi ruiner des vies
Extrait de l’essai (en anglais) The Formula : How Algorithms Solve All Our Problems—and Create More par Luke Dormehl.
Source : article du magazine Wired Algorithms are great and all, but can also ruin our lives
Traduction Framalang : Wan, r0u, goofy, Sphinx, sinma, Omegax, ylluss, audionuma
Le 5 avril 2011, John Gass, 41 ans, a reçu un courrier du service d’enregistrement des véhicules motorisés (Registry of Motor Vehicles ou RMV) de l’État du Massachusetts. La lettre informait M. Gass que son permis de conduire avait été annulé, qu’il lui était désormais interdit de conduire et que cela prenait effet immédiatement. Le seul problème, c’est qu’en bon conducteur n’ayant pas commis d’infraction grave au code de la route depuis des années, M. Gass n’avait aucune idée du motif de ce courrier.
Après plusieurs appels téléphoniques frénétiques, suivis par une entrevue avec les fonctionnaires du service, il en a appris la raison : son image avait été automatiquement signalée par un algorithme de reconnaissance faciale conçu pour parcourir une base de données de millions de permis de conduire de l’État, à la recherche de possibles fausses identités criminelles. L’algorithme avait déterminé que Gass ressemblait suffisamment à un autre conducteur du Massachusetts pour présumer d’une usurpation d’identité, d’où le courrier automatisé du RMV.
Les employés du RMV se sont montrés peu compréhensifs, affirmant qu’il revenait à l’individu accusé de prouver son identité en cas d’erreur quelconque et faisant valoir que les avantages de la protection du public l’emportaient largement sur les désagréments subis par les quelques victimes d’une accusation infondée.
John Gass est loin d’être la seule victime de ces erreurs d’algorithmes. En 2007, un bogue dans le nouveau système informatique du Département des services de santé de Californie a automatiquement mis fin aux allocations de milliers de personnes handicapées et de personnes âgées à bas revenus. Leurs frais d’assurance maladie n’étant plus payés, ces citoyens se sont alors retrouvés sans couverture médicale.
Là où le système précédent aurait notifié les personnes concernées qu’elles n’étaient plus considérées comme éligibles aux allocations en leur envoyant un courrier, le logiciel maintenant opérationnel, CalWIN, a été conçu pour les interrompre sans avertissement, à moins de se connecter soi-même et d’empêcher que cela n’arrive. Résultat : un grand nombre de ceux dont les frais n’étaient plus pris en charge ne s’en sont pas rendu compte avant de recevoir des factures médicales salées. Encore beaucoup n’avaient-ils pas les compétences nécessaires en anglais pour naviguer dans le système de santé en ligne et trouver ce qui allait de travers.
Des failles similaires sont à l’origine de la radiation de votants des listes électorales sans notification, de petites entreprises considérées à tort comme inéligibles aux contrats gouvernementaux, et d’individus identifiés par erreur comme « parents mauvais payeurs ». Comme exemple notable de ce dernier cas, Walter Vollmer, mécanicien de 56 ans, a été ciblé à tort par le Service fédéral de localisation des parents, et s’est vu envoyer une facture de pension alimentaire à hauteur de 206 000 $. L’épouse de M. Vollmer, 32 ans, a par la suite montré des tendances suicidaires, persuadée que son mari avait eu une vie cachée pendant la majeure partie de leur mariage.
Une possibilité tout aussi alarmante : qu’un algorithme puisse ficher par erreur un individu comme terroriste. Un sort qui attend chaque semaine environ 1500 voyageurs malchanceux qui prennent l’avion. Parmi les victimes passées de ces erreurs de corrélation de données, on retrouve d’anciens généraux de l’armée, un garçon de quatre ans, ainsi qu’un pilote d‘American Airlines, qui a été détenu 80 fois au cours d’une même année.
Beaucoup de ces problèmes sont dus aux nouveaux rôles joués par les algorithmes dans l’application de la loi. Les budgets réduits menant à des réductions de personnel, les systèmes automatisés, auparavant de simples instruments administratifs, sont maintenant des décideurs à part entière.
Dans nombre de cas, le problème est plus vaste que la simple recherche d’un bon algorithme pour une tâche donnée. Il touche à la croyance problématique selon laquelle toutes les tâches possibles et imaginables peuvent être automatisées. Prenez par exemple l’extraction de données, utilisée pour découvrir les complots terroristes : de telles attaques sont statistiquement rares et ne se conforment pas à un profil bien défini comme, par exemple, les achats sur Amazon. Les voyageurs finissent par abandonner une grande partie de leur vie privée au profit des algorithmes d’extraction de données, avec peu de résultats, si ce n’est des faux-positifs. Comme le note Bruce Schneier, le célèbre expert en sécurité informatique :
Chercher des complots terroristes… c’est comme chercher une aiguille dans une botte de foin, ce n’est pas en accumulant davantage de foin sur le tas qu’on va rendre le problème plus facile à résoudre. Nous ferions bien mieux de laisser les personnes chargées d’enquêtes sur de possibles complots prendre la main sur les ordinateurs, plutôt que de laisser les ordinateurs faire le travail et les laisser décider sur qui l’on doit enquêter.
Bien qu’il soit clair qu’un sujet aussi brûlant que le terrorisme est un candidat parfait pour ce type de solutions, le problème central se résume encore une fois à cette promesse fantomatique de l’objectivité des algorithmes. « Nous sommes tous absolument effrayés par la subjectivité et l’inconstance du comportement humain », explique Danielle Citron, professeur de droit à l’Université du Maryland. « Et à l’inverse, nous manifestons une confiance excessive pour tout ce que peuvent accomplir les ordinateurs ».
Le professeur Citron suggère que l’erreur vient de ce que nous « faisons confiance aux algorithmes, parce que nous les percevons comme objectifs, alors qu’en réalité ce sont des humains qui les conçoivent, et peuvent ainsi leur inculquer toutes sortes de préjugés et d’opinions ». Autrement dit, un algorithme informatique a beau être impartial dans son exécution, cela ne veut pas dire qu’il n’a pas de préjugés codés à l’intérieur.
Ces erreurs de jugement, implicites ou explicites, peuvent être causées par un ou deux programmeurs, mais aussi par des difficultés d’ordre technique. Par exemple, les algorithmes utilisés dans la reconnaissance faciale avaient par le passé de meilleurs taux de réussite pour les hommes que pour les femmes, et meilleurs pour les personnes de couleur que pour les Blancs.
Ce n’est pas par préjugé délibéré qu’un algorithme ciblera plus d’hommes afro-américains que de femmes blanches, mais cela ne change rien au résultat. De tels biais peuvent aussi venir de combinaisons plus abstraites, enfouies dans le chaos des corrélations de jeux de données.
Prenez par exemple l’histoire de l’afro-américaine Latanya Sweeney, docteure de l’Université d’Harvard. En effectuant des recherches sur Google, elle fut choquée de découvrir que les résultats de ses recherches étaient accompagnés de publicités demandant : « Avez-vous déjà été arrêté(e) ? ». Ces annonces n’apparaissaient pas pour ses collègues blancs. Sweeney se lança alors dans une étude, démontrant que les outils d’apprentissage automatique utilisés par Google étaient incidemment racistes, en associant plus souvent des noms donnés à des personnes noires avec des publicités ayant trait aux rapports d’arrestation.
Le système de recommandation de Google Play révèle un problème similaire : il suggère aux utilisateurs qui téléchargent Grindr, un outil de réseautage social basé sur la localisation pour les gays, de télécharger également une application qui assure le suivi géolocalisé des délinquants sexuels. Au vu de ces deux cas, devons-nous conclure que les algorithmes ont fait une erreur, ou plutôt qu’ils sont révélateurs des préjugés inhérents à leurs concepteurs ? Ou, ce qui semble plus probable, ne seraient-ils pas révélateurs d’associations inappropriées et à grande échelle entre — dans le premier cas — les personnes noires et le comportement criminel, et — dans le deuxième cas — l’homosexualité et les agressions sexuelles ?
Peu importe la raison, peu importe la façon répréhensible dont ces corrélations codifiées peuvent exister, elles révèlent une autre face de la culture algorithmique. Quand un seul individu fait explicitement une erreur de jugement, il ne peut jamais affecter qu’un nombre fini de personnes. Un algorithme, quant à lui, a le potentiel d’influer sur un nombre de vies exponentiellement plus grand.
Pour aller plus loin, 4 articles en français sur le même sujet :
gasche
Je ne comprends pas le propos de cet article. Il fait une longue liste de cas où des gens ont décidé de mettre en place un système automatisé nuisible à certains utilisateurs, et/ou de ne pas mettre en place de démarche de traitement des faux positifs.
Je ne comprends pas quel sens donner à la conclusion.
> Peu importe la raison, peu importe la façon répréhensible dont ces corrélations codifiées peuvent exister, elles révèlent une autre face de la culture algorithmique.
Qu’est-ce que la « culture algorithmique » ? (un nouveau nom pour le scientisme ?) Je doute que ce concept ait un sens, mais il faudrait dans tous les cas commencer par cela.
> Quand un seul individu fait explicitement une erreur de jugement, il ne peut jamais affecter qu’un nombre fini de personnes.
Et quand c’est le président d’un pays…
Aurélien PIERRE
Cet article est dépourvu de toute rigueur intellectuelle.
Les algo n’y sont pour rien dans cette histoire, le problème se situe au niveau des gens qui les utilisent.
Le problème de John Gass n’est pas d’avoir été identifié à tort par un programme, mais de ne pas avoir disposé de recours après le faux positif.
De même pour les faux terroristes, le problème est-il d’avoir un programme qui trouve des terroristes qui n’en sont pas, ou d’avoir des autorités qui prennent tout le monde pour des terroristes potentiels ?
Cet article fait un mélange grossier entre l’outil et l’utilisateur, en confondant mauvais usage et mauvais outil.
Goofy
@ Aurélien Pierre » le problème se situe au niveau des gens qui les utilisent. »
l’article ne suggère pas autre chose dans sa dernière partie. Bien sûr qu’il y a une responsabilité humaine. Dire que c’est celle des « autorités » est un discours facile qui masque la responsabilité des codeurs.
Par ailleurs dédouaner absolument l’outil (qui serait neutre ?) en écrivant « les algos n’y sont pour rien » pose pas mal de questions. Une technologie provoque ses usages.
galex-713
@Goofy :
premièrement, par rapport à la « responsabilité des codeurs » :
l’erreur est humaine, point. Un·e codeu·r·se fera toujours des erreurs.
Si on est pas foutu·e de prendre en compte la subjectivité et l’erreur
intrinsèque à la nature humaine, alors c’est là qu’est le problème,
comme l’a souligné Aurélien Pierre.
Deuxièmement, ce n’est pas une technologie qui provoque ses usages mais
un usage qui provoque des technologies. Les technologies ne sortent pas
de nulle part, d’une origine divine <i lang= »la »>ex
machina</i>, de façon extérieure à l’humanité pour ensuite venir
l’influencer objectivement de l’extérieur en la contraignant méchamment.
Non. Comme le dit Bayart (et comme il le répétait très bien à sa
dernière conférence à l’Ubuntu-Party) : on se retrouve dans le mythe de
la créature Frankenstein. Et ce mythe n’a jamais existé. Internet n’est
pas venu perturbé l’humanité pendant qu’elle stagnait gentiment dans un
équilibre cosmique, l’humanité s’est munie d’Internet (et notamment de
l’ordinateur, pour créer Internet). L’outil ne se « révolte » pas, même
si on en a l’impression. L’outil fait ce qu’on lui a demandé de faire.
Or, deux choses : ceux qui commandent l’outil sont imparfaits, et — ce
qui découle en partie de la première chose — il peuvent être
malveillants. Quand on vit dans un monde autoritaire, et qu’une autorité
base ses décisions sur un algorithme qui en sait trop et qui en plus
sait mal, il y a un problème.
Toutefois cet article me semble extrêmement intéressant en ce qui
concerne l’autopsie d’une caractéristique intrinsèque à l’idéologie du
libéralisme consistant à nier les déterminismes sociaux. Pour moi croire
qu’un algo puisse être objectif, raisonnable ou forcément sans erreurs
c’est une forme de négation des déterminismes sociaux : de la même façon
que la société « programme » les humain·e·s et leur inculque toutes les
constructions sociales qui font ce qu’illes sont, puis que le système
capitaliste nie que ces constructions sociales aient une quelconque
importance, en basant toute sa justification « morale » (morale oui,
juste, éthique, non) sur des concepts de « mérite » qui n’ont aucun sens
sans le « libre-arbitre » supposant que les humain·e·s ne sont « pas
déterminé·e·s » par ce qu’on leur enseigne, ce qu’on construit en
elleux.
Et du coup cette négation des constructions sociales, du déterminisme
sociale, pire, de la société elle-même, de son rôle fondamental dans la
constitution d’un·e humain·e, et du rôle fondamental de l’humain·e, et
du concept de culture qui remplace celui de nature chez cellui-ci et sa
société, elle aboutit à des conceptions assez absurdes mais surtout
arbitraires basées sur le « mérite » et la « responsabilité », où ceux
qui auront le plus de chance et auront de meilleurs moyens (soit par
très grand hasard, soit par bonne naissance : ethnie attribuée,
nationalité, classe, validité, neurotypisme, hétérosexualité, cisgenrité
et sexe masculin de préférence) auront plus tendance à plus souvent
mieux « réussir », et donc avoir plus de « mérite », et donc recevoir en
récompense plus de ressources (quant à la culture, santé, célébrité,
aux diplômes, compétences, au capital, à l’assurance, la stabilité
psychologique, etc.) et de moyens, et donc ayant plus de moyens ille
réussira mieux et aura encore plus de moyens… à l’infini… Sauf que la
réciproque est vraie : si pas d’bol on tombe dans les 99%, ben avec
moins de moyens on est moins compétitifs et on « réussit » moins, du
coup on a moins de moyens (que d’autres), réussit moins, et a encore
moins de moyens… et au final ça juste tend à augmenter à outrance toutes
les inégalités dans tous les domaines.
Et évidemment, pour justifier ça, toute la logique libérale est de dire
que ces moyens ne sont pas du tout la raison principale pour laquelle on
réussit, et que s’il on réussit c’est parce qu’on a la « volonté » (qui
est supérieure à tout, si on veut on peut, quelque soit le contexte et
l’irrationnalité intrinsèque au fonctionnement des schémas de réflexion
du cerveau humain), et par « initiative personnelle » (après c’est pas
comme si ces trucs aussi étaient socialement construit et dépendaient de
la situation dans laquelle on se trouve), à faire la louange du
« progrès personnel » (alors qu’on ne se construit, qu’on ne s’améliore
<strong>jamais</strong> seul·e), en niant tout autre type de
déterminisme.
Et de façon assez marrante, cette conception libérale elle se retrouve
dans la négation du mauvais impact que peuvent avoir certains
programmes, logiciel, machines, algorithmes… C’est comme si on
attribuait une essence intrinsèque et indépendante à celleux-ci, comme
s’ils se retrouvaient avec un libre-arbitre, voir pire, comme une sorte
d’essentialisme tenant du déterminisme biologique, du biologisme, bref,
d’une quelconque « nature » algorithmique, d’une essence inexistante
qu’on leur attribue… sauf que c’est un truc qui est ostensiblement
technique et déterministe, du coup c’en devient drôle.
C’est d’autant plus drôle que du coup, ces algorithmes très souvent
reproduisent ces schémas libéraux absurdes. En effet non seulement dans
ce contexte on nie les constructions sociales qui déterminent la façon
dont sont faits ces programmes, mais en niant leur
<em>influence</em> on les reproduit et s’y adapte, plutôt
que de tenter de les résoudre.
C’est le vieux problème du « s’adapter à la société… ou adapter la
société à soi », comme le disait George Bernard Shaw : « L’homme
raisonnable s’adapte au monde : l’homme déraisonnable persiste à tenter
d’adapter le monde à lui-même. Par conséquent tout progrès dépend de
l’homme déraisonnable. ». Or on se retrouve alors dans quelque chose de
proche de l’attitude libérale face au sexisme : d’abord on dit que ça
n’existe pas, puis quand on montre des choses comme les inégalités
salariales ou les jouets alors illes disent « bon ok, on attribue des
stéréotypes alors que c’est pas vrai les filles sont pas comme ça, c’est
pas bien, on va exiger la parité et dire que bouh c’est débile les
filles sont pas comme ça », puis quand on leur parle de, par exemple,
sanctionner le marketing genré « nan mais se baser sur des idées reçues
sur les filles c’est une chose, mais bon si c’est vraiment des
stéréotypes pas vrais alors ça veut dire que c’est juste débile et
qu’avec le progrès ça marchera pas et du coup la Sainte Invisible Main
du Marché le sanctionnerait par elle-même, donc on fait rien ». Or du
coup on voit la situation de façon binaire en disant « soit les filles
sont comme ça, soit elles sont pas comme ça, si c’est un stéréotype
elles sont pas comme ça, mais vu que le marketing genré et le marché en
général arrivent à s’en nourrir, c’est qu’elles le sont, donc bon, où
est le problème ? ». Or la question n’est pas « les femmes sont-elles
comme ça ? », mais « le sont-elles <em>essentiellement</em>,
c’est-à-dire <strong>par essence</strong> ? ». Le
sont-elles vraiment parce que ce sont des femmes où parce qu’on a vu en
elles des femmes et ont les en a fait devenir ?
En effet là où il faudrait dire « aucun déterminisme biologique ne rend
les femmes comme ça, ce sont des constructions sociales qui soutiennent
le patriarcat en construisant en la femme des schémas de soumission aux
règles patriarcales qui le font, et ils faut les combattre car elles
diminuent l’égalité en réduisant leur liberté car en les soumettant à la
domination masculine », les libér·aux·ales nient la possibilité de
constructions sociales, et s’illes observent un pattern commun à un
groupe défini par une caractéristique aussi floue et mineure que le
sexe, illes se mettent à attribuer à ce genre soit un déterminisme
biologique (et là on tend vers l’idéologie fasciste, plus cohérente mais
aussi plus autoritaire), soit persiste à dire que ça sort de nulle
part, que c’est une pure coincidence, que du coup le marketing genré est
là aussi par coincidence, le sexisme en général aussi, que tout ça
n’est qu’un énorme malentendu et que le patriarcat n’a d’ailleurs jamais
existé, que sinon ce serait nier le libre-arbitre, et que « bon hein,
les femmes elles devraient avoir le droit à être plus femmes, plus
genrées et plus soumises, et puis du coup aussi à avoir le droit de ne
pas avoir le droit à l’IVG et à la GPA et à la contraception libre et
gratuite et ça et ça et ça, et ferme ta gueule d’abord, tu racontes que
de la merde qui consiste à dire tout [« le genre “femme” c’est ça »] et
son contraire [« la femme n’est pas vraiment comme ça, le genre “femme”
est socialement construit (c’est la partie après la virgule qui ne leur
est pas accessible depuis leur pensée limitée) »]. »
Du coup on retourne sur le « s’adapter à la société ou adapter la
société à nous » : cette idéologie tend à nier le fait qu’on puisse
adapter la société, et en faire un artefact vide de sens et privé de
déterminismes, composés de la simple somme des individus (et non de
<em>la somme des interactions entre eux</em>, bref, de leur
<em>culture</em>, dans le cas de l’humanité), bref, à nier
la société elle-même, rendant ainsi impossible l’idée qu’on puisse
l’adapter à nous, et imposant la nécessité de se conformer à ses normes,
fusse-t-elles profondément autoritaires, inégalitaires et
individualistes.
De cette façon ainsi on se retrouve avec des algorithmes qui, produits
dans un contexte de négation de la société (allez, lachons-le :
antisocialiste, de droite :>, notez que ça inclut les partis, « de
gauche », qui ont vite fait d’oublier leurs idées, pour se réembourber
dans cette idéologie libérale et bourgeoise (de toute façon la
démocratie représentative est déjà intrinsèquement élitiste) et vouloir
se conformer à « répondre à l’Opinion », comme si l’« Opinion » était
unitaire, comme si elle n’était pas quand bien même socialement
construite), les algorithmes reflètent parfaitement cet état d’esprit,
de façon mathématique (c’est beau :o), et s’adaptent à la société au
mieux dans l’immédiat sans adapter la société à eux. Ainsi, plutôt de,
je ne sais pas, utiliser des algorithmes de filtrage à équations
bayésiennes autostabilisantes pour via des systèmes de dénonciation
décentralisés (potentiellement P2P avec de la crypto par dessus) pour
identifier des messages racistes, sexistes, etc. on récupère ces
messages sexistes, racistes, etc. on remarque qu’ils sont
statistiquement répandus et communs… et les algos les répètent x) dans
les suggestions, dans les liens, les recherches, les recherches d’amis,
les filtres, les pubs, les propositions… du coup comme on l’a déjà
pointé, celui qui cherchera des trucs plutôt d’un certain sujet tendera à
trouver ce qui lui « convient » le plus, donc des trucs où on est
d’accord avec ellui, toujours, à ainsi créer des bulles (les bulles de
Google :D), des circuits fermés et à « extrêmiser » les gens, à creuser
tendanciellement les inégalités d’opinions, et plus seulement de
capital, culture, humeur, compétence, papiers, etc. x)
Bref, ces algos agissent de façon rigide et indépendamment de la volonté
des utilisateurs, ils analysent ces actes, sans demander son avis
(toujours l’idéologie libérale et son foutu libre-arbitre à croire que
la simple « volonté » suffit à aller contre n’importe quoi, que donc
tout ce qu’on fait va forcément dans le sens de notre volonté, qu’on se
trompe jamais, qu’on est tou·te·s rationnel·le·s et qu’on a absolument
pas d’émotions pour donner un sens à notre raison). Et que nie-t-on
encore une fois en niant la société ? L’idée que l’on puisse
<strong>agir</strong> sur ces algorithmes rigides, qu’on
puisse leur faire demander l’avis des utilisateurs et se baser dessus,
qu’on puisse diffuser leur code source, le vulgariser, l’expliquer et le
partager. Le logiciel libre quoi.
Bref, c’est du gros libéralisme pourri, et ça nie la société et le
logiciel libre. Et comme dit Bayart « à la fin c’est nous qui gagne »,
na !
galex-713
Oh
et du coup j’oubliais, par rapport au « manque de rigueur », ou aux
erreurs fortuites, qui prennent alors une ampleur catastrophique, sans
que ce soit volontaire, malfaisant ou autoritaire, c’est là encore non
pas un but mais une *dérive* du capitalisme : le technologisme.
On appelle ça injustement « scientisme », comme « foi déraisonnée en la
science ». Or la Science, c’est le savoir acquis de façon rationnelle et
empirique (la seule vraie façon d’obtenir du savoir) et surtout
*collective*. Il n’y a pas de « foi » en la Science, puisque la Science
c’est la raison et elle s’*oppose* à la foi. Donc « croire tout ce que
dit la Science » (en prenant en compte que la « Science » ne déclame pas
les faits vrais ou faux, elles les déclarent plus ou moins plausibles
et probables en fonction de la précision des observations empiriques)
n’est pas une dérive, une faute, ou une « erreur » (c’est même le strict
opposé). Le dire c’est que de la bonne vieille attitude naturaliste
réactionnaire à la limite du fascisme (« L’induction est impossible !
Tout est question d’interprétation ! Aucune vérité n’existe en dehors de
la Foi ! Vous m’entendez Winston ? »).
Par contre le vrai problème ici, et qui est hautement critiquable, c’est
la foi en la *technologie*. Or la technologie n’est censée être que
l’*application* de la Science. Or, avec le capitalisme, la Science se
meurt : par nécessité de « compétitivité » les tests, essais,
expériences, se raréfient, les observations se font floues, et surtout
tout est fait de façon individuelle, le travail n’est plus collaboratif,
on brevète à foison, on cesse toute réflexion collective, le Savoir
n’est plus, la Science non plus. Or, tenter d’appliquer la Technique
sans la Science, en oubliant ce que les expériences, les raisonnements
et la collaborations requis par la Science peuvent préciser, nuancer,
porte à des dérives qui rendent la Technique de plus en plus fragile. On
oublie que la Science ne donne pas de vérité certaine, on oublie de
partager le savoir, on oublie de faire davantages de tests. Et on se
retrouve avec des algos qui foutent des citoyens aléatoire en prison,
des OGM cancérigènes et des médicaments vitaux brevetés. La magie du
Capital x)
Et c’est d’ailleurs pour ça que le logiciel libre continue d’exploser
technologiquement même en période de crise, alors que tous les autres
domaines technologiques stagnent scientifiquement. Alors que les 9/10 du
boulot d’un prof d’université consiste à remplir de la paperasse, alors
que toutes les avancées technologiques ne font que progresser par
inertie sur la base de connaissance scientifiques qui soit se sont
accumulée avant qu’on se mette à stagner comme ça, soit continuent de se
créer, mais à vitesse énormément ammoindrie.
Et à coté de ça, le logiciel libre se développe x) bon, cf la dernière
phrase de mon dernier commentaire 😉
Aurélien PIERRE
@Goofy avec un raisonnement similaire, on rend les ingénieurs de chez Renault responsables de tous les tués par une automobile Renault ?
Parce que la voiture, si on la laisse faire sans réagir, elle peut tuer des gens. Est-elle en cause pour autant ? Ou bien on admet que la voiture, comme l’algo, n’est pas plus intelligente que la personne qui la conçue ni que celle qui l’opère, et que c’est donc à l’utilisateur d’effectuer un contrôle de la machine ?
Je rejoins Galex sur un point : l’excès de confiance dans la technologie. Le problème provient du fait que l’utilisateur – non formé la plupart du temps – voit le système technologique comme une boîte noire magique conçue par une entité supérieure. Il n’y a que les ingénieurs pour savoir que ce n’est qu’un machin buggué et plein de défauts…
Du danger de mettre dans les mains de tout le monde des outils qu’ils ne comprennent pas et qui semblent fonctionner tous seuls.
goofy
Je suis content de voir que vous n’avez pas peur de faire dire ce qui vous convient à cet article pour pouvoir exposer votre point de vue sur un tas de choses. Continuez, les commentaires sont faits pour ça.
@Aurélien Pierre mépris assez classique envers les utilisateurs naïfs, ignorants, non formés, etc. et donc disqualifiés d’avance. D’ailleurs c’est d’eux que vient le danger, finalement. Ben voyons.
Juste pour entretenir l’endroit là où ça vous chatouille, un petit pas de côté vers cet article qui se demande si vraiment un objet technologique (ici à propos de logiciel) est neutre http://blog-libre.org/post/2014/10/… (dernier paragraphe).
Ginko
Et encore là on parle que d’algos… (quoique, z’en êtes vraiment sûrs ? y’a pas déjà quelques IA parmi les systèmes cités ?)
Parce que j’imagine que débugger une IA, supprimer les préjugés et les biais qu’on lui a appris (sciemment ou pas), ça doit être autrement plus difficile que « juste » corriger un bug dans un algo… mais d’ici que les gens comprennent que laisser des automates limités (quand les IA seront plus intelligentes que nous, je dis pas…) prendre des décisions sans les contrôler est stupide, y’a encore du chemin.
PS : Moi, ce que j’en pense de la neutralité technologique peut par exemple se réduire (avec perte) à l’adage « Quand vous avez un marteau dans la main, tous vos problèmes ressemblent à des clous. » Olivier Ertzscheid a abordé le problème dans un certain nombre d’articles assez intéressants (par exemple http://affordance.typepad.com/mon_w… ).
Goofy
merci @ginko pour le lien vers cet article effectivement riche et intéressant. Je l’ajoute aux liens de suite à l’article ci-dessus.
Aurélien PIERRE
@Goofy je ne comprends pas où vous voulez en venir, pas plus que l’article donné par Ginko.
Parce qu’il y a des faux positifs, on devrait abolir les algo de tri ? Et parce qu’il y a des sites pédophiles, on devrait abolir internet ? Et parce qu’il y a des tueurs, on devrait vendre des couteaux à bout rond aussi ?
L’article de Olivier Ertzscheid évite la question qu’il pose en filant la métaphore et en détournant l’attention par des éléments de language, au final c’est quand même essentiellement du vent. Sur le fond, sa thèse est aussi simpliste que celles qu’il prétend démonter.
Et puis oui, le danger vient de l’utilisateur. Quand on manipule du matériel dangereux, on commence par apprendre puis par respecter ses règles de sécurité. L’algo fait ce qu’on lui demande, s’il n’y a pas un humain derrière pour contrôler ce qu’il fait, c’est la faute de l’humain, pas celle de l’algo. Un algo est fait pour ordonner des cases, pas pour faire appliquer la loi. Si des fénéants se reposent un peu trop sur leur machine, ce c’est certainement pas la fautes des programmeurs.
Impliquer la responsabilité du technicien dans son objet technique est beaucoup moins simple que ce qui est suggéré ici.
Ginko
@Aurélien PIERRE
>Parce qu’il y a des faux positifs, on devrait abolir les algo de tri ?
Qui a dit ça ici en dehors de vous ?
Je trouve cette violence dans vos réponses surprenante. Qu’attaque-t-on chez vous lorsque l’on remet en cause cette chimère de la neutralité technologique ?
Je suis dev et enthousiaste par rapport à la techno. Fervent dans la croyance qu’elle peut apporter le progrès. Mais c’est quand même sacrément naïf de penser qu’un outil puisse être totalement neutre, incapable d’influencer a minima son propre usage. Juste au cas où, vous connaissez les concepts d’ergonomie et d’affordance ?
L’utilisateur a bon dos. Facile de tout lui faire porter.
J
salut la sphere,
ce que je ne comprend pas moi perso : c’est comment des gens qui comprennent correctement le francais peuvent ne pas saisir l’essence de ce plaidoyer ?
plusieurs commentaires sur les algo (bons , pas bons), sur la responsabilite des codeurs … et pas une bribe pour dire que si le code etait ouvert et libre (dans le sens de la fsf) , toutes ces derives auraient deja ete corrigees ?
on ne peut pas s’appuyer sur la morale ni sur l’intelligence, ni sur le savoir, ni sur la sagesse, ni sur aucun des caracteres subjectifs humains pour creer de l’objectivite … le dicton dit que les chiens ne font pas de chats (et vice versa) … mais la collaboration de plusieurs personnes aux origines et horizons diverses le peuvent sur du code ouvert et libre, chacun a leur tour sur un petit bout comme des petits pas sur un long chemin, produire un meilleure code affranchi de la subjectivite de chacun grace a la sagesse des autres … c’est comme ca aussi qu’on construit une meilleure humanite …