Voici le deuxième volet (si vous avez raté le premier) de l’enquête approfondie d’Hubert Guillaud sur l’exploration des algorithmes, et de son analyse  des enjeux qui en découlent.

---

Dans le code source de l’amplification algorithmique : que voulons-nous vraiment savoir ?

par Hubert GUILLAUD

Que voulons-nous vraiment savoir en enquêtant sur l’amplification algorithmique ? C’est justement l’enjeu du projet de recherche qu’Arvind Narayanan mène au Knight Institute de l’université Columbia où il a ouvert un blog dédié et qui vient d’accueillir une grande conférence sur le sujet. Parler d’amplification permet de s’intéresser à toute la gamme des réponses qu’apportent les plateformes, allant de l’amélioration de la portée des discours à leur suppression, tout en se défiant d’une réduction binaire à la seule modération automatisée, entre ce qui doit être supprimé et ce qui ne doit pas l’être. Or, les phénomènes d’amplification ne sont pas sans effets de bord, qui vont bien au-delà de la seule désinformation, à l’image des effets très concrets qu’ont les influenceurs sur le commerce ou le tourisme. Le gros problème, pourtant, reste de pouvoir les étudier sans toujours y avoir accès.

Outre des analyses sur TikTok et les IA génératives, le blog recèle quelques trésors, notamment une monumentale synthèse qui fait le tour du sujet en expliquant les principes de fonctionnements des algorithmes (l’article est également très riche en liens et références, la synthèse que j’en propose y recourra assez peu).

Narayanan rappelle que les plateformes disposent de très nombreux algorithmes entremêlés, mais ceux qui l’intéressent particulièrement sont les algorithmes de recommandation, ceux qui génèrent les flux, les contenus qui nous sont mis à disposition. Alors que les algorithmes de recherche sont limités par le terme recherché, les algorithmes de recommandation sont bien plus larges et donnent aux plateformes un contrôle bien plus grand sur ce qu’elles recommandent à un utilisateur.

La souscription, le réseau et l’algorithme

Pour Narayanan, il y a 3 grands types de leviers de propagation : la souscription (ou abonnement), le réseau et l’algorithme. Dans le modèle par abonnement, le message atteint les personnes qui se sont abonnées à l’auteur du message. Dans le modèle de réseau, il se propage en cascade à travers le réseau tant que les utilisateurs qui le voient choisissent de le propager. Dans le modèle algorithmique, les utilisateurs ayant des intérêts similaires (tels que définis par l’algorithme sur la base de leurs engagements passés) sont représentés plus près les uns des autres. Plus les intérêts d’un utilisateur sont similaires à ceux définis, plus il est probable que le contenu lui sera recommandé.

À l’origine, les réseaux sociaux comme Facebook ou Twitter ne fonctionnaient qu’à l’abonnement : vous ne voyiez que les contenus des personnes auxquelles vous étiez abonnés et vous ne pouviez pas republier les messages des autres ! Dans le modèle de réseau, un utilisateur voit non seulement les messages créés par les personnes auxquelles il s’est abonné, mais aussi les messages que ces utilisateurs choisissent d’amplifier, ce qui crée la possibilité de cascades d’informations et de contenus “viraux”, comme c’était le cas de Twitter jusqu’en 2016, moment où le réseau introduisit le classement algorithmique. Dans le modèle algorithmique, la souscription est bien souvent minorée, le réseau amplifié mais surtout, le flux dépend principalement de ce que l’algorithme estime être le plus susceptible d’intéresser l’utilisateur. C’est ce que Cory Doctorow désigne comme « l’emmerdification  » de nos flux, le fait de traiter la liste des personnes auxquelles nous sommes abonnés comme des suggestions et non comme des commandes.

Le passage aux recommandations algorithmiques a toujours généré des contestations, notamment parce que, si dans les modèles d’abonnement et de réseau, les créateurs peuvent se concentrer sur la construction de leur réseau, dans le « modèle algorithmique, cela ne sert à rien, car le nombre d’abonnés n’a rien à voir avec la performance des messages » (mais comme nous sommes dans des mélanges entre les trois modèles, le nombre d’abonnés a encore un peu voire beaucoup d’influence dans l’amplification). Dans le modèle algorithmique, l’audience de chaque message est optimisée de manière indépendante en fonction du sujet, de la « qualité » du message et d’un certain nombre de paramètres pris en compte par le modèle.

Amplification et viralité

La question de l’amplification interroge la question de la viralité, c’est-à-dire le fait qu’un contenu soit amplifié par une cascade de reprises, et non pas seulement diffusé d’un émetteur à son public. Le problème de la viralité est que sa portée reste imprévisible. Pour Narayanan, sur toutes les grandes plateformes, pour la plupart des créateurs, la majorité de l’engagement provient d’une petite fraction de contenu viral. Sur TikTok comme sur YouTube, 20 % des vidéos les plus vues d’un compte obtiennent plus de 70 % des vues. Plus le rôle de l’algorithme dans la propagation du contenu est important, par opposition aux abonnements ou au réseau, plus cette inégalité semble importante.

Parce qu’il est particulièrement repérable dans la masse des contenus, le contenu viral se prête assez bien à la rétropropagation, c’est-à-dire à son déclassement ou à sa suppression. Le problème justement, c’est qu’il y a plein de manières de restreindre le contenu. Facebook classe les posts rétrogradés plus bas dans le fil d’actualité qu’ils ne le seraient s’ils ne l’avaient pas été, afin que les utilisateurs soient moins susceptibles de le rencontrer et de le propager. À son tour, l’effet de la rétrogradation sur la portée peut être imprévisible, non linéaire et parfois radical, puisque le contenu peut devenir parfaitement invisible. Cette rétrogradation est parfaitement opaque, notamment parce qu’une faible portée n’est pas automatiquement suspecte, étant donné qu’il existe une grande variation dans la portée naturelle du contenu.

Amplification et prédiction de l’engagement

Les plateformes ont plusieurs objectifs de haut niveau : améliorer leurs revenus publicitaires bien sûr et satisfaire suffisamment les utilisateurs pour qu’ils reviennent… Mais ces objectifs n’aident pas vraiment à décider ce qu’il faut donner à un utilisateur spécifique à un moment précis ni à mesurer comment ces décisions impactent à long terme la plateforme. D’où le fait que les plateformes observent l’engagement, c’est-à-dire les actions instantanées des utilisateurs, comme le like, le commentaire ou le partage qui permettent de classer le contenu en fonction de la probabilité que l’utilisateur s’y intéresse. « D’une certaine manière, l’engagement est une approximation des objectifs de haut niveau. Un utilisateur qui s’engage est plus susceptible de revenir et de générer des revenus publicitaires pour la plateforme.  »
Si l’engagement est vertueux, il a aussi de nombreuses limites qui expliquent que les algorithmes intègrent bien d’autres facteurs dans leur calcul. Ainsi, Facebook et Twitter optimisent les « interactions sociales significatives », c’est-à-dire une moyenne pondérée des likes, des partages et des commentaires. YouTube, lui, optimise en fonction de la durée de visionnage que l’algorithme prédit. TikTok utilise les interactions sociales et valorise les vidéos qui ont été regardées jusqu’au bout, comme un signal fort et qui explique certainement le caractère addictif de l’application et le fait que les vidéos courtes (qui ont donc tendance à obtenir un score élevé) continuent de dominer la plateforme.

En plus de ces logiques de base, il existe bien d’autres logiques secondaires, comme par exemple, pour que l’expérience utilisateur ne soit pas ralentie par le calcul, que les suggestions restent limitées, sélectionnées plus que classées, selon divers critères plus que selon des critères uniques (par exemple en proposant des nouveaux contenus et pas seulement des contenus similaires à ceux qu’on a apprécié, TikTok se distingue à nouveau par l’importance qu’il accorde à l’exploration de nouveaux contenus… c’est d’ailleurs la tactique suivie désormais par Instagram de Meta via les Reels, boostés sur le modèle de TikTok, qui ont le même effet que sur TikTok, à savoir une augmentation du temps passé sur l’application)… 

« Bien qu’il existe de nombreuses différences dans les détails, les similitudes entre les algorithmes de recommandation des différentes plateformes l’emportent sur leurs différences », estime Narayanan. Les différences sont surtout spécifiques, comme Youtube qui optimise selon la durée de visionnage, ou Spotify qui s’appuie davantage sur l’analyse de contenu que sur le comportement. Pour Narayanan, ces différences montrent qu’il n’y a pas de risque concurrentiel à l’ouverture des algorithmes des plateformes, car leurs adaptations sont toujours très spécifiques. Ce qui varie, c’est la façon dont les plateformes ajustent l’engagement.

Comment apprécier la similarité ?

Mais la grande question à laquelle tous tentent de répondre est la même : « Comment les utilisateurs similaires à cet utilisateur ont-ils réagi aux messages similaires à ce message ?  »

Si cette approche est populaire dans les traitements, c’est parce qu’elle s’est avérée efficace dans la pratique. Elle repose sur un double calcul de similarité. D’abord, celle entre utilisateurs. La similarité entre utilisateurs dépend du réseau (les gens que l’on suit ou ceux qu’on commente par exemple, que Twitter valorise fortement, mais peu TikTok), du comportement (qui est souvent plus critique, « deux utilisateurs sont similaires s’ils se sont engagés dans un ensemble de messages similaires  ») et les données démographiques (du type âge, sexe, langue, géographie… qui sont en grande partie déduits des comportements).

Ensuite, il y a un calcul sur la similarité des messages qui repose principalement sur leur sujet et qui repose sur des algorithmes d’extraction des caractéristiques (comme la langue) intégrant des évaluations normatives, comme la caractérisation de discours haineux. L’autre signal de similarité des messages tient, là encore, au comportement : « deux messages sont similaires si un ensemble similaire d’utilisateurs s’est engagé avec eux ». Le plus important à retenir, insiste Narayanan, c’est que « l’enregistrement comportemental est le carburant du moteur de recommandation ». La grande difficulté, dans ces appréciations algorithmiques, consiste à faire que le calcul reste traitable, face à des volumes d’enregistrements d’informations colossaux.

Une histoire des évolutions des algorithmes de recommandation

« La première génération d’algorithmes de recommandation à grande échelle, comme ceux d’Amazon et de Netflix au début des années 2000, utilisait une technique simple appelée filtrage collaboratif : les clients qui ont acheté ceci ont également acheté cela ». Le principe était de recommander des articles consultés ou achetés d’une manière rudimentaire, mais qui s’est révélé puissant dans le domaine du commerce électronique. En 2006, Netflix a organisé un concours en partageant les évaluations qu’il disposait sur les films pour améliorer son système de recommandation. Ce concours a donné naissance à la « factorisation matricielle », une forme de deuxième génération d’algorithmes de recommandation, c’est-à-dire capables d’identifier des combinaisons d’attributs et de préférences croisées. Le système n’étiquette pas les films avec des termes interprétables facilement (comme “drôle” ou “thriller” ou “informatif”…), mais avec un vaste ensemble d’étiquettes (de micro-genres obscurs comme « documentaires émouvants qui combattent le système ») qu’il associe aux préférences des utilisateurs. Le problème, c’est que cette factorisation matricielle n’est pas très lisible pour l’utilisateur et se voir dire qu’on va aimer tel film sans savoir pourquoi n’est pas très satisfaisant. Enfin, ce qui marche pour un catalogue de film limité n’est pas adapté aux médias sociaux où les messages sont infinis. La prédominance de la factorisation matricielle explique pourquoi les réseaux sociaux ont tardé à se lancer dans la recommandation, qui est longtemps restée inadaptée à leurs besoins.

Pourtant, les réseaux sociaux se sont tous convertis à l’optimisation basée sur l’apprentissage automatique. En 2010, Facebook utilisait un algorithme appelé EdgeRank pour construire le fil d’actualité des utilisateurs qui consistait à afficher les éléments par ordre de priorité décroissant selon un score d’affinité qui représente la prédiction de Facebook quant au degré d’intérêt de l’utilisateur pour les contenus affichés, valorisant les photos plus que le texte par exemple. À l’époque, ces pondérations étaient définies manuellement plutôt qu’apprises. En 2018, Facebook est passé à l’apprentissage automatique. La firme a introduit une métrique appelée « interactions sociales significatives » (MSI pour meaningful social interactions) dans le système d’apprentissage automatique. L’objectif affiché était de diminuer la présence des médias et des contenus de marque au profit des contenus d’amis et de famille. « La formule calcule un score d’interaction sociale pour chaque élément susceptible d’être montré à un utilisateur donné ». Le flux est généré en classant les messages disponibles selon leur score MSI décroissant, avec quelques ajustements, comme d’introduire de la diversité (avec peu d’indications sur la façon dont est calculée et ajoutée cette diversité). Le score MSI prédit la probabilité que l’utilisateur ait un type d’interaction spécifique (comme liker ou commenter) avec le contenu et affine le résultat en fonction de l’affinité de l’utilisateur avec ce qui lui est proposé. Il n’y a plus de pondération dédiée pour certains types de contenus, comme les photos ou les vidéos. Si elles subsistent, c’est uniquement parce que le système l’aura appris à partir des données de chaque utilisateur, et continuera à vous proposer des photos si vous les appréciez.

« Si l’on pousse cette logique jusqu’à sa conclusion naturelle, il ne devrait pas être nécessaire d’ajuster manuellement la formule en fonction des affinités. Si les utilisateurs préfèrent voir le contenu de leurs amis plutôt que celui des marques, l’algorithme devrait être en mesure de l’apprendre ». Ce n’est pourtant pas ce qu’il se passe. Certainement pour lutter contre la logique de l’optimisation de l’engagement, estime Narayanan, dans le but d’augmenter la satisfaction à long terme, que l’algorithme ne peut pas mesurer, mais là encore sans que les modalités de ces ajustements ne soient clairement documentés.

Est-ce que tout cela est efficace ?

Reste à savoir si ces algorithmes sont efficaces ! « Il peut sembler évident qu’ils doivent bien fonctionner, étant donné qu’ils alimentent des plateformes technologiques qui valent des dizaines ou des centaines de milliards de dollars. Mais les chiffres racontent une autre histoire. Le taux d’engagement est une façon de quantifier le problème : il s’agit de la probabilité qu’un utilisateur s’intéresse à un message qui lui a été recommandé. Sur la plupart des plateformes, ce taux est inférieur à 1 %. TikTok est une exception, mais même là, ce taux dépasse à peine les 5 %. »

Le problème n’est pas que les algorithmes soient mauvais, mais surtout que les gens ne sont pas si prévisibles. Et qu’au final, les utilisateurs ne se soucient pas tant du manque de précision de la recommandation. « Même s’ils sont imprécis au niveau individuel, ils sont précis dans l’ensemble. Par rapport aux plateformes basées sur les réseaux, les plateformes algorithmiques semblent être plus efficaces pour identifier les contenus viraux (qui trouveront un écho auprès d’un grand nombre de personnes). Elles sont également capables d’identifier des contenus de niche et de les faire correspondre au sous-ensemble d’utilisateurs susceptibles d’y être réceptifs. » Si les algorithmes sont largement limités à la recherche de modèles dans les données comportementales, ils n’ont aucun sens commun. Quant au taux de clic publicitaire, il reste encore plus infinitésimal – même s’il est toujours considéré comme un succès !

Les ingénieurs contrôlent-ils encore les algorithmes ?

Les ingénieurs ont très peu d’espace pour contrôler les effets des algorithmes de recommandation, estime Narayanan, en prenant un exemple. En 2019, Facebook s’est rendu compte que les publications virales étaient beaucoup plus susceptibles de contenir des informations erronées ou d’autres types de contenus préjudiciables. En d’autres termes, ils se sont rendu compte que le passage à des interactions sociales significatives (MSI) a eu des effets de bords : les contenus qui suscitaient l’indignation et alimentaient les divisions gagnaient en portée, comme l’a expliqué l’ingénieure et lanceuse d’alerte Frances Haugen à l’origine des Facebook Files, dans ses témoignages. C’est ce que synthétise le tableau de pondération de la formule MSI publié par le Wall Street Journal, qui montrent que certains éléments ont des poids plus forts que d’autres : un commentaire vaut 15 fois plus qu’un like, mais un commentaire signifiant ou un repartage 30 fois plus, chez Facebook. Une pondération aussi élevée permet d’identifier les messages au potentiel viral et de les stimuler davantage. En 2020, Facebook a ramené la pondération des partages à 1,5, mais la pondération des commentaires est restée très élevée (15 à 20 fois plus qu’un like). Alors que les partages et les commentaires étaient regroupés dans une seule catégorie de pondération en 2018, ils ne le sont plus. Cette prime au commentaire demeure une prime aux contenus polémiques. Reste, on le comprend, que le jeu qui reste aux ingénieurs de Facebook consiste à ajuster le poids des paramètres. Pour Narayanan : piloter un système d’une telle complexité en utilisant si peu de boutons ne peut qu’être difficile.

Le chercheur rappelle que le système est censé être neutre à l’égard de tous les contenus, à l’exception de certains qui enfreignent les règles de la plateforme. Utilisateurs et messages sont alors rétrogradés de manière algorithmique suite à signalement automatique ou non. Mais cette neutralité est en fait très difficile à atteindre. Les réseaux sociaux favorisent ceux qui ont déjà une grande portée, qu’elle soit méritée ou non, et sont récompensés par une plus grande portée encore. Par exemple, les 1 % d’auteurs les plus importants sur Twitter reçoivent 80 % des vues des tweets. Au final, cette conception de la neutralité finit par récompenser ceux qui sont capables de pirater l’engagement ou de tirer profit des biais sociaux.

Outre cette neutralité, un deuxième grand principe directeur est que « l’algorithme sait mieux que quiconque ». « Ce principe et celui de la neutralité se renforcent mutuellement. Le fait de confier la politique (concernant le contenu à amplifier) aux données signifie que les ingénieurs n’ont pas besoin d’avoir un point de vue à ce sujet. Et cette neutralité fournit à l’algorithme des données plus propres à partir desquelles il peut apprendre. »
Le principe de l’algorithme qui sait le mieux signifie que la même optimisation est appliquée à tous les types de discours : divertissement, informations éducatives, informations sur la santé, actualités, discours politique, discours commercial, etc. En 2021, FB a fait une tentative de rétrograder tout le contenu politique, ce qui a eu pour effet de supprimer plus de sources d’information de haute qualité que de faible qualité, augmentant la désinformation. Cette neutralité affichée permet également une forme de désengagement des ingénieurs.

En 2021, encore, FB a entraîné des modèles d’apprentissage automatique pour classer les messages en deux catégories : bons ou mauvais pour le monde, en interrogeant les utilisateurs pour qu’ils apprécient des contenus qui leurs étaient proposés pour former les données. FB a constaté que les messages ayant une plus grande portée étaient considérés comme étant mauvais pour le monde. FB a donc rétrogradé ces contenus… mais en trouvant moins de contenus polémique, cette modification a entraîné une diminution de l’ouverture de l’application par les utilisateurs. L’entreprise a donc redéployé ce modèle en lui donnant bien moins de poids. Les corrections viennent directement en conflit avec le modèle d’affaires.

Pourquoi l’optimisation de l’engagement nous nuit-elle ?

« Un grand nombre des pathologies familières des médias sociaux sont, à mon avis, des conséquences relativement directes de l’optimisation de l’engagement », suggère encore le chercheur. Cela explique pourquoi les réformes sont difficiles et pourquoi l’amélioration de la transparence des algorithmes, de la modération, voire un meilleur contrôle par l’utilisateur de ce qu’il voit (comme le proposait Gobo mis en place par Ethan Zuckerman), ne sont pas des solutions magiques (même si elles sont nécessaires).

Les données comportementales, celles relatives à l’engagement passé, sont la matière première essentielle des moteurs de recommandations. Les systèmes privilégient la rétroaction implicite sur l’explicite, à la manière de YouTube qui a privilégié le temps passé sur les rétroactions explicites (les likes). Sur TikTok, il n’y a même plus de sélection, il suffit de swipper.

Le problème du feedback implicite est qu’il repose sur nos réactions inconscientes, automatiques et émotionnelles, sur nos pulsions, qui vont avoir tendance à privilégier une vidéo débile sur un contenu expert.

Pour les créateurs de contenu, cette optimisation par l’engagement favorise la variance et l’imprévisibilité, ce qui a pour conséquence d’alimenter une surproduction pour compenser cette variabilité. La production d’un grand volume de contenu, même s’il est de moindre qualité, peut augmenter les chances qu’au moins quelques-uns deviennent viraux chaque mois afin de lisser le flux de revenus. Le fait de récompenser les contenus viraux se fait au détriment de tous les autres types de contenus (d’où certainement le regain d’attraits pour des plateformes non algorithmiques, comme Substack voire dans une autre mesure, Mastodon).

Au niveau de la société, toutes les institutions sont impactées par les plateformes algorithmiques, du tourisme à la science, du journalisme à la santé publique. Or, chaque institution à des valeurs, comme l’équité dans le journalisme, la précision en science, la qualité dans nombre de domaines. Les algorithmes des médias sociaux, eux, ne tiennent pas compte de ces valeurs et de ces signaux de qualité. « Ils récompensent des facteurs sans rapport, sur la base d’une logique qui a du sens pour le divertissement, mais pas pour d’autres domaines ». Pour Narayanan, les plateformes de médias sociaux « affaiblissent les institutions en sapant leurs normes de qualité et en les rendant moins dignes de confiance ». C’est particulièrement actif dans le domaine de l’information, mais cela va bien au-delà, même si ce n’est pas au même degré. TikTok peut sembler ne pas représenter une menace pour la science, mais nous savons que les plateformes commencent par être un divertissement avant de s’étendre à d’autres sphères du discours, à l’image d’Instagram devenant un outil de communication politique ou de Twitter, où un tiers des tweets sont politiques.

La science des données en ses limites

Les plateformes sont bien conscientes de leurs limites, pourtant, elles n’ont pas fait beaucoup d’efforts pour résoudre les problèmes. Ces efforts restent occasionnels et rudimentaires, à l’image de la tentative de Facebook de comprendre la valeur des messages diffusés. La raison est bien sûr que ces aménagements nuisent aux résultats financiers de l’entreprise. « Le recours à la prise de décision subconsciente et automatique est tout à fait intentionnelle ; c’est ce qu’on appelle la « conception sans friction ». Le fait que les utilisateurs puissent parfois faire preuve de discernement et résister à leurs impulsions est vu comme un problème à résoudre. »

Pourtant, ces dernières années, la réputation des plateformes n’est plus au beau fixe. Narayanan estime qu’il y a une autre limite. « La plupart des inconvénients de l’optimisation de l’engagement ne sont pas visibles dans le cadre dominant de la conception des plateformes, qui accorde une importance considérable à la recherche d’une relation quantitative et causale entre les changements apportés à l’algorithme et leurs effets. »
Si on observe les raisons qui poussent l’utilisateur à quitter une plateforme, la principale est qu’il ne parvient pas à obtenir des recommandations suffisamment intéressantes. Or, c’est exactement ce que l’optimisation par l’engagement est censée éviter. Les entreprises parviennent très bien à optimiser des recommandations qui plaisent à l’utilisateur sur l’instant, mais pas celles qui lui font dire, une fois qu’il a fermé l’application, que ce qu’il y a trouvé l’a enrichi. Elles n’arrivent pas à calculer et à intégrer le bénéfice à long terme, même si elles restent très attentives aux taux de rétention ou aux taux de désabonnement. Pour y parvenir, il faudrait faire de l’A/B testing au long cours. Les plateformes savent le faire. Facebook a constaté que le fait d’afficher plus de notifications augmentait l’engagement à court terme mais avait un effet inverse sur un an. Reste que ce regard sur leurs effets à longs termes ne semble pas être une priorité par rapport à leurs effets de plus courts termes.

Une autre limite repose sur l’individualisme des plateformes. Si les applications sociales sont, globalement, assez satisfaisantes pour chacun, ni les utilisateurs ni les plateformes n’intériorisent leurs préjudices collectifs. Ces systèmes reposent sur l’hypothèse que le comportement de chaque utilisateur est indépendant et que l’effet sur la société (l’atteinte à la démocratie par exemple…) est très difficile à évaluer. Narayanan le résume dans un tableau parlant, où la valeur sur la société n’a pas de métrique associée.

Les algorithmes ne sont pas l’ennemi (enfin si, quand même un peu)

Pour répondre à ces problèmes, beaucoup suggèrent de revenir à des flux plus chronologiques ou a des suivis plus stricts des personnes auxquelles nous sommes abonnés. Pas sûr que cela soit une solution très efficace pour gérer les volumes de flux, estime le chercheur. Les algorithmes de recommandation ont été la réponse à la surcharge d’information, rappelle-t-il : « Il y a beaucoup plus d’informations en ligne en rapport avec les intérêts d’une personne qu’elle n’en a de temps disponible. » Les algorithmes de classement sont devenus une nécessité pratique. Même dans le cas d’un réseau longtemps basé sur l’abonnement, comme Instagram : en 2016, la société indiquait que les utilisateurs manquaient 70 % des publications auxquelles ils étaient abonnés. Aujourd’hui, Instagram compte 5 fois plus d’utilisateurs. En fait, les plateformes subissent d’énormes pressions pour que les algorithmes soient encore plus au cœur de leur fonctionnement que le contraire. Et les systèmes de recommandation font leur entrée dans d’autres domaines, comme l’éducation (avec Coursera) ou la finance (avec Robinhood).

Pour Narayanan, l’enjeu reste de mieux comprendre ce qu’ils font. Pour cela, nous devons continuer d’exiger d’eux bien plus de transparence qu’ils n’en livrent. Pas plus que dans le monde des moteurs de recherche nous ne reviendrons aux annuaires, nous ne reviendrons pas aux flux chronologiques dans les moteurs de recommandation. Nous avons encore des efforts à faire pour contrecarrer activement les modèles les plus nuisibles des recommandations. L’enjeu, conclut-il, est peut-être d’esquisser plus d’alternatives que nous n’en disposons, comme par exemple, d’imaginer des algorithmes de recommandations qui n’optimisent pas l’engagement, ou pas seulement. Cela nécessite certainement aussi d’imaginer des réseaux sociaux avec des modèles économiques différents. Un autre internet. Les algorithmes ne sont peut-être pas l’ennemi comme il le dit, mais ceux qui ne sont ni transparents, ni loyaux, et qui optimisent leurs effets en dehors de toute autre considération, ne sont pas nos amis non plus !

Voici le premier des deux articles qu’Hubert Guillaud nous fait le plaisir de partager. Sans s’arrêter à la surface de l’actualité, il aborde la transparence du code des algorithmes, qui entraîne un grand nombre de questions épineuses sur lesquelles il s’est documenté pour nous faire part de ses réflexions.

---

Dans le code source de l’amplification algorithmique : publier le code ne suffit pas !

par Hubert GUILLAUD

Le 31 mars, Twitter a publié une partie du code source qui alimente son fil d’actualité, comme l’a expliqué l’équipe elle-même dans un billet. Ces dizaines de milliers de lignes de code contiennent pourtant peu d’informations nouvelles. Depuis le rachat de l’oiseau bleu par Musk, Twitter a beaucoup changé et ne cesse de se modifier sous les yeux des utilisateurs. La publication du code source d’un système, même partiel, qui a longtemps été l’un des grands enjeux de la transparence, montre ses limites.

Publier le code ne suffit pas

Dans un excellent billet de blog, le chercheur Arvind Narayanan (sa newsletter mérite également de s’y abonner) explique ce qu’il faut en retenir. Comme ailleurs, les règles ne sont pas claires. Les algorithmes de recommandation utilisent l’apprentissage automatique ce qui fait que la manière de classer les tweets n’est pas directement spécifiée dans le code, mais apprise par des modèles à partir de données de Twitter sur la manière dont les utilisateurs ont réagi aux tweets dans le passé. Twitter ne divulgue ni ces modèles ni les données d’apprentissages, ce qui signifie qu’il n’est pas possible d’exécuter ces modèles. Le code ne permet pas de comprendre pourquoi un tweet est ou n’est pas recommandé à un utilisateur, ni pourquoi certains contenus sont amplifiés ou invisibilisés. C’est toute la limite de la transparence. Ce que résume très bien le journaliste Nicolas Kayser-Bril pour AlgorithmWatch (pertinemment traduit par le framablog) : « Vous ne pouvez pas auditer un code seulement en le lisant. Il faut l’exécuter sur un ordinateur. »

« Ce que Twitter a publié, c’est le code utilisé pour entraîner les modèles, à partir de données appropriées », explique Narayanan, ce qui ne permet pas de comprendre les propagations, notamment du fait de l’absence des données. De plus, les modèles pour détecter les tweets qui violent les politiques de Twitter et qui leur donnent des notes de confiance en fonction de ces politiques sont également absentes (afin que les usagers ne puissent pas déjouer le système, comme nous le répètent trop de systèmes rétifs à l’ouverture). Or, ces classements ont des effets de rétrogradation très importants sur la visibilité de ces tweets, sans qu’on puisse savoir quels tweets sont ainsi classés, selon quelles méthodes et surtout avec quelles limites.

La chose la plus importante que Twitter a révélée en publiant son code, c’est la formule qui spécifie comment les différents types d’engagement (likes, retweets, réponses, etc.) sont pondérés les uns par rapport aux autres… Mais cette formule n’est pas vraiment dans le code. Elle est publiée séparément, notamment parce qu’elle n’est pas statique, mais qu’elle doit être modifiée fréquemment.

Sans surprise, le code révèle ainsi que les abonnés à Twitter Blue, ceux qui payent leur abonnement, bénéficient d’une augmentation de leur portée (ce qui n’est pas sans poser un problème de fond, comme le remarque pertinemment sur Twitter, Guillaume Champeau, car cette préférence pourrait mettre ces utilisateurs dans la position d’être annonceurs, puisqu’ils payent pour être mis en avant, sans que l’interface ne le signale clairement, autrement que par la pastille bleue). Reste que le code n’est pas clair sur l’ampleur de cette accélération. Les notes attribuées aux tweets des abonnés Blue sont multipliées par 2 ou 4, mais cela ne signifie pas que leur portée est pareillement multipliée. « Une fois encore, le code ne nous dit pas le genre de choses que nous voudrions savoir », explique Narayanan.

Reste que la publication de la formule d’engagement est un événement majeur. Elle permet de saisir le poids des réactions sur un tweet. On constate que la réponse à tweet est bien plus forte que le like ou que le RT. Et la re-réponse de l’utilisateur originel est prédominante, puisque c’est le signe d’une conversation forte. À l’inverse, le fait qu’un lecteur bloque, mute ou se désabonne d’un utilisateur suite à un tweet est un facteur extrêmement pénalisant pour la propagation du tweet.

Ces quelques indications permettent néanmoins d’apprendre certaines choses. Par exemple que Twitter ne semble pas utiliser de prédictions d’actions implicites (comme lorsqu’on s’arrête de faire défiler son fil), ce qui permet d’éviter l’amplification du contenu trash que les gens ne peuvent s’empêcher de regarder, même s’ils ne s’y engagent pas. La formule nous apprend que les retours négatifs ont un poids très élevé, ce qui permet d’améliorer son flux en montrant à l’algorithme ce dont vous ne voulez pas – même si les plateformes devraient permettre des contrôles plus explicites pour les utilisateurs. Enfin, ces poids ont des valeurs souvent précises, ce qui signifie que ce tableau n’est valable qu’à l’instant de la publication et qu’il ne sera utile que si Twitter le met à jour.

Les algorithmes de recommandation qui optimisent l’engagement suivent des modèles assez proches. La publication du code n’est donc pas très révélatrice. Trois éléments sont surtout importants, insiste le chercheur :

« Le premier est la manière dont les algorithmes sont configurés : les signaux utilisés comme entrée, la manière dont l’engagement est défini, etc. Ces informations doivent être considérées comme un élément essentiel de la transparence et peuvent être publiées indépendamment du code. La seconde concerne les modèles d’apprentissage automatique qui, malheureusement, ne peuvent généralement pas être divulgués pour des raisons de protection de la vie privée. Le troisième est la boucle de rétroaction entre les utilisateurs et l’algorithme ».

Autant d’éléments qui demandent des recherches, des expériences et du temps pour en comprendre les limites.

Si la transparence n’est pas une fin en soi, elle reste un moyen de construire un meilleur internet en améliorant la responsabilité envers les utilisateurs, rappelle l’ingénieur Gabriel Nicholas pour le Center for Democracy & Technology. Il souligne néanmoins que la publication d’une partie du code source de Twitter ne contrebalance pas la fermeture du Consortium de recherche sur la modération, ni celle des rapports de transparence relatives aux demandes de retraits des autorités ni celle de l’accès à son API pour chercheurs, devenue extrêmement coûteuse.

« Twitter n’a pas exactement ’ouvert son algorithme’ comme certains l’ont dit. Le code est lourdement expurgé et il manque plusieurs fichiers de configuration, ce qui signifie qu’il est pratiquement impossible pour un chercheur indépendant d’exécuter l’algorithme sur des échantillons ou de le tester d’une autre manière. Le code publié n’est en outre qu’un instantané du système de recommandation de Twitter et n’est pas réellement connecté au code en cours d’exécution sur ses serveurs. Cela signifie que Twitter peut apporter des modifications à son code de production et ne pas l’inclure dans son référentiel public, ou apporter des modifications au référentiel public qui ne sont pas reflétées dans son code de production. »

L’algorithme publié par Twitter est principalement son système de recommandation. Il se décompose en 3 parties, explique encore Nicholas :

• Un système de génération de contenus candidats. Ici, Twitter sélectionne 1500 tweets susceptibles d’intéresser un utilisateur en prédisant la probabilité que l’utilisateur s’engage dans certaines actions pour chaque tweet (c’est-à-dire qu’il RT ou like par exemple).
• Un système de classement. Une fois que les 1 500 tweets susceptibles d’être servis sont sélectionnés, ils sont notés en fonction de la probabilité des actions d’engagement, certaines actions étant pondérées plus fortement que d’autres. Les tweets les mieux notés apparaîtront généralement plus haut dans le fil d’actualité de l’utilisateur.
• Un système de filtrage. Les tweets ne sont pas classés strictement en fonction de leur score. Des heuristiques et des filtres sont appliqués pour, par exemple, éviter d’afficher plusieurs tweets du même auteur ou pour déclasser les tweets d’auteurs que l’utilisateur a déjà signalés pour violation de la politique du site.

Le score final est calculé en additionnant la probabilité de chaque action multipliée par son poids (en prenant certainement en compte la rareté ou la fréquence d’action, le fait de répondre à un tweet étant moins fréquent que de lui attribuer un like). Mais Twitter n’a pas publié la probabilité de base de chacune de ces actions ce qui rend impossible de déterminer l’importance de chacune d’elles dans les recommandations qui lui sont servies.

Twitter a également révélé quelques informations sur les autres facteurs qu’il prend en compte en plus du classement total d’un tweet. Par exemple, en équilibrant les recommandations des personnes que vous suivez avec celles que vous ne suivez pas, en évitant de recommander les tweets d’un même auteur ou en donnant une forte prime aux utilisateurs payants de Twitter Blue.

Il y a aussi beaucoup de code que Twitter n’a pas partagé. Il n’a pas divulgué beaucoup d’informations sur l’algorithme de génération des tweets candidats au classement ni sur ses paramètres et ses données d’entraînement. Twitter n’a pas non plus explicitement partagé ses algorithmes de confiance et de sécurité pour détecter des éléments tels que les abus, la toxicité ou les contenus pour adultes, afin d’empêcher les gens de trouver des solutions de contournement, bien qu’il ait publié certaines des catégories de contenu qu’il signale.

 

 

Pour Gabriel Nicholas, la transparence de Twitter serait plus utile si Twitter avait maintenu ouverts ses outils aux chercheurs. Ce n’est pas le cas.

Il y a plein d’autres points que l’ouverture de l’algorithme de Twitter a documentés. Par exemple, l’existence d’un Tweepcred, un score qui classe les utilisateurs et qui permet de voir ses publications boostées si votre score est bon, comme l’expliquait Numerama. Ou encore le fait que chaque compte est clustérisé dans un groupe aux profils similaires dans lequel les tweets sont d’abord diffusés avant d’être envoyés plus largement s’ils rencontrent un premier succès… De même, il semblerait qu’il y ait certaines catégories d’utilisateurs spéciaux (dont une catégorie relative à Elon Musk) mais qui servent peut-être plus certaines statistiques qu’à doper la portée de certains comptes comme on l’a entendu (même s’il semble bien y avoir une catégorie VIP sur Twitter – comme il y a sur Facebook un statut d’exception à la modération)…

Ouvrir, mais ouvrir quoi ?

En conclusion de son article, Narayanan pointe vers un très intéressant article qui dresse une liste d’options de transparence pour ceux qui produisent des systèmes de recommandation, publiée par les chercheurs Priyanjana Bengani, Jonathan Stray et Luke Thorburn. Ils rappellent que les plateformes ont mis en place des mesures de transparence, allant de publications statistiques à des interfaces de programmation, en passant par des outils et des ensembles de données protégés. Mais ces mesures, très techniques, restent insuffisantes pour comprendre les algorithmes de recommandation et leur influence sur la société. Une grande partie de cette résistance à la transparence ne tient pas tant aux risques commerciaux qui pourraient être révélés qu’à éviter l’embarras d’avoir à se justifier de choix qui ne le sont pas toujours. D’une manière très pragmatique, les trois chercheurs proposent un menu d’actions pour améliorer la transparence et l’explicabilité des systèmes.

Documenter
L’un des premiers outils, et le plus simple, reste la documentation qui consiste à expliquer en termes clairs – selon différentes échelles et niveaux, me semble-t-il – ce qui est activé par une fonction. Pour les utilisateurs, c’est le cas du bouton « Pourquoi je vois ce message » de Facebook ou du panneau « Fréquemment achetés ensemble » d’Amazon. L’idée ici est de fourbir un « compte rendu honnête ». Pour les plus évoluées de ces interfaces, elles devraient permettre non seulement d’informer et d’expliquer pourquoi on nous recommande ce contenu, mais également, permettre de rectifier et mieux contrôler son expérience en ligne, c’est-à-dire d’avoir des leviers d’actions sur la recommandation.

Une autre forme de documentation est celle sur le fonctionnement général du système et ses décisions de classement, à l’image des rapports de transparence sur les questions de sécurité et d’intégrité que doivent produire la plupart des plateformes (voir celui de Google, par exemple). Cette documentation devrait intégrer des informations sur la conception des algorithmes, ce que les plateformes priorisent, minimisent et retirent, si elles donnent des priorités et à qui, tenir le journal des modifications, des nouvelles fonctionnalités, des changements de politiques. La documentation doit apporter une information solide et loyale, mais elle reste souvent insuffisante.

Les données
Pour comprendre ce qu’il se passe sur une plateforme, il est nécessaire d’obtenir des données. Twitter ou Facebook en ont publié (accessibles sous condition de recherche, ici pour Twitter, là pour Facebook). Une autre approche consiste à ouvrir des interfaces de programmation, à l’image de CrowdTangle de Facebook ou de l’API de Twitter. Depuis le scandale Cambridge Analytica, l’accès aux données est souvent devenu plus difficile, la protection de la vie privée servant parfois d’excuse aux plateformes pour éviter d’avoir à divulguer leurs pratiques. L’accès aux données, même pour la recherche, s’est beaucoup refermé ces dernières années. Les plateformes publient moins de données et CrowdTangle propose des accès toujours plus sélectifs. Chercheurs et journalistes ont été contraints de développer leurs propres outils, comme des extensions de navigateurs permettant aux utilisateurs de faire don de leurs données (à l’image du Citizen Browser de The Markup) ou des simulations automatisées (à l’image de l’analyse robotique de TikTok produite par le Wall Street Journal), que les plateformes ont plutôt eu tendance à bloquer en déniant les résultats obtenus sous prétexte d’incomplétude – ce qui est justement le problème que l’ouverture de données cherche à adresser.

Le code
L’ouverture du code des systèmes de recommandation pourrait être utile, mais elle ne suffit pas, d’abord parce que dans les systèmes de recommandation, il n’y a pas un algorithme unique. Nous sommes face à des ensembles complexes et enchevêtrés où « différents modèles d’apprentissage automatique formés sur différents ensembles de données remplissent diverses fonctions ». Même le classement ou le modèle de valeur pour déterminer le score n’explique pas tout. Ainsi, « le poids élevé sur un contenu d’un type particulier ne signifie pas nécessairement qu’un utilisateur le verra beaucoup, car l’exposition dépend de nombreux autres facteurs, notamment la quantité de ce type de contenu produite par d’autres utilisateurs. »

Peu de plateformes offrent une grande transparence au niveau du code source. Reddit a publié en 2008 son code source, mais a cessé de le mettre à jour. En l’absence de mesures de transparence, comprendre les systèmes nécessite d’écluser le travail des journalistes, des militants et des chercheurs pour tenter d’en obtenir un aperçu toujours incomplet.

La recherche
Les plateformes mènent en permanence une multitude de projets de recherche internes voire externes et testent différentes approches pour leurs systèmes de recommandation. Certains des résultats finissent par être accessibles dans des revues ou des articles soumis à des conférences ou via des fuites d’informations. Quelques efforts de partenariats entre la recherche et les plateformes ont été faits, qui restent embryonnaires et ne visent pas la transparence, mais qui offrent la possibilité à des chercheurs de mener des expériences et donc permettent de répondre à des questions de nature causale, qui ne peuvent pas être résolues uniquement par l’accès aux données.

Enfin, les audits peuvent être considérés comme un type particulier de recherche. À l’heure actuelle, il n’existe pas de bons exemples d’audits de systèmes de recommandation menés à bien. Reste que le Digital Service Act (DSA) européen autorise les audits externes, qu’ils soient lancés par l’entreprise ou dans le cadre d’une surveillance réglementaire, avec des accès élargis par rapport à ceux autorisés pour l’instant. Le DSA exige des évaluations sur le public mineur, sur la sécurité, la santé, les processus électoraux… mais ne précise ni comment ces audits doivent être réalisés ni selon quelles normes. Des méthodes spécifiques ont été avancées pour contrôler la discrimination, la polarisation et l’amplification dans les systèmes de recommandation.

En principe, on pourrait évaluer n’importe quel préjudice par des audits. Ceux-ci visent à vérifier si « la conception et le fonctionnement d’un système de recommandation respectent les meilleures pratiques et si l’entreprise fait ce qu’elle dit qu’elle fait. S’ils sont bien réalisés, les audits pourraient offrir la plupart des avantages d’un code source ouvert et d’un accès aux données des utilisateurs, sans qu’il soit nécessaire de les rendre publics. » Reste qu’il est peu probable que les audits imposés par la surveillance réglementaire couvrent tous les domaines qui préoccupent ceux qui sont confrontés aux effets des outils de recommandations.

Autres moteurs de transparence : la gouvernance et les calculs

Les chercheurs concluent en soulignant qu’il existe donc une gamme d’outils à disposition, mais qu’elle manque de règles et de bonnes pratiques partagées. Face aux obligations de transparence et de contrôles qui arrivent (pour les plus gros acteurs d’abord, mais parions que demain, elles concerneront bien d’autres acteurs), les entreprises peinent à se mettre en ordre de marche pour proposer des outillages et des productions dans ces différents secteurs qui leur permettent à la fois de se mettre en conformité et de faire progresser leurs outils. Ainsi, par exemple, dans le domaine des données, documenter les jeux et les champs de données, à défaut de publier les jeux de données, pourrait déjà permettre un net progrès. Dans le domaine de la documentation, les cartes et les registres permettent également d’expliquer ce que les calculs opèrent (en documentant par exemple leurs marges d’erreurs).

Reste que l’approche très technique que mobilisent les chercheurs oublie quelques leviers supplémentaires. Je pense notamment aux conseils de surveillance, aux conseils éthiques, aux conseils scientifiques, en passant par les organismes de contrôle indépendants, aux comités participatifs ou consultatifs d’utilisateurs… à tous les outils institutionnels, participatifs ou militants qui permettent de remettre les parties prenantes dans le contrôle des décisions que les systèmes prennent. Dans la lutte contre l’opacité des décisions, tous les leviers de gouvernance sont bons à prendre. Et ceux-ci sont de très bons moyens pour faire pression sur la transparence, comme l’expliquait très pertinemment David Robinson dans son livre Voices in the Code.

Un autre levier me semble absent de nombre de propositions… Alors qu’on ne parle que de rendre les calculs transparents, ceux-ci sont toujours absents des discussions. Or, les règles de traitements sont souvent particulièrement efficaces pour améliorer les choses. Il me semble qu’on peut esquisser au moins deux moyens pour rendre les calculs plus transparents et responsables : la minimisation et les interdictions.

La minimisation vise à rappeler qu’un bon calcul ne démultiplie pas nécessairement les critères pris en compte. Quand on regarde les calculs, bien souvent, on est stupéfait d’y trouver des critères qui ne devraient pas être pris en compte, qui n’ont pas de fondements autres que d’être rendus possibles par le calcul. Du risque de récidive au score de risque de fraude à la CAF, en passant par l’attribution de greffes ou aux systèmes de calculs des droits sociaux, on trouve toujours des éléments qui apprécient le calcul alors qu’ils n’ont aucune justification ou pertinence autres que d’être rendu possibles par le calcul ou les données. C’est le cas par exemple du questionnaire qui alimente le calcul de risque de récidive aux Etats-Unis, qui repose sur beaucoup de questions problématiques. Ou de celui du risque de fraude à la CAF, dont les anciennes versions au moins (on ne sait pas pour la plus récente) prenaient en compte par exemple le nombre de fois où les bénéficiaires se connectaient à leur espace en ligne (sur cette question, suivez les travaux de la Quadrature et de Changer de Cap). La minimisation, c’est aussi, comme l’explique l’ex-chercheur de chez Google, El Mahdi El Mhamdi, dans une excellente interview, limiter le nombre de paramètres pris en compte par les calculs et limiter l’hétérogénéité des données.

L’interdiction, elle, vise à déterminer que certains croisements ne devraient pas être autorisés, par exemple, la prise en compte des primes dans les logiciels qui calculent les données d’agenda du personnel, comme semble le faire le logiciel Orion mis en place par la Sncf, ou Isabel, le logiciel RH que Bol.com utilise pour gérer la main-d’œuvre étrangère dans ses entrepôts de logistique néerlandais. Ou encore, comme le soulignait Narayanan, le temps passé sur les contenus sur un réseau social par exemple, ou l’analyse de l’émotion dans les systèmes de recrutement (et ailleurs, tant cette technologie pose problème). A l’heure où tous les calculs sont possibles, il va être pertinent de rappeler que selon les secteurs, certains croisements doivent rester interdits parce qu’ils sont trop à risque pour être mobilisés dans le calcul ou que certains calculs ne peuvent être autorisés.

Priyanjana Bengani, Jonathan Stray et Luke Thorburn, pour en revenir à eux, notent enfin que l’exigence de transparence reste formulée en termes très généraux par les autorités réglementaires. Dans des systèmes vastes et complexes, il est difficile de savoir ce que doit signifier réellement la transparence. Pour ma part, je milite pour une transparence “projective”, active, qui permette de se projeter dans les explications, c’est-à-dire de saisir ses effets et dépasser le simple caractère narratif d’une explication loyale, mais bien de pouvoir agir et reprendre la main sur les calculs.

Coincés dans les boucles de l’amplification

Plus récemment, les trois mêmes chercheurs, passé leur article séminal, ont continué à documenter leur réflexion. Ainsi, dans « Rendre l’amplification mesurable », ils expliquent que l’amplification est souvent bien mal définie (notamment juridiquement, ils ont consacré un article entier à la question)… mais proposent d’améliorer les propriétés permettant de la définir. Ils rappellent d’abord que l’amplification est relative, elle consiste à introduire un changement par rapport à un calcul alternatif ou précédent qui va avoir un effet sans que le comportement de l’utilisateur n’ait été, lui, modifié.

L’amplification agit d’abord sur un contenu et nécessite de répondre à la question de savoir ce qui a été amplifié. Mais même dire que les fake news sont amplifiées n’est pas si simple, à défaut d’avoir une définition précise et commune des fake news qui nécessite de comprendre les classifications opérées. Ensuite, l’amplification se mesure par rapport à un point de référence précédent qui est rarement précisé. Enfin, quand l’amplification atteint son but, elle produit un résultat qui se voit dans les résultats liés à l’engagement (le nombre de fois où le contenu a été apprécié ou partagé) mais surtout ceux liés aux impressions (le nombre de fois où le contenu a été vu). Enfin, il faut saisir ce qui relève de l’algorithme et du comportement de l’utilisateur. Si les messages d’un parti politique reçoivent un nombre relativement important d’impressions, est-ce parce que l’algorithme est biaisé en faveur du parti politique en question ou parce que les gens ont tendance à s’engager davantage avec le contenu de ce parti ? Le problème, bien sûr, est de distinguer l’un de l’autre d’une manière claire, alors qu’une modification de l’algorithme entraîne également une modification du comportement de l’utilisateur. En fait, cela ne signifie pas que c’est impossible, mais que c’est difficile, expliquent les chercheurs. Cela nécessite un système d’évaluation de l’efficacité de l’algorithme et beaucoup de tests A/B pour comparer les effets des évolutions du calcul. Enfin, estiment-ils, il faut regarder les effets à long terme, car les changements dans le calcul prennent du temps à se diffuser et impliquent en retour des réactions des utilisateurs à ces changements, qui s’adaptent et réagissent aux transformations.

Dans un autre article, ils reviennent sur la difficulté à caractériser l’effet bulle de filtre des médias sociaux, notamment du fait de conceptions élastiques du phénomène. S’il y a bien des boucles de rétroaction, leur ampleur est très discutée et dépend beaucoup du contexte. Ils en appellent là encore à des mesures plus précises des phénomènes. Certes, ce que l’on fait sur les réseaux sociaux influe sur ce qui est montré, mais il est plus difficile de démontrer que ce qui est montré affecte ce que l’on pense. Il est probable que les effets médiatiques des recommandations soient faibles pour la plupart des gens et la plupart du temps, mais beaucoup plus importants pour quelques individus ou sous-groupes relativement à certaines questions ou enjeux. De plus, il est probable que changer nos façons de penser ne résulte pas d’une exposition ponctuelle, mais d’une exposition à des récits et des thèmes récurrents, cumulatifs et à long terme. Enfin, si les gens ont tendance à s’intéresser davantage à l’information si elle est cohérente avec leur pensée existante, il reste à savoir si ce que l’on pense affecte ce à quoi l’on s’engage. Mais cela est plus difficile à mesurer car cela suppose de savoir ce que les gens pensent et pas seulement constater leurs comportements en ligne. En général, les études montrent plutôt que l’exposition sélective a peu d’effets. Il est probable cependant que là encore, l’exposition sélective soit faible en moyenne, mais plus forte pour certains sous-groupes de personnes en fonction des contextes, des types d’informations.

Bref, là encore, les effets des réseaux sociaux sont difficiles à percer.

Pour comprendre les effets de l’amplification algorithmique, peut-être faut-il aller plus avant dans la compréhension que nous avons des évolutions de celle-ci, afin de mieux saisir ce que nous voulons vraiment savoir. C’est ce que nous tenterons de faire dans la suite de cet article…

Dans les débats politiques au sujet du Web et du numérique en général, on parle souvent d’« algorithmes ». Il n’est peut-être pas inutile de revenir sur ce qu’est un algorithme et sur ce qu’il n’est pas. Si vous êtes informaticien·ne, vous savez déjà tout cela, mais, si ce n’est pas le cas, vous apprendrez peut-être ici une chose ou deux.

Par exemple, dans le numéro 3790 du magazine Télérama, en date du 3 septembre 2022, la directrice générale de YouTube, Susan Wojcicki, déclarait « Nous ne faisons pas d’éditorial au sens propre puisque tous nos contenus sont recommandés par des algorithmes ». Cette phrase est un condensé de mensonges, bien sûr. Wojcicki est bien placée pour savoir ce qu’est un algorithme mais elle essaie de faire croire qu’il s’agirait d’une sorte de processus magique et éthéré, flottant loin au-dessus des passions humaines, et n’agissant que pour notre bien.

Au contraire, un algorithme est une suite de décisions. Un algorithme, c’est un ensemble d’étapes qu’on va suivre pour un certain but. Choisir le but est déjà une décision. (Quel est le but des algorithmes de recommandation de YouTube ? Probablement de vous faire rester le plus longtemps possible, pour que vous avaliez davantage de publicité.) Mais choisir les étapes est aussi une décision. Rien dans le monde numérique ne se fait tout seul : des personnes ont décidé de l’algorithme. Que les recommandations de YouTube soient issues d’un humain qui vous observerait et déciderait, ou d’un programme automatique, dans les deux cas, c’est la décision de YouTube. Et il y a donc bien « éditorialisation ». YouTube n’est pas neutre. Même chose évidemment pour le moteur de recherche de la même entreprise, Google. Il classe les résultats en fonction de ce que Google a décidé, lors de l’écriture du programme. (Notez que c’est bien ce qu’on demande à un moteur de recherche : s’il trouvait 10 000 résultats et ne les classait pas, on serait bien ennuyé·e.)

On explique parfois l’algorithme en citant l’exemple d’une recette de cuisine : faites ceci, puis faites cela, ajouter ça, mettez le four à telle température. Mais les algorithmes ne sont pas juste une suite d’étapes, à effectuer quoiqu’il arrive. Ils incluent notamment ce qu’on nomme des tests, par exemple « si telle condition, alors faire ceci, sinon faire cela ». Un recette de cuisine qui contiendrait « si vous avez de la moutarde, ajoutez-en une cuillère » donne une meilleure idée de ce qu’est un algorithme.

Le mot d’algorithme vient d’Al-Khwârizmî (محمد بن موسى الخوارزمي), un mathématicien d’origine persane du 8e-9e siècle, qui travaillait à Bagdad (la Silicon Valley de l’époque, là où il fallait être pour travailler au plus haut niveau). Mais le concept d’algorithme existait bien avant lui. Vous avez peut-être appris à l’école l’algorithme d’Euclide pour trouver le PGCD (plus grand commun diviseur), algorithme conçu plus de dix siècles avant Al-Khwârizmî. Mais ce dernier a été le premier à décrire en détail l’idée d’algorithme et à proposer une classification des algorithmes.

 

 

Le principe de l’algorithme est donc très antérieur à l’ordinateur. Par exemple, une personne qui répond au téléphone pour une « hotline » a en général reçu des instructions extrêmement précises sur ce qu’il faut dire et pas dire, avec interdiction de s’en éloigner. Dans le monde des « hotlines », cela se nomme un script, mais c’est aussi un algorithme ; si le client dit ceci, répondre cela, etc. Remplacer les algorithmes par des humains pour les décisions, comme le préconisent certains, n’a donc pas de sens si ces humains appliquent strictement un script : ce sera toujours un algorithme.

 

 

Et à propos d’humains qui suivent un algorithme, comment se faisaient les calculs longs et complexes avant l’invention de l’ordinateur ? Il y avait des aides mécaniques (boulier, règle à calcul…) mais le gros du travail était fait par des humains. En français, autrefois, une « calculatrice » n’était pas un ordinateur mais une humaine qui passait sa journée à mouliner des chiffres. On pouvait avoir comme métier « calculatrice dans une compagnie d’assurances ». Même chose pour « computer » en anglais ; désignant aujourd’hui un ordinateur, il désignait autrefois un·e humain·e. Ce travail est bien montré dans le film « Les figures de l’ombre », de Theodore Melfi, qui se passe au moment où ces calculateurs humains sont peu à peu remplacés par des ordinateurs. (Le titre français du film fait perdre le double sens du mot « figures » en anglais, qui désigne un visage mais aussi un chiffre.)

Les programmes, eux, sont bien plus récents que les algorithmes. Ils sont également apparus avant l’invention de l’ordinateur, mais n’ont réellement décollé qu’une fois qu’on disposait d’une machine pour les exécuter automatiquement, et fidèlement. Un programme, c’est la forme concrète d’un algorithme. Écrit dans un langage de programmation, comme PHP, Java, Python ou Rust, le programme est plus précis que l’algorithme et ne laisse place à aucune ambiguïté : les ordinateurs ne prennent pas d’initiatives, tout doit être spécifié. La maternité de la programmation est souvent attribuée à Ada Lovelace au 19e siècle. Comme toujours dans l’histoire des sciences et des techniques, il n’y a évidement pas un·e inventeu·r·se unique, mais une longue chaîne de personnes qui ont petit à petit développé l’idée.

 

 

Le premier point important de cet article était qu’un algorithme, c’est une série de décisions (et la déclaration de Wojcicki au début, lorsqu’elle essaie de diminuer la responsabilité de YouTube, est donc ridicule). Un algorithme n’est pas un phénomène naturel mais la formalisation de décisions prises par des humains. Le fait qu’il soit programmé, puis exécuté par un ordinateur, n’exonère donc pas ces humains de leurs choix. (Et, je me répète, demander que les décisions soient prises « par des humains et pas par des algorithmes » n’a guère de sens : ce sont toujours des humains qui ont décidé, même quand leur décision passe via un algorithme.)

Le deuxième point qui me semble important est que tout système informatique (et je rappelle que l’engin plat qu’on met dans sa poche, et que le marketing nomme « smartphone », est un ordinateur) fonctionne avec des algorithmes. Le ministre de l’Intérieur Gérald Darmanin avait déclaré, à propos de la surveillance automatisée des citoyens, « De plus, alors que toutes les sociétés commerciales peuvent utiliser les données fournies par des algorithmes, seul l’État n’aurait pas le droit de le faire […] ? » et avait appelé à « pérenniser l’utilisation des algorithmes ». Par delà la question politique de fond, ces déclarations sont bien sûr absurdes. L’État utilise des algorithmes depuis longtemps, depuis qu’il utilise des ordinateurs. Mais il ne s’agit pas seulement de l’ignorance (et du mépris pour la technique) d’un ministre. L’utilisation du terme « algorithme » vise à faire croire qu’il s’agit de quelque chose de nouveau, afin de brouiller le débat sur les usages de l’informatique, et d’empêcher les citoyen·nes d’y participer utilement. La réalité, je le redis, est que cela fait longtemps qu’il existe des algorithmes et qu’ils sont utilisés.

Il y a par contre une nouveauté qui a pris de l’importance ces dernières années, ce sont les systèmes à apprentissage (parfois désignés par l’acronyme marketing IA – Intelligence Artificielle, qui ne veut rien dire) ou machine learning en anglais. Il existe de nombreux systèmes de ce genre, très variés. Mais le point commun est l’utilisation d’algorithmes qui évoluent sous l’influence des données qu’on leur donne. Pour prendre un exemple simpliste, on donne au programme des photos de chiens et de chats, lui indiquant à chaque fois s’il s’agit d’un chien ou d’un chat, et, après un grand nombre de photos, le programme aura « appris » et pourra classer correctement une nouvelle photo. Il y a beaucoup à dire sur ces systèmes à apprentissage mais, ici, je vais me contenter de faire remarquer qu’ils ne remettent pas en cause le pouvoir de décision. Au lieu de règles explicites dans un algorithme (« s’il a des griffes rétractiles, c’est un chat »), le système de décision est composé de l’algorithme qui apprend et des données qu’on lui soumet.

Il n’y a donc pas de changement fondamental : le système informatique qui prend la décision a toujours été conçu et entraîné par des humains, et ce sont leurs choix qui se refléteront dans les décisions. Ainsi, si on utilise un tel système pour traiter les CV dans un service de ressources humaines, si l’entreprise avait l’habitude de recruter préférentiellement des hommes, et si on entraîne l’algorithme avec les choix passés, il se mettra à privilégier les CV des hommes, pas parce qu’il serait « sexiste » (les algorithmes n’ont pas d’opinion ou de préjugés) mais parce que c’est ce que ses maîtres humains lui ont demandé, via les données qu’ils ont choisies.

Bref, chaque fois que vous entendrez quelqu’un éluder sa responsabilité en se cachant derrière « c’est l’algorithme », rappelez-lui qu’un algorithme, c’est un ensemble de décisions prises par des humains, et que ces humains sont responsables de ces décisions.

Voici la quatrième  partie de l’essai que consacre Cory Doctorow au capitalisme de surveillance (parcourir sur le blog les épisodes précédents – parcourir les trois premiers épisodes en PDF : doctorow-1-2-3).

Traduction Framalang : Claire, Fabrice, goofy,  jums, mo, ngfchristian, retrodev, tykayn

Billet original sur le Medium de OneZero : How To Destroy Surveillance Capitalism

Les monopoles n’engendrent pas la surveillance, mais ils l’encouragent certainement

par Cory Doctorow

Les industries compétitives sont fragmentées dans le sens où elles sont composées d’entreprises qui s’entre-déchirent en permanence et qui rognent sur leurs marges respectives lorsqu’elles proposent des offres à leurs meilleurs clients. Ce qui leur laisse moins d’investissement afin d’obtenir des règles plus favorables. Cette situation rend aussi plus difficile la mutualisation des ressources de chaque entreprise au profit de l’industrie toute entière.

La rencontre entre la surveillance et l’apprentissage machine est censé être l’aboutissement d’une crise existentielle, un moment particulier pour l’espèce humaine où notre libre arbitre serait très proche de l’extinction pure et simple. Même si je reste sceptique quant à cette hypothèse, je pense tout de même que la technologie pose de réelles menaces existentielles à notre société (et aussi plus généralement pour notre espèce entière).
Et ces menaces viennent des monopoles.

L’une des conséquences de l’emprise de la technologie sur la réglementation est qu’elle peut rejeter la responsabilité de mauvaises décisions en matière de sécurité sur ses clients et sur la société en général. Il est tout à fait banal dans le domaine de la technologie que les entreprises dissimulent les mécanismes de leurs produits, qu’elles en rendent le fonctionnement difficile à comprendre et qu’elles menacent les chercheurs en sécurité indépendants qui auditent ces objets.

L’informatique est le seul domaine dans lequel ces pratiques existent : personne ne construit un pont ou un hôpital en gardant secret la composition de l’acier ou les équations utilisées pour calculer les contraintes de charge. C’est une pratique assez bizarre qui conduit, encore et toujours, à des défauts de sécurité grotesques à une échelle tout aussi grotesque, des pans entiers de dispositifs étant révélés comme vulnérables bien après qu’ils ont été déployées et placés dans des endroits sensibles.

Le pouvoir monopolistique qui tient à distance toute conséquence significative de ces violations, signifie que les entreprises technologiques continuent à créer des produits exécrables, mal conçus et qui finissent par être intégrés à nos vies, par posséder nos données, et être connectés à notre monde physique. Pendant des années, Boeing s’est battu contre les conséquences d’une série de mauvaises décisions technologiques qui ont fait de sa flotte de 737 un paria mondial, c’est l’un des rares cas où des décisions technologiques de piètre qualité ont été sérieusement sanctionnées par le marché.

Ces mauvaises décisions en matière de sécurité sont encore aggravées par l’utilisation de verrous de copyright pour faire appliquer des décisions commerciales à l’encontre des consommateurs. Souvenez-vous que ces verrous sont devenus un moyen incontournable de façonner le comportement des consommateurs, qui rend techniquement impossible l’utilisation de cartouches d »encre compatibles, d’insuline, d’applications mobiles ou de dépôts de services tiers en relation avec vos biens acquis légalement.

Rappelez-vous également que ces verrous sont soutenus par une législation (telle que la section 1201 du DMCA ou l’article 6 de la directive européenne sur le droit d’auteur de 2001) qui interdit de les altérer (de les « contourner »), et que ces lois ont été utilisées pour menacer les chercheurs en sécurité qui divulguent des vulnérabilités sans la permission des fabricants.

Cela revient à un véritable veto des fabricants sur les alertes de sécurité et les critiques. Bien que cela soit loin de l’intention législative du DMCA (et de son équivalent dans d’autres juridictions dans le monde), le Congrès n’est pas intervenu pour clarifier la loi et ne le fera jamais, car cela irait à l’encontre des intérêts des puissantes entreprises dont le lobbying est imparable.

Les verrous de copyright sont une arme à double tranchant. D’abord parce qu’ils provoquent de mauvaises décisions en matière de sécurité qui ne pourront pas être librement étudiées ni discutées. Si les marchés sont censés être des machines à agréger l’information (et si les rayons de contrôle mental fictif du capitalisme de surveillance en font un « capitalisme voyou » parce qu’il refuse aux consommateurs le pouvoir de prendre des décisions), alors un programme qui impose légalement l’ignorance sur les risques des produits rend le monopole encore plus « voyou » que les campagnes d’influence du capitalisme de surveillance.

Et contrairement aux rayons de contrôle mental, ce silence imposé sur la sécurité est un problème brûlant et documenté qui constitue une menace existentielle pour notre civilisation et peut-être même pour notre espèce. La prolifération des dispositifs non sécurisés – en particulier ceux qui nous espionnent et surtout lorsque ces dispositifs peuvent également manipuler le monde physique, par exemple, qui tourne le volant de votre voiture ou en actionnant un disjoncteur dans une centrale électrique – est une forme de dette technique.
En conception logicielle, la « dette technique » fait référence à des décisions anciennes et bien calculées qui, avec le recul, s’avèrent être mauvaises. Par exemple, un développeur de longue date a peut-être décidé d’intégrer un protocole réseau exigé par un fournisseur, qui a depuis cessé de le prendre en charge.

Mais tout dans le produit repose toujours sur ce protocole dépassé. Donc, à chaque révision, des équipes doivent travailler autour de ce noyau obsolète, en y ajoutant des couches de compatibilité, en l’entourant de contrôles de sécurité qui tentent de renforcer ses défenses, etc. Ces mesures de fortune aggravent la dette technique, car chaque révision ultérieure doit en tenir compte, tout comme les intérêts d’un crédit revolving. Et comme dans le cas d’un prêt à risque, les intérêts augmentent plus vite que vous ne pouvez espérer les rembourser : l’équipe en charge du produit doit consacrer tellement d’énergie au maintien de ce système complexe et fragile qu’il ne lui reste plus de temps pour remanier le produit de fond en comble et « rembourser la dette » une fois pour toutes.

En général, la dette technique entraîne une faillite technologique : le produit devient si fragile et instable qu’il finit par échouer de manière catastrophique. Pensez aux systèmes bancaires et comptables désuets basés sur du COBOL qui se sont effondrés au début de la pandémie lorsque les demandes d’allocations chômage se sont multipliées. Parfois, cela met fin au produit, parfois, cela entraîne l’entreprise dans sa chute. Être pris en défaut de paiement d’une dette technique est effrayant et traumatisant, tout comme lorsque l’on perd sa maison pour cause de faillite.
Mais la dette technique créée par les verrous de copyright n’est pas individuelle, elle est systémique. Chacun dans le monde est exposé à ce surendettement, comme ce fut le cas lors de la crise financière de 2008. Lorsque cette dette arrivera à échéance – lorsque nous serons confrontés à des violations de sécurité en cascade qui menacent le transport et la logistique mondiales, l’approvisionnement alimentaire, les processus de production pharmaceutique, les communications d’urgence et autres systèmes essentiels qui accumulent de la dette technique en partie due à la présence de verrous de copyright délibérément non sécurisés et délibérément non vérifiables – elle constituera en effet un risque existentiel.

Vie privée et monopole

De nombreuses entreprises technologiques sont prisonnières d’une orthodoxie : si elles recueillent assez de données sur suffisamment de nos activités, tout devient possible – le contrôle total des esprits et des profits infinis. C’est une hypothèse invérifiable : en effet, si des données permettent à une entreprise technologique d’améliorer ne serait-ce que légèrement ses prévisions de comportements, alors elle déclarera avoir fait le premier pas vers la domination mondiale sans retour en arrière possible. Si une entreprise ne parvient pas à améliorer la collecte et l’analyse des données, alors elle déclarera que le succès est juste au coin de la rue et qu’il sera possible de l’atteindre une fois qu’elle disposera de nouvelles données.

La technologie de surveillance est loin d’être la première industrie à adopter une croyance absurde et égoïste qui nuit au reste du monde, et elle n’est pas la première industrie à profiter largement d’une telle illusion. Bien avant que les gestionnaires de fonds spéculatifs ne prétendent (à tort) pouvoir battre le S&P 500 (l’équivalent du CAC40 américain), de nombreuses autres industries « respectables » se sont révélées être de véritables charlatans. Des fabricants de suppositoires au radium (si, si, ça existe!) aux cruels sociopathes qui prétendaient pouvoir « guérir » les homosexuels, l’histoire est jonchée de titans industriels autrefois respectables qui ont mal fini.

Cela ne veut pas dire que l’on ne peut rien reprocher aux Géants de la tech et à leurs addictions idéologiques aux données. Si les avantages de la surveillance sont généralement surestimés, ses inconvénients sont, à tout le moins, sous-estimés.

Cette situation est très ironique. La croyance que le capitalisme de surveillance est un « capitalisme voyou » s’appuie sur l’hypothèse que les marchés ne toléreraient pas des entreprises engluées dans de fausses croyances. Une compagnie pétrolière qui se trompe souvent sur l’endroit où se trouve le pétrole finira par faire faillite en creusant tout le temps des puits déjà secs.

Mais les monopoles peuvent faire des choses graves pendant longtemps avant d’en payer le prix. Imaginez comment la concentration dans le secteur financier a permis à la crise des subprimes de s’envenimer alors que les agences de notation, les régulateurs, les investisseurs et les critiques sont tous tombés sous l’emprise d’une fausse croyance selon laquelle les mathématiques complexes pourraient construire des instruments de dette « entièrement couverts », qui ne pourraient pas faire défaut. Une petite banque qui se livrerait à ce genre de méfaits ferait tout simplement faillite au lieu d’échapper à une crise inévitable, à moins qu’elle ait pris une telle ampleur qu’elle l’aurait évitée. Mais les grandes banques ont pu continuer à attirer les investisseurs, et lorsqu’elles ont finalement réussi à s’en sortir, les gouvernements du monde entier les ont renflouées. Les pires auteurs de la crise des subprimes sont plus importants qu’ils ne l’étaient en 2008, rapportant plus de profits et payant leurs dirigeants des sommes encore plus importantes.

Les grandes entreprises technologiques sont en mesure de surveiller non seulement parce qu’elles sont technologiques, mais aussi parce qu’elles sont énormes. La raison pour laquelle tous les éditeurs de sites web intègrent le bouton «J’aime » de Facebook, est que Facebook domine les recommandations des médias sociaux sur Internet – et chacun de ces boutons « J’aime » espionne tous les utilisateurs qui visitent sur une page qui les contient (voir aussi : intégration de Google Analytics, boutons Twitter, etc.).

Si les gouvernements du monde entier ont tardé à mettre en place des sanctions significatives pour atteintes à la vie privée, c’est parce que la concentration des grandes entreprises technologiques génère d’énormes profits qui peuvent être utilisés pour faire pression contre ces sanctions.
La raison pour laquelle les ingénieurs les plus intelligents du monde veulent travailler pour les Géants de la tech est que ces derniers se taillent la part du lion des emplois dans l’industrie technologique.

Si les gens se sont horrifiés des pratiques de traitement des données de Facebook, Google et Amazon mais qu’ils continuent malgré tout d’utiliser ces services, c’est parce que tous leurs amis sont sur Facebook, que Google domine la recherche et qu’Amazon a mis tous les commerçants locaux en faillite.

Des marchés concurrentiels affaibliraient le pouvoir de lobbying des entreprises en réduisant leurs profits et en les opposant les unes aux autres à l’intérieur d’une réglementation commune. Cela donnerait aux clients d’autres endroits où aller pour obtenir leurs services en ligne. Les entreprises seraient alors suffisamment petites pour réglementer et ouvrir la voie à des sanctions significatives en cas d’infraction. Cela permettrait aux ingénieurs, dont les idées remettent en cause l’orthodoxie de la surveillance, de lever des capitaux pour concurrencer les opérateurs historiques. Cela donnerait aux éditeurs de sites web de multiples moyens d’atteindre leur public et de faire valoir leurs arguments contre l’intégration de Facebook, Google et Twitter.

En d’autres termes, si la surveillance ne provoque pas de monopoles, les monopoles encouragent certainement la surveillance…

Ronald Reagan, pionnier du monopole technologique

L’exceptionnalisme technologique est un péché, qu’il soit pratiqué par les partisans aveugles de la technologie ou par ses détracteurs. Ces deux camps sont enclins à expliquer la concentration monopolistique en invoquant certaines caractéristiques particulières de l’industrie technologique, comme les effets de réseau ou l’avantage du premier arrivé. La seule différence réelle entre ces deux groupes est que les apologistes de la technologie disent que le monopole est inévitable et que nous devrions donc laisser la technologie s’en tirer avec ses abus tandis que les régulateurs de la concurrence aux États-Unis et dans l’UE disent que le monopole est inévitable et que nous devrions donc punir la technologie pour ses abus mais sans essayer de briser les monopoles.

Pour comprendre comment la technologie est devenue aussi monopolistique, il est utile de se pencher sur l’aube de l’industrie technologique grand public : 1979, l’année où l’Apple II Plus a été lancé et est devenu le premier ordinateur domestique à succès. C’est également l’année où Ronald Reagan a fait campagne pour la présidentielle de 1980, qu’il a remportée, ce qui a entraîné un changement radical dans la manière dont les problèmes de concurrence sont traités en Amérique. Toute une cohorte d’hommes politiques de Reagan – dont Margaret Thatcher au Royaume-Uni, Brian Mulroney au Canada, Helmut Kohl en Allemagne et Augusto Pinochet au Chili – a ensuite procédé à des réformes similaires qui se sont finalement répandues dans le monde entier.

L’histoire de la lutte antitrust a commencé près d’un siècle avant tout cela avec des lois comme la loi Sherman, qui ciblait les monopoles au motif qu’ils étaient mauvais en soi – écrasant les concurrents, créant des « déséconomies d’échelle » (lorsqu’une entreprise est si grande que ses parties constitutives vont mal et qu’elle semble impuissante à résoudre les problèmes), et assujettissant leurs régulateurs à un point tel qu’ils ne peuvent s’en tirer sans une foule de difficultés.

Puis vint un affabulateur du nom de Robert Bork, un ancien avocat général que Reagan avait nommé à la puissante Cour d’appel américaine pour le district de Columbia et qui avait inventé de toutes pièces une histoire législative alternative de la loi Sherman et des lois suivantes. Bork a soutenu que ces lois n’ont jamais visé les monopoles (malgré de nombreuses preuves du contraire, y compris les discours retranscrits des auteurs des de ces lois) mais qu’elles visaient plutôt à prévenir les « préjudices aux consommateurs » – sous la forme de prix plus élevés.
Bork était un hurluberlu, certes, mais les riches aimaient vraiment ses idées. Les monopoles sont un excellent moyen de rendre les riches plus riches en leur permettant de recevoir des « rentes de monopole » (c’est-à-dire des profits plus importants) et d’assujettir les régulateurs, ce qui conduit à un cadre réglementaire plus faible et plus favorable, avec moins de protections pour les clients, les fournisseurs, l’environnement et les travailleurs.

Les théories de Bork étaient particulièrement satisfaisantes pour les mêmes personnalités influentes qui soutenaient Reagan. Le ministère de la Justice et d’autres agences gouvernementales de l’administration Reagan ont commencé à intégrer la doctrine antitrust de Bork dans leurs décisions d’application (Reagan a même proposé à Bork de siéger à la Cour suprême, mais Bork a été tellement mauvais à l’audience de confirmation du Sénat que, 40 ans plus tard, les experts de Washington utilisent le terme « borked » pour qualifier toute performance politique catastrophique).

Peu à peu, les théories de Bork se sont répandues, et leurs partisans ont commencé à infiltrer l’enseignement du droit, allant même jusqu’à organiser des séjours tous frais payés, où des membres de la magistrature étaient invités à de copieux repas, à participer à des activités de plein air et à assister à des séminaires où ils étaient endoctrinés contre la théorie antitrust et les dommages qu’elle cause aux consommateurs. Plus les théories de Bork s’imposaient, plus les monopolistes gagnaient de l’argent – et plus ils disposaient d’un capital excédentaire pour faire pression en faveur de campagnes d’influence antitrust à la Bork.

L’histoire des théories antitrust de Bork est un très bon exemple du type de retournements d’opinion publique obtenus secrètement et contre lesquels Zuboff nous met en garde, où les idées marginales deviennent peu à peu l’orthodoxie dominante. Mais Bork n’a pas changé le monde du jour au lendemain. Il a été très endurant, pendant plus d’une génération, et il a bénéficié d’un climat favorable parce que les forces qui ont soutenu les théories antitrust oligarchiques ont également soutenu de nombreux autres changements oligarchiques dans l’opinion publique. Par exemple, l’idée que la fiscalité est un vol, que la richesse est un signe de vertu, etc. – toutes ces théories se sont imbriquées pour former une idéologie cohérente qui a élevé l’inégalité au rang de vertu.

Aujourd’hui, beaucoup craignent que l’apprentissage machine permette au capitalisme de surveillance de vendre « Bork-as-a-Service », à la vitesse de l’Internet, afin qu’on puisse demander à une société d’apprentissage machine de provoquer des retournements rapides de l’opinion publique sans avoir besoin de capitaux pour soutenir un projet multiforme et multigénérationnel mené aux niveaux local, étatique, national et mondial, dans les domaines des affaires, du droit et de la philosophie. Je ne crois pas qu’un tel projet soit réalisable, bien que je sois d’accord avec le fait que c’est essentiellement ce que les plateformes prétendent vendre. Elles mentent tout simplement à ce sujet. Les (entreprises de la) Big Tech mentent tout le temps, y compris dans leur documentation commerciale.

L’idée que la technologie forme des « monopoles naturels » (des monopoles qui sont le résultat inévitable des réalités d’une industrie, comme les monopoles qui reviennent à la première entreprise à exploiter des lignes téléphoniques longue distance ou des lignes ferroviaires) est démentie par la propre histoire de la technologie : en l’absence de tactiques anticoncurrentielles, Google a réussi à détrôner AltaVista et Yahoo, et Facebook a réussi à se débarrasser de Myspace. La collecte de montagnes de données présente certains avantages, mais ces montagnes de données ont également des inconvénients : responsabilité (en raison de fuites), rendements décroissants (en raison d’anciennes données) et inertie institutionnelle (les grandes entreprises, comme la science, progressent en liquidant les autres à mesure).

En effet, la naissance du Web a vu l’extinction en masse des technologies propriétaires géantes et très rentables qui disposaient de capitaux, d’effets de réseau, de murs et de douves autour de leurs entreprises. Le Web a montré que lorsqu’une nouvelle industrie est construite autour d’un protocole, plutôt que d’un produit, la puissance combinée de tous ceux qui utilisent le protocole pour atteindre leurs clients, utilisateurs ou communautés, dépasse même les produits les plus massivement diffusés. CompuServe, AOL, MSN et une foule d’autres jardins clos propriétaires ont appris cette leçon à la dure : chacun croyait pouvoir rester séparé du Web, offrant une « curation » et une garantie de cohérence et de qualité au lieu du chaos d’un système ouvert. Chacun a eu tort et a fini par être absorbé dans le Web public.

Oui, la technologie est fortement monopolisée et elle est maintenant étroitement associée à la concentration de l’industrie, mais c’est davantage lié à une question de temps qu’à des tendances intrinsèquement monopolistiques. La technologie est née au moment où l’application de la législation antitrust était démantelée, et la technologie est tombée exactement dans les mêmes travers contre lesquels l’antitrust était censé se prémunir. En première approximation, il est raisonnable de supposer que les monopoles de Tech sont le résultat d’un manque d’action anti-monopole et non des caractéristiques uniques tant vantées de Tech, telles que les effets de réseau, l’avantage du premier arrivé, etc.

À l’appui de cette théorie, je propose de considérer la concentration que tous les autres secteurs ont connue au cours de la même période. De la lutte professionnelle aux biens de consommation emballés, en passant par le crédit-bail immobilier commercial, les banques, le fret maritime, le pétrole, les labels discographiques, la presse écrite et les parcs d’attractions, tous les secteurs ont connu un mouvement de concentration massif. Il n’y a pas d’effets de réseau évidents ni d’avantage de premier arrivé dans ces secteurs. Cependant, dans tous les cas, ils ont atteint leur statut de concentration grâce à des tactiques qui étaient interdites avant le triomphe de Bork : fusion avec des concurrents majeurs, rachat de nouveaux venus innovants sur le marché, intégration horizontale et verticale, et une série de tactiques anticoncurrentielles qui étaient autrefois illégales mais ne le sont plus.

Encore une fois : lorsque vous modifiez les lois destinées à empêcher les monopoles, puis que les monopoles se forment exactement comme la loi était censée les empêcher, il est raisonnable de supposer que ces faits sont liés. La concentration de Tech peut être facilement expliquée sans avoir recours aux théories radicales des effets de réseau – mais seulement si vous êtes prêt à accuser les marchés non réglementés de tendre vers le monopole. Tout comme un fumeur de longue date peut vous fournir une foule de raisons selon lesquelles ce n’est pas son tabagisme qui a provoqué son cancer (« Ce sont les toxines environnementales »), les vrais partisans des marchés non réglementés ont toute une série d’explications peu convaincantes pour prétendre que le monopole de la technologie ne modifie pas le capitalisme.

Conduire avec les essuie-glaces

Cela fait quarante ans que le projet de Bork pour réhabiliter les monopoles s’est réalisé, soit une génération et demie, c’est à dire suffisamment de temps pour qu’une idée commune puisse devenir farfelue ou l’inverse. Avant les années 40, les Américains aisés habillaient leurs petits garçons en rose alors que les filles portaient du bleu (une couleur « fragile et délicate »). Bien que les couleurs genrées soient totalement arbitraires, beaucoup découvriront cette information avec étonnement et trouveront difficile d’imaginer un temps où le rose suggérait la virilité.

Après quarante ans à ignorer scrupuleusement les mesures antitrust et leur mise en application, il n’est pas surprenant que nous ayons presque tous oublié que les lois antitrust existent, que la croissance à travers les fusions et les acquisitions était largement interdite par la loi, et que les stratégies d’isolation d’un marché, comme par l’intégration verticale, pouvait conduire une entreprise au tribunal.

L’antitrust, c’est le volant de cette voiture qu’est la société de marché, l’outil principal qui permet de contrôler la trajectoire de ces prétendants au titre de maîtres de l’univers. Mais Bork et ses amis nous ont arraché ce volant des mains il y a quarante ans. Puisque la voiture continue d’avancer, nous appuyons aussi fort que possible sur toutes les autres commandes de la voiture, de même que nous ouvrons et fermons les portes, montons et descendons les vitres dans l’espoir qu’une de ces commandes puisse nous permettre de choisir notre direction et de reprendre le contrôle avant de foncer dans le décor.

Ça ressemble à un scénario de science-fiction des années 60 qui deviendrait réalité : voyageant à travers les étoiles, des humains sont coincés dans un « vaisseau générationnel » autrefois piloté par leurs ancêtres, et maintenant, après une grande catastrophe, l’équipage a complètement oublié qu’il est dans un vaisseau et ne se souvient pas où est la salle de contrôle. À la dérive, le vaisseau court à sa perte, et, à moins que nous puissions reprendre le contrôle et corriger le cap en urgence, nous allons tout fonçons droit vers une mort ardente dans le cœur d’un soleil.

La surveillance a toujours son importance

Rien de tout cela ne doit minimiser les problèmes liés à la surveillance. La surveillance est importante, et les Géants de la tech qui l’utilisent font peser un véritable risque existentiel sur notre espèce, mais ce n’est pas parce que la surveillance et l’apprentissage machine nous subtilisent notre libre arbitre.

La surveillance est devenue bien plus efficace avec les Géants de la tech. En 1989, la Stasi — la police secrète est-allemande — avait l’intégralité du pays sous surveillance, un projet titanesque qui recrutait une personne sur 60 en tant qu’informateur ou comme agent de renseignement.

Aujourd’hui, nous savons que la NSA espionne une partie significative de la population mondiale, et le ratio entre agents de renseignement et population surveillée est plutôt de l’ordre de 1 pour 10 000 (ce chiffre est probablement sous-estimé puisqu’il suppose que tous les Américains détenant un niveau de confidentialité top secret travaillent pour la NSA — en fait on ne sait pas combien de personnes sont autorisées à espionner pour le compte de la NSA, mais ce n’est certainement pas toutes les personnes classées top secret).

Comment ce ratio de citoyens surveillés a-t-il pu exploser de 1/60 à 1/10 000 en moins de trente ans ? C’est bien grâce aux Géants de la tech. Nos appareils et leurs services collectent plus de données que ce que la NSA collecte pour ses propres projets de surveillance. Nous achetons ces appareils, nous nous connectons à leurs services, puis nous accomplissons laborieusement les tâches nécessaires pour insérer des données sur nous, notre vie, nos opinions et nos préférences. Cette surveillance de masse s’est révélée complètement inutile dans la lutte contre le terrorisme : la NSA évoque un seul et unique cas, dans lequel elle a utilisé un programme de collection de données pour faire échouer une tentative de transfert de fond de quelques milliers de dollars d’un citoyen américain vers un groupe terroriste basé à l’étranger. Les raisons de cette inefficacité déconcertante sont les mêmes que pour l’échec du ciblage publicitaire par les entreprises de surveillance commerciale : les personnes qui commettent des actes terroristes, tout comme celles qui achètent un frigo, se font très rares. Si vous voulez détecter un phénomène dont la probabilité de base est d’un sur un million avec un outil dont la précision n’est que de 99 %, chaque résultat juste apparaîtra au prix de 9 999 faux positifs.

Essayons de le formuler autrement : si une personne sur un million est terroriste, alors nous aurons seulement un terroriste dans un échantillon d’un million de personnes. Si votre test de détecteur à terroristes est précis à 99 %, il identifiera 10 000 terroristes dans votre échantillon d’un million de personnes (1 % d’un million = 10 000). Pour un résultat juste, vous vous retrouvez avec 9 999 faux positifs.

En réalité, la précision algorithmique de la détection de terroriste est bien inférieure à 99 %, tout comme pour les publicités de frigo. La différence, c’est qu’être accusé à tort d’être un potentiel acheteur de frigo est une nuisance somme toute assez faible, alors qu’être accusé à tort de planifier un attentat terroriste peut détruire votre vie et celle de toutes les personnes que vous aimez.

L’État ne peut surveiller massivement que parce que le capitalisme de surveillance et son très faible rendement existent, ce qui demande un flux constant de données personnelles pour pouvoir rester viable. L’échec majeur du capitalisme de surveillance vient des publicités mal ciblées, tandis que celui de la surveillance étatique vient des violations éhontées des Droits de l’humain, qui ont tendance à dériver vers du totalitarisme.

La surveillance de l’État n’est pas un simple parasite des Géants de la tech, qui pomperait les données sans rien accorder en retour. En réalité, ils sont plutôt en symbiose : les Géants pompent nos données pour le compte des agences de renseignement, et ces dernières s’assurent que le pouvoir politique ne restreint pas trop sévèrement les activités des Géants de la tech jusqu’à devenir inutile aux besoins du renseignement. Il n’y a aucune distinction claire entre la surveillance d’État et le capitalisme de surveillance, ils sont tous deux co-dépendants.

Pour comprendre comment tout cela fonctionne aujourd’hui, pas besoin de regarder plus loin que l’outil de surveillance d’Amazon, la sonnette Ring et son application associée Neighbors. Ring — un produit acheté et non développé par Amazon — est une sonnette munie d’une caméra qui diffuse les images de l’entrée devant votre porte sur votre téléphone. L’application Neighbors vous permet de mettre en place un réseau de surveillance à l’échelle de votre quartier avec les autres détenteurs de sonnette Ring autour de chez vous, avec lesquels vous pouvez partager des vidéos de « personnes suspectes ». Si vous pensez que ce système est le meilleur moyen pour permettre aux commères racistes de suspecter toute personne de couleur qui se balade dans le quartier, vous avez raison. Ring est devenu de facto, le bras officieux de la police sans s’embêter avec ces satanées lois et règlements.

À l’été 2019, une série de demande de documents publics a révélé qu’Amazon a passé des accords confidentiels avec plus de 400 services de police locaux au travers desquelles ces agences font la promotion de Ring and Neighbors en échange de l’accès à des vidéos filmées par les visiophones Ring. En théorie, la police devrait réclamer ces vidéos par l’intermédiaire d’Amazon (et des documents internes ont révélé qu’Amazon consacre des ressources non-négligeables pour former les policiers à formuler des histoires convaincantes dans ce but), mais dans la pratique, quand un client Ring refuse de transmettre ses vidéos à la police, Amazon n’exige de la police qu’une simple requête formelle à adresser à l’entreprise, ce qu’elle lui remet alors.

Ring et les forces de police ont trouvé de nombreuses façons de mêler leurs activités . Ring passe des accords secrets pour avoir un accès en temps réel aux appels d’urgence (le 911) pour ensuite diffuser à ses utilisateurs les procès-verbaux de certaines infractions, qui servent aussi à convaincre n’importe quelle personne qui envisage d’installer un portier de surveillance mais qui ne sait pas vraiment si son quartier est suffisamment dangereux pour que ça en vaille le coup.

Plus les flics vantent les mérites du réseau de surveillance capitaliste Ring, plus l’État dispose de capacités de surveillance. Les flics qui s’appuient sur des entités privées pour faire respecter la loi s’opposent ensuite à toute régulation du déploiement de cette technologie, tandis que les entreprises leur rendent la pareille en faisant pression contre les règles qui réclament une surveillance publique de la technologie de surveillance policière. Plus les flics s’appuient sur Ring and Neighbors, plus il sera difficile d’adopter des lois pour les freiner. Moins il y aura de lois contre eux, plus les flics se reposeront sur ces technologies.

Voici une troisième partie de l’essai que consacre Cory Doctorow au capitalisme de surveillance (parcourir sur le blog les épisodes précédents – parcourir les trois premiers épisodes en PDF : doctorow-1-2-3). Il s’attache ici à démonter les mécanismes utilisés par les Gafam pour lutter contre nos facultés à échapper aux messages publicitaires, mais aussi pour faire croire aux publicitaires que leurs techniques sont magiquement efficaces. Il insiste également sur la quasi-impunité dont bénéficient jusqu’à présent les géants de la Tech…

Billet original sur le Medium de OneZero : How To Destroy Surveillance Capitalism

Traduction Framalang :  Claire, Fabrice, Gangsoleil, Goofy, Jums, Laure, Retrodev

Si les données sont le nouvel or noir, alors les forages du capitalisme de surveillance ont des fuites

par Cory Doctorow

La faculté d’adaptation des internautes explique l’une des caractéristiques les plus alarmantes du capitalisme de surveillance : son insatiable appétit de données et l’expansion infinie de sa capacité à collecter des données au travers de la diffusion de capteurs, de la surveillance en ligne, et de l’acquisition de flux de données de tiers.

Zuboff étudie ce phénomène et conclut que les données doivent valoir très cher si le capitalisme de surveillance en est aussi friand (selon ses termes : « Tout comme le capitalisme industriel était motivé par l’intensification continue des moyens de production, le capitalisme de surveillance et ses acteurs sont maintenant enfermés dans l’intensification continue des moyens de modification comportementale et dans la collecte des instruments de pouvoir. »). Et si cet appétit vorace venait du fait que ces données ont une demi-vie très courte, puisque les gens s’habituent très vite aux nouvelles techniques de persuasion fondées sur les données au point que les entreprises sont engagées dans un bras de fer sans fin avec notre système limbique ? Et si c’était une course de la Reine rouge d’Alice dans laquelle il faut courir de plus en plus vite collecter de plus en plus de données, pour conserver la même place ?

Bien sûr, toutes les techniques de persuasion des géants de la tech travaillent de concert les unes avec les autres, et la collecte de données est utile au-delà de la simple tromperie comportementale.

Si une personne veut vous recruter pour acheter un réfrigérateur ou participer à un pogrom, elle peut utiliser le profilage et le ciblage pour envoyer des messages à des gens avec lesquels elle estime avoir de bonnes perspectives commerciales. Ces messages eux-mêmes peuvent être mensongers et promouvoir des thèmes que vous ne connaissez pas bien (la sécurité alimentaire, l’efficacité énergétique, l’eugénisme ou des affirmations historiques sur la supériorité raciale). Elle peut recourir à l’optimisation des moteurs de recherche ou à des armées de faux critiques et commentateurs ou bien encore au placement payant pour dominer le discours afin que toute recherche d’informations complémentaires vous ramène à ses messages. Enfin, elle peut affiner les différents discours en utilisant l’apprentissage machine et d’autres techniques afin de déterminer quel type de discours convient le mieux à quelqu’un comme vous.

Chacune des phases de ce processus bénéficie de la surveillance : plus ils possèdent de données sur vous, plus leur profilage est précis et plus ils peuvent vous cibler avec des messages spécifiques. Pensez à la façon dont vous vendriez un réfrigérateur si vous saviez que la garantie de celui de votre client potentiel venait d’expirer et qu’il allait percevoir un remboursement d’impôts le mois suivant.

De plus, plus ils ont de données, mieux ils peuvent élaborer des messages trompeurs. Si je sais que vous aimez la généalogie, je n’essaierai pas de vous refourguer des thèses pseudo-scientifiques sur les différences génétiques entre les « races », et je m’en tiendrai plutôt aux conspirationnistes habituels du « grand remplacement ».

Facebook vous aide aussi à localiser les gens qui ont les mêmes opinions odieuses ou antisociales que vous. Il permet de trouver d’autres personnes avec qui porter des torches enflammées dans les rues de Charlottesville déguisé en Confédéré. Il peut vous aider à trouver d’autres personnes qui veulent rejoindre votre milice et aller à la frontière pour terroriser les migrants illégaux. Il peut vous aider à trouver d’autres personnes qui pensent aussi que les vaccins sont un poison et que la Terre est plate.

La publicité ciblée profite en réalité uniquement à ceux qui défendent des causes socialement inacceptables car elle est invisible. Le racisme est présent sur toute la planète, et il y a peu d’endroits où les racistes, et seulement eux, se réunissent. C’est une situation similaire à celle de la vente de réfrigérateurs là où les clients potentiels sont dispersés géographiquement, et où il y a peu d’endroits où vous pouvez acheter un encart publicitaire qui sera principalement vu par des acheteurs de frigo. Mais acheter un frigo est acceptable socialement, tandis qu’être un nazi ne l’est pas, donc quand vous achetez un panneau publicitaire ou quand vous faites de la pub dans la rubrique sports d’un journal pour vendre votre frigo, le seul risque c’est que votre publicité soit vue par beaucoup de gens qui ne veulent pas de frigo, et vous aurez jeté votre argent par la fenêtre.

Mais même si vous vouliez faire de la pub pour votre mouvement nazi sur un panneau publicitaire, à la télé en première partie de soirée ou dans les petites annonces de la rubrique sports, vous auriez du mal à trouver quelqu’un qui serait prêt à vous vendre de l’espace pour votre publicité, en partie parce qu’il ne serait pas d’accord avec vos idées, et aussi parce qu’il aurait peur des retombées négatives (boycott, mauvaise image, etc.) de la part de ceux qui ne partagent pas vos opinions.

Ce problème disparaît avec les publicités ciblées : sur Internet, les encarts de publicité peuvent être personnalisés, ce qui veut dire que vous pouvez acheter des publicités qui ne seront montrées qu’à ceux qui semblent être des nazis et pas à ceux qui les haïssent. Quand un slogan raciste est diffusé à quelqu’un qui hait le racisme, il en résulte certaines conséquences, et la plateforme ou la publication peut faire l’objet d’une dénonciation publique ou privée de la part de personnes outrées. Mais la nature des risques encourus par l’acheteur de publicités en ligne est bien différente des risques encourus par un éditeur ou un propriétaire de panneaux publicitaires classiques qui pourrait vouloir publier une pub nazie.

Les publicités en ligne sont placées par des algorithmes qui servent d’intermédiaires entre un écosystème diversifié de plateformes publicitaires en libre-service où chacun peut acheter une annonce. Ainsi, les slogans nazis qui s’immiscent sur votre site web préféré ne doivent pas être vus comme une atteinte à la morale mais plutôt comme le raté d’un fournisseur de publicité lointain. Lorsqu’un éditeur reçoit une plainte pour une publicité gênante diffusée sur un de ses sites, il peut engager une procédure pour bloquer la diffusion de cette publicité. Mais les nazis pourraient acheter une publicité légèrement différente auprès d’un autre intermédiaire qui diffuse aussi sur ce site. Quoi qu’il en soit, les internautes comprennent de plus en plus que quand une publicité s’affiche sur leur écran, il est probable que l’annonceur n’a pas choisi l’éditeur du site et que l’éditeur n’a pas la moindre idée de qui sont ses annonceurs.
Ces couches d’indétermination entre les annonceurs et les éditeurs tiennent lieu de tampon moral : il y a aujourd’hui un large consensus moral selon lequel les éditeurs ne devraient pas être tenus pour responsables des publicités qui apparaissent sur leurs pages car ils ne choisissent pas directement de les y placer. C’est ainsi que les nazis peuvent surmonter d’importants obstacles pour organiser leur mouvement.

Les données entretiennent une relation complexe avec la domination. La capacité à espionner vos clients peut vous alerter sur leurs préférences pour vos concurrents directs et vous permettre par la même occasion de prendre l’ascendant sur eux.

Mais surtout, si vous pouvez dominer l’espace informationnel tout en collectant des données, alors vous renforcez d’autres stratégies trompeuses, car il devient plus difficile d’échapper à la toile de tromperie que vous tissez. Ce ne sont pas les données elles-mêmes mais la domination, c’est-à-dire le fait d’atteindre, à terme, une position de monopole, qui rend ces stratégies viables, car la domination monopolistique prive votre cible de toute alternative.

Si vous êtes un nazi qui veut s’assurer que ses cibles voient en priorité des informations trompeuses, qui vont se confirmer à mesure que les recherches se poursuivent, vous pouvez améliorer vos chances en leur suggérant des mots-clefs à travers vos communications initiales. Vous n’avez pas besoin de vous positionner sur les dix premiers résultats de la recherche décourager électeurs de voter si vous pouvez convaincre vos cibles de n’utiliser que les mots clefs voter fraud (fraude électorale), qui retourneront des résultats de recherche très différents.

Les capitalistes de la surveillance sont comme des illusionnistes qui affirment que leur extraordinaire connaissance des comportements humains leur permet de deviner le mot que vous avez noté sur un bout de papier plié et placé dans votre poche, alors qu’en réalité ils s’appuient sur des complices, des caméras cachées, des tours de passe-passe et de leur mémoire développée pour vous bluffer.

Ou peut-être sont-ils des comme des artistes de la drague, cette secte misogyne qui promet d’aider les hommes maladroits à coucher avec des femmes en leur apprenant quelques rudiments de programmation neurolinguistique, des techniques de communication non verbale et des stratégies de manipulation psychologique telles que le « negging », qui consiste à faire des commentaires dévalorisant aux femmes pour réduire leur amour-propre et susciter leur intérêt.

Certains dragueurs parviennent peut-être à convaincre des femmes de les suivre, mais ce n’est pas parce que ces hommes ont découvert comment court-circuiter l’esprit critique des femmes. Le « succès » des dragueurs vient plutôt du fait qu’ils sont tombés sur des femmes qui n’étaient pas en état d’exprimer leur consentement, des femmes contraintes, des femmes en état d’ébriété, des femmes animées d’une pulsion autodestructrice et de quelques femmes qui, bien que sobres et disposant de toutes leurs facultés, n’ont pas immédiatement compris qu’elles fréquentaient des hommes horribles mais qui ont corrigé cette erreur dès qu’elles l’ont pu.

Les dragueurs se figurent qu’ils ont découvert une formule secrète qui court-circuite les facultés critiques des femmes, mais ce n’est pas le cas. La plupart des stratégies qu’ils déploient, comme le negging, sont devenues des sujets de plaisanteries (tout comme les gens plaisantent à propos des mauvaises campagnes publicitaires) et il est fort probable que ceux qui mettent en pratique ces stratégies avec les femmes ont de fortes chances d’être aussitôt démasqués, jetés et considérés comme de gros losers.

Les dragueurs sont la preuve que les gens peuvent croire qu’ils ont développé un système de contrôle de l’esprit même s’il ne marche pas. Ils s’appuient simplement sur le fait qu’une technique qui fonctionne une fois sur un million peut finir par se révéler payante si vous l’essayez un million de fois. Ils considèrent qu’ils ont juste mal appliqué la technique les autres 999 999 fois et se jurent de faire mieux la prochaine fois. Seul un groupe de personnes trouve ces histoires de dragueurs convaincantes, les aspirants dragueurs, que l’anxiété et l’insécurité rend vulnérables aux escrocs et aux cinglés qui les persuadent que, s’ils payent leur mentorat et suivent leurs instructions, ils réussiront un jour. Les dragueurs considèrent que, s’ils ne parviennent pas à séduire les femmes, c’est parce qu’ils ne sont pas de bons dragueurs, et non parce que les techniques de drague sont du grand n’importe quoi. Les dragueurs ne parviennent pas à se vendre auprès des femmes, mais ils sont bien meilleurs pour se vendre auprès des hommes qui payent pour apprendre leurs prétendues techniques de séduction.

« Je sais que la moitié des sommes que je dépense en publicité l’est en pure perte mais je ne sais pas de quelle moitié il s’agit. » déplorait John Wanamaker, pionnier des grands magasins.

Le fait que Wanamaker considérait que la moitié seulement de ses dépenses publicitaires avait été gaspillée témoigne de la capacité de persuasion des cadres commerciaux, qui sont bien meilleurs pour convaincre de potentiels clients d’acheter leurs services que pour convaincre le grand public d’acheter les produits de leurs clients.

Qu’est-ce que Facebook ?

On considère Facebook comme l’origine de tous nos fléaux actuels, et il n’est pas difficile de comprendre pourquoi. Certaines entreprises technologiques cherchent à enfermer leurs utilisateurs mais font leur beurre en gardant le monopole sur l’accès aux applications pour leurs appareils et en abusant largement sur leurs tarifs plutôt qu’en espionnant leurs clients (c’est le cas d’Apple). D’autres ne cherchent pas à enfermer leurs utilisateurs et utilisatrices parce que ces entreprises ont bien compris comment les espionner où qu’ils soient et quoi qu’elles fassent, et elles gagnent de l’argent avec cette surveillance (Google). Seul Facebook, parmi les géants de la tech, fait reposer son business à la fois sur le verrouillage de ses utilisateurs et leur espionnage constant.

Le type de surveillance qu’exerce Facebook est véritablement sans équivalent dans le monde occidental. Bien que Facebook s’efforce de se rendre le moins visible possible sur le Web public, en masquant ce qui s’y passe aux yeux des gens qui ne sont pas connectés à Facebook, l’entreprise a disposé des pièges sur la totalité du Web avec des outils de surveillance, sous forme de boutons « J’aime » que les producteurs de contenus insèrent sur leur site pour doper leur profil Facebook. L’entreprise crée également diverses bibliothèques logicielles et autres bouts de code à l’attention des développeurs qui fonctionnent comme des mouchards sur les pages où on les utilise (journaux parcourus, sites de rencontres, forums…), transmettant à Facebook des informations sur les visiteurs du site.

Les géants de la tech peuvent surveiller, non seulement parce qu’ils font de la tech mais aussi parce que ce sont des géants.

Facebook offre des outils du même genre aux développeurs d’applications, si bien que les applications que vous utilisez, que ce soit des jeux, des applis pétomanes, des services d’évaluation des entreprises ou du suivi scolaire enverront des informations sur vos activités à Facebook même si vous n’avez pas de compte Facebook, et même si vous n’utilisez ni ne téléchargez aucune application Facebook. Et par-dessus le marché, Facebook achète des données à des tiers pour connaître les habitudes d’achat, la géolocalisation, l’utilisation de cartes de fidélité, les transactions bancaires, etc., puis croise ces données avec les dossiers constitués d’après les activités sur Facebook, avec les applications et sur le Web général.

S’il est simple d’intégrer des éléments web dans Facebook – faire un lien vers un article de presse, par exemple – les produits de Facebook ne peuvent en général pas être intégrés sur le Web. Vous pouvez inclure un tweet dans une publication Facebook, mais si vous intégrez une publication Facebook dans un tweet, tout ce que vous obtiendrez est un lien vers Facebook qui vous demande de vous authentifier avant d’y accéder. Facebook a eu recours à des contre-mesures techniques et légales radicales pour que ses concurrents ne puissent pas donner la possibilité à leurs utilisateurs d’intégrer des fragments de Facebook dans des services rivaux, ou de créer des interfaces alternatives qui fusionneraient votre messagerie Facebook avec celle des autres services que vous utilisez.

Et Facebook est incroyablement populaire, avec 2,3 milliards d’utilisateurs annoncés (même si beaucoup considèrent que ce nombre est exagéré). Facebook a été utilisé pour organiser des pogroms génocidaires, des émeutes racistes, des mouvements antivaccins, des théories de la Terre plate et la carrière politique des autocrates les plus horribles et les plus autoritaires au monde. Des choses réellement alarmantes se produisent dans le monde et Facebook est impliqué dans bon nombre d’entre elles, il est donc assez facile de conclure que ces choses sont le résultat du système de contrôle mental de Facebook, mis à disposition de toute personne prête à y dépenser quelques dollars.

Pour comprendre le rôle joué par Facebook dans l’élaboration et la mobilisation des mouvements nuisibles à la société, nous devons comprendre la double nature de Facebook.

Parce qu’il a beaucoup d’utilisateurs et beaucoup de données sur ces utilisateurs, l’outil Facebook est très efficace pour identifier des personnes avec des caractéristiques difficiles à trouver, le genre de caractéristiques qui sont suffisamment bien disséminées dans la population pour que les publicitaires aient toujours eu du mal à les atteindre de manière rentable.

Revenons aux réfrigérateurs. La plupart d’entre nous ne remplaçons notre gros électro-ménager qu’un petit nombre de fois dans nos vies. Si vous êtes un fabricant ou un vendeur de réfrigérateurs, il n’y a que ces brèves fenêtres temporelles dans la vie des consommateurs au cours desquelles ils réfléchissent à un achat, et vous devez trouver un moyen pour les atteindre. Toute personne ayant déjà enregistré un changement de titre de propriété après l’achat d’une maison a pu constater que les fabricants d’électroménager s’efforcent avec l’énergie du désespoir d’atteindre quiconque pourrait la moindre chance d’être à la recherche d’un nouveau frigo.

Facebook rend la recherche d’acheteurs de réfrigérateurs beaucoup plus facile. Il permet de cibler des publicités à destination des personnes ayant enregistré l’achat d’une nouvelle maison, des personnes qui ont cherché des conseils pour l’achat de réfrigérateurs, de personnes qui se sont plaintes du dysfonctionnement de leur frigo, ou n’importe quelle combinaison de celles-ci. Il peut même cibler des personnes qui ont récemment acheté d’autres équipements de cuisine, en faisant l’hypothèse que quelqu’un venant de remplacer son four et son lave-vaisselle pourrait être d’humeur à acheter un frigo. La grande majorité des personnes qui sont ciblées par ces publicités ne seront pas à la recherche d’un nouveau frigo mais – et c’est le point crucial – le pourcentage de personnes à la recherche de frigo que ces publicités atteignent est bien plus élevé que celui du groupe atteint par les techniques traditionnelles de ciblage marketing hors-ligne.

Facebook rend également beaucoup plus simple le fait de trouver des personnes qui ont la même maladie rare que vous, ce qui aurait été peut-être impossible avant, le plus proche compagnon d’infortune pouvant se trouver à des centaines de kilomètres. Il rend plus simple de retrouver des personnes qui sont allées dans le même lycée que vous, bien que des décennies se soient écoulées et que vos anciens camarades se soient disséminés aux quatre coins de la planète.

Facebook rend également beaucoup plus simple de trouver des personnes ayant les mêmes opinions politiques minoritaires que vous. Si vous avez toujours eu une affinité secrète pour le socialisme, sans jamais oser la formuler à voix haute de peur de vous aliéner vos voisins, Facebook peut vous aider à découvrir d’autres personnes qui pensent la même chose que vous (et cela pourrait vous démontrer que votre affinité est plus commune que vous ne l’auriez imaginée). Il peut rendre plus facile de trouver des personnes qui ont la même identité sexuelle que vous. Et, à nouveau, il peut vous aider à comprendre que ce que vous considériez comme un secret honteux qui ne regarde que vous est en réalité un trait répandu, vous donnant ainsi le réconfort et le courage nécessaire pour en parler à vos proches.

Tout cela constitue un dilemme pour Facebook : le ciblage rend les publicités de la plateforme plus efficaces que les publicités traditionnelles, mais il permet également aux annonceurs de savoir précisément à quel point leurs publicités sont efficaces. Si les annonceurs sont satisfaits d’apprendre que les publicités de Facebook sont plus efficaces que celles de systèmes au ciblage moins perfectionné, les annonceurs peuvent aussi voir que, dans presque tous les cas, les personnes qui voient leurs publicités les ignorent. Ou alors, tout au mieux, que leurs publicités ne fonctionnent qu’à un niveau inconscient, créant des effets nébuleux impossibles à quantifier comme la « reconnaissance de marque ». Cela signifie que le prix par publicité est très réduit dans la quasi-totalité des cas.

Pour ne rien arranger, beaucoup de groupes Facebook n’hébergent que très peu de discussions. Votre équipe de football locale, les personnes qui ont la même maladie rare que vous et ceux dont vous partagez l’orientation politique peuvent échanger des rafales de messages dans les moments critiques forts mais, dans la vie de tous les jours, il n’y a pas grand-chose à raconter à vos anciens camarades de lycée et autres collectionneurs de vignettes de football.

S’il n’y avait que des discussions « saines », Facebook ne générerait pas assez de trafic pour vendre des publicités et amasser ainsi les sommes nécessaires pour continuellement se développer en rachetant ses concurrents, tout en reversant de coquettes sommes à ses investisseurs.

Facebook doit donc augmenter le trafic tout en détournant ses propres forums de discussion : chaque fois que l’algorithme de Facebook injecte de la matière à polémiques dans un groupe – brûlots politiques, théories du complot, faits-divers révoltants – il peut détourner l’objectif initial de ce groupe avec des discussions affligeantes et gonfler ainsi artificiellement ces échanges en les transformant en interminables disputes agressives et improductives. Facebook est optimisé pour l’engagement, pas pour le bonheur, et il se trouve que les systèmes automatisés sont plutôt performants pour trouver des choses qui vont mettre les gens en colère.

Facebook peut modifier notre comportement mais seulement en suivant quelques modalités ordinaires. Tout d’abord, il peut vous enfermer avec vos amis et votre famille pour que vous passiez votre temps à vérifier sans cesse sur Facebook ce qu’ils sont en train de faire. Ensuite, il peut vous mettre en colère ou vous angoisser. Il peut vous forcer à choisir entre être constamment interrompu par des mises à jour, un processus qui vous déconcentre et vous empêche de réfléchir, et rester indéfiniment en contact avec vos amis. Il s’agit donc d’une forme de contrôle mental très limitée, qui ne peut nous rendre que furieux, déprimés et angoissés.

C’est pourquoi les systèmes de ciblage de Facebook – autant ceux qu’il montre aux annonceurs que ceux qui permettent aux utilisateurs de trouver des personnes qui partagent les mêmes centres d’intérêt – sont si modernes, souples et faciles à utiliser, tandis que ses forums de discussion ont des fonctionnalités qui paraissent inchangées depuis le milieu des années 2000. Si Facebook offrait à ses utilisateurs un système de lecture de messages tout aussi souple et sophistiqué, ceux-ci pourraient se défendre contre les gros titres polémiques sur Donald Trump qui leur font saigner des yeux.

Plus vous passez de temps sur Facebook, plus il a de pubs à vous montrer. Comme les publicités sur Facebook ne marchent qu’une fois sur mille, leur solution est de tenter de multiplier par mille le temps que vous y passez. Au lieu de considérer Facebook comme une entreprise qui a trouvé un moyen de vous montrer la bonne publicité en obtenant de vous exactement ce que veulent les annonceurs publicitaires, considérez que c’est une entreprise qui sait parfaitement comment vous noyer dans un torrent permanent de controverses, même si elles vous rendent malheureux, de sorte que vous passiez tellement de temps sur le site que vous finissiez par voir au moins une pub qui va fonctionner pour vous.

Les monopoles et le droit au futur

Mme Zuboff et ceux qui la suivent sont particulièrement alarmés par l’influence de la surveillance des entreprises sur nos décisions. Cette influence nous prive de ce qu’elle appelle poétiquement « le droit au futur », c’est-à-dire le droit de décider par vous-même de ce que vous ferez à l’avenir.

Il est vrai que la publicité peut faire pencher la balance d’une manière ou d’une autre : lorsque vous envisagez d’acheter un frigo, une publicité pour un frigo qui vient juste à point peut mettre fin tout de suite à vos recherches. Mais Zuboff accorde un poids énorme et injustifié au pouvoir de persuasion des techniques d’influence basées sur la surveillance. La plupart d’entre elles ne fonctionnent pas très bien, et celles qui le font ne fonctionneront pas très longtemps. Les concepteurs de ces outils sont persuadés qu’ils les affineront un jour pour en faire des systèmes de contrôle total, mais on peut difficilement les considérer comme des observateurs sans parti-pris, et les risques que leurs rêves se réalisent sont très limités. En revanche, Zuboff est plutôt optimiste quant aux quarante années de pratiques antitrust laxistes qui ont permis à une poignée d’entreprises de dominer le Web, inaugurant une ère de l’information avec, comme l’a fait remarquer quelqu’un sur Twitter, cinq portails web géants remplis chacun de captures d’écran des quatre autres.

Cependant, si l’on doit s’inquiéter parce qu’on risque de perdre le droit de choisir nous-mêmes de quoi sera fait notre avenir, alors les préjudices tangibles et immédiats devraient être au cœur de nos débats sur les politiques technologiques, et non les préjudices potentiels décrit par Zuboff.

Commençons avec la « gestion des droits numériques ». En 1998, Bill Clinton promulgue le Digital Millennium Copyright Act (DMCA). Cette loi complexe comporte de nombreuses clauses controversées, mais aucune ne l’est plus que la section 1201, la règle « anti-contournement ».

Il s’agit d’une interdiction générale de modifier les systèmes qui limitent l’accès aux œuvres protégées par le copyright. L’interdiction est si stricte qu’elle interdit de retirer le verrou de copyright même si aucune violation de copyright n’a eut lieu. C’est dans la conception même du texte : les activités, que l’article 1201 du DMCA vise à interdire, ne sont pas des violations du copyright ; il s’agit plutôt d’activités légales qui contrarient les plans commerciaux des fabricants.

Par exemple, la première application majeure de la section 1201 a visé les lecteurs de DVD comme moyen de faire respecter le codage par « région » intégré dans ces appareils. Le DVD-CCA, l’organisme qui a normalisé les DVD et les lecteurs de DVD, a divisé le monde en six régions et a précisé que les lecteurs de DVD doivent vérifier chaque disque pour déterminer dans quelles régions il est autorisé à être lu. Les lecteurs de DVD devaient avoir leur propre région correspondante (un lecteur de DVD acheté aux États-Unis serait de la région 1, tandis qu’un lecteur acheté en Inde serait de la région 5). Si le lecteur et la région du disque correspondent, le lecteur lira le disque ; sinon, il le rejettera.

Pourtant, regarder un DVD acheté légalement dans un autre pays que celui dans lequel vous vous situez n’est pas une violation de copyright – bien au contraire. Les lois du copyright n’imposent qu’une seule obligation aux consommateurs de films : vous devez aller dans un magasin, trouver un DVD autorisé, et payer le prix demandé. Si vous faites cela – et rien de plus – tout ira bien.

Le fait qu’un studio de cinéma veuille faire payer les Indiens moins cher que les Américains, ou sortir un film plus tard en Australie qu’au Royaume-Uni n’a rien à voir avec les lois sur le copyright. Une fois que vous avez légalement acquis un DVD, ce n’est pas une violation du copyright que de le regarder depuis l’endroit où vous vous trouvez.

Donc les producteurs de DVD et de lecteurs de disques ne pourraient pas employer les accusations de complicité de violations du copyright pour punir les producteurs de lecteurs lisant des disques de n’importe quelle région, ou les ateliers de réparation qui ont modifié les lecteurs pour vous laisser regarder des disques achetés hors de votre région, ou encore les développeurs de logiciels qui ont créé des programmes pour vous aider à le faire.
C’est là que la section 1201 du DCMA entre en jeu : en interdisant de toucher aux contrôles d’accès, la loi a donné aux producteurs et aux ayants droit la possibilité de poursuivre en justice leurs concurrents qui produisent des produits supérieurs avec des caractéristiques très demandées par le marché (en l’occurrence, des lecteurs de disques sans restriction de région).

C’est une arnaque ignoble contre les consommateurs, mais, avec le temps, le champ de la section 1201 s’est étendu pour inclure toute une constellation grandissante d’appareils et de services, car certains producteurs malins ont compris un certain nombre de choses :

• Tout appareil doté d’un logiciel contient une « œuvre protégée par copyright » (le logiciel en question).
• Un appareil peut être conçu pour pouvoir reconfigurer son logiciel et contourner le « moyen de contrôle d’accès à une œuvre protégée par copyright », un délit d’après la section 1201.
• Par conséquent, les entreprises peuvent contrôler le comportement de leurs consommateurs après qu’ils ont rapporté leurs achats à la maison. Elles peuvent en effet concevoir des produits pour que toutes les utilisations interdites demandent des modifications qui tombent sous le coup de la section 1201.

Cette section devient alors un moyen pour tout fabricant de contraindre ses clients à agir au profit de leurs actionnaires plutôt que dans l’intérêt des clients.
Cela se manifeste de nombreuses façons : une nouvelle génération d’imprimantes à jet d’encre utilisant des contre-mesures qui empêchent l’utilisation d’encre d’autres marques et qui ne peuvent être contournées sans risques juridiques, ou des systèmes similaires dans les tracteurs qui empêchent les réparateurs d’échanger les pièces du fabricant, car elles ne sont pas reconnues par le système du tracteur tant qu’un code de déverrouillage du fabricant n’est pas saisi.

Plus proches des particuliers, les iPhones d’Apple utilisent ces mesures pour empêcher à la fois les services de tierce partie et l’installation de logiciels tiers. Cela permet à Apple, et non à l’acheteur de l’iPhone, de décider quand celui-ci est irréparable et doit être réduit en pièces et jeté en déchetterie (l’entreprise Apple est connue pour sa politique écologiquement catastrophique qui consiste à détruire les vieux appareils électroniques plutôt que de permettre leur recyclage pour en récupérer les pièces). C’est un pouvoir très utile à exercer, surtout à la lumière de l’avertissement du PDG Tim Cook aux investisseurs en janvier 2019 : les profits de la société sont en danger si les clients choisissent de conserver leur téléphone plutôt que de le remplacer.
L’utilisation par Apple de verrous de copyright lui permet également d’établir un monopole sur la manière dont ses clients achètent des logiciels pour leurs téléphones. Les conditions commerciales de l’App Store garantissent à Apple une part de tous les revenus générés par les applications qui y sont vendues, ce qui signifie qu’Apple gagne de l’argent lorsque vous achetez une application dans son magasin et continue à gagner de l’argent chaque fois que vous achetez quelque chose en utilisant cette application. Cette situation retombe au final sur les développeurs de logiciels, qui doivent soit facturer plus cher, soit accepter des profits moindres sur leurs produits.

Il est important de comprendre que l’utilisation par Apple des verrous de copyright lui donne le pouvoir de prendre des décisions éditoriales sur les applications que vous pouvez ou ne pouvez pas installer sur votre propre appareil. Apple a utilisé ce pouvoir pour rejeter les dictionnaires qui contiennent des mots obscènes ; ou pour limiter certains discours politiques, en particulier les applications qui diffusent des propos politiques controversés, comme cette application qui vous avertit chaque fois qu’un drone américain tue quelqu’un quelque part dans le monde ; ou pour s’opposer à un jeu qui commente le conflit israélo-palestinien.

Apple justifie souvent son pouvoir monopolistique sur l’installation de logiciels au nom de la sécurité, en arguant que le contrôle des applications de sa boutique lui permet de protéger ses utilisateurs contre les applications qui contiennent du code qui surveille les utilisateurs. Mais ce pouvoir est à double tranchant. En Chine, le gouvernement a ordonné à Apple d’interdire la vente d’outils de protection de vie privée, comme les VPN, à l’exception de ceux dans lesquels des failles de sécurité ont délibérément été introduites pour permettre à l’État chinois d’écouter les utilisateurs. Étant donné qu’Apple utilise des contre-mesures technologiques – avec des mesures de protection légales – pour empêcher les clients d’installer des applications non autorisées, les propriétaires chinois d’iPhone ne peuvent pas facilement (ou légalement) se connecter à des VPN qui les protégeraient de l’espionnage de l’État chinois.

Zuboff décrit le capitalisme de surveillance comme un « capitalisme voyou ». Les théoriciens du capitalisme prétendent que sa vertu est d’agréger des informations relatives aux décisions des consommateurs, produisant ainsi des marchés efficaces. Le prétendu pouvoir du capitalisme de surveillance, de priver ses victimes de leur libre‑arbitre grâce à des campagnes d’influence surchargées de calculs, signifie que nos marchés n’agrègent plus les décisions des consommateurs parce que nous, les clients, ne décidons plus – nous sommes aux ordres des rayons de contrôle mental du capitalisme de surveillance.

Si notre problème c’est que les marchés cessent de fonctionner lorsque les consommateurs ne peuvent plus faire de choix, alors les verrous du copyright devraient nous préoccuper au moins autant que les campagnes d’influence. Une campagne d’influence peut vous pousser à acheter une certaine marque de téléphone, mais les verrous du copyright sur ce téléphone déterminent où vous pouvez l’utiliser, quelles applications peuvent fonctionner dessus et quand vous devez le jeter plutôt que le réparer.

Le classement des résultats de recherche et le droit au futur

Les marchés sont parfois présentés comme une sorte de formule magique : en découvrant des informations qui pourraient rester cachées mais sont transmises par le libre choix des consommateurs, les connaissances locales de ces derniers sont intégrées dans un système auto‑correcteur qui améliore les correspondances entre les résultats – de manière plus efficace que ce qu’un ordinateur pourrait calculer. Mais les monopoles sont incompatibles avec ce processus. Lorsque vous n’avez qu’un seul magasin d’applications, c’est le propriétaire du magasin, et non le consommateur, qui décide de l’éventail des choix. Comme l’a dit un jour Boss Tweed « peu importe qui gagne les élections, du moment que c’est moi qui fais les nominations ». Un marché monopolistique est une élection dont les candidats sont choisis par le monopole.

Ce trucage des votes est rendu plus toxique par l’existence de monopoles sur le classement des résultats. La part de marché de Google dans le domaine de la recherche est d’environ 90 %. Lorsque l’algorithme de classement de Google place dans son top 10 un résultat pour un terme de recherche populaire, cela détermine le comportement de millions de personnes. Si la réponse de Google à la question « Les vaccins sont-ils dangereux ? » est une page qui réfute les théories du complot anti-vax, alors une partie non négligeable du grand public apprendra que les vaccins sont sûrs. Si, en revanche, Google envoie ces personnes sur un site qui met en avant les conspirations anti-vax, une part non-négligeable de ces millions de personnes ressortira convaincue que les vaccins sont dangereux.

L’algorithme de Google est souvent détourné pour fournir de la désinformation comme principal résultat de recherche. Mais dans ces cas-là, Google ne persuade pas les gens de changer d’avis, il ne fait que présenter quelque chose de faux comme une vérité alors même que l’utilisateur n’a aucune raison d’en douter.

C’est vrai peu importe que la recherche porte sur « Les vaccins sont-ils dangereux ? » ou bien sur « meilleurs restaurants près de chez moi ». La plupart des utilisateurs ne regarderont jamais au-delà de la première page de résultats de recherche, et lorsque l’écrasante majorité des gens utilisent le même moteur de recherche, l’algorithme de classement utilisé par ce moteur de recherche aura déterminé une myriade de conséquences (adopter ou non un enfant, se faire opérer du cancer, où dîner, où déménager, où postuler pour un emploi) dans une proportion qui dépasse largement les résultats comportementaux dictés par les techniques de persuasion algorithmiques.

Beaucoup des questions que nous posons aux moteurs de recherche n’ont pas de réponses empiriquement correctes : « Où pourrais-je dîner ? » n’est pas une question objective. Même les questions qui ont des réponses objectives (« Les vaccins sont-ils dangereux ? ») n’ont pas de source empiriquement supérieure pour ces réponses. De nombreuses pages confirment l’innocuité des vaccins, alors laquelle afficher en premier ? Selon les règles de la concurrence, les consommateurs peuvent choisir parmi de nombreux moteurs de recherche et s’en tenir à celui dont le verdict algorithmique leur convient le mieux, mais en cas de monopole, nos réponses proviennent toutes du même endroit.

La domination de Google dans le domaine de la recherche n’est pas une simple question de mérite : pour atteindre sa position dominante, l’entreprise a utilisé de nombreuses tactiques qui auraient été interdites en vertu des normes antitrust classiques d’avant l’ère Reagan. Après tout, il s’agit d’une entreprise qui a développé deux produits majeurs : un très bon moteur de recherche et un assez bon clone de Hotmail. Tous ses autres grands succès, Android, YouTube, Google Maps, etc., ont été obtenus grâce à l’acquisition d’un concurrent naissant. De nombreuses branches clés de l’entreprise, comme la technologie publicitaire DoubleClick, violent le principe historique de séparation structurelle de la concurrence, qui interdisait aux entreprises de posséder des filiales en concurrence avec leurs clients. Les chemins de fer, par exemple, se sont vus interdire la possession de sociétés de fret qui auraient concurrencé les affréteurs dont ils transportent le fret.

Si nous craignons que les entreprises géantes ne détournent les marchés en privant les consommateurs de leur capacité à faire librement leurs choix, alors une application rigoureuse de la législation antitrust semble être un excellent remède. Si nous avions refusé à Google le droit d’effectuer ses nombreuses fusions, nous lui aurions probablement aussi refusé sa domination totale dans le domaine de la recherche. Sans cette domination, les théories, préjugés et erreurs (et le bon jugement aussi) des ingénieurs de recherche et des chefs de produits de Google n’auraient pas eu un effet aussi disproportionné sur le choix des consommateurs..

Cela vaut pour beaucoup d’autres entreprises. Amazon, l’entreprise type du capitalisme de surveillance, est évidemment l’outil dominant pour la recherche sur Amazon, bien que de nombreuses personnes arrivent sur Amazon après des recherches sur Google ou des messages sur Facebook. Évidemment, Amazon contrôle la recherche sur Amazon. Cela signifie que les choix éditoriaux et intéressés d’Amazon, comme la promotion de ses propres marques par rapport aux produits concurrents de ses vendeurs, ainsi que ses théories, ses préjugés et ses erreurs, déterminent une grande partie de ce que nous achetons sur Amazon. Et comme Amazon est le détaillant dominant du commerce électronique en dehors de la Chine et qu’elle a atteint cette domination en rachetant à la fois de grands rivaux et des concurrents naissants au mépris des règles antitrust historiques, nous pouvons reprocher à ce monopole de priver les consommateurs de leur droit à l’avenir et de leur capacité à façonner les marchés en faisant des choix raisonnés.

Tous les monopoles ne sont pas des capitalistes de surveillance, mais cela ne signifie pas qu’ils ne sont pas capables de façonner les choix des consommateurs de multiples façons. Zuboff fait l’éloge d’Apple pour son App Store et son iTunes Store, en insistant sur le fait qu’afficher le prix des fonctionnalités de ses plateformes était une recette secrète pour résister à la surveillance et ainsi créer de nouveaux marchés. Mais Apple est le seul détaillant autorisé à vendre sur ses plateformes, et c’est le deuxième plus grand vendeur d’appareils mobiles au monde. Les éditeurs de logiciels indépendants qui vendent sur le marché d’Apple accusent l’entreprise des mêmes vices de surveillance qu’Amazon et autres grands détaillants : espionner ses clients pour trouver de nouveaux produits lucratifs à lancer, utiliser efficacement les éditeurs de logiciels indépendants comme des prospecteurs de marché libre, puis les forcer à quitter tous les marchés qu’ils découvrent.

Avec l’utilisation des verrous de copyright, les clients qui possèdent un iPhone ne sont pas légalement autorisés à changer de distributeurs d’applications. Apple, évidemment, est la seule entité qui peut décider de la manière dont elle classe les résultats de recherche sur son store. Ces décisions garantissent que certaines applications sont souvent installées (parce qu’elles apparaissent dès la première page) et d’autres ne le sont jamais (parce qu’elles apparaissent sur la millionième page). Les décisions d’Apple en matière de classement des résultats de recherche ont un impact bien plus important sur les comportements des consommateurs que les campagnes d’influence des robots publicitaires du capitalisme de surveillance.

 

Les monopoles ont les moyens d’endormir les chiens de garde

Les idéologues du marché les plus fanatiques sont les seuls à penser que les marchés peuvent s’autoréguler sans contrôle de l’État. Pour rester honnêtes, les marchés ont besoin de chiens de garde : régulateurs, législateurs et autres représentants du contrôle démocratique. Lorsque ces chiens de garde s’endorment sur la tâche, les marchés cessent d’agréger les choix des consommateurs parce que ces choix sont limités par des activités illégitimes et trompeuses dont les entreprises peuvent se servir sans risques parce que personne ne leur demande des comptes.

Mais ce type de tutelle réglementaire a un coût élevé. Dans les secteurs concurrentiels, où la concurrence passe son temps à grappiller les marges des autres, les entreprises individuelles n’ont pas les excédents de capitaux nécessaires pour faire pression efficacement en faveur de lois et de réglementations qui serviraient leurs objectifs.

Beaucoup des préjudices causés par le capitalisme de surveillance sont le résultat d’une réglementation trop faible ou même inexistante. Ces vides réglementaires viennent du pouvoir des monopoles qui peuvent s’opposer à une réglementation plus stricte et adapter la réglementation existante pour continuer à exercer leurs activités telles quelles.

Voici un exemple : quand les entreprises collectent trop de données et les conservent trop longtemps, elles courent un risque accru de subir une fuite de données. En effet, vous ne pouvez pas divulguer des données que vous n’avez jamais collectées, et une fois que vous avez supprimé toutes les copies de ces données, vous ne pouvez plus risquer de les fuiter. Depuis plus d’une décennie, nous assistons à un festival ininterrompu de fuites de données de plus en plus graves, plus effrayantes les unes que les autres de par l’ampleur des violations et la sensibilité des données concernées.

Mais les entreprises persistent malgré tout à moissonner et conserver en trop grand nombre nos données pour trois raisons :

1. Elles sont enfermées dans cette course aux armements émotionnels (évoquée plus haut) avec notre capacité à renforcer nos systèmes de défense attentionnelle pour résister à leurs nouvelles techniques de persuasion. Elles sont également enfermées dans une course à l’armement avec leurs concurrents pour trouver de nouvelles façons de cibler les gens. Dès qu’elles découvrent un point faible dans nos défenses attentionnelles (une façon contre-intuitive et non évidente de cibler les acheteurs potentiels de réfrigérateurs), le public commence à prendre conscience de la tactique, et leurs concurrents s’y mettent également, hâtant le jour où tous les acheteurs potentiels de réfrigérateurs auront été initiés à cette tactique.

2. Elles souscrivent à cette belle croyance qu’est le capitalisme de surveillance. Les données sont peu coûteuses à agréger et à stocker, et les partisans, tout comme les opposants, du capitalisme de surveillance ont assuré aux managers et concepteurs de produits que si vous collectez suffisamment de données, vous pourrez pratiquer la sorcellerie du marketing pour contrôler les esprits ce qui fera grimper vos ventes. Même si vous ne savez pas comment tirer profit de ces données, quelqu’un d’autre finira par vous proposer de vous les acheter pour essayer. C’est la marque de toutes les bulles économiques : acquérir un bien en supposant que quelqu’un d’autre vous l’achètera à un prix plus élevé que celui que vous avez payé, souvent pour le vendre à quelqu’un d’autre à un prix encore plus élevé.

3. Les sanctions pour fuite de données sont négligeables. La plupart des pays limitent ces pénalités aux dommages réels, ce qui signifie que les consommateurs dont les données ont fuité doivent prouver qu’ils ont subi un préjudice financier réel pour obtenir réparation. En 2014, Home Depot a révélé qu’ils avaient perdu les données des cartes de crédit de 53 millions de ses clients, mais a réglé l’affaire en payant ces clients environ 0,34 $ chacun – et un tiers de ces 0,34 $ n’a même pas été payé en espèces. Cette réparation s’est matérialisée sous la forme d’un crédit pour se procurer un service de contrôle de crédit largement inefficace.

Mais les dégâts causés par les fuites sont beaucoup plus importants que ce que peuvent traiter ces règles sur les dommages réels. Les voleurs d’identité et les fraudeurs sont rusés et infiniment inventifs. Toutes les grandes fuites de données de notre époque sont continuellement recombinées, les ensembles de données sont fusionnés et exploités pour trouver de nouvelles façons de s’en prendre aux propriétaires de ces données. Toute politique raisonnable, fondée sur des preuves, de la dissuasion et de l’indemnisation des violations ne se limiterait pas aux dommages réels, mais permettrait plutôt aux utilisateurs de réclamer compensation pour ces préjudices à venir.

Quoi qu’il en soit, même les réglementations les plus ambitieuses sur la protection de la vie privée, telles que le règlement général de l’UE sur la protection des données, sont loin de prendre en compte les conséquences négatives de la collecte et de la conservation excessives et désinvoltes des données par les plateformes, et les sanctions qu’elles prévoient ne sont pas appliquées de façon assez agressive par ceux qui doivent les appliquer.

Cette tolérance, ou indifférence, à l’égard de la collecte et de la conservation excessives des données peut être attribuée en partie à la puissance de lobbying des plateformes. Ces plateformes sont si rentables qu’elles peuvent facilement se permettre de détourner des sommes gigantesques pour lutter contre tout changement réel – c’est-à-dire un changement qui les obligerait à internaliser les coûts de leurs activités de surveillance.
Et puis il y a la surveillance d’État, que l’histoire du capitalisme de surveillance rejette comme une relique d’une autre époque où la grande inquiétude était d’être emprisonné pour un discours subversif, et non de voir son libre‑arbitre dépouillé par l’apprentissage machine.

Mais la surveillance d’État et la surveillance privée sont intimement liées. Comme nous l’avons vu lorsque Apple a été enrôlé par le gouvernement chinois comme collaborateur majeur de la surveillance d’État. La seule manière abordable et efficace de mener une surveillance de masse à l’échelle pratiquée par les États modernes, qu’ils soient « libres » ou autocratiques, est de mettre sous leur coupe les services commerciaux.

Toute limitation stricte du capitalisme de surveillance paralyserait la capacité de surveillance d’État, qu’il s’agisse de l’utilisation de Google comme outil de localisation par les forces de l’ordre locales aux États-Unis ou du suivi des médias sociaux par le Département de la sécurité intérieure pour constituer des dossiers sur les participants aux manifestations contre la politique de séparation des familles des services de l’immigration et des douanes (ICE).

Sans Palantir, Amazon, Google et autres grands entrepreneurs technologiques, les flics états-uniens ne pourraient pas espionner la population noire comme ils le font, l’ICE ne pourrait pas gérer la mise en cage des enfants à la frontière américaine et les systèmes d’aides sociales des États ne pourraient pas purger leurs listes en déguisant la cruauté en empirisme et en prétendant que les personnes pauvres et vulnérables n’ont pas droit à une aide. On peut attribuer à cette relation symbiotique une partie de la réticence des États à prendre des mesures significatives pour réduire la surveillance. Il n’y a pas de surveillance d’État de masse sans surveillance commerciale de masse.

Le monopole est la clé du projet de surveillance massive d’État. Il est vrai que les petites entreprises technologiques sont susceptibles d’être moins bien défendues que les grandes, dont les experts en sécurité font partie des meilleurs dans leur domaine, elles disposent également d’énormes ressources pour sécuriser et surveiller leurs systèmes contre les intrusions. Mais les petites entreprises ont également moins à protéger : moins d’utilisateurs, des données plus fragmentées sur un plus grand nombre de systèmes et qui doivent être demandées une par une par les acteurs étatiques.

Un secteur technologique centralisé qui travaille avec les autorités est un allié beaucoup plus puissant dans le projet de surveillance massive d’État qu’un secteur fragmenté composé d’acteurs plus petits. Le secteur technologique états-unien est suffisamment petit pour que tous ses cadres supérieurs se retrouvent autour d’une seule table de conférence dans la Trump Tower en 2017, peu après l’inauguration de l’immeuble. La plupart de ses plus gros acteurs candidatent pour remporter le JEDI, le contrat à 10 milliards de dollars du Pentagone pour mettre en place une infrastructure de défense commune dans le cloud. Comme d’autres industries fortement concentrées, les géants de la tech font pantoufler leurs employés clés dans le service public. Ils les envoient servir au Ministère de la Défense et à la Maison Blanche, puis engagent des cadres et des officiers supérieurs de l’ex-Pentagone et de l’ex-DOD pour travailler dans leurs propres services de relations avec les gouvernements.

Ils ont même de bons arguments pour ça : après tout, quand il n’existe que quatre ou cinq grandes entreprises dans un secteur industriel, toute personne qualifiée pour contrôler la réglementation de ces entreprises a occupé un poste de direction dans au moins deux d’entre elles. De même, lorsqu’il n’y a que cinq entreprises dans un secteur, toute personne qualifiée pour occuper un poste de direction dans l’une d’entre elles travaille par définition dans l’une des autres.

 

(à suivre… )

Peur des robots qui nous remplacent ? Pas forcément, mais comment vivre et travailler avec les robots ?Une des craintes fort répandues à propos de la robotisation consiste à envisager qu’un grand nombre de professions, et pas seulement parmi les moins qualifiées, pourraient être à court ou moyen terme remplacées par des robots, du moins des systèmes automatisés que les progrès relatifs de l’intelligence artificielle rendraient plus performants que les humains dans l’accomplissement de leurs tâches.

Nul n’ignore pour l’instant ce qui va survenir effectivement mais une chose est d’ores et déjà établie : les systèmes robotisés sont déjà là, et plutôt qu’être remplacés, pour l’instant les travailleurs les côtoient, entrent avec eux dans des interactions déjà problématiques. On lira par exemple ce témoignage sur la gestion des livreurs à vélo où le donneur d’ordres et donc de travail est un système informatique qui piste « ses » employés autant que les clients.

À une tout autre échelle, le géant Amazon impose déjà la présence de robots dans ses immenses entrepôts au sein du travail humain, et comme le développe le texte ci-dessous, ce sont les êtres humains qui y travaillent qui doivent s’efforcer de s’adapter à leur présence ! L’anthropologue qui signe l’article que nous avons traduit pour vous analyse ce que représente pour les humains la perte de leur latitude d’action, voire de leur liberté d’initiative, dans une environnement où les robots sont omniprésents.

Les pratiques de l’entreprise Amazon, détestables pour les conditions de travail, sont par ailleurs assez révélatrices d’une dérive qui nous mène peut-être à renoncer peu à peu à notre liberté, pour nous en remettre aux systèmes automatisés dans tous les instants de notre quotidien.

 

Article original : How much are we sacrificing for automation?

Traduction Framalang : salelodenouye, goofy

Que sommes-nous prêts à sacrifier pour l’automatisation ?

Par S. A. Applin

Ce que nous apprennent les entrepôts d’Amazon sur un monde où de plus en plus, que ce soit des choses ou des personnes, tout ce qu’il est possible de mesurer finit par être mesuré.

On a l’impression que pratiquement chaque semaine apparaît dans l’actualité une polémique (sinon davantage) autour d’Amazon. Dans les seules deux semaines dernières, il a été question de conversations transcrites et enregistrées avec Echo, d’employés d’Amazon qui protestent contre la faible détermination de leur entreprise au sujet du dérèglement climatique, des efforts de ladite entreprise pour prétendre que les risques liés à la reconnaissance faciale sont « peu significatifs », sans oublier les questions posées par la sénatrice Warren sur les impôts fédéraux de 0 dollar pour un profit de 10 milliards de dollars aux U.S.A. Une entreprise aussi gigantesque qu’Amazon, avec une envergure aussi large en termes de produits et de services, est constamment dans l’actualité. Et malheureusement pour elle, la plupart de ces nouvelles lui donnent l’image d’un manque de compassion, d’intérêt et de sollicitude pour le reste du monde au sens large, en particulier pour les humains qui travaillent pour elle.

Ce qui a retenu mon attention au cours des dernières semaines c’est le témoignage paru dans Vox  d’un employé dans un entrepôt, qui s’est plaint des températures qui y régnaient. Selon ce que Rashad Long a indiqué à la publication :

Il fait si chaud dans les troisième et quatrième étages que je transpire dans mes vêtements même s’il fait très froid dehors… Nous avons demandé à l’entreprise de nous fournir de l’air conditionné, mais on nous a indiqué que les robots ne peuvent travailler à basse température.

Alors que Long et d’autres sont impliqués dans des procès avec l’entreprise, et prennent des initiatives pour former un syndicat, les plus importantes plaintes des employés semblent être concentrées sur un seul point : Amazon a la réputation de traiter ses employés comme des robots.

Dans un rapport qui m’a été envoyé après la publication de cette histoire, Amazon contestait ce compte-rendu comme « totalement faux », prétendant que des systèmes et des équipes surveillent constamment les températures dans les centres de traitement des commandes. L’entreprise a indiqué qu’à la mi-décembre, la température moyenne du local où Long travaillait était de 71.04 degrés Fahrenheit (NDT : 21.68 °C).

Le porte-parole d’Amazon a déclaré : « Les collaborateurs d’Amazon sont le cœur et l’âme de nos activités. La sécurité de nos employés est notre première priorité et la santé de chacun de nos employés est évaluée au-delà de toute notion de productivité. Nous sommes fiers de nos conditions de travail sûres, de notre communication transparente et de notre industrie de pointe. »

 

Cependant, vu de l’extérieur, on a l’impression que les entrepôts Amazon mettent en scène le « taylorisme sauvage ». Comme je l’ai déjà écrit, le taylorisme est une théorie de la gestion de l’ingénierie développée au début du XX^e siècle et largement adoptée dans les domaines de la gestion et de l’ingénierie jusqu’à présent. Alors qu’à l’origine il était utilisé pour gérer les processus de fabrication et se concentrait sur l’efficacité de l’organisation, avec le temps, le taylorisme s’est intégré dans la culture d’ingénierie et de gestion. Avec l’avènement des outils de calcul pour la mesure quantitative et les métriques et le développement de l’apprentissage machine basé sur les mégadonnées développées par ces métriques, les entreprises dont Amazon, ont abordé une nouvelle phase que j’appellerais « l’analyse extrême des données », dans laquelle tout et quiconque peut être mesuré finit par l’être.

C’est un vrai problème. L’utilisation du comptage, des mesures et de la mise en œuvre des résultats de l’analyse extrême des données destinée à éclairer les décisions pour les êtres humains constitue une menace pour notre bien-être et se traduit par les témoignages dont on nous parle dans les entrepôts et d’autres parties de nos vies, où trop souvent des êtres humains renoncent à leurs initiatives d’action au profit des machines et algorithmes.

Environ 200 travailleurs d’Amazon se sont rassemblés devant leur lieu de travail dans le Minnesota le 18 décembre 2018 pour protester contre leurs conditions de travail qui comprennent le pistage des ordinateurs et l’obligation de travailler à grande vitesse, comme scanner un article toutes les 7 secondes.
[Photo : Fibonacci Blue, CC BY 2.0]

Malheureusement, après des décennies où s’est échafaudé ce système de quantification, une entreprise comme Amazon l’a presque intégré à son infrastructure et à sa culture. Il y a des raisons au taylorisme chez Amazon, et une grande partie est liée à ses embauches aux décisions prises par ses cadres en matière de gestion et de développement, et à l’impact de ces décisions sur les personnes qui doivent faire le travail nécessaire pour que ces processus fonctionnent réellement.

Dans un article que j’ai écrit en 2013 avec Michael D. Fischer, nous avons exploré l’idée que les processus étaient une forme de surveillance dans les organisations, en nous concentrant particulièrement sur le fait que lorsque la direction des organisations dicte des processus qui ne fonctionnent pas particulièrement bien pour les employés, ces derniers profitent de l’occasion pour développer des solutions de rechange, ou « agissements cachés ».

Chaque fois que nous utilisons un ordinateur, ou tout autre appareil du même type, nous perdons du pouvoir.

Notre pouvoir en tant qu’humains réside dans notre capacité à faire des choix parmi les options qui s’offrent à nous à un moment donné. La gamme des possibilités évolue avec le temps, mais en tant qu’humains, nous avons le choix. Notre pouvoir c’est la coopération. Nous perdons un peu de notre liberté de choix, quelqu’un d’autre aussi, mais nous pouvons tous les deux parvenir à un compromis efficace.

Chaque fois que nous utilisons un ordinateur, ou tout autre appareil du même type, nous perdons du pouvoir. Nous le faisons quand nous sommes assis ou debout pour utiliser un clavier, à la saisie, ou en cliquant, en faisant défiler, en cochant des cases, en déroulant des menus et en remplissant des données d’une manière telle que la machine puisse comprendre. Si nous ne le faisons pas de la façon dont la machine est conçue pour le traiter, nous cédons notre pouvoir, encore et toujours, pour qu’elle le fasse de façon à pouvoir recueillir les données nécessaires et nous fournir l’article que nous voulons, le service dont nous avons besoin ou la réponse que nous espérons. Les humains abandonnent. Pas les machines.

Lorsque l’action humaine est confrontée à une automatisation difficile à contrôler, il y a des problèmes, et dans des cas extrêmes, ces problèmes peuvent être fatals. L’un d’eux a été mentionné dans le cadre d’enquêtes sur les écrasements de deux Boeing 737 Max, qui se sont concentrées sur les interactions des pilotes avec un système automatisé conçu pour prévenir un décrochage. Alors que le monde continue d’automatiser les choses, les processus et les services, nous les humains sommes mis dans des situations où nous devons constamment nous adapter, car à l’heure actuelle, l’automatisation ne peut et ne veut pas coopérer avec nous au-delà de son répertoire d’actions préprogrammées. Ainsi, dans de nombreux cas, nous devons céder notre initiative et nos choix aux algorithmes ou aux robots, pour atteindre les résultats communs dont nous avons besoin.

Au fil du temps, les humains ont évolué vers le commerce et le troc selon une démarche de coopération, échangeant des ressources pour acquérir ce dont nous avons besoin pour survivre. Nous le faisons par le travail. Dans l’état du marché d’aujourd’hui, si nous sommes à la recherche d’un nouvel emploi, nous devons utiliser un ordinateur pour postuler à un poste affiché sur un site web. Nous devons renoncer à notre initiative personnelle pour utiliser l’ordinateur (nous ne pouvons plus appeler personne), où nous céderons ensuite à un logiciel qui n’est pas nécessairement conçu pour gérer l’enregistrement de notre expérience vécue particulière. Une fois que nous avons fait de notre mieux avec les formulaires, nous appuyons sur un bouton et espérons obtenir une réponse. Les algorithmes en arrière-plan, informés par le système de gestion et les développeurs, vont alors « nous trier », nous transformant en série de données qui sont ensuite évaluées et traitées statistiquement.

C’est seulement si nous passons à travers les filtres qu’une réponse automatisée nous parvient par un courriel (auquel nous ne pouvons pas répondre) pour nous informer du résultat. S’il est positif pour nous, un humain finira par nous contacter, nous demandant d’utiliser une méthode automatisée pour planifier un moment pour un appel, qui utilisera des scripts/processus/lignes directives narratives, qui nous demandent à nouveau de renoncer à notre initiative – même dans une conversation avec un autre humain, où il y a généralement plus de flexibilité. C’est épuisant.

Le coût humain de la « frugalité »

Une fois que les employés des entrepôts d’Amazon ont renoncé à leur liberté pour se plier au processus d’embauche et qu’ils sont embauchés, ils sont également obligés de céder leur liberté d’action dans leur travail. Alors que les employés de bureau cèdent à des partenaires algorithmiques sous forme de logiciels ou de procédures d’entreprises, les employés d’entrepôt cèdent leur liberté d’agir en acceptant les horaires décalés et en travaillant avec des partenaires robots au lieu de partenaires algorithmiques ou à leurs côtés sous forme de logiciels. Les risques pour l’intégrité physique sont beaucoup plus élevés quand on agit dans un entrepôt sans coopérer avec un robot qu’ils ne le sont si on ne coopère pas avec un logiciel dans un travail de bureau.

Un brevet déposé par Amazon en 2013, « Système et méthode de transport du personnel dans une environnement de travail industriel. »

Dans certains entrepôts et environnements industriels, les travailleurs doivent se soumettre aux robots parce que les robots sont rapides, faits de métal, et pourraient les blesser ou les tuer. De cette façon, un travailleur qui manœuvre autour d’un robot a moins d’emprise sur son corps au travail que ceux qui, dans les bureaux, prennent les décisions sur la façon dont ces travailleurs vont travailler.

Une solution proposée par Amazon en 2013 a été le brevet U.S. 9,280,157 B2, accordé en 2016. Ce brevet a été décrit comme un « dispositif de transport humain » pour un entrepôt, constitué d’une cage humaine. Une cage, c’est un symbole brutal. Bien que l’idée ait été de protéger les travailleurs humains contre les robots, elle n’a pas été perçue comme elle était probablement prévue. À l’extrême, une cage implique une fois de plus que les humains céderont leur capacité d’agir aux robots, ce qui semble donner raison aux plaintes initiales des magasiniers selon lesquelles les robots bénéficient d’un traitement préférentiel sur le lieu de travail chez Amazon

Amazon a insisté sur le fait que l’entreprise n’avait pas l’intention de mettre en œuvre cette idée. « Parfois même de mauvaises idées sont soumises pour des brevets, m’a dit un porte-parole d’Amazon, après la publication de cette histoire. Cela n’a jamais été utilisé et nous n’avons aucun plan d’utilisation. Nous avons développé une bien meilleure solution qui est un petit gilet que les associés peuvent porter et qui impose à tous les robots à proximité de s’immobiliser. »

Qu’il s’agisse d’une cage ou d’un gilet automatique, de toutes façons, ces interventions de sécurité soulèvent la question de savoir si une installation comme un centre de traitement d’Amazon pourrait être conçue de manière à ne pas obliger les humains à faire ces sacrifices frontaliers – tout en étant encore employés de façon rémunérée.

Fondamentalement, le taylorisme n’est pas forcément une question d’efficacité pour l’efficacité, mais d’économie de temps et, par association, d’argent. Parmi les « principes de leadership » d’Amazon, il y a la frugalité, et c’est cet aspect qui semble avoir dépassé leurs autres idéaux, car « faire plus avec moins » semble être le principe dominant dans la façon dont l’entreprise interagit avec tout, et comment cette interaction affecte ses employés et ses clients à travers le monde.

Si une entreprise pratique ce taylorisme dans l’ensemble de sa culture, des êtres humains vont prendre des décisions sur la façon dont d’autres humains doivent travailler ou interagir avec les systèmes d’une manière qui sera dans l’intérêt des métriques qu’ils servent. Si Amazon récompense la frugalité dans la gestion et la collecte de données sur la façon dont la direction gère (ce qu’elle fait), alors la direction va faire ce qu’elle peut pour maximiser les formes d’automatisation afin de rester pertinente dans l’organisation.

Ce principe particulier, couplé avec le taylorisme, crée l’environnement parfait pour que l’exploration et l’analyse de données deviennent délirantes, et pour que les processus qui ont un impact sur la vie réelle des gens soient ignorés. Ceux qui sont dans les bureaux ne voient pas ceux qui sont dans les entrepôts et ne peuvent pas se rendre compte que leurs indicateurs de rendement du service à la clientèle ou de la chaîne d’approvisionnement ont un coût humain. Dans une version extrême de ce qui se passe dans tant d’entreprises, les bénéfices sont liés à des mesures imbriquées dans la chaîne des parties prenantes. Les 10 milliards de dollars de bénéfices d’Amazon proviennent en partie de millions de minuscules décisions « frugales » influencées par le taylorisme, chacune payée au prix fort : la perte de la dignité et de latitude d’action des humains (ou des autres).

Le fait de céder continuellement à cette analyse extrême des données nous réduira à l’esclavage

Le taylorisme a été conçu et mis en œuvre à une époque où la fabrication était mécanique, et bien que certaines machines aient pu fonctionner plus rapidement que les humains, la plupart des processus qui ont eu un impact sur leur travail étaient analogiques, et au rythme du traitement humain. L’ouvrier de l’entrepôt d’Amazon se trouve au bout de la ligne de l’arbre de décision du taylorisme de la frugalité, et il est soumis à des processus algorithmiques qui contrôlent les données et les machines plus rapidement que de nombreux humains ne peuvent traiter l’information et encore moins agir physiquement sur elle. Ces travailleurs sont dépassés, à un degré inimaginable, mais liés par un mécanisme d’entreprise qui exige toujours plus d’eux et, plus important encore, de la chaîne qui les précède, qu’ils « qui fassent plus avec moins ».

Ainsi, à un moment donné, le fait de céder continuellement à cette analyse extrême des données nous réduira à l’esclavage. Non pas en restreignant nos bras et nos jambes (bien que cette cage d’Amazon s’en rapproche) mais en créant une vision du monde liée par des mesures quantitatives comme seule mesure justifiable. Le taylorisme a été utile dans un contexte manufacturier au début du siècle dernier. Il n’est plus utile ni approprié aujourd’hui, près d’un siècle plus tard, et son adoption continue crée de réels problèmes pour nous en tant que société mondiale.

Finalement, même avec le désir d’accomplir « plus avec moins », il y a un tel excès de « moins » que cela oblige les humains à être en tension et faire « plus », en épuisant leurs propres réserves internes. Si chaque processus est finalement automatisé et restreint l’action humaine, tout en exigeant simultanément notre servitude pour fonctionner, nous serons cloués au mur sans aucun choix, sans rien à donner et sans aucune alternative pour y faire face.

 

S. A. Applin, PhD, est une anthropologue dont le champ de recherche couvre les domaines du comportement humain, des algorithmes, de l’IA et de l’automatisation dans le contexte des systèmes sociaux et de la sociabilité. Pour en savoir plus :  http://sally.com/wiki @anthropunk et PoSR.org.

 

sur le même sujet

• un article de Radio Canada sur les pratiques de licenciement automatisées d’Amazon
• le site d’un syndicat britannique qui répertorie les contestations contre les conditions de travail chez Amazon