Détruire le capitalisme de surveillance (2)

Voici une deuxième partie de l’essai que consacre Cory Doctorow au capitalisme de surveillance (si vous avez raté les épisodes précédents.) Il y aborde les diverses techniques de manipulation et captation de l’internaute-client utilisées sans vergogne par les grandes entreprises hégémoniques. Celles-ci se heurtent cependant à une sorte d’immunité acquise générale à ces techniques, ne faisant de victimes à long terme que parmi les plus vulnérables.

Billet original sur le Medium de OneZero : How To Destroy Surveillance Capitalism

Traduction Framalang : goofy, jums, Mannik, Pierre-Emmanuel Largeron, Sphinx

Ne vous fiez pas à ce qu’ils vous disent

par Cory Doctorow

Vous avez probablement déjà entendu dire : « si c’est gratuit, c’est vous le produit ». Comme nous le verrons plus loin, c’est vrai, mais incomplet. En revanche, ce qui est absolument vrai, c’est que les annonceurs sont les clients des géants de la tech accros à la pub et que les entreprises comme Google ou Facebook vendent leurs capacités à vous convaincre d’acheter. La came des géants de la tech, c’est la persuasion. Leurs services (réseaux sociaux, moteurs de recherche, cartographie, messagerie, et tout le reste) ne sont que des moyens de fournir cette persuasion.

La peur du capitalisme de surveillance part du principe (justifié) que tout ce que les géants de la tech racontent sur eux-mêmes est sûrement un mensonge. Mais cette critique admet une exception quand il s’agit des prétentions émises par les géants de la tech dans leurs documentations marketing, plus précisément leur matraquage continu autour de l’efficacité de leurs produits dans les présentations destinées à de potentiels annonceurs numériques en ligne, ainsi que dans les séminaires de technologies publicitaires : on considère qu’ils sont aussi doués pour nous influencer qu’ils le prétendent lorsqu’ils vendent leurs systèmes de persuasion aux clients crédules. C’est une erreur, car les documents marketing ne sont pas un indicateur fiable de l’efficacité d’un produit.

Le capitalisme de surveillance considère qu’au vu de l’important volume d’achat des annonceurs auprès des géants de la tech, ces derniers doivent sûrement vendre quelque chose pour de bon. Mais ces ventes massives peuvent tout aussi bien être le résultat d’un fantasme généralisé ou de quelque chose d’encore plus pernicieux : un contrôle monopolistique sur nos communications et nos échanges commerciaux.

Être surveillé modifie notre comportement et pas pour le meilleur. La surveillance crée des risques pour notre progrès social. Le livre de Zuboff propose des explications particulièrement lumineuses de ce phénomène. Mais elle prétend aussi que la surveillance nous dérobe littéralement notre liberté : ainsi, lorsque nos données personnelles sont mélangées avec de l’apprentissage machine, cela crée un système de persuasion tellement dévastateur que nous sommes démunis face à lui. Autrement dit, Facebook utilise un algorithme qui analyse des données de votre vie quotidienne, extraites sans consentement, afin de personnaliser votre fil d’actualité pour vous pousser à acheter des trucs. On dirait un rayon de contrôle mental sorti tout droit d’une BD des années 50, manipulé par des savants fous dont les supercalculateurs leur assurent une domination totale et perpétuelle sur le monde.

Qu’est-ce que la persuasion ?

Pour comprendre pourquoi vous ne devriez pas vous inquiéter du rayon de contrôle mental, mais bien plutôt de la surveillance et des géants de la tech, nous devons commencer par décortiquer ce que nous entendons par « persuasion ».

Google, Facebook et les autres capitalistes de la surveillance promettent à leurs clients (les annonceurs) qu’en utilisant des outils d’apprentissage machine entraînés sur des jeux de données de taille inimaginable, constitués d’informations personnelles récoltées sans consentement, ils seront capables de découvrir des moyens de contourner les capacités de rationalisation du public et de contrôler le comportement de ce dernier, provoquant ainsi des cascades d’achats, de votes ou autres effets recherchés.

L’impact de la domination excède de loin celui de la manipulation et devrait être central dans notre analyse et dans tous les remèdes que nous envisageons.

Mais il existe peu d’indices pour prouver que cela se déroule ainsi. En fait, les prédictions que le capitalisme de surveillance fournit à ses clients sont bien moins impressionnantes qu’elles ne le prétendent. Plutôt que de chercher à passer outre votre rationalité, les capitalistes de la surveillance comme Mark Zuckerberg pratiquent essentiellement une au moins des trois choses suivantes :

1. Segmentation

Si vous êtes vendeur de couches-culottes, vous aurez plus de chance d’en vendre en démarchant les personnes présentes dans les maternités. Toutes les personnes qui entrent ou sortent d’une maternité ne viennent pas d’avoir un bébé et toutes celles qui ont un bébé ne sont pas consommatrices de couches. Mais avoir un bébé est fortement corrélé avec le fait d’être un consommateur de couches et se trouver dans une maternité est hautement corrélé avec le fait d’avoir un bébé. Par conséquent, il y a des publicités pour les couches autour des maternités (et même des démarcheurs de produits pour bébés qui hantent les couloirs des maternités avec des paniers remplis de cadeaux).

Le capitalisme de surveillance, c’est de la segmentation puissance un milliard. Les vendeurs de couches peuvent aller bien au-delà des personnes présentes dans les maternités (bien qu’ils puissent aussi faire ça avec, par exemple, des publicités mobiles basées sur la géolocalisation). Ils peuvent vous cibler selon que vous lisiez des articles sur l’éducation des enfants, les couches-culottes ou une foule d’autres sujets, et l’analyse des données peut suggérer des mots-clés peu évidents à cibler. Ils peuvent vous cibler sur la base d’articles que vous avez récemment lus. Ils peuvent vous cibler sur la base de ce que vous avez récemment acheté. Ils peuvent vous cibler sur la base des e-mails ou des messages privés que vous recevez concernant ces sujets, et même si vous mentionnez ces sujets à voix haute (bien que Facebook et consorts jurent leurs grands dieux que ce n’est pas le cas, du moins pour le moment).

C’est franchement effrayant.

Mais ce n’est pas du contrôle mental.

Cela ne vous prive pas de votre libre-arbitre. Cela ne vous leurre pas.

Pensez à la manière dont le capitalisme de surveillance fonctionne en politique. Les entreprises du capitalisme de surveillance vendent aux professionnels de la politique la capacité de repérer ceux qui pourraient être réceptifs à leurs argumentaires. Les candidats qui font campagne sur la corruption du secteur financier sont à la recherche de personnes étranglées par les dettes, ceux qui utilisent la xénophobie recherchent des personnes racistes. Ces communicants ont toujours ciblé leurs messages, peu importe que leurs intentions soient honorables ou non : les syndicalistes font leurs discours aux portes des usines et les suprémacistes blancs distribuent leurs prospectus lors des réunions de l’association conservatrice John Birch Society.

Mais c’est un travail imprécis, et donc épuisant. Les syndicalistes ne peuvent pas savoir quel ouvrier approcher à la sortie de l’usine et peuvent perdre leur temps avec un membre discret de la John Birch Society ; le suprémaciste blanc ne sait pas quels membres de la Birch sont tellement délirants qu’assister à une réunion est le maximum qu’ils peuvent faire, et lesquels peuvent être convaincus de traverser le pays pour brandir une torche de jardin Tiki dans les rues de Charlottesville, en Virginie.

Comme le ciblage augmente le rendement des discours politiques, il peut bouleverser le paysage politique, en permettant à tous ceux qui espéraient secrètement le renversement d’un autocrate (ou juste d’un politicien indéboulonnable) de trouver toutes les personnes qui partagent leurs idées, et ce, à un prix dérisoire. Le ciblage est devenu essentiel à la cristallisation rapide des récents mouvements politiques tels que Black Lives Matter ou Occupy Wall Street, ainsi qu’à des acteurs moins présentables comme les mouvements des nationalistes blancs d’extrême-droite qui ont manifesté à Charlottesville.

Il est important de différencier ce type d’organisation politique des campagnes de communication. Trouver des personnes secrètement d’accord avec vous n’est en effet pas la même chose que de convaincre des gens de le devenir. L’essor de phénomènes comme les personnes non-binaires ou autres identités de genres non-conformistes est souvent décrit par les réactionnaires comme étant le résultat de campagnes en ligne de lavage de cerveaux qui ont pour but de convaincre des personnes influençables qu’elles sont secrètement queer depuis le début.

Mais les témoignages de ceux qui ont fait leur coming-out racontent une tout autre histoire, dans laquelle les personnes qui ont longtemps gardé secret leur genre étaient encouragées par celles qui en avaient déjà parlé. Une histoire dans laquelle les personnes qui savaient qu’elles étaient différentes (mais qui manquaient de vocabulaire pour parler de ces différences) apprenaient les termes exacts à utiliser grâce à cette manière bon marché de trouver des personnes et de connaître leurs idées.

2. Tromperie

Les mensonges et les tromperies sont des pratiques malsaines, et le capitalisme de surveillance ne fait que les renforcer avec le ciblage. Si vous voulez commercialiser un prêt sur salaire ou hypothécaire frauduleux, le capitalisme de surveillance peut vous aider à trouver des personnes à la fois désespérées et peu averties, qui seront donc réceptives à vos arguments. Cela explique la montée en puissance de nombreux phénomènes, tels que la vente multi-niveau, dans laquelle des déclarations mensongères sur des gains potentiels et l’efficacité des techniques de vente ciblent des personnes désespérées, avec de la publicité associée à leurs recherches qui indiquent, par exemple, qu’elles se débattent contre des prêts toxiques.

Le capitalisme de surveillance encourage également la tromperie en facilitant le repérage d’autres personnes qui ont été trompées de la même manière. Elles forment ainsi une communauté de personnes qui renforcent mutuellement leurs croyances. Pensez à ces forums où des personnes victimes de fraudes commerciales à plusieurs niveaux se réunissent pour échanger des conseils sur la manière d’améliorer leur chance de vendre le produit.

Parfois, la tromperie en ligne consiste à remplacer les convictions correctes d’une personne par des croyances infondées, comme c’est le cas pour le mouvement anti-vaccination, dont les victimes sont souvent des personnes qui font confiance aux vaccins au début mais qui sont convaincues par des preuves en apparence plausibles qui les conduisent à croire à tort que les vaccins sont nocifs.

Mais la fraude réussit beaucoup plus souvent lorsqu’elle ne doit pas se substituer à une véritable croyance. Lorsque ma fille a contracté des poux à la garderie, l’un des employés m’a dit que je pouvais m’en débarrasser en traitant ses cheveux et son cuir chevelu avec de l’huile d’olive. Je ne savais rien des poux et je pensais que l’employé de la crèche les connaissait, alors j’ai essayé (ça n’a pas marché, et ça ne marche pas). Il est facile de se retrouver avec de fausses croyances quand vous n’en savez pas suffisamment et quand ces croyances sont véhiculées par quelqu’un qui semble savoir ce qu’il fait.

C’est pernicieux et difficile (et c’est aussi contre ce genre de choses qu’Internet peut aider à se prémunir en rendant disponibles des informations véridiques, en particulier sous une forme qui expose les débats sous-jacents entre des points de vue très divergents, comme le fait Wikipédia) mais ce n’est pas un lavage de cerveau, c’est de l’escroquerie. Dans la majorité des cas, les personnes victimes de ces campagnes de ces arnaques comblent leur manque d’informations de la manière habituelle, en consultant des sources apparemment fiables. Si je vérifie la longueur du pont de Brooklyn et que j’apprends qu’il mesure 1 770 mètres de long, mais qu’en réalité, il fait 1 825 mètres de long, la tromperie sous-jacente est un problème, mais c’est un problème auquel il est possible de remédier simplement. C’est un problème très différent de celui du mouvement anti-vax, où la croyance correcte d’une personne est remplacée par une fausse, par le biais d’une persuasion sophistiquée.

3. Domination

Le capitalisme de surveillance est le résultat d’un monopole. Le monopole est la cause, tandis que le capitalisme de surveillance et ses conséquences négatives en sont les effets. Je rentrerai dans les détails plus tard, mais, pour le moment, je dirai simplement que l’industrie technologique s’est développée grâce à un principe radicalement antitrust qui a permis aux entreprises de croître en fusionnant avec leurs rivaux, en rachetant les concurrents émergents et en étendant le contrôle sur des pans entiers du marché.

Prenons un exemple de la façon dont le monopole participe à la persuasion via la domination : Google prend des décisions éditoriales quant à ses algorithmes qui déterminent l’ordre des réponses à nos requêtes. Si un groupe d’escrocs décide de faire croire à la planète entière que le pont de Brooklyn mesure 1700 mètres et si Google élève le rang des informations fournies par ce groupe pour les réponses aux questions du type « Quelle est la longueur du pont de Brooklyn ? » alors les 8 ou 10 premières pages de résultats fournies par Google pourront être fausses. Sachant que la plupart des personnes ne vont pas au-delà des premiers résultats (et se contentent de la première page de résultats), le choix opéré par Google impliquera de tromper de nombreuses personnes.

La domination de Google sur la recherche (plus de 86 % des recherches effectuées sur le Web sont faites via Google) signifie que l’ordre qu’il utilise pour classer les résultats de recherche a un impact énorme sur l’opinion publique. Paradoxalement, c’est cette raison que Google invoque pour dire qu’il ne peut pas rendre son algorithme transparent : la domination de Google sur la recherche implique que les résultats de son classement sont trop importants pour se permettre de pouvoir dire au monde comment il y parvient, car si un acteur malveillant découvrait une faille dans ce système, alors il l’exploiterait pour mettre en avant son point de vue en haut des résultats. Il existe un remède évident lorsqu’une entreprise devient trop grosse pour être auditée : la diviser en fragments plus petits.

Zuboff parle du capitalisme de surveillance comme d’un « capitalisme voyou » dont les techniques de stockage de données et d’apprentissage machine nous privent de notre libre arbitre. Mais les campagnes d’influence qui cherchent à remplacer les croyances existantes et correctes par des croyances fausses ont un effet limité et temporaire, tandis que la domination monopolistique sur les systèmes d’information a des effets massifs et durables. Contrôler les résultats des recherches du monde entier signifie contrôler l’accès aux arguments et à leurs réfutations et, par conséquent, contrôler une grande partie des croyances à travers le monde. Si notre préoccupation est de savoir comment les entreprises nous empêchent de nous faire notre propre opinion et de déterminer notre propre avenir, l’impact de la domination dépasse de loin celui de la manipulation et devrait être au centre de notre analyse et de tous les remèdes que nous recherchons.

4. Contournement de nos facultés rationnelles

Mais voici le meilleur du pire : utiliser l’apprentissage machine, les techniques du dark UX, le piratage des données et d’autres techniques pour nous amener à faire des choses qui vont à l’encontre de nos principes. Ça, c’est du contrôle de l’esprit.

Certaines de ces techniques se sont révélées d’une efficacité redoutable (ne serait-ce qu’à court terme). L’utilisation de comptes à rebours sur une page de finalisation de commande peut créer un sentiment d’urgence incitant à ignorer la petite voix interne lancinante qui vous suggère d’aller faire vos courses ou de bien réfléchir avant d’agir. L’utilisation de membres de votre réseau social dans les publicités peut fournir une « justification sociale » qu’un achat vaut la peine d’être fait. Même le système d’enchères mis au point par eBay est conçu pour jouer sur nos points faibles cognitifs, nous donnant l’impression de « posséder » quelque chose parce que nous avons enchéri dessus, ce qui nous encourage à enchérir à nouveau lorsque nous sommes surenchéris pour s’assurer que « nos » biens restent à nous.

Les jeux sont très bons dans ce domaine. Les jeux « d’accès gratuit » nous manipulent par le biais de nombreuses techniques, comme la présentation aux joueurs d’une série de défis qui s’échelonnent en douceur de difficulté croissante, qui créent un sentiment de maîtrise et d’accomplissement, mais qui se transforment brusquement en un ensemble de défis impossibles à relever sans une mise à niveau payante. Ajoutez à ce mélange une certaine pression sociale – un flux de notifications sur la façon dont vos amis se débrouillent – et avant de comprendre ce qui vous arrive, vous vous retrouvez à acheter des gadgets virtuels pour pouvoir passer au niveau suivant.

Les entreprises ont prospéré et périclité avec ces techniques, et quand elles échouent cela mérite que l’on s’y attarde. En général, les êtres vivants s’adaptent aux stimuli : une chose que vous trouvez particulièrement convaincante ou remarquable, lorsque vous la rencontrez pour la première fois, le devient de moins en moins, et vous finissez par ne plus la remarquer du tout. Pensez au bourdonnement énervant que produit le réfrigérateur quand il se met en marche, qui finit par se fondre tellement bien dans le bruit ambiant que vous ne le remarquez que lorsqu’il s’arrête à nouveau.

C’est pourquoi le conditionnement comportemental utilise des « programmes de renforcement intermittent ». Au lieu de vous donner des encouragements ou des embûches, les jeux et les services gamifiés éparpillent les récompenses selon un calendrier aléatoire – assez souvent pour que vous restiez intéressé, et de manière assez aléatoire pour que vous ne trouviez jamais le schéma toujours répété qui rendrait la chose ennuyeuse.

Le « renforcement intermittent » est un outil comportemental puissant, mais il représente aussi un problème d’action collective pour le capitalisme de surveillance. Les « techniques d’engagement » inventées par les comportementalistes des entreprises du capitalisme de surveillance sont rapidement copiées par l’ensemble du secteur, de sorte que ce qui commence par un mystérieux changement de conception d’un service – comme une demande d’actualisation ou des alertes lorsque quelqu’un aime vos messages ou des quêtes secondaires auxquelles vos personnages sont invités alors qu’ils sont au beau milieu de quêtes principales – tout cela devient vite péniblement envahissant. L’impossibilité où l’on est de maîtriser et faire taire les incessantes notifications de son smartphone finit par générer en un mur de bruit informationnel monotone, car chaque application et chaque site utilise ce qui semble fonctionner à ce moment-là.

Du point de vue du capitalisme de surveillance, notre capacité d’adaptation est une bactérie nocive qui la prive de sa source de nourriture – notre attention – et les nouvelles techniques pour capter cette attention sont comme de nouveaux antibiotiques qui peuvent être utilisés pour briser nos défenses immunitaires et détruire notre autodétermination. Et il existe bel et bien des techniques de ce genre. Qui peut oublier la grande épidémie de Zynga, lorsque tous nos amis ont été pris dans des boucles de dopamine sans fin et sans intérêt en jouant à FarmVille ? Mais chaque nouvelle technique qui attire l’attention est adoptée par l’ensemble de l’industrie et utilisée si aveuglément que la résistance aux antibiotiques s’installe. Après une certaine dose de répétitions, nous développons presque tous une immunité aux techniques les plus puissantes – en 2013, deux ans après le pic de Zynga, sa base d’utilisateurs avait diminué de moitié.

Pas tout le monde, bien sûr. Certaines personnes ne s’adaptent jamais aux stimuli, tout comme certaines personnes n’arrêtent jamais d’entendre le bourdonnement du réfrigérateur. C’est pourquoi la plupart des personnes qui sont exposées aux machines à sous y jouent pendant un certain temps, puis passent à autre chose, pendant qu’une petite mais tragique minorité liquide le pécule mis de côté pour la scolarité de ses enfants, achète des couches pour adultes et reste scotchée devant une machine jusqu’à s’écrouler de fatigue.

Mais les marges du capitalisme de surveillance sur la modification des comportements sont nulles. Tripler le taux de conversion en achats d’un truc semble un succès, sauf si le taux initial est bien inférieur à 1 % avec un pourcentage de progression… encore inférieur à 1 %. Alors que les machines à sous tirent des bénéfices en centimes de chaque jeu, le capitalisme de surveillance ratisse en fractions de centimes infinitésimales.

Les rendements élevés des machines à sous signifient qu’elles peuvent être rentables simplement en drainant les fortunes de la petite frange de personnes qui leur sont pathologiquement vulnérables et incapables de s’adapter à leurs astuces. Mais le capitalisme de surveillance ne peut pas survivre avec les quelques centimes qu’il tire de cette tranche vulnérable – c’est pourquoi, lorsque la Grande épidémie de Zynga s’est enfin terminée, le petit nombre de joueurs encore dépendants qui restaient n’ont pas suffi à en faire encore un phénomène mondial. Et de nouvelles armes d’attention puissantes ne sont pas faciles à trouver, comme en témoignent les longues années qui se sont écoulées depuis le dernier succès de Zynga. Malgré les centaines de millions de dollars que Zynga doit dépenser pour développer de nouveaux outils pour déjouer nos capacités d’adaptation, l’entreprise n’a jamais réussi à reproduire l’heureux accident qui lui a permis de retenir toute notre attention pendant un bref instant en 2009. Les centrales comme Supercell se sont un peu mieux comportées, mais elles sont rares et connaissent beaucoup d’échecs pour un seul succès.

La vulnérabilité de petits segments de la population à une manipulation sensible et efficace des entreprises est une préoccupation réelle qui mérite notre attention et notre énergie. Mais ce n’est pas une menace existentielle pour la société.