La nouvelle dystopie, c’est maintenant

L’article qui suit n’est pas une traduction intégrale mais un survol aussi fidèle que possible de la conférence TED effectuée par la sociologue des technologies Zeynep Tufecki. Cette conférence intitulée : « Nous créons une dystopie simplement pour obliger les gens à cliquer sur des publicités »
(We’re building a dystopia just to make people click on ads) est en cours de traduction sur la plateforme Amara préconisée par TED, mais la révision n’étant pas effectuée, il faudra patienter pour en découvrir l’intégralité sous-titrée en français. est maintenant traduite en français \o/

En attendant, voici 4 minutes de lecture qui s’achèvent hélas sur des perspectives assez vagues ou plutôt un peu vastes : il faut tout changer. Du côté de Framasoft, nous proposons de commencer par outiller la société de contribution avec la campagne Contributopia… car dégoogliser ne suffira pas !

Mettez un peu à jour vos contre-modèles, demande Zeynep : oubliez les références aux menaces de Terminator et du 1984 d’Orwell, ces dystopies ne sont pas adaptées à notre débutant XXI^e siècle.

Ce qui est à craindre aujourd’hui, car c’est déjà là, c’est plutôt comment ceux qui détiennent le pouvoir utilisent et vont utiliser l’intelligence artificielle pour exercer sur nous des formes de contrôle nouvelles et malheureusement peu détectables. Les technologies qui menacent notre liberté et notre jardin secret (celui de notre bulle d’intimité absolue) sont développées par des entreprises-léviathans qui le font d’abord pour vendre nos données et notre attention aux GAFAM (Tristan Nitot, dans sa veille attentive, signale qu’on les appelle les frightful five, les 5 qui font peur, aux États-Unis). Zeynep ajoute d’ailleurs Alibaba et Tencent. D’autres à venir sont sur les rangs, peut-on facilement concevoir.

Ne pas se figurer que c’est seulement l’étape suivante qui prolonge la publicité en ligne, c’est au contraire un véritable saut vers une autre catégorie « un monde différent » à la fois exaltant par son potentiel extraordinaire mais aussi terriblement dangereux.

Voyons un peu la mécanique de la publicité. Dans le monde physique, les friandises à portée des enfants au passage en caisse de supermarché sont un procédé d’incitation efficace, mais dont la portée est limitée. Dans le monde numérique, ce que Zeynep appelle l’architecture de la persuasion est à l’échelle de plusieurs milliards de consommateurs potentiels. Qui plus est, l’intelligence artificielle peut cibler chacun distinctement et envoyer sur l’écran de son smartphone (on devrait dire spyphone, non ?) un message incitatif qui ne sera vu que par chacun et le ciblera selon ses points faibles identifiés par algorithmes.

Prenons un exemple : quand hier l’on voulait vendre des billets d’avion pour Las Vegas, on cherchait la tranche d’âge idéale et la carte de crédit bien garnie. Aujourd’hui, les mégadonnées et l’apprentissage machine (machine learning) s’appuient sur tout ce que Facebook peut avoir collecté sur vous à travers messages, photos, « likes », même sur les textes qu’on a commencés à saisir au clavier et qu’on a ensuite effacés, etc. Tout est analysé en permanence, complété avec ce que fournissent des courtiers en données.

Les algos d’apprentissage, comme leur nom l’indique, apprennent ainsi non seulement votre profil personnel mais également, face à un nouveau compte, à quel type déjà existant on peut le rapprocher. Pour reprendre l’exemple, ils peuvent deviner très vite si telle ou telle personne est susceptible d’acheter un billet pour un séjour à Las Vegas.

Vous pensez que ce n’est pas très grave si on nous propose un billet pour Vegas.

Le problème n’est pas là.
Le problème c’est que les algorithmes complexes à l’œuvre deviennent opaques pour tout le monde, y compris les programmeurs, même s’ils ont accès aux données qui sont généralement propriétaires donc inaccessibles.

« Comme si nous cessions de programmer pour laisser se développer une forme d’intelligence que nous ne comprenons pas véritablement. Et tout cela marche seulement s’il existe une énorme quantité de données, donc ils encouragent une surveillance étendue : pour que les algos de machine learning puissent opérer. Voilà pourquoi Facebook veut absolument collecter le plus de données possible sur vous. Les algos fonctionneront bien mieux »

Que se passerait-il, continue Zeynep avec l’exemple de Las Vegas, si les algos pouvaient repérer les gens bipolaires, soumis à des phases de dépenses compulsives et donc bons clients pour Vegas, capitale du jeu d’argent ? Eh bien un chercheur qui a contacté Zeynep a démontré que les algos pouvaient détecter les profils à risques psychologiques avec les médias sociaux avant que des symptômes cliniques ne se manifestent…
Les outils de détection existent et sont accessibles, les entreprises s’en servent et les développent.

L’exemple de YouTube est également très intéressant : nous savons bien, continue Zeynep, que nous sommes incités par un algo à écouter/regarder d’autres vidéos sur la page où se trouve celle que nous avons choisie.

Eh bien en 2016, témoigne Zeynep, j’ai reçu de suggestions par YouTube : comme j’étudiais la campagne électorale en sociologue, je regardais des vidéos des meetings de Trump et YouTube m’a suggéré des vidéos de suprématistes (extrême-droite fascisante aux USA) !
Ce n’est pas seulement un problème de politique. L’algorithme construit une idée du comportement humain, en supposant que nous allons pousser toujours notre curiosité vers davantage d’extrêmes, de manière à nous faire demeurer plus longtemps sur un site pendant que Google vous sert davantage de publicités.
Pire encore, comme l’ont prouvé des expériences faites par ProPublica et BuzzFeed, que ce soit sur Facebook ou avec Google, avec un investissement minime, on peut présenter des messages et profils violemment antisémites à des personnes qui ne sont pas mais pourraient (toujours suivant les algorithmes) devenir antisémites.

L’année dernière, le responsable médias de l’équipe de Trump a révélé qu’ils avaient utilisé de messages « non-publics » de Facebook pour démobiliser les électeurs, les inciter à ne pas voter, en particulier dans des villes à forte population d’Afro-américains. Qu’y avait-il dans ces messages « non-publics » ? On ne le saura pas, Twitter ne le dira pas.

Les algorithmes peuvent donc aussi influencer le comportement des électeurs.

Facebook a fait une expérience en 2010 qui a été divulguée après coup.
Certains ont vu ce message les incitant à voter. Voici la version basique :

et d’autres ont vu cette version (avec les imagettes des contacts qui ont cliqué sur « j’ai voté »)

Ce message n’a été présenté qu’une fois mais 340 000 électeurs de plus ont voté lors de cette élection, selon cette recherche, confirmée par les listes électorales.
En 2012, même expérience, résultats comparables : 270 000 électeurs de plus.
De quoi laisser songeur quand on se souvient que l’élection présidentielle américaine de 2016 s’est décidée à environ 100 000 voix près…

« Si une plate-forme dotée d’un tel pouvoir décide de faire passer les partisans d’un candidat avant les autres, comment le saurions-nous ? »

Les algorithmes peuvent facilement déduire notre appartenance à une communauté ethnique, nos opinions religieuses et politiques, nos traits de personnalité, l’intelligence, la consommation de substances addictives, la séparation parentale, l’âge et le sexe, en se fondant sur les « j’aime » de Facebook. Ces algorithmes peuvent identifier les manifestants même si leurs visages sont partiellement dissimulés, et même l’orientation sexuelle des gens à partir de leurs photos de leur profil de rencontres.
Faut-il rappeler que la Chine utilise déjà la technologie de détection des visages pour identifier et arrêter les personnes ?

Le pire, souligne Zeynep est que

« Nous construisons cette infrastructure de surveillance autoritaire uniquement pour inciter les gens à cliquer sur les publicités. »

Si nous étions dans l’univers terrifiant de 1984 nous aurions peur mais nous saurions de quoi, nous détesterions et pourrions résister. Mais dans ce nouveau monde, si un état nous observe et nous juge, empêche par anticipation les potentiels fauteurs de trouble de s’opposer, manipule individus et masses avec la même facilité, nous n’en saurons rien ou très peu…

« Les mêmes algorithmes que ceux qui nous ont été lancés pour nous rendre plus flexibles en matière de publicité organisent également nos flux d’informations politiques, personnelles et sociales… »

Les dirigeants de Facebook ou Google multiplient les déclarations bien intentionnées pour nous convaincre qu’ils ne nous veulent aucun mal. Mais le problème c’est le business model qu’ils élaborent. Ils se défendent en prétendant que leur pouvoir d’influence est limité, mais de deux choses l’une : ou bien Facebook est un énorme escroquerie et les publicités ne fonctionnent pas sur leur site (et dans ce cas pourquoi des entreprises paieraient-elles pour leur publicité sur Facebook ?), ou bien leur pouvoir d’influence est terriblement préoccupant. C’est soit l’un, soit l’autre. Même chose pour Google évidemment.

Que faire ?
C’est toute la structure et le fonctionnement de notre technologie numérique qu’il faudrait modifier…

« Nous devons faire face au manque de transparence créé par les algorithmes propriétaires, au défi structurel de l’opacité de l’apprentissage machine, à toutes ces données qui sont recueillies à notre sujet. Nous avons une lourde tâche devant nous. Nous devons mobiliser notre technologie, notre créativité et aussi notre pouvoir politique pour construire une intelligence artificielle qui nous soutienne dans nos objectifs humains, mais qui soit aussi limitée par nos valeurs humaines. »

 

« Nous avons besoin d’une économie numérique où nos données et notre attention ne sont pas destinées à la vente aux plus offrants autoritaires ou démagogues. »

 

• voir la vidéo : We’re building a dystopia just to make people click on ads
• une autre conférence de Zeynep avec des sous-titres en français : l’intelligence artificielle rend la morale plus importante.