Technologies de crise, mais avec la démocratie
Le scénario d’une accentuation dramatique de la surveillance de masse est déjà sur la table, il suffit de jeter un œil à l’actualité planétaire de la pandémie pour s’en rendre compte.
Pistage des déplacements géolocalisés, reconnaissance faciale, restriction des droits individuels les plus élémentaires, la technopolice qui partout se déploie est d’autant plus inquiétante qu’elle se légitime par la nécessité d’une lutte contre la crise sanitaire. Dès qu’il s’agit de sauver des vies (et la nôtre en particulier) il semble que tout passe au second plan. Après la pédopornographie, le cyberharcèlement, le terrorisme, c’est aujourd’hui la crise sanitaire qui est le cheval de Troie de la surveillance.
Pourtant, comme le montre la prise de position de l’association sans but lucratif Algorithmwatch que nous avons traduite ci-dessous, la démocratie et le respect de la vie privée ne sont nullement incompatibles avec le déploiement de technologies dédiées à la lutte contre la crise sanitaire. Cela nécessite cependant une résistance citoyenne coordonnée…
Article original : Automated decision-making systems and the fight against COVID-19 – our position
Traduction Framalang : CLC, goofy, jums, Barbidule
Les systèmes automatisés de prise de décision et la lutte contre le COVID-19 : notre position
par AlgorithmWatch
Alors que la pandémie de COVID-19 fait rage partout dans le monde, nombreux sont ceux qui se demandent s’il faut mettre en œuvre des systèmes automatisés de prise de décision (N.D.T. : en français, on parle de SIAD) pour y mettre un frein et, si oui, selon quelles modalités.
Différentes solutions sont proposées et mises en œuvre, qui vont des mesures autoritaires de contrôle de la population prises par la Chine jusqu’à des solutions décentralisées, orientées vie privée, comme l’application Safe Path du MIT.
Ci-après nous présentons un ensemble de principes possibles et de réflexions pouvant servir de base à une réflexion utile, démocratique et bien informée sur l’utilisation de systèmes SIAD dans le cadre de l’actuelle pandémie.
1. Le COVID-19 n’est pas un problème technologique. L’étude des réponses concrètes à la pandémie montre que les interventions efficaces prennent toujours racine dans des politiques de santé publique globales. Singapour, la Corée du Sud et Taïwan, fréquemment cités en exemple pour leur gestion de l’épidémie, avaient chacun un plan d’action en place, souvent conçu après l’épidémie de SRAS de 2003. Être prêt à affronter une épidémie va bien au-delà des seules solutions techniques : cela suppose des ressources, des compétences, de la planification, ainsi que la volonté politique et la légitimité pour les déployer lorsque c’est nécessaire.
2. Il n’y a pas de solution toute faite pour répondre à l’épidémie de COVID-19. Pour gagner le combat contre le virus, il faut combiner tests, traçage des contacts et confinement. Cependant, chaque contexte est unique. Un pays dans lequel le virus a circulé pendant des mois sans être détecté (comme l’Italie) n’est pas dans la même situation qu’un pays qui a identifié très tôt les porteurs du virus (comme la Corée du Sud). Les différences sociales, politiques et culturelles jouent également un rôle important lorsqu’on cherche à faire appliquer des politiques de santé publique. Cela signifie que la même solution peut aboutir à des résultats très différents selon les contextes.
3. Par conséquent, il n’y a aucune urgence à mettre en place une surveillance numérique de masse pour lutter contre le COVID-19. Il ne s’agit pas que d’une question de vie privée – quoique la vie privée soit un droit fondamental qui mérite d’être protégé. Avant même d’envisager les conséquences des applications de traçage numérique des contacts, par exemple en termes de protection des données personnelles, nous devrions nous demander : est-ce que cela fonctionne ? Or les résultats tirés de la littérature scientifique sur les épidémies antérieures sont mitigés, et dépendent éminemment du contexte. La protection des droits doit être mise en regard des bénéfices attendus (sauver des vies). Mais sacrifier nos libertés fondamentales est inutile si l’on n’en retire aucun bénéfice.
4. Les mesures de confinement devront prendre fin à un moment ou à un autre. Nous devons essayer d’imaginer comment revenir à la « normale ». La plupart des scénarios impliquent une sorte de surveillance numérique qui paraît indispensable si l’on prend en considération les aspects spécifiques du COVID-19 : existence de patients asymptomatiques pouvant être contagieux, période d’incubation de 14 jours, absence de tout remède ou vaccin à l’heure actuelle. Les acteurs de la société civile doivent être prêts à participer à la discussion sur les solutions de surveillance envisagées, afin de favoriser l’émergence d’approches appropriées.
5. La protection contre le COVID-19 et la protection de la vie privée ne s’excluent pas l’une l’autre. Les solutions comme celle que le MIT a développée (les Safe Paths) ou la plate-forme baptisée PEPP-PT (Pan-European Privacy Preserving Proximity Tracing) permettront un « contact tracing » numérique dans le cadre d’une approche ouverte et décentralisée, plus respectueuse des droits des personnes. C’est la solution que certains pays comme Singapour ont retenue pour traiter la question (via l’appli “TraceTogether”) contrairement à l’approche qui a été choisie par la Corée du Sud et Israël.
6. Toute solution doit être mise en œuvre d’une manière respectueuse de la démocratie. La démocratie n’est pas un obstacle à la lutte contre la pandémie : c’est au contraire le seul espoir que nous ayons de prendre des mesures rationnelles et qui respectent les droits de chacun. La plus haute transparence est nécessaire en ce qui concerne 1) les solutions technologiques à l’étude, 2) les équipes d’experts ou les institutions ad hoc créées pour les étudier, 3) les preuves qui justifient leur mise en œuvre, 4) les acteurs chargés de les implémenter et les déployer, en particulier si ce sont des acteurs privés. Seule une parfaite transparence pourra garantir que la société civile et les parlementaires sont en mesure de contrôler l’exécutif.
7. L’usage massif des données qui résulte du développement de systèmes automatisés d’aide à la décision dans le cadre de la lutte contre le virus va conduire à discriminer de nouvelles catégories sociales. Les pouvoirs publics doivent empêcher toute stigmatisation des personnes qui seraient classées dans les mauvaises catégories et veiller au respect des droits de ceux qui n’obtiennent pas de scores suffisamment élevés sur les échelles qui sont utilisées, notamment pour ce qui est du tri dans le système de santé.
8. Même si les systèmes de surveillance numérique prouvent leur utilité, ils doivent être mis en œuvre dans le strict respect des principes de protection des données : comme le Comité européen de la protection des données l’a précisé récemment, il convient de respecter les principes de nécessité, de proportionnalité, de pertinence et du droit en général même en cas d’urgence de santé publique. Tout citoyen doit être en mesure de faire appel d’une décision prise par un système automatique concernant le COVID-19 (en particulier les applications qui déterminent si une personne a été en contact avec une personne contaminée et si celle-ci doit être mise en quarantaine). Les gouvernements et les entreprises qui contractualisent avec eux doivent respecter le RGPD.
9. Les systèmes automatisés d’aide à la décision qui existent déjà ne devraient pas être adaptés pour être mis en œuvre dans le cadre de la pandémie actuelle. En effet, ces systèmes, qui reposent sur des données d’apprentissage anciennes, ne peuvent pas, de ce fait, supporter un changement soudain des conditions dans lesquelles ils sont déployés. La police prédictive, l’aide automatisée aux juges, l’évaluation de la solvabilité et les évaluations issues d’autres SIAD pourraient produire des résultats beaucoup éloignés des intervalles habituels (par exemple en raison des taux d’erreur). Il faudrait de toute urgence les vérifier, voire en suspendre l’utilisation.
10. Par définition, une pandémie touche la planète entière. Il est nécessaire d’y répondre à l’aide d’un ensemble de réponses globales, diverses et coordonnées. Ces réponses devraient être surveillées par un réseau mondial d’organisations de la société civile travaillant main dans la main. Les précédentes crises ont montré que les situations d’urgence fournissent à certains leaders politiques peu scrupuleux une excuse pour légitimer la mise en place d’infrastructures de surveillance de masse qui violent, inutilement et indéfiniment, les droits des citoyens. La résistance (partiellement) victorieuse n’a été possible que lorsque celle-ci a été globale, coordonnée et bien construite, avec des précisions et des preuves solides de notre côté.
11. Et enfin, nous devons nous assurer que ce débat sur la surveillance pendant le COVID-19 ne se déroule pas dans le vide. Certains SIAD, en particulier la reconnaissance faciale, ont déjà prouvé qu’ils étaient problématiques. L’état d’urgence sanitaire actuel ne peut pas être invoqué pour justifier leur déploiement : bien au contraire, tous les problèmes signalés « en temps ordinaire » – le manque de précision, les biais systématiques dans leur mise en œuvre, des préoccupations plus larges concernant les abus possibles de données biométriques, etc. – deviennent encore plus aigus lors de moments exceptionnels, quand la santé et la sécurité de chacun sont en jeu. Nous devons non seulement veiller à ce que ce débat crucial ne soit pas confisqué par les technologues ou les technologies, mais aussi nous assurer que les technologies concernées aient prouvé qu’elles profitent à la société. La mise entre parenthèses des communications en chair et en os donne une occasion de procurer en ligne encore plus de services sociaux et autres services de base, là où les SIAD remplacent souvent les travailleurs sociaux. Cela pourrait avoir des conséquences catastrophiques pour les citoyens qui n’ont pas d’accès aux outils numériques ou aucun moyen de les comprendre avec un recul critique. Nous devons nous assurer que cela n’arrivera pas.
Auteur principal : Fabio Chiusi, avec la collaboration de Nicolas Kayser-Bril