Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 11 juin 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Démontrer les défaillances des systèmes de recrutement automatisé demeure compliqué. Les enquêtes et tests des usagers, des chercheurs, des médias… parviennent souvent à pointer des défaillances spécifiques que les entreprises ont beau jeu de rejeter comme n’étant pas représentatifs. Et effectivement, corriger les biais de recrutement nécessite d’être capable de les mesurer. Comment répondre aux défaillances du recrutement automatisé ?

 

C’est le dossier de Dans les Algorithmes !

Le problème auquel nous sommes confrontés dans les systèmes de recrutement automatisés est que ni les postulants ni les départements RH ni les régulateurs ni le grand public ne savent très bien comment les CV sont inspectés et scorés (voir la première partie de ce dossier). Les candidats savent rarement si ces outils sont la seule raison pour laquelle les entreprises les rejettent – et aucun de ces systèmes n’explique aux utilisateurs comment ils ont été évalués. Pourtant, les exemples flagrants de défaillances spécifiques sont nombreux, sans qu’il soit toujours possible de prouver leurs défaillances systémiques.

Dans son livre, The Algorithm : How AI decides who gets hired, monitored, promoted, and fired and why we need to fight back now (L’algorithme : comment l’IA décide de qui sera embauché, surveillé, promu et viré et pourquoi nous devons riposter, Hachette, 2024, non traduit), la journaliste Hilke Schellmann donne beaucoup la parole à des individus qui ont bataillé contre des systèmes : une développeuse black très compétente discriminée en continu, un data scientist écarté sans raisons de postes pour lesquels il était plus que compétent… un candidat d’une cinquantaine d’années, excédé qui finit par changer sa date de naissance et se voit magiquement accepté aux candidatures où il était refusé ! Le testing systémique des outils d’embauche automatisés est encore trop rare et trop souvent individuel… Mais il montre bien souvent combien ces systèmes sont défaillants, à l’image de celui initié récemment par Bloomberg : les journalistes ont demandé à ChatGPT de classer des CV dont le seul élément modifié était le prénom et le nom des candidats. Sans surprise, les CV avec des noms à consonance afro-américaine étaient à chaque fois les plus mal classés !

Pourtant, démontrer les dysfonctionnements de ces systèmes demeure compliqué, concède la journaliste. Notamment parce que ces éclairages reposent souvent sur des exemples spécifiques, de simples tests, des études limitées en ampleur, en profondeur et dans le temps… que les entreprises ont beau jeu de les rejeter comme n’étant pas représentatifs. L’accumulation de preuves de défaillances devrait néanmoins être plus que préoccupante.

Les informations sur le fonctionnement de ces systèmes sont rares, la plupart du temps elles ne nous parviennent que quand ces systèmes dysfonctionnent publiquement. En 2018, une enquête de Reuters avait montré que le système de recrutement d’Amazon était fortement biaisé au détriment des femmes : ses données d’entraînement (les CV des gens déjà recrutés par Amazon) comportaient trop peu de femmes et les écartait par défaut. Malgré les tentatives de l’équipe d’Amazon pour réparer le système d’embauche, l’équipe a fini par abandonner le projet, faute d’y parvenir. C’est dire que réparer les défaillances et les biais n’est pas si simple. Les problèmes de discriminations ne se sont pourtant pas arrêtés. La Commission pour l’égalité des chances en matière d’emploi (EEOC, l’agence fédérale américaine chargée de lutter contre la discrimination à l’emploi), poursuit chaque année de nombreuses entreprises qui ont des pratiques d’embauches discriminatoires massives et problématiques.

Pour John Jersin, longtemps vice-président de Linkedin, ces problèmes de discrimination invisibles, cachés dans d’autres pratiques ou au fin fond des mots, restent inaperçues des développeurs de systèmes, notamment parce que la réduction des biais évoque d’abord le risque qui affecte certaines catégories de population plutôt que d’autres. Le débiaisage invite à écarter des éléments visibles, comme le genre, les prénoms, les pronoms, les photos… mais n’insiste pas assez sur le fait que les biais peuvent être, par cascade, à plein d’autres endroits. Chez Linkedin, Jersin a construit une équipe d’ingénieurs en IA pour combattre les biais de l’IA. Pour réduire les biais de genre, la solution de Linkedin a été… de mettre encore plus d’IA en utilisant des coefficients de représentativité genrés selon les emplois pour corriger la visibilité des annonces (comme Meta envisage de le faire pour les annonces immobilières). L’exemple montre bien que pour corriger les biais, encore faut-il pouvoir les mesurer, et non seulement mesurer les biais de représentativité, mais également ceux de la diffusion des annonces. Sans compter que ces corrections qui visent à réduire les écarts de performance entre groupes démographiques risquent surtout de produire un “égalitarisme strict par défaut”, qu’une forme d’équité. Le débiaisage laisse ouvertes plusieurs questions : Quelles corrections appliquer ? Comment les rendre visibles ? Jusqu’où corriger ?

Sans compter qu’il faudrait pouvoir corriger toutes les autres formes de discrimination, liées à l’âge ou la couleur de peau… Ou encore des discriminations liées à l’origine géographique des candidats qui permet d’écarter très facilement des candidatures selon leur localisation. Et surtout de la plus prégnante d’entre elles : la discrimination de classe.

Pseudoscience automatisée

Les systèmes d’embauche automatisé reposent principalement sur l’analyse de mots et nous font croire que cette analyse permettrait de prédire la performance au travail, la personnalité des candidats ou l’adéquation entre une offre et un poste. Ces outils de sélection et d’évaluation sont partout promus comme s’ils fournissaient des informations stables, fiables, objectives et équitables, sans jamais se soucier de leur validité scientifique. Pourtant, les vendeurs de ces systèmes n’apportent jamais la moindre preuve de la validité scientifique de leurs solutions.

Pour les chercheurs Mona Sloane, Emanuel Moss et Rumman Chowdhury, ces systèmes reposent surtout sur des pratiques pseudoscientifiques qu’autre chose. Et bien souvent, les évaluations sont prises dans des chaînes de traitement qui impliquent plusieurs types d’outils et de techniques qui rendent leur audit difficile, notamment parce que certains résultats ont des conséquences sur d’autres mesures. Pour les chercheurs, il faudrait revenir aux « racines épistémologiques » des systèmes, c’est-à-dire aux prétentions à la connaissance qu’ils formulent, comme de prétendre que l’analyse des mots d’un CV puisse caractériser la performance au travail. La perspective de déployer des audits pour s’assurer de leur conformité qui ne se limiteraient qu’à des questions d’équité (de genre ou d’âge par exemple) ne peuvent pas corriger les problèmes que génère cette fausse prétention à la connaissance. Or, pour l’instant, sans même parler d’équité, les entreprises ne sont même pas obligées de révéler aux candidats les outils qu’elles mobilisent ni leurs effets. Nous ne connaissons ni la liste des systèmes mobilisés, ni leurs intentions, ni les données utilisées, ni celles utilisées pour la modélisation… L’opacité de l’emploi automatisé s’étend bien plus qu’il ne se résout.

Cambridge Analytica nous a permis de comprendre l’impact du profilage pseudo-psychologique. Dans le domaine du recrutement, on utilise depuis longtemps le profilage psychologique : la graphologie comme les tests psychologiques ont été inventés pour le travail, comme nous l’expliquait le psychologue Alexandre Saint-Jevin. Nombre d’outils tentent de prédire le profil psychologique des candidats, comme Humantic AI ou Crystal. IBM elle-même a longtemps promu une version dédiée de Watson… avant de l’arrêter. L’idée consiste le plus souvent à scanner le profil des candidats pour savoir qui ils sont vraiment, afin de prédire leurs comportements. Le secteur est en plein boom. Il représente quelque 2 milliards de dollars en 2023. Il n’est pourtant rien d’autre que de « l’astrologie de bureau » qui ne produit rien d’autre que de notre propre hallucination.

Pour compléter ces analyses pseudo-psychologiques, de nombreux outils comme Fama, Foley, Ferretly ou Intelligo… aspirent les contenus des médias sociaux (sans demander leur consentement aux candidats) et appliquent sur ces contenus des analyses émotionnelles souvent simplistes, consistant à caractériser positivement ou négativement les mots utilisés, les likes déposés… sans parvenir à distinguer le sarcasme ou l’ironie, comme l’a vécu une employée en recevant 300 pages d’analyse automatisé de son profil par Fama – une pratique qui, en France, rappelle un arrêt de la Cour de cassation, devrait être très encadrée, notamment parce que cette collecte d’informations tiers peut-être déloyale par rapport à l’objet de leur mise en ligne.

Dans ces profilages, les individus sont réduits à des schémas psychologiques simplistes, provenant de personnes qui ont passé ces tests de personnalités et dont les systèmes conservent les profils de réseaux sociaux associés, pour les comparer à ceux de nouveaux candidats dont on ne connaît pas les résultats aux tests de personnalités afin de les déduire par comparaison. Cela conduit bien souvent à produire des corrélations basiques : les fans de Battlestar Galactica sont introvertis, ceux de Lady Gaga extravertis ! Dans son livre, Schellmann teste Humantic sur son profil Twitter et Linked-in. Sur le premier, elle apparaît « autoritaire, énergique et impulsive ». Sur le second, elle est « analytique, prudente et réfléchie » ! Sur le second analysé par Crystal, elle est dite « franche, assurée et agressive » ! Elle fait passer le test à ses étudiants en data science. Ils téléchargent chacun un même CV qui produit des résultats différents ! Contactées suite à ces contradictions, les plateformes ont beau jeu de répondre que l’échantillon est trop faible pour être représentatif… À nouveau, le déni des résultats spécifiques sert toujours à masquer les défaillances systémiques.

Nombre de systèmes usent et abusent de tests psychologiques consistant à faire sens des mots d’un CV. Pourtant, la recherche dans le domaine a montré depuis longtemps que les tests de personnalités peinent à mesurer la performance au travail et que celle-ci a d’ailleurs peu à voir avec la personnalité. 

À défaut de trouver des critères pertinents pour distinguer des candidats souvent assez proches les uns des autres, le recours à la pseudoscience permet d’imaginer des différences ou de recouvrir des discriminations bien réelles d’un vernis socio-culturel.

Schellmann a également testé des outils d’entretiens audio et vidéo comme Hirevue ou Retorio. Ce ne sont déjà plus des outils anodins. 60 des 100 plus grandes entreprises américaines utilisent Hirevue et quelque 50 000 candidats sont auditionnés chaque semaine par le système d’entretien automatisé développé par cette entreprise. Hirevue est peu disert sur le fonctionnement en boîte noire de son système. À ce qu’on en comprend, le système produit plusieurs scores qui tentent d’évaluer la capacité à négocier, à persuader… ou la stabilité émotionnelle. En tentant d’apprécier ce qui est dit et comment il est dit. Mais, comme toujours avec l’analyse émotionnelle, « les outils confondent la mesure avec son interprétation ». Ces outils innovants, démasqués par plusieurs enquêtes, ont pourtant peu à peu coupé certaines de leurs fonctionnalités. Retorio comme Hirevue n’utilisent plus la reconnaissance faciale ni l’analyse du ton de la voix pour analyser l’émotion des candidats, suite à des révélations sur leurs dysfonctionnements (un audit pour Hirevue et une enquête de journalistes allemands pour Retorio qui montrait que le score d’une même personne n’était pas le même selon la manière dont elle était habillée, si elle portait ou non des lunettes ou selon l’arrière-plan qu’elle utilisait). Cela n’empêche pas que leurs réponses, elles, soient scorées sur les mots utilisés selon leur « positivité » ou leur « négativité » (une analyse qui n’est pas sans poser problème non plus, puisque des termes très simples comme juif, féministe ou gay ne sont pas interprétés positivement par ces systèmes d’analyses de langue). Mais le problème n’est pas que là : la retranscription même des propos est parfois déficiente. S’amusant d’obtenir un bon score en anglais sur MyInterview, un système du même type, Schellmann se met alors à parler allemand, sa langue natale… avant de recevoir un transcript généré automatiquement qui transforme son Allemand en pur globish sans grand sens… tout en lui attribuant un très bon score ! De quoi interroger profondément les promesses de tous ces outils qui masquent sous des calculs complexes leurs profondes béances méthodologiques et leurs incapacités à produire autre chose que des leurres. Le problème, c’est que ces leurres peuvent tromper les entreprises qui achètent très chères ces solutions… mais ils trompent d’abord et avant tout les candidats, qui eux, n’ont pas beaucoup de modalités de recours, face à des systèmes bien plus aberrants que fiables.

Les outils automatisés pour l’embauche ne réduisent pas les biais du recrutement. Au mieux, ils les invisibilisent, au pire, ils les amplifient. Derrière leur vernis d’objectivité, ces systèmes produisent surtout une subjectivité cachée, à l’image des innombrables techniques de classements des employés qui ont de plus en plus cours dans les entreprises et que dénonce la journaliste de Marianne, Violaine des Courières, dans son livre, Le management totalitaire (Albin Michel, 2023). Pour assurer une compétition de plus en plus vive, explique-t-elle, on psychiatrise le monde du travail avec du profilage comportemental ou psychique. C’est un peu comme si la course au mérite n’était jamais totalement aboutie, qu’il fallait toujours l’améliorer jusqu’à parvenir à des critères qui ne regardent plus vraiment les compétences mais reposent sur des mesures de plus en plus absconses pour permettre de distinguer des candidats souvent très semblables.

Alors, comment améliorer les choses ?

Selon le chercheur Arvind Narayanan, l’embauche est l’un des pires secteurs pour utiliser l’IA, car ce que ces systèmes doivent prédire n’est pas clair. La productivité, la performance ou la qualité d’un employé ne sont pas des critères faciles à catégoriser. Apporter la preuve que leurs systèmes fonctionnent devrait être la première responsabilité des vendeurs de solutions, en publiant les études scientifiques indépendantes nécessaires, en laissant les entreprises les tester, et en permettant à ceux qui sont calculés d’obtenir des résultats et des explications sur la manière dont ils ont été calculés. Dans le domaine médical, les laboratoires doivent prouver que leurs médicaments fonctionnent avant de pouvoir être mis sur le marché, rappelle-t-il. Ce n’est pas le cas de ces systèmes d’évaluation des candidatures comme de bien des systèmes automatisés utilisés dans le domaine du travail. « Les essais contrôlés randomisés devraient être un standard dans tous les domaines de la prise de décision automatisée », plaide-t-il. Rappelant également la nécessité d’exiger la transparence des données d’entraînement des systèmes. Pas sûr cependant qu’inviter les acteurs du recrutement à inspecter, réformer et transformer leurs pratiques et leurs outils suffise, sans qu’une régulation et une responsabilité plus forte ne s’impose à eux. Sans sanction ni contrôle, les outils du recrutement automatisés ne se réformeront pas d’eux-mêmes. 

Mais encore faut-il pouvoir mieux mesurer et mettre en visibilité leurs défaillances. Pour cela, une autre piste consiste à ce que les recruteurs soient plus transparents sur leurs recrutements et leurs effets : qu’ils produisent des données sur les candidatures et les sélections auxquels ils procèdent, que ce soit sur le genre, l’âge, l’origine ethnique, géographique ou le niveau social. Pour faire reculer les discriminations invisibilisées et amplifiées, il faut que les entreprises soient contraintes à documenter les résultats de leurs sélections comparativement aux candidatures reçues et soient contraintes de documenter le niveau d’exposition et de publicisation de leurs annonces. C’est en ce sens qu’il faut lire les premiers efforts appelant à documenter l’égalité professionnelle… En France, l’index de l’égalité professionnelle n’observe que l’écart de rémunération des hommes et des femmes dans les entreprises de plus de 50 employés (mais sera suivi de la transparence des rémunérations et des salaires d’embauches qui doivent être intégrés par les entreprises d’ici juin 2026). Prolonger cet effort de transparence jusqu’aux systèmes de recrutement en demandant aux entreprises de produire des métriques sur leurs sélections à l’embauche et en automatisant les malus pour les entreprises dont les recrutements sont les plus discriminants par rapport au niveau de candidature reçu, pourrait être un puissant levier pour produire une transparence là où il n’y en a pas. Reste, comme le soulignait la CGT vis-à-vis d’un récent projet de loi contre la discrimination à l’embauche, la simple exposition des entreprises qui ont des pratiques discriminantes et les amendes ne suffiront pas à régler le problème des discriminations systématiques à l’embauche.

Reste que pour en prendre le chemin, il faudrait pourtant inverser la logique à l’œuvre aujourd’hui, où le contrôle s’exerce bien plus sur les candidats à l’emploi, notamment les chômeurs, que sur les pratiques des recruteurs. Celles-ci ne sont pourtant pas sans critiques, comme le soulignait une étude sur les offres d’emploi non pourvues menée par le Comité national CGT des travailleurs privés d’emploi et précaires, dénonçant la désorganisation des offres d’emploi, leur redondance voire le fait que nombres d’entre elles sont légalement problématiques.

Imposer la transparence et auditer les systèmes de recrutement, c’est la politique qu’a tenté d’initier la ville de New York l’année dernière… sans succès. Un article de recherche signé Lara Groves, Jacob Metcalf, Alayna Kennedy, Briana Vecchione et Andrew Strait explique justement pourquoi cette tentative de régulation n’a pas marché ! En juillet 2023, la ville de New York a mis en œuvre un règlement local imposant aux employeurs new-yorkais qui utilisent des outils de recrutement automatisés de les soumettre à des audits indépendants. Cet audit consiste en un audit de biais sur les discriminations raciales et de genres (mais pas sur l’âge ou le handicap) qui doit être publié sur le site web de l’employeur sous forme de ratio d’impact. Le ratio d’impact consiste à mesurer le taux de sélection des candidats selon les différents groupes démographiques, de genre et racial. L’idée est de mesurer la différence entre le niveau de sélection d’un groupe vis-à-vis de celui du groupe le plus sélectionné. Un ratio d’impact de 1,0 signifie que le taux de sélection est parfaitement égal entre les groupes, un ratio d’impact inférieur indique un résultat discriminatoire à l’encontre du groupe le moins sélectionné : plus le résultat est faible et plus il est discriminatoire, donc. Si le taux est inférieur à 0,8 selon les conventions juridiques américaines anti-discrimination, on estime qu’il y a une discrimination de fait (mais cette estimation tient plus d’un compromis arbitraire, car cette limite n’a jamais été concrètement questionnée ou évaluée). Enfin, même si elle prévoit des sanctions, la loi n’impose aucune obligation à un employeur qui découvrirait un impact discriminatoire, celui-ci devant uniquement publier un audit annuel de ses recrutements et de leurs effets.

Les chercheurs ont constaté que très peu d’audits ont été rendus publics et aucun référentiel central n’a été créé par le Département de la protection des consommateurs et des travailleurs de la ville de New-York. Les chercheurs ont réussi à collecter seulement 19 audits, ce qui semble bien peu vu le nombre d’entreprises new-yorkaises. L’interview des cabinets chargés d’auditer les systèmes pointe que la loi proposée comportait trop d’imprécisions et laissait trop de marges de manœuvre aux employeurs (ceux-ci pouvant ne pas publier de rapport s’ils évaluaient que les systèmes automatisés n’aidaient pas « substantiellement » leur entreprise à embaucher). Pire, cette transparence ne permet pas vraiment aux candidats non recrutés et potentiellement discriminés d’agir à l’encontre des discriminations qu’ils auraient pu subir. Les chercheurs soulignent également la grande difficulté des auditeurs, à accéder aux données des services qu’utilisent les entreprises, pouvant rendre les audits peu fiables, voire tronqués. Les chercheurs en tirent quelques recommandations. La transparence (bien relative puisqu’elle se limitait ici à des tableaux de chiffres !) sur les discriminations à l’embauche ne suffit pas à produire du changement. Aucun candidat à l’embauche n’a semble-t-il tiré bénéfice de ces informations, et rien n’obligeait les entreprises prises en défaut à prendre des mesures correctives. Les chercheurs recommandent d’élargir le principe aux plateformes et fournisseurs d’outils de recrutement, que les documents de transparence soient collectés centralement et mieux accessibles aux candidats à l’emploi. Pour les chercheurs, les lois sur l’audit doivent également proposer des mesures et des définitions claires et précises. La loi doit également éclaircir les normes qui s’appliquent aux auditeurs plutôt que de leur laisser définir les bonnes pratiques. Enfin, la collecte de données doit être rendue plus fluide d’autant que l’enquête va un peu à l’encontre des principes de confidentialité. Elle doit permettre aux auditeurs de pouvoir mener des évaluations indépendantes, approfondies et significatives.

L’échec de la politique new-yorkaise montre en tout cas que la perspective d’un index de la discrimination automatisée à l’embauche doit être un peu plus organisé qu’il n’a été pour être rendu fonctionnel.

Passer des logiciels de recrutement… aux logiciels de candidature !

Quand on s’intéresse aux défaillances spécifiques et systémiques des outils de recrutement automatisé, le plus étonnant finalement, c’est de constater qu’en tant que société, nous soyons capables d’adopter des outils qui ne fonctionnent pas, des outils foncièrement contraire à l’éthique, profondément discriminants… sans provoquer de réaction de rejet forte du corps social. Cela est certainement lié au fait que les plus discriminés sont habitués à l’être. Ce n’est pas une raison pour s’y résigner ! La zone du recrutement reste un espace sans beaucoup de pouvoir pour les candidats. A ce jour, ils n’ont ni le droit de recevoir des explications ni celui de contester les décisions.

L’AI Act européen promet pourtant d’améliorer le niveau de responsabilité des systèmes de recrutement automatisés, puisque nombre d’entre eux devraient faire partie des systèmes à risque élevé. On verra à l’usage s’il fait progresser la transparence des systèmes, mais, sans règles plus claires, il est probable que les choses évoluent peu, autrement que sous les coups de scandales publics de dysfonctionnements visibles, comme cela a été le cas jusqu’à présent.

Peut-être que la solution pour contrer les défaillances fonctionnelles du recrutement consisterait plutôt à en inverser radicalement la logique à l’œuvre. Et c’est peut-être là que nous pourrions trouver les meilleures perspectives d’évolution.

Jusqu’à présent le monde du recrutement est façonné par une logique qui bénéficie totalement aux recruteurs. Ce n’est pas pour rien qu’on parle d’ailleurs de logiciels de recrutements. Alors peut-être que la solution consiste à passer aux logiciels de candidatures !  Et cette perspective, avec l’arrivée de l’IA générative et des agents intelligents est peut-être plus proche de se réaliser que jamais. Alors que les recruteurs disposent de tout pouvoir, il est possible que les candidats puissent en reconquérir. Comment ?

C’est la piste qu’explore le développeur Hussein Jundi sur Towards Data Science, en imaginant un robot logiciel capable de chercher des postes à sa place – ce qui ne serait déjà pas une mauvaise option tant la recherche sur les sites d’emploi est restée fruste et défaillante (oui, vous aussi, vous recevez des propositions de stages à Paris alors que vous avez une alerte pour des CDI à Nantes !). Mais on pourrait aller plus loin et imaginer un robot capable de candidater à notre place, d’adapter les termes de son CV aux mots clefs des annonces, de démultiplier de façon autonome ses candidatures en produisant des micro-variations sur les termes des compétences recherchées… Hussein Jundi nous suggère finalement une piste très stimulante pour finir de casser un recrutement déficient : doter les utilisateurs de robots capables d’adapter leurs candidatures aux systèmes de tris automatisés que les entreprises utilisent. Il ne propose rien d’autre que d’exploiter et d’amplifier les faiblesses du recrutement automatisé… pour le faire imploser.

Ce que dessine cette perspective, c’est que dans cette course sans fin à l’automatisation, il n’est pas sûr que les entreprises profitent de leurs avantages encore longtemps. À force de ne pas vouloir inspecter et réguler leurs pratiques, il est possible qu’à terme, les utilisateurs les subvertissent. Des logiciels capables de modifier votre profil Linked-in selon l’origine de celui qui le regarde. Des logiciels capables d’adapter vos CV aux annonces, de multiplier les candidatures à un même poste avec des variations de termes de son CV, des logiciels capables d’aller puiser dans les API des systèmes de recrutements pour informer des critères retenus… afin d’améliorer le matching. On pourrait même imaginer des systèmes capables d’inonder de candidatures les systèmes de recrutement pareils à des attaques de déni de services.

Incapable de réformer ses pratiques, le recrutement se moque des candidats. Il est temps que les candidats prennent les recruteurs à leur propre jeu et qu’ils retrouvent du pouvoir d’agir ! Chiche ? On lance une startup ! 😊

MAJ du 14/10/2024 : Les logiciels de candidatures, nous y sommes !

Alors que les chaleurs estivales arrivent, l’actualité de l’Intelligence Artificielle s’est elle aussi réchauffée ce dernier mois avec des avancées techniques majeures.

Préparez votre boisson préférée et installez-vous confortablement : c’est l’heure de la FramIActu !

Pourquoi est-ce que Grok se met à parler de « génocide blanc » ?

Le 14 mai dernier, Grok, l’IA générative de xAI (société mère de X, ex-Twitter), a été détournée par un individu afin d’orienter les réponses de l’IA.
Celle-ci a, pendant plusieurs heures, parlé d’un génocide anti-blanc fictif qui aurait eu lieu en Afrique du Sud.
Outre le fait que l’événement ait surpris les utilisateurices de l’outil d’Elon Musk (patron de l’entreprise), celui-ci démontre qu’il est aujourd’hui possible d’orienter et d’influencer massivement les réponses des IA génératives.
Pour ce faire, la personne mal-intentionnée a exploité un outil fréquent des systèmes d’IA générative : le prompt système.

Plutôt que de ré-entraîner les IA génératives sur des éléments spécifiques ajoutés au fil de l’eau, les entreprises d’IA générative indiquent des instructions à l’Intelligence Artificielle au moment où l’utilisateurice fait sa propre demande. Cette instruction permet, par exemple, d’indiquer des règles de modération de contenu et de les adapter au fil de l’eau, en fonction des besoins.
Or, ces instructions ne sont pas communiquées publiquement. Nous ne savons jamais quand elles changent ni leur contenu exact.
C’est ce point qui a permis à l’attaquant·e de pouvoir modifier le prompt système discrètement.

xAI s’est engagé à publier les prompts systèmes sur la forge logicielle Github afin que tout le monde puisse consulter ceux-ci. Cela devrait aider à limiter une éventuelle récidive… même si rien ne peut le garantir.
Aussi, rien n’indique que la concurrence suivra ce mouvement et publiera aussi ses prompts systèmes.

Enfin, nous voyons encore une fois que les systèmes d’IA génératives sont plus complexes qu’ils n’y paraissent pour l’utilisateurice et manquent de transparence. Même si les prompts systèmes sont publiés, les données d’entraînement des IA génératives sont très opaques et nous manquons toujours énormément d’informations pour comprendre réellement ce qu’il se passe quand nous envoyons une instruction à une IA.

Est-ce que Google vient d’enterrer la recherche sur le web ?

Le 20 mai dernier, à l’occasion de la conférence Google I/O, Google a annoncé l’arrivée de nouvelles innovations biberonnées à l’Intelligence Artificielle.

Ici encore, nous observons un des mouvements récents de Google : le lancement d’une application mobile pour tester des modèles d’IA fonctionnant uniquement sur le téléphone de l’utilisateurice.

Si cela peut sembler anodin, il nous a semblé important de faire le lien avec la news citée plus haut.
Il paraît évident que Google a besoin de mettre en place des solutions pour réduire largement les coûts de l’inférence (en gros, le coût lié à l’utilisation de l’IA).

Un des moyens de réduire ces coûts est de déporter le travail de l’inférence vers la machine de l’utilisateurice, ici le smartphone.

Ainsi, en proposant une application permettant aux utilisateurices de tester les différents modèles d’IA, Google peut collecter de nombreuses données sur les capacités des smartphones actuels à faire tourner des modèles d’IA plus ou moins puissants.

Bien sûr, rien ne prouve que Google ira dans ce sens, cependant, il ne nous paraît pas totalement farfelu d’imaginer Google reproduire, dans un futur plus ou moins proche, une stratégie similaire à celle de Microsoft avec Windows 11 : forcer les utilisateurices à acheter du matériel neuf pour faire tourner l’IA dessus, accélérant de fait l’obsolescence des périphériques incompatibles.

Finalement, ces deux articles traitant des avancées de Google dans le domaine soulignent que Google tend à inverser le rapport de force avec OpenAI (l’entreprise derrière ChatGPT, la plus en vogue actuellement). Les futurs changements que Google apporteront seront sans doute déterminants dans l’évolution de nos usages.

Source : Next — https://next.ink/brief_article/google-lance-une-application-mobile-pour-tester-localement-des-modeles-dia/

OpenAI rachète l’entreprise de matériel de Jony Ivy

En mai dernier, nous apprenions que OpenAI a racheté l’entreprise io, spécialisée dans la conception de matériel informatique fondée par l’ancien designer en chef d’Apple, Jony Ive.
Ive ne rejoindra pas OpenAI et sa compagnie spécialisée dans le design, LoveFrom, restera indépendant, mais elle prendra désormais en charge l’ensemble de la conception des designs pour OpenAI, dont ses logiciels.

À travers l’article de The Verge, nous découvrons que le travail sur de nouveaux appareils, dédiés à l’IA, sont en phase de conception. Plusieurs pistes ont été considérées, comme des écouteurs ou des appareils disposant de caméras, mais ce ne sera pas des lunettes type Google Glass.
L’appareil rentrerait dans une poche, « tiendrait compte du contexte » et ne posséderait pas d’écran.

Nous nous questionnons particulièrement sur la notion de « tenir compte du contexte ». Qu’est-ce que cela signifiera concrètement ? Serait-ce encore un dispositif qui « écoutera » ou « observera » en permanence, sous prétexte de pouvoir nous répondre immédiatement quel temps il fera demain quand nous poserons la question à nos proches ?
Pour le moment, nous n’en savons trop rien.

Il est difficile de dire si le pari (à 6.5 milliards de dollars, tout de même) de OpenAI portera ses fruits, cependant, si OpenAI affirme que l’objectif n’est pas de remplacer le smartphone, il semble y avoir une réelle volonté à suivre la piste de celui-ci : construire un appareil ergonomique qui s’impose comme un nouveau besoin pour la société. Et dans le même temps, imposer toujours plus l’IA dans nos quotidiens.

C’est tout pour cette FramIActu ! Nous espérons que vous l’avez appréciée !

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 28 mars 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Dans le monde du recrutement, les CV ne sont plus vraiment lus par des humains. Le problème, c’est que les scores produits sur ceux-ci pour les trier sont profondément problématiques. Les logiciels de tris de candidatures cherchent à produire des correspondances entre les compétences des candidats et ceux des employés et à prédire les personnalités… sans grand succès. Bien souvent, ils produisent surtout des approximations généralisées masquées sous des scores qui semblent neutres et objectifs. Problèmes : ces systèmes peinent à favoriser la diversité plutôt que la similarité. Ils répliquent, amplifient et obfusquent les discriminations plutôt que de réduire les biais de décisions des recruteurs.

« Les dégâts qu’un responsable du recrutement humain partial peut causer sont réels, mais limités. Un algorithme utilisé pour évaluer des centaines de milliers de travailleurs pour une promotion ou de candidats à l’emploi, s’il est défectueux, peut nuire à bien plus de personnes que n’importe quel être humain », affirmait dans Wired la journaliste américaine Hilke Schellmann. Après avoir publié depuis plusieurs années de nombreuses enquêtes sur les défaillances des systèmes automatisés appliqués à l’emploi, elle vient de faire paraître un livre permettant de faire le point sur leurs limites : The Algorithm : How AI decides who gets hired, monitored, promoted, and fired and why we need to fight back now (L’algorithme : comment l’IA décide de qui sera embauché, surveillé, promu et viré et pourquoi nous devons riposter, Hachette, 2024, non traduit). Son constat est sans appel : dans l’industrie technologique des ressources humaines (la « HRTech » comme on l’appelle), rien ne marche ! Pour elle, l’IA risque bien plus de vous empêcher d’être embauché que de vous piquer votre job !

Dans le domaine des ressources humaines, beaucoup trop de décisions sont basées sur de la « mauvaise camelote algorithmique », explique-t-elle. Des systèmes d’évaluation qui produisent déjà des préjudices bien réels pour nombre d’employés comme pour nombre de candidats à l’emploi. Dans son livre, la journaliste passe en revue les innombrables systèmes que les entreprises utilisent pour sélectionner des candidats et évaluer leurs employés… que ce soit les entretiens automatisés, les évaluations basées sur les jeux, les outils qui parcourent les publications sur les réseaux sociaux et surtout ceux qui examinent les CV en ligne… Tous cherchent à produire des correspondances entre les compétences des candidats et ceux des employés et à prédire les personnalités… sans grand succès.

Ce qu’elle montre avant tout, c’est que les entreprises qui ont recours à ces solutions ne sont pas suffisamment critiques envers leurs défaillances massives. En guise de calculs, ces systèmes produisent surtout des approximations généralisées. Sous l’apparence de scientificité des scores et des chiffres qu’ils déterminent se cache en fait beaucoup de pseudo-science, de comparaisons mots à mots peu efficaces. Quand on s’intéresse au fonctionnement concret de ces outils, on constate surtout que leur caractéristique principale, ce n’est pas tant qu’ils hallucinent, mais de nous faire halluciner, c’est-à-dire de nous faire croire en leurs effets.

Les algorithmes et l’intelligence artificielle que ces systèmes mobilisent de plus en plus promettent de rendre le travail des ressources humaines plus simple. En l’absence de régulation forte, souligne la journaliste, ni les vendeurs de solutions ni leurs acheteurs n’ont d’obligation à se conformer au moindre standard. Or, poser des questions sur le fonctionnement de ces outils, les valider, demande beaucoup de travail. Un travail que les départements RH ne savent et ne peuvent pas faire. Nous aurions besoin d’un index pour mesurer la qualité des outils proposés, propose la journaliste… tout en constatant que nous n’en prenons pas le chemin. L’industrie RH se contente parfaitement de la situation, souligne-t-elle. Les avocats américains recommandent d’ailleurs aux services RH des entreprises de ne pas enquêter sur les outils qu’ils utilisent pour ne pas être tenu responsables de leurs dysfonctionnements ! À croire que la responsabilité sociale fonctionne mieux avec des œillères !

De l’automatisation des recrutements : tous scorés !

L’automatisation s’est imposée pour répondre aux innombrables demandes que recevaient les plus grandes entreprises et notamment les grandes multinationales de la Tech. Comment traiter les millions de CV que reçoivent IBM ou Google chaque année ? Qu’ils soient déposés sur les grands portails de candidatures et d’offres d’emplois que sont Indeed, Monster, Linkedin ou ZipRecruiter comme sur les sites d’entreprises, l’essentiel des CV sont désormais lus par des logiciels plutôt que par des humains. Les plateformes développées d’abord pour l’intérim puis pour les employés de la logistique, de la restauration rapide et du commerce de détail sont désormais massivement utilisées pour recruter dans tous les secteurs et pour tous types de profils. Mais elles se sont particulièrement développées pour recruter les cols blancs, notamment en entrée de tous les grands secteurs professionnels, comme l’informatique ou la finance. Si ces plateformes ont permis aux candidats de démultiplier facilement leurs candidatures, c’est au détriment de leur compréhension à savoir comment celles-ci seront prises en compte. Les fonctionnalités de tri massifs et automatisés restent encore l’apanage des grandes entreprises, notamment parce qu’elles nécessitent souvent d’accéder à des logiciels dédiés, comme les « systèmes de suivis de candidatures » (ATS, Applicant Tracking Systems) qui permettent de trier et gérer les candidats. Une grande majorité des employeurs y ont recours. Ces logiciels sont moins connus que les grandes plateformes de candidatures avec lesquelles ils s’interfacent. Ils s’appellent Workday, Taleo, Greenhouse, Lever, Phenom, Pintpoint, Recruitee, Jobvite… Sans compter les plus innovants parmi ces interfaces du recrutement, comme Sapia ou Hirevue, qui proposent d’automatiser jusqu’à l’entretien lui-même en mobilisant reconnaissance faciale, transcription des propos et analyse émotionnelle.

Tous ces systèmes font la même promesse aux entreprises qui les utilisent : minimiser et optimiser le nombre de candidats à un poste et réduire le temps de sélection des candidats. Pour ce faire, ces systèmes lisent les mots des CV selon les paramètres qu’en précisent les entreprises et que rendent disponibles les plateformes. Ils cherchent dans les CV les occurrences des termes qui décrivent le poste depuis l’annonce ou comparent les termes des CV candidats à ceux de personnes déjà en poste. La plupart utilisent des attributs par procuration pour détecter des compétences, comme le fait d’avoir un diplôme du supérieur ou le fait d’avoir des compétences précises formalisées par des mots-clefs littéraux.

Face à l’afflux des candidatures – en 2015, Glassdoor estimait qu’il y avait en moyenne 250 réponses par offre d’emploi pour 4 à 6 sélectionnés pour un entretien ; Jobvite, lui estime que le nombre moyen de candidats par offre tournerait plutôt autour de 29 en 2018, alors qu’il était de 52 en 2016, une baisse qui résulterait d’une meilleure optimisation des offres quand on pourrait questionner plutôt le recul de leur diffusion –, le recrutement automatisé s’est généralisé et ce dans une grande opacité au détriment des candidatures les plus précaires. Car dans ces outils, pour accélérer le tri, il est facile de ne retenir par exemple que ceux qui ont un diplôme du supérieur pour un poste qui n’en nécessite pas nécessairement. Les capacités de réglages sont bien plus conçues pour exclure et rejeter les candidatures que pour intégrer les candidats. Par exemple, comme souvent en informatique, si l’une des compétences exigée n’est pas présente, quelles que soit les qualifications et les qualités des autres compétences évaluées, le candidat va bien souvent être rejeté ou sa note globale dégradée, selon une moyennisation qui lisse les écarts plutôt que de capitaliser sur les forces et faiblesses des candidats. Dans leur livre, The Ordinal Society, les sociologues Marion Fourcade et Kieran Healy, parlent très justement du « lumpenscoretariat » pour qualifier le prolétariat du score dans le capitalisme numérique, pour parler de ceux qui sont toujours mal classés par les systèmes parce que les standards de ceux-ci s’adaptent extrêmement mal à tous les publics.

Ces logiciels de recrutement examinent, évaluent et classent les candidatures en leur attribuant des scores sur un certain nombre de critères définis par les possibilités du système et par l’entreprise qui recrute. Plusieurs scores sur plusieurs attributs sont produits (par exemple un score sur l’expérience requise, un score sur les compétences exigées, etc.) et forment un score unique qui permet de classer les candidatures les unes par rapport aux autres. Un très fort pourcentage de candidatures sont rejetées parce qu’elles ne remplissent pas les critères demandés. Et ce, alors que les employeurs ont tendance à démultiplier les critères pour réduire le nombre de candidats à examiner. Pour un simple emploi de vendeur, le nombre de compétences requises dans les offres d’embauche en ligne est en moyenne de 31 compétences différentes ! De plus en plus d’offres d’emploi demandent d’ailleurs des compétences qui étaient associées à d’autres professions : un vendeur doit savoir vendre, mais doit également désormais savoir utiliser tel ou tel logiciel par exemple ou disposer de compétences transverses, les fameux « soft skills », des aptitudes interpersonnelles qui n’ont pas toujours de liens avec les compétences techniques (qui elles relèvent par exemple de la maîtrise d’une langue étrangère ou de techniques de ventes spécifiques), que ce soient « l’autonomie », la « capacité à négocier » ou la « flexibilité », autant de « talents » dont l’appréciation est bien souvent difficile et subjective et que les calculs promettent de résoudre par des scores dont la formule est suffisamment complexe pour que nul ne regarde leurs défauts.

Bien souvent, les entreprises qui embauchent sont les premières responsables du sur-filtrage qu’elles utilisent. Mais surtout, à force de démultiplier les critères, elles ne parviennent pas à ouvrir leurs canaux de recrutement, comme s’en émouvait le rapport Fuller, Hidden Workers (2021). Joseph Fuller, le chercheur de la business school d’Harvard, montrait que nombre de candidats qualifiés n’étaient pas considérés par ces systèmes de tri automatisés. Nombre de systèmes de recrutement rejettent des candidats qui font de très bons scores sur nombre de critères, mais échouent totalement sur un seul d’entre eux, au profit de candidats qui peuvent être très moyens sur tous les critères. Ainsi, dans la moitié des outils d’analyse automatisés testés par son équipe, avoir un trou de 6 mois dans sa carrière conduit à une exclusion automatique, quelle que soit la raison de ce passage à vide (congé natalité, maladie…) et ce même si la candidature est par ailleurs très bien notée. Cet exemple montre que la qualification n’est pas le seul critère pris en compte. Ces systèmes font d’abord ce pour quoi ils sont programmés : minimiser le temps et le coût passé à recruter ! Pour Hilke Schellmann, ces exemples démontrent que les responsables RH devraient enquêter sur les outils qu’ils utilisent et comprendre les critères de sélection qu’ils mettent en œuvre. Les processus d’embauches automatisés se concentrent bien plus sur la détection de références que sur les capacités des candidats. L’automatisation du recrutement conduit à configurer les systèmes de manière inflexible afin d’en minimiser le nombre. Or, pour Fuller, ces outils devraient surtout permettre d’élargir le recrutement que de le resserrer, ils devraient permettre de s’intéresser aux expériences plus qu’aux compétences, explique-t-il en montrant que nombre de personnes compétentes ne sont pas recrutées parce que leur expérience peut-être sur des compétences similaires, mais dans un autre métier. Les descriptions de postes se complexifient, écartant certains postulants, et notamment les femmes qui ont tendance à postuler que si elles sont convaincues qu’elles satisfont à l’essentiel des exigences d’un poste.

Les responsables RH comme les recruteurs savent pertinemment que leurs outils ne sont pas toujours pertinents : 88% d’entre eux reconnaissent que ces outils excluent du processus d’embauche des candidats hautement qualifiés ou tout à fait qualifiés ! Leur efficacité elle-même est limitée, puisque 50% des employés embauchés ne sont plus en poste 18 mois après leur arrivée. Au final, comme leurs outils, les responsables RH ont souvent bien plus confiance dans les diplômes, la réputation des écoles que dans l’expérience. Les filtres des systèmes fonctionnent comme des proxys : avoir été embauché dans un rôle similaire à celui de l’annonce dans les derniers mois est souvent plus important que de trouver des personnes qui ont des expériences multiples qui devraient leur permettre de s’épanouir dans le poste. La recherche de l’adéquation empêche bien souvent de chercher l’adaptation. Le recrutement, dans sa logique, cherche à minimiser son coût plutôt que de maximiser le capital humain. Et ces systèmes qui visent d’abord à matcher avec des exigences strictes, peinent à favoriser la diversité plutôt que la similarité, les manières dont les gens ont progressé plutôt que les statuts qu’ils ont acquis.

Discriminations invisibles

Hilke Schellmann n’est pas la seule à s’inquiéter du fonctionnement des systèmes de recrutement. La professeure de droit américaine, Ifeoma Ajunwa, qui a publié l’année dernière The Quantified Worker (Le travailleur quantifié, Cambridge University Press, 2023 non traduit), explique elle aussi que les systèmes d’embauche automatisés réduisent tous les candidats à des scores. Dans ces scores, les pratiques discriminatoires, liées à l’âge, au sexe, à la couleur de peau, au handicap, au niveau social… sont invisibilisées. Or, ces systèmes se déploient sans contrôle, sans régulation, sans audit, sans label de qualité, sans informations aux candidats… Dans une tribune pour Wired, elle demandait à la Fédération du commerce qui régule ces questions aux États-Unis de faire son job : c’est-à-dire contrôler et sanctionner les pires pratiques !

Les systèmes servent à répliquer, amplifier et obfusquer les discriminations à grande échelle, estime la juriste. Dans l’histoire du développement des plateformes d’embauches depuis les années 1990, qu’elle dresse avec Daniel Greene, la principale raison de leur développement repose sur la promesse de réduire les biais de décisions en utilisant des processus techniques « neutres ». C’est pourtant bien à l’inverse qu’on a assisté : les décisions algorithmiques sont devenues le véhicule d’amplification des biais ! Mais, pour la juriste, la question des biais de ces systèmes est bien plus un problème légal que technique. Le problème, c’est que les biais des systèmes sont démultipliés à un niveau sans précédent. « La recherche d’un meilleur fonctionnement technique nous empêche trop souvent de regarder les limites légales de ces systèmes », explique Ajunwa. Trop de données sont des proxies pour contourner les interdictions légales à la discrimination inscrite dans la loi. Les discriminations de race, de genre, sociales… sont déguisées derrière une « nébuleuse adéquation culturelle » des candidats aux offres. Plus que les compétences ou l’expérience, les recruteurs et leurs machines sont à la recherche d’un « matching socio-culturel » qui masque ses motivations discriminatoires d’un couvert de neutralité, qui occulte combien nos stéréotypes acquis influencent en profondeur nos décisions, comme le fait de préférer certaines écoles à d’autres dans les recrutements, ou le fait que les systèmes de recrutements favorisent certains termes sur d’autres. Les exemples de biais de ce type sont nombreux et se démultiplient quand tous les termes d’un CV peuvent devenir prédictifs. C’est ainsi que parfois des prénoms, des formations ou des hobbies ont pu devenir des paramètres clefs de ces systèmes. Les systèmes d’analyse des CV fonctionnent bien trop sur des mots- clefs qui prennent alors des valeurs qui dépassent leur portée. L’avocat spécialiste des questions de travail Ken Willner a ainsi montré que des termes comme « Afric » ou « Latin », qu’ils soient associés à un travail où à un hobby (comme le fait de pratiquer la danse Afro par exemple) pouvaient dégrader le score d’un CV juste parce que la présence du terme renvoie à des publics afro-américains. Sur les douzaines de systèmes d’embauche que l’avocat a examinés, il a trouvé des variables problématiques dans plus d’un quart ! Pour Willner, les entreprises qui développent ces outils ne font même pas le travail liminaire de contrôle et de non prise en compte de termes potentiellement discriminatoires. Willner en a trouvé bien d’autres, comme la pratique du baseball et du softball, le second surtout joué par des femmes, dont l’occurrence pouvait être prise en compte pour dégrader le score des secondes.

L’autoritarisme de plateforme pour obscurcir les discriminations

Les systèmes d’embauche automatisés permettent d’abord d’obscurcir les discriminations. Par exemple, celles liées à l’âge, alors que la loi les interdit. Plusieurs études ont montré que la discrimination liée à l’âge est exacerbée par l’automatisation. Un audit de la banque of America a montré que les gens de plus de 40 ans avaient un taux de rappel suite à une candidature 30% moins élevée que les plus jeunes pour des emplois de base et que ce taux s’effondrait plus encore pour les femmes de plus de 40 ans. Le problème, estime Ifeoma Ajunwa c’est que ces discriminations liées à l’âge sont facilitées sur les plateformes, comme l’avait souligné une enquête de CNBC.

Reste, souligne la juriste, que les disparités de traitements sont difficiles à prouver, d’abord et avant tout parce que les plateformes d’emploi ne sont contraintes à aucune transparence statistique sur ce qu’elles font. Une étude a même montré que pour quelque 600 plaintes pour discrimination raciale à l’emploi aux Etats-Unis, la majorité des jugements rendus peinent à reconnaître la discrimination à l’œuvre. Ajunwa parle « d’autoritarisme de plateforme » pour évoquer les contradictions entre les politiques des plateformes et les législations. Cet autoritarisme masque la relation qu’elles entretiennent avec les candidats comme intermédiaires qui bénéficie bien plus aux employeurs et aux plateformes qu’aux utilisateurs. Pas étonnant dès lors que le public soit très critique à l’égard des plateformes d’embauche, comme le montrait un sondage du Pew sur la très vive défiance du grand public à l’encontre de l’embauche automatisée (avec un autre biais récurrent, qui est de croire que le système a plus de conséquences négatives globalement que pour soi personnellement).

Plus que de résoudre les dérives du recrutement, son automatisation a surtout généré un empilement de problèmes, que toute la chaîne de la HR tech tente de mettre sous le tapis, plutôt que de l’affronter. Il n’est pas sûr que ce soit une position longtemps tenable…

(à suivre)

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 18 mars 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Dans le miroir des données inférées, qui sommes-nous ? Et comment arrêter ce délire d’hallucinations ?

Comment les systèmes interprètent-ils les images ? Ente, une entreprise qui propose de chiffrer vos images pour les échanger de manière sécurisée sans que personne d’autres que ceux que vous autorisez ne puisse les voir, a utilisé l’API Google Vision pour montrer comment les entreprises infèrent des informations des images. C’est-à-dire comment ils les voient, comment les systèmes automatisés les décrivent. Ils ont mis à disposition un site pour nous expliquer comment « ILS » voient nos photos, qui permet à chacun d’uploader une image et voir comment Google Vision l’interprète.

Sommes-nous ce que les traitements disent de nous ?

Le procédé rappelle le projet ImageNet Roulette de Kate Crawford et Trevor Paglen, qui renvoyait aux gens les étiquettes stéréotypées dont les premiers systèmes d’intelligence artificielle affublaient les images. Ici, ce ne sont pas seulement des étiquettes dont nous sommes affublés, mais d’innombrables données inférées. Pour chaque image, le système produit des informations sur le genre, l’origine ethnique, la localisation, la religion, le niveau de revenu, les émotions, l’affiliation politique, décrit les habits et les objets, pour en déduire des passe-temps… mais également des éléments de psychologie qui peuvent être utilisés par le marketing, ce qu’on appelle les insights, c’est-à-dire des éléments permettant de caractériser les attentes des consommateurs. Par exemple, sur une des images en démonstration sur le site représentant une famille, le système déduit que les gens priorisent l’esthétique, sont facilement influençables et valorisent la famille. Enfin, l’analyse associe des mots clefs publicitaires comme albums photos personnalisé, produits pour la peau, offre de voyage de luxe, système de sécurité domestique, etc. Ainsi que des marques, qui vont permettre à ces inférences d’être directement opérationnelles (et on peut se demander d’ailleurs, pourquoi certaines plutôt que d’autres, avec le risque que les marques associées démultiplient les biais, selon leur célébrité ou leur caractère international, comme nous en discutions en évoquant l’optimisation de marques pour les modèles génératifs).

Autant d’inférences probables, possibles ou potentielles capables de produire un profil de données pour chaque image pour leur exploitation marketing.

Comme l’explique le philosophe Rob Horning, non seulement nos images servent à former des modèles de reconnaissance d’image qui intensifient la surveillance, mais chacune d’entre elles produit également des données marketing disponibles pour tous ceux qui souhaitent les acheter, des publicitaires aux agences de renseignement. Le site permet de voir comment des significations sont déduites de nos images. Nos photos, nos souvenirs, sont transformés en opportunités publicitaires, identitaires et consuméristes, façonnées par des logiques purement commerciales (comme Christo Buschek et Jer Thorp nous l’avaient montré de l’analyse des données de Laion 5B). L’inférence produit des opportunités, en ouvre certaines et en bloque d’autres, sur lesquelles nous n’avons pas la main. En nous montrant comment les systèmes interprètent nos images, nous avons un aperçu de ce que, pour les machines, les signifiants signifient.

Mais tout n’est pas parfaitement décodable et traduisible, transparent. Les inférences produites sont orientées : elles ne produisent pas un monde transparent, mais un monde translucide. Le site They see your photos nous montre que les images sont interprétées dans une perspective commerciale et autoritaire, et que les représentations qu’elles produisent supplantent la réalité qu’elles sont censées interpréter. Il nous permet de voir les biais d’interprétation et de nous situer dans ceux-ci ou de nous réidentifier sous leur répétition.

Nous ne sommes pas vraiment la description produite de chacune de ces images. Et pourtant, nous sommes exactement la personne au cœur de ces descriptions. Nous sommes ce que ces descriptions répètent, et en même temps, ce qui est répété ne nous correspond pas toujours ou pas du tout.

Un monde indifférent à la vérité

L’autre démonstration que permet le site, c’est de nous montrer l’évolution des inférences publicitaires automatisées. Ce que montre cet exemple, c’est que l’enjeu de régulation n’est pas de produire de meilleures inférences, mais bien de les contenir, de les réduire – de les faire disparaître voire de les rendre impossibles. Nous sommes désormais coincés dans des systèmes automatisés capables de produire de nous, sur nous, n’importe quoi, sans notre consentement, avec un niveau de détail et de granularité problématique.

Le problème n’est pas l’automatisation publicitaire que ce délire de profilage alimente, mais bien le délire de profilage automatisé qui a été mis en place. Le problème n’est pas la qualité des inférences produites, le fait qu’elles soient vraies ou fausses, mais bien le fait que des inférences soient produites. La prévalence des calculs imposent avec eux leur monde, disions-nous. Ces systèmes sont indifférents à la vérité, expliquait le philosophe Philippe Huneman dans Les sociétés du profilage (Payot, 2023). Ils ne produisent que leur propre renforcement. Les machines produisent leurs propres mèmes publicitaires. D’un portrait, on propose de me vendre du cognac ou des timbres de collection. Mais ce qu’on voit ici n’est pas seulement leurs défaillances que leurs hallucinations, c’est-à-dire leur capacité à produire n’importe quels effets. Nous sommes coincés dans un régime de facticité, comme le dit la philosophe Antoinette Rouvroy, qui finit par produire une vérité de ce qui est faux.

Où est le bouton à cocher pour refuser ce monde ?

Pourtant, l’enjeu n’est pas là. En regardant très concrètement les délires que ces systèmes produisent on se demande surtout comment arrêter ces machines qui ne mènent nulle part ! L’exemple permet de comprendre que l’enjeu n’est pas d’améliorer la transparence ou l’explicabilité des systèmes, ou de faire que ces systèmes soient plus fiables, mais bien de les refuser. Quand on comprend la manière dont une image peut-être interprétée, on comprend que le problème n’est pas ce qui est dit, mais le fait même qu’une interprétation puisse être faite. Peut-on encore espérer un monde où nos photos comme nos mots ne sont tout simplement pas interprétés par des machines ? Et ce alors que la grande interconnexion de celles-ci facilite ce type de production. Ce que nous dit « They see your photos », c’est que pour éviter ce délire, nous n’avons pas d’autres choix que d’augmenter considérablement la confidentialité et le chiffrement de nos échanges. C’est exactement ce que dit Vishnu Mohandas, le développeur de Ente.

Hubert Guillaud

MÀJ du 25/03/2025 : Il reste une dernière inconnue dans les catégorisations problématiques que produisent ces outils : c’est que nous n’observons que leurs productions individuelles sur chacune des images que nous leur soumettons… Mais nous ne voyons pas les catégorisations collectives problématiques qu’ils peuvent produire. Par exemple, combien de profils de femmes sont-ils catalogués comme à « faible estime de soi » ? Combien d’hommes catégorisés « impulsifs » ? Combien d’images de personnes passées un certain âge sont-elles caractérisées avec des mots clés, comme « alcool » ? Y’a-t-il des récurrences de termes selon le genre, l’âge putatif, l’origine ou le niveau de revenu estimé ?… Pour le dire autrement, si les biais individuels semblent innombrables, qu’en est-il des biais démographiques, de genre, de classe… que ces outils produisent ? L’exemple permet de comprendre très bien que le problème des biais n’est pas qu’un problème de données et d’entraînement, mais bien de contrôle de ce qui est produit. Ce qui est tout de suite bien plus problématique encore…

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 17 février 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

Dans son livre, « Your face belongs to us », Kashmir Hill nous permet de comprendre que la reconnaissance faciale n’est pas un projet technologique. Elle est un projet idéologique, soutenue et financée par des gens qui ont un projet politique radical pour la société. Elle est un outil qui vise à contourner le droit pour faire advenir une autre société.

 

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 10 février 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

« Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien ».

 

Avec cet article, nous nous lançons dans un dossier que nous allons consacrer à la reconnaissance faciale et au continuum sécuritaire. Première partie.

Your face belongs to us (Random House, 2023), le livre que la journaliste du New York Times, Kashmir Hill, a consacré à Clearview, l’entreprise leader de la reconnaissance faciale, est une plongée glaçante dans la dystopie qui vient.

Jusqu’à présent, j’avais tendance à penser que la reconnaissance faciale était problématique d’abord et avant tout parce qu’elle était défaillante. Elle est « une technologie qui souvent ne marche pas », expliquaient Mark Andrejevic et Neil Selwyn (Facial Recognition, Wiley, 2022), montrant que c’est souvent dans son implémentation qu’elle défaille. La juriste, Clare Garvie, faisait le même constat. Si l’authentification (le fait de vérifier qu’une personne est la même que sur une photo) fonctionne mieux que l’identification (le fait de retrouver une personne dans une banque d’image), les deux usages n’ont cessé ces dernières années de montrer leurs limites.

Mais les choses évoluent vite.

« Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien »

Dans leur livre, AI Snake Oil, les spécialistes de l’intelligence artificielle, Arvind Narayanan et Sayash Kapoor, soulignent pourtant que le taux d’erreur de la reconnaissance faciale est devenu négligeable (0,08% selon le NIST, l’Institut national des normes et de la technologie américain). « Quand elle est utilisée correctement, la reconnaissance faciale tend à être exacte, parce qu’il y a peu d’incertitude ou d’ambiguïté dans la tâche que les machines doivent accomplir ». Contrairement aux autres formes d’identification (identifier le genre ou reconnaître une émotion, qui sont bien plus sujettes aux erreurs), la différence cruciale c’est que l’information requise pour identifier des visages, pour les distinguer les uns des autres, est présente dans les images elles-mêmes. « Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien » et c’est en cela qu’elle peut produire énormément de dommages.

Le risque que porte la reconnaissance faciale repose tout entier dans la façon dont elle va être utilisée. Et de ce côté-là, les dérives potentielles sont innombrables et inquiétantes. Gouvernements comme entreprises peuvent l’utiliser pour identifier des opposants, des personnes suspectes mais convaincues d’aucuns délits. Certes, elle a été utilisée pour résoudre des affaires criminelles non résolues avec succès. Certes, elle est commode quand elle permet de trier ou d’organiser ses photos… Mais si la reconnaissance faciale peut-être hautement précise quand elle est utilisée correctement, elle peut très facilement être mise en défaut dans la pratique. D’abord par ses implémentations qui peuvent conduire à y avoir recours d’une manière inappropriée et disproportionnée. Ensuite quand les images ne sont pas d’assez bonnes qualités, au risque d’entraîner tout le secteur de la sécurité dans une course sans limites à toujours plus de qualité, nécessitant des financements disproportionnés et faisant peser un risque totalitaire sur les libertés publiques. Pour Narayanan et Kapoor, nous devons avoir un débat vigoureux et précis pour distinguer les bons usages des usages inappropriés de la reconnaissance faciale, et pour développer des gardes-fous pour prévenir les abus et les usages inappropriés tant des acteurs publics que privés.

Certes. Mais cette discussion plusieurs fois posée n’a pas lieu. En 2020, quand la journaliste du New York Times a commencé ses révélations sur Clearview, « l’entreprise qui pourrait mettre fin à la vie privée », le spécialiste de la sécurité, Bruce Schneier avait publié une stimulante tribune pour nous inviter à réglementer la ré-identification biométrique. Pour lui, nous devrions en tant que société, définir des règles pour déterminer « quand une surveillance à notre insu et sans notre consentement est permise, et quand elle ne l’est pas », quand nos données peuvent être combinées avec d’autres et quand elles ne peuvent pas l’être et enfin savoir quand et comment il est permis de faire de la discrimination biométrique et notamment de savoir si nous devons renforcer les mesures de luttes contre les discriminations qui vont se démultiplier avec cette technologie et comment. En France, à la même époque, le sociologue Laurent Mucchielli qui avait fait paraître son enquête sur la vidéosurveillance (Vous êtes filmés, Dunod, 2018 – voir notre compte-rendu de l’époque, désabusé), posait également sur son blog des questions très concrètes sur la reconnaissance faciale : « Quelle partie de la population serait fichée ? Et qui y aurait accès ? Voilà les deux problèmes. » Enfin, les deux professeurs de droit, Barry Friedman (auteur de Unwarranted : policing without permission, 2017) et Andrew Guthrie Ferguson, (auteur de The Rise of Big Data policing, 2017) condamnaient à leur tour, dans une tribune pour le New York Times, « la surveillance des visages » (c’est-à-dire, l’utilisation de la reconnaissance faciale en temps réel pour trouver où se trouve quelqu’un) mais reconnaissaient que l’identification faciale (c’est-à-dire la réidentification d’un criminel, uniquement pour les crimes les plus graves), elle, pourrait être autorisée. Ils y mettaient néanmoins une condition : la réidentification des visages ne devrait pas être autorisée sans décision de justice et sans sanction en cas d’utilisation abusive. Mais, à nouveau, ce n’est pas ce qui s’est passé. La reconnaissance faciale s’est déployée sans contraintes et sans limites.

Les dénonciations comme les interdictions de la reconnaissance faciale sont restées éparses. Les associations de défense des libertés publiques ont appelé à des moratoires et mené des campagnes pour l’interdiction de la reconnaissance faciale, comme Ban Facial Recognition aux Etats-Unis ou Reclaim your face en Europe. Souvent, ces interdictions restent circonscrites à certains types d’usages, notamment les usages de police et de surveillance d’État, oubliant les risques que font courir les outils de surveillance privée.

Reste que le débat public sur son implémentation et ses modalités est inexistant. Au lieu de débats de sociétés, nous avons des « expérimentations » qui dérogent au droit, des déploiements épars et opaques (plus de 200 autorités publiques par le monde sont clientes de Clearview qui n’est qu’un outil parmi une multitude de dispositifs plus ou moins efficaces, allant de la reconnaissance faciale, à la vidéosurveillance algorithmique), et surtout, un immense déni sur les enjeux de ces technologies. Au final, nous ne construisons aucune règle morale sur son utilité ou son utilisation. Nous faisons collectivement l’autruche et son utilisation se déploie sans cadres légaux clairs dans un continuum de technologies sécuritaires et problématiques, allant des drones aux technologies de contrôle de l’immigration.

Une histoire de la reconnaissance faciale : entre amélioration par à-coups et paniques morales à chaque amélioration

Dans son livre, Your face belongs to us, Kashmir Hill alterne à la fois une histoire de l’évolution de la technologie et une enquête sur le développement de Clearview.

Sur cette histoire, Hill fait un travail qui met en exergue des moments forts. Elle rappelle d’abord que le terme de vie privée, définit à l’origine comme le droit d’être laissé tranquille par les juristes américains Samuel Warren et Louis Brandeis, était inspiré par la création de la pellicule photographique par Kodak, qui promettait de pouvoir sortir l’appareil photo des studios où il était jusqu’alors confiné par son temps de pause très long. Dans cette longue histoire de la reconnaissance faciale, Hill raconte notamment l’incroyable histoire du contrôle des tickets de trains américains dans les années 1880, où les contrôleurs poinçonnaient les tickets selon un codage réduit (de 7 caractéristiques physiques dont le genre, l’âge, la corpulence…) permettant aux contrôleurs de savoir si le billet contrôlé correspondait bien à la personne qui l’avait déjà présenté. Bien évidemment, cette reconnaissance humaine et basique causa d’innombrables contestations, tant ces appréciations d’un agent à un autre pouvaient varier. Mais la méthode aurait inspiré Herman Hollerith, qui va avoir l’idée de cartes avec des perforations standardisées et va adapter la machine pour le recensement américain, donnant naissance à l’entreprise qui deviendra IBM.

Hill surfe sur l’histoire de l’IA, des Perceptrons de Marvin Minsky, à Panoramic, l’entreprise lancée dans les années 60 par Woody Bledsoe, qui va être la première, à la demande de la CIA, à tenter de créer un outil de reconnaissance des visages simplifié, en créant une empreinte de visages comme autant de points saillants. Elle raconte que les améliorations dans le domaine vont se faire avec l’amélioration de la qualité et de la disponibilité des images et de la puissance des ordinateurs, à l’image des travaux de Takeo Kanade (dans les années 70, pour l’entreprise japonaise NEC), puis de Matthew Turk qui va bénéficier de l’amélioration de la compression des images. Accusé d’être à la tête d’un programme Orwellien, Turk s’en défendra pourtant en soulignant qu’enregistrer les informations sur les gens qui passent devant une caméra est surtout bénin. À croire que notre déni sur les conséquences de cette technologie remonte à loin.

En 2001, lors du Super Bowl, plusieurs entreprises, dont Viisage Technology et Raytheon, communiquent sur le fait qu’elles ont sécurisé l’accès au stade grâce à la reconnaissance faciale, identifiant 19 spectateurs avec un passé criminel. Viisage a récupéré la technologie de Turk et l’a commercialisé pour des badges d’identification pour entreprises. Ces déploiements technologiques, financés par les agences fédérales, commencent à inquiéter, notamment quand on apprend que des entreprises y ont recours, comme les casinos. Reste que la technologie est encore largement défaillante et peine bien souvent à identifier quiconque.

Mais le 11 septembre a changé la donne. Le Patriot Act permet aux agences du gouvernement d’élargir leurs accès aux données. Joseph Atick, cofondateur de Visionics, une autre entreprise du secteur, propose sa technologie aux aéroports pour rassurer les voyageurs. Il sait que celle-ci n’est pas au point pour identifier les terroristes, mais il a besoin des données pour améliorer son logiciel. Bruce Schneider aura beau dénoncer le « théâtre de la sécurité » , l’engrenage sécuritaire est lancé… Face à ses déploiements, les acteurs publics ont besoin d’évaluer ce qu’ils achètent. Jonathon Philips du National Institute of Standards and Technology (Nist) créée une base de données de visages de très bonne qualité sous différents angles, « Feret », pour tester les outils que vendent les entreprises. Il inaugure un concours où les vendeurs de solutions sont invités à montrer qui parvient à faire le mieux matcher les visages aux photos. En 2001, le premier rapport du Nist montre surtout qu’aucune entreprise n’y parvient très bien. Aucune entreprise n’est capable de déployer un système efficace, mais cela ne va pas les empêcher de le faire. Les meilleures entreprises, comme celle d’Atick, parviennent à faire matcher les photos à 90%, pour autant qu’elles soient prises dans des conditions idéales. Ce qui tient surtout de l’authentification faciale fonctionne également mieux sur les hommes que sur les femmes, les personnes de couleurs ou les jeunes. En 2014, le FBI lance à son tour un concours pour rendre sa base d’images de criminels cherchable, mais là encore, les résultats sont décevants. La technologie échoue dès qu’elle n’est pas utilisée dans des conditions idéales.

En 2006, le juriste de l’ACLU James Ferg-Cadima découvre dans une grande surface la possibilité de payer depuis son empreinte digitale. Face à de tels dispositifs, s’inquiète-t-il, les consommateurs n’ont aucun moyen de protéger leurs empreintes biométriques. Quand son mot de passe est exposé, on peut en obtenir un nouveau, mais nul ne peut changer son visage ou ses empreintes. Le service « Pay by Touch », lancé en 2002 fait faillite en 2007, avec le risque que sa base d’empreintes soit vendue au plus offrant ! Avec l’ACLU, Ferg-Cadima œuvre alors à déployer une loi qui oblige à recevoir une permission pour collecter, utiliser ou vendre des informations biométriques : le Biometric Information Privacy Act (Bipa) que plusieurs Etats vont adopter.

En 2009, Google imagine des lunettes qui permettent de lancer une recherche en prenant une photo, mais s’inquiète des réactions, d’autant que le lancement de Street View en Europe a déjà terni son image de défenseur de la vie privée. La fonctionnalité de reconnaissance faciale existe déjà dans Picasa, le service de stockage d’images de Google, qui propose d’identifier les gens sur les photos et que les gens peuvent labelliser du nom de leurs amis pour aider le logiciel à progresser. En 2011, la fonctionnalité fait polémique. Google l’enterre.

À la fin des années 90, l’ingénieur Henry Schneiderman accède à Feret, mais trouve que la base de données est trop parfaite pour améliorer la reconnaissance faciale. Il pense qu’il faut que les ordinateurs soient d’abord capables de trouver un visage dans les images avant qu’ils puissent les reconnaître. En 2000, il propose d’utiliser une nouvelle technique pour cela qui deviendra en 2004, PittPatt, un outil pour distinguer les visages dans les images. En 2010, le chercheur Alessandro Acquisti, fasciné par le paradoxe de la vie privée, lance une expérience en utilisant PittPatt et Facebook et montre que ce croisement permet de ré-identifier tous les étudiants qui se prêtent à son expérience, même ceux qui n’ont pas de compte Facebook, mais qui ont été néanmoins taggés par leurs amis dans une image. Acquisti prédit alors la « démocratisation de la surveillance » et estime que tout le monde sera demain capable d’identifier n’importe qui. Pour Acquisti, il sera bientôt possible de trouver le nom d’un étranger et d’y associer alors toutes les données disponibles, des sites web qu’il a visité à ses achats en passant par ses opinions politiques… et s’inquiète du fait que les gens ne pourront pas y faire grand-chose. Pour le professeur, d’ici 2021 il sera possible de réidentifer quelqu’un depuis son visage, prédit-il. Acquisti s’est trompé : la fonctionnalité a été disponible bien plus tôt !

En 2011, PittPatt est acquise par Google qui va s’en servir pour créer un système pour débloquer son téléphone. En décembre 2011, à Washington se tient la conférence Face Facts, sponsorisée par la FTC qui depuis 2006 s’est doté d’une petite division chargée de la vie privée et de la protection de l’identité, quant, à travers le monde, nombre d’Etats ont créé des autorités de la protection des données. Si, suite à quelques longues enquêtes, la FTC a attaqué Facebook, Google ou Twitter sur leurs outils de réglages de la vie privée défaillants, ces poursuites n’ont produit que des arrangements amiables. À la conférence, Julie Brill, fait la démonstration d’un produit de détection des visages que les publicitaires peuvent incorporer aux panneaux publicitaires numériques urbains, capable de détecter l’âge où le genre. Daniel Solove fait une présentation où il pointe que les Etats-Unis offrent peu de protections légales face au possible déploiement de la reconnaissance faciale. Pour lui, la loi n’est pas prête pour affronter le bouleversement que la reconnaissance faciale va introduire dans la société. Les entreprises se défendent en soulignant qu’elles ne souhaitent pas introduire de systèmes pour dé-anonymiser le monde, mais uniquement s’en servir de manière inoffensive. Cette promesse ne va pas durer longtemps…

En 2012, Facebook achète la startup israélienne Face.com et Zuckerberg demande aux ingénieurs d’utiliser Facebook pour « changer l’échelle » de la reconnaissance faciale. Le système de suggestions d’étiquetage de noms sur les photos que les utilisateurs chargent sur Facebook est réglé pour n’identifier que les amis, et pas ceux avec qui les utilisateurs ne sont pas en relation. Facebook assure que son outil ne sera jamais ouvert à la police et que le réseau social est protégé du scraping. On sait depuis que rien n’a été moins vrai. Après 5 ans de travaux, en 2017, un ingénieur de Facebook provenant de Microsoft propose un nouvel outil à un petit groupe d’employés de Facebook. Il pointe la caméra de son téléphone en direction d’un employé et le téléphone déclame son nom après l’avoir reconnu.

À Stanford, des ingénieurs ont mis au point un algorithme appelé Supervision qui utilise la technologie des réseaux neuronaux et qui vient de remporter un concours de vision par ordinateur en identifiant des objets sur des images à des niveaux de précision jamais atteints. Yaniv Taigman va l’utiliser et l’améliorer pour créer DeepFace. En 2014, DeepFace est capable de faire matcher deux photos d’une même personne avec seulement 3% d’erreurs, même si la personne est loin dans l’image et même si les images sont anciennes. En 2015, DeepFace est déployé pour améliorer l’outil d’étiquetage des images de Facebook.

En 2013, les révélations d’Edward Snowden changent à nouveau la donne. D’un coup, les gens sont devenus plus sensibles aux incursions des autorités à l’encontre de la vie privée. Pourtant, malgré les efforts de militants, le Congrès n’arrive à passer aucune loi à l’encontre de la reconnaissance faciale ou de la protection de la vie privée. Seules quelques villes et États ont musclé leur législation. C’est le cas de l’Illinois où des avocats vont utiliser le Bipa pour attaquer Facebook accusé d’avoir créé une empreinte des visages des 1,6 millions d’habitants de l’Etat.

Cette rapide histoire, trop lacunaire parfois, semble s’arrêter là pour Hill, qui oriente la suite de son livre sur le seul Clearview. Elle s’arrête effectivement avec le déploiement de l’intelligence artificielle et des réseaux de neurones qui vont permettre à la reconnaissance faciale de parvenir à l’efficacité qu’elle espérait.

Reste que cette rapide histoire, brossée à grands traits, souligne néanmoins plusieurs points dans l’évolution de la reconnaissance faciale. D’abord que la reconnaissance faciale progresse par vague technologique, nécessitant l’accès à de nouvelles puissances de calcul pour progresser et surtout l’accès à des images en quantité et en qualité.

Ensuite, que les polémiques et paniques nourrissent les projets et les relancent plutôt que de les éteindre. Ceux qui les développent jouent souvent un jeu ambivalent, minimisant et dissimulant les capacités des programmes qu’ils déploient.

Enfin, que les polémiques ne permettent pas de faire naître des législations protectrices, comme si la législation était toujours en attente que la technologie advienne. Comme si finalement, il y avait toujours un enjeu à ce que la législation soit en retard, pour permettre à la technologie d’advenir.

(à suivre)

Bienvenue à toutes et tous pour ce quatrième numéro de la FramIActu !

Semaine après semaine, l’actualité autour de l’Intelligence Artificielle défile, et si pour autant nous ne voyons pas plus clairement le cap que nous devons suivre, nous percevons de mieux en mieux les remous qui nous entourent.

Préparez votre boisson préférée et installez-vous confortablement : c’est l’heure de la FramIActu !

Une dépendance trop forte aux modélisations par IA est mauvaise pour la science

Dans un article paru le 07 avril 2025 dans Nature (accès payant, malheureusement), des chercheureuses démontrent que la dépendance excessive aux modélisations par IA nuit à la recherche scientifique.
Dans cette étude, nous apprenons que de nombreux champs de recherche (au moins une trentaine sont concernés, allant de la psychiatrie à la biologie moléculaire) sont affectés par des études basées sur des modélisations faites par IA dont les résultats sont erronés.

À titre d’exemple, les chercheureuses indiquent que durant la pandémie du COVID-19, 415 études ont avancé qu’une radiographie de la poitrine ou une tomodensitométrie pourraient diagnostiquer la maladie. Or, seulement 62 de ces études respectaient un standard de qualité suffisant et même parmi celles-ci, des défauts étaient très répandus, incluant des méthodes d’évaluation bancales, des données dupliquées et un manque de clarté concernant les cas « positifs », certaines études ne précisant pas si ces cas provenaient bien de personnes ayant un diagnostic médical confirmé.

Les auteurices de l’étude se plaignent aussi de la difficulté à reproduire les résultats des études (la reproductibilité étant une condition essentielle à la méthode scientifique) utilisant des IA basées sur de grands modèles de langage. Ces modèles sont très sensibles aux entrées : de tous petits changements de formulations lors de la requête peut générer une réponse très différente.
De plus, les modèles appartenant le plus souvent à des compagnies privées, il est très difficile de pouvoir y accéder rendant des études basées sur ceux-ci difficiles à reproduire.
D’autant plus que des mises à jour des modèles surviennent régulièrement, sans que les chercheureuses n’aient été notifié·es.

Les chercheureuses appuient donc sur la nécessité d’être vigilant·es concernant l’augmentation de recherches scientifiques liées au boom de l’IA. Même si celles-ci étaient sans erreur, elles ne sont pas forcément synonymes de réelles avancées scientifiques.
Bien que certaines modélisations trouvées par des recherches basées sur de l’IA peuvent être utiles, en tirer une conclusion scientifique permettant de mieux comprendre le réel est bien plus difficile et les chercheureuses invitent leurs collègues à ne pas se tromper.
Les boites à outils composées d’IA basées sur de l’apprentissage machine permettent de construire plus facilement des modélisations mais ne rendent pas nécessairement plus faciles l’extraction des savoirs sur le monde et peuvent même rendre celle-ci plus difficile.
Le risque est donc de produire plus mais de comprendre moins.

Les auteurices invitent en conclusion à séparer la production de résultats individuels du progrès scientifique. Pour cela, celleux-ci indiquent qu’il est nécessaire de rédiger des synthèses avec un discours moins systématique et plus critique qui questionne les méthodes acceptées, adopte différentes formes de preuves, se confronte à des affirmations supposément incompatibles et théorise les découvertes existantes.
Aussi, une prudence bien plus forte doit être apportée aux recherches basées sur des modèles d’IA, jusqu’à ce que les résultats de celles-ci puissent être rigoureusement reproduits.
Enfin, les chercheureuses encouragent les financeurs à financer des recherches de qualité plutôt que de se focaliser sur la quantité.

L’IA rate les diagnostics médicaux de femmes et personnes noires.

Dans une étude parue dans Science Advances, un groupe de chercheureuses dévoile (sans grande surprise, avouons-le) qu’un des modèles d’IA les plus utilisés pour faire de la radiologie des poitrines à la recherche de maladies ne détecte pas correctement certain·es maladies potentiellement mortelles pour les groupes marginalisés (dont les femmes et les personnes noires).

Judy Gichoya, une informaticienne et radiologiste qui n’est pas impliquée dans l’étude, appuie sur la difficulté de réduire ces biais. Elle propose de s’appuyer sur des jeux de données plus petits mais plus diversifiés et de résoudre leurs défauts petit à petit.

L’étude s’inscrit dans un contexte où l’utilisation dans des contextes médicaux s’accélère et appuie ainsi sur la nécessité de toujours garder un regard humain sur les diagnostics et de ne jamais faire aveuglément confiance en les résultats fournis par une IA.

De notre point de vue, la grande difficulté de la résolution des biais dans l’IA est liée à une volonté politique et financière : si ce genre de méthode se généralise, il faudrait très certainement investir massivement dans la numérisation des réalités des minorités et faire un immense travail de fond pour en éliminer le maximum de biais.
Cela semble malheureusement aller à contre-courant de la tendance actuelle.

Des expert·es en sécurité informatique dévoilent comment l’IA « malveillante » impacte le domaine

Lors de la conférence RSA, dédiée à la sécurité informatique, des expert·es du domaine ont dévoilé la puissance d’outils comme WormGPT pour découvrir des failles de sécurité et concevoir des attaques les exploitant.

WormGPT est un agent conversationnel ressemblant à ChatGPT mais n’ayant pas de modération. Celui-ci est aussi taillé pour la cybersécurité. On peut donc lui demander de fournir des réponses à tout, même à des choses illégales et/ou dangereuses.

Dans leur présentation, les informaticien·nes décrivent l’outil et ses capacités.
Celui-ci leur a permis de trouver rapidement des failles de sécurité dans un logiciel open source connu, mais aussi d’en générer des instructions claires permettant d’exploiter ces failles.

Les expert·es ont aussi cherché à faire générer directement le code par l’IA mais celui-ci n’était pas fonctionnel.
Ce dernier point sera très certainement amélioré au fil des prochains mois.

L’automatisation de l’analyse de failles informatiques a ainsi fait un bond conséquent en avant tout comme les capacités à les exploiter. Si des groupes de pirates se mettent à automatiser le processus, l’ensemble des systèmes informatiques risquent fort d’en pâtir.

D’un autre côté, si nous pouvons découvrir automatiquement des failles de sécurité dans nos logiciels, nous pouvons aussi chercher à les corriger avant qu’un·e attaquant·e ne les exploite.
L’utilisation de l’IA dans l’infrastructure entourant un logiciel semble donc presque inévitable de ce point de vue.

Enfin, nous pourrons aussi questionner ce que cela implique pour les développeur·euses modestes, notamment celleux partageant le code source de leur logiciel. Est-ce que la situation va ajouter encore plus de poids sur leurs épaules, leur demandant d’alourdir leur charge de travail (souvent bénévole) en mettant en place une infrastructure analysant les failles de sécurité et leur demandant de les résoudre au plus vite pour protéger leurs utilisateurices ?

ChatGPT induit des psychoses à certain·es utilisateurices via ses réponses.

Dans un article de Rolling Stone, nous apprenons que des utilisateurices du média social Reddit décrivent comment l’IA a poussé leurs proches à adopter des délires, souvent basés sur des folies spirituelles ou des fantasmes surnaturels.

ChatGPT semble renforcer des psychoses chez certaines personnes, le plus souvent celles ayant déjà des tendances.
Interviewée par Rolling Stone, Erin Westgate, chercheuse en cognition, indique que certaines personnes utilisent ChatGPT comme « thérapie miroir ». Sauf que ChatGPT n’a pas pour préoccupation les intérêts de ces personnes.
Elle indique que des personnes utilisent ChatGPT pour trouver un sens à leur vie et ChatGPT leur recrache n’importe quelle explication trouvée un peu partout sur internet.

« Les explications sont puissantes, même si elles sont fausses » – Erin Westgate

Rappelons donc encore une fois que toute Intelligence Artificielle n’a aucune compréhension du réel et est surtout un système probabiliste. Une IA ne donnera jamais une réponse qu’elle considère être « vraie », c’est une notion inconnue pour elle. Elle donnera toujours une réponse qu’elle considère être « la plus probable » au regard de la manière dont elle a été entraînée et de l’historique de ses interactions avec l’utilisateur·ice.

C’est tout pour ce mois-ci !

 

Cependant, si vous avez trouvé cette FramIActu trop courte et que vous êtes resté·e sur votre faim, vous pouvez vous mettre d’autres actualités sous la dent en consultant notre site de curation dédié au sujet, mais aussi et surtout FramamIA, notre site partageant des clés de compréhension sur l’IA !

Si nous pouvons vous proposer cette nouvelle revue mensuelle, c’est grâce à vos dons, Framasoft vivant presque exclusivement grâce à eux !
Pour nous soutenir et si vous en avez les moyens, vous pouvez nous faire un don via le formulaire dédié  !

Dans tous les cas, nous nous retrouverons le mois prochain pour un nouveau numéro de FramIActu ! 👋

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 03 février 2025 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

L’utopie algorithmique des puissants est la dystopie algorithmique des démunis.