Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 10 octobre 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

---

 

Comment distinguer le bon grain de l’ivraie de l’Intelligence artificielle ? C’est la promesse que font les chercheurs Arvind Narayanan et Sayash Kapoor dans leur nouveau livre, AI Snake Oil. S’ils n’y arrivent pas toujours, les deux spécialistes nous aident à comprendre les défaillances de l’IA dans un livre qui mobilise la science pour qu’elle nous aide à éclairer le chemin critique qu’il reste à accomplir.

 

 

 

 

 

 

Quand on parle d’Intelligence artificielle on mobilise un terme qui qualifie un ensemble de technologies vaguement reliées, expliquent les chercheurs Arvind Narayanan et Sayash Kapoor dans le livre qu’ils viennent de faire paraître, AI Snake Oil (Princeton University Press, 2024, non traduit).

Il y a peu de liens entre l’IA générative dont on entend tant parler et l’IA prédictive, certainement bien plus utilisée encore, mais où se concentrent les systèmes les plus défaillants qui soient. C’est là surtout que se concentre cette « huile de serpent » à laquelle font référence les deux chercheurs. Sous ce terme, qui qualifie des remèdes miraculeux mais inefficaces, comme tant de charlatans en vendaient dans tout l’Ouest américain, les deux chercheurs désignent une technologie qui ne fonctionne pas et ne peut pas fonctionner comme attendu, et qui ne fonctionnera probablement jamais. Toute la difficulté aujourd’hui, pour le grand public, consiste à être capable de distinguer l’IA qui ne fonctionne pas de celle qui fonctionne. C’est tout l’enjeu de leur livre.

IA générative vs IA prédictive

L’IA est désormais devenue un produit de consommation grand public. Le problème, c’est que son utilisation abusive s’est également généralisée. Les deux ingénieurs restent pourtant très confiants. L’IA générative est un outil amusant et utile défendent-ils. Elle peut même être un outil d’apprentissage passionnant, expliquent-ils un peu légèrement. Certes, l’IA générative comporte des risques et peut avoir un coût social élevé. Mais ce n’est rien comparé à l’IA prédictive. Dans leur livre, les deux chercheurs accumulent les exemples pour montrer que dès que nous tentons d’utiliser l’IA pour des prédictions, notamment dans le domaine du social, elle produit des discriminations. De l’emploi à la santé, en passant par le crime… partout ces modèles restent englués dans leurs biais. Mais surtout, leurs résultats ne sont bien souvent pas meilleurs qu’un résultat aléatoire. C’est, il me semble, la grande force de leur démonstration et le point le plus original du livre. Pour les chercheurs, l’une des raisons d’une si faible performance tient beaucoup au fait que très souvent, la donnée n’est ni disponible ni décisive. Le problème c’est que l’IA prédictive est très attirante parce qu’elle promet des décisions plus efficaces… Mais l’efficacité est bien plus relative qu’annoncée et surtout bien moins responsable. 

L’IA n’a pas vraiment de définition fixe. Les deux chercheurs s’en amusent d’ailleurs et remarquent que ce qu’on qualifie comme IA correspond souvent à ce qui n’a pas été fait. Dès qu’une application fonctionne avec fiabilité, on ne parle plus d’IA, comme c’est le cas avec les aspirateurs autonomes, l’autopilote des avions, les filtres à Spam, ou l’autocomplétion. Autant d’exemples qui nous montrent d’ailleurs des formes d’IA qu’on souhaiterait plus souvent. Ces exemples doivent nous rappeler qu’elle n’est pas toujours problématique, loin de là. L’IA sait résoudre des problèmes difficiles. Mais elle ne sait pas prédire les comportements sociaux des gens et la prédiction du social n’est pas un problème technologique soluble.

Il y a aussi certains domaines du social où l’IA peut-être très forte, très précise et très efficace, mais qui posent des problèmes de société majeurs. C’est le cas notamment de la reconnaissance faciale. Le taux d’erreur de la reconnaissance faciale est devenu minuscule (0,08% selon le Nist). Cela n’enlève rien au fait que ces erreurs soient très problématiques, notamment quand elles conduisent à des arrestations qui ne devraient pas avoir lieu. Mais dans le domaine de la reconnaissance faciale, le problème, désormais, n’est plus que la technologie soit défaillante. Ce sont les pratiques, les erreurs humaines, les échecs policiers et d’encadrement de son usage qui posent problèmes. « L’IA de reconnaissance faciale, si elle est utilisée correctement, a tendance à être précise, car il y a peu d’incertitude ou d’ambiguïté dans la tâche à accomplir ». Identifier si une personne sur une photo correspond à une autre personne sur une autre photo est assez simple, pour autant que les systèmes aient suffisamment d’images pour s’y entraîner et de moyens pour trouver les éléments qui permettent de distinguer un visage d’un autre. Cela ne signifie pas que l’analyse faciale puisse tout faire, précisent les deux chercheurs : identifier le genre où l’émotion depuis un visage n’est pas possible, car ni l’un ni l’autre n’est inscrit dans l’image. Désormais, « le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne très bien ». Ce ne sont plus ses défaillances techniques qui posent un problème de société, comme c’est le cas des systèmes de prédiction de risques. C’est l’usage qui peut en être fait… comme de pouvoir identifier n’importe qui n’importe où et pour n’importe quelle raison. Attention cependant, préviennent les chercheurs : la reconnaissance faciale peut-être très performante quand elle est utilisée correctement, mais peut très facilement échouer en pratique, comme le montre l’identification depuis des images de mauvaise qualité qui a tendance à produire de nombreux faux positifs. Elle n’est donc ni parfaite ni magique. Et surtout, elle pose un enjeu de société qui nécessite de cadrer son usage, pour trouver les moyens afin qu’elle ne soit pas utilisée de manière inappropriée – et ce n’est pas si simple – et pour que la société se dote de garde-fous et de garanties pour prévenir des abus ou d’utilisations inappropriées.

Nombre d’usages de l’IA demeurent problématiques avertissent les chercheurs. Nombre de ses utilisations relèvent ni plus ni moins de l’imposture. L’IA échoue d’abord et très souvent dès qu’on l’utilise pour produire des prédictions, comme l’a montré Google Flu, l’outil pour prédire la grippe de Google qui se basait sur l’évolution des recherches de symptômes sur le moteur de recherche et dont la précision a fini par s’effondrer sous les requêtes. Non seulement la prédiction est difficile, mais bien souvent son efficacité s’effondre dans le temps.

Les deux chercheurs nous invitent à intégrer une sirène d’alerte aux projets d’IA. Dès qu’ils abordent le social, dès qu’ils souhaitent prédire quelque chose, dès qu’ils utilisent une variable pour une autre (comme de vouloir reconnaître le genre depuis des images de visages), nous devons être vigilants.

 

Les défaillances de l’IA prédictive

Mais il y a d’autres motifs d’inquiétudes auxquels prêter attention. Le battage médiatique autour de l’IA fait que bien souvent ses qualités sont exagérées. Les capacités de prédiction de nouveaux services ou outils sont très souvent survendues. L’une des erreurs les plus courantes consiste à annoncer un taux de réussite particulièrement élevé, alors que très souvent, l’outil est évalué sur les mêmes données que celles sur lesquelles il a été entraîné. C’est un peu comme réviser les questions qui seront posées à un examen avant l’examen. L’étude des résultats de recherche dans nombre de secteurs de la recherche en machine learning a montré partout des résultats problématiques. Ce n’est pas nécessairement intentionnel ou malveillant, excusent un peu facilement les deux ingénieurs, le machine learning est une discipline délicate et il est facile de s’embrouiller. En tout cas, la qualité s’effondre très souvent avec le battage médiatique. Ainsi, des centaines d’études ont proclamé pouvoir détecter le Covid depuis des radiographies des poumons : une revue systématique de plus de 400 articles de recherche a montré qu’AUCUNE n’était fiable. Tant et si bien qu’une équipe de chercheurs a mis au point une check-list pour aider les développeurs et les chercheurs à minimiser les erreurs. Dans une étude sur l’usage de l’IA prédictive dans l’industrie et l’administration, Narayanan et Kapoor ont fait les mêmes constats et ont listé les principaux défauts de la prédiction :

• Un outil qui fait de bonnes prédictions ne signifie pas qu’il mènera à de bonnes décisions, notamment du fait de la rétroaction des décisions sur les prédictions (​​par exemple un montant de caution plus élevé basé sur une prédiction de récidive peut augmenter le taux de récidive… et d’ailleurs, les peines sévères ont tendance à augmenter la récidive) ;
• Pour prédire, on fait souvent appel à une variable-cible qui ne correspond pas exactement à ce que l’on souhaite prédire, comme d’utiliser la moyenne générale d’un étudiant pour prédire sa réussite l’année suivante.
• Lorsque la distribution des données sur lesquelles un modèle est formé n’est pas représentative de la distribution sur laquelle il sera déployé, les performances du modèle seront problématiques.
• Il y a toujours des limites à la prédiction. Les résultats sociaux ne sont pas prévisibles avec précision, même avec l’apprentissage.
• Les différences de performances entre différents groupes sociaux ne peuvent pas toujours être corrigées.
• Bien souvent les systèmes manquent de possibilité pour en contester les résultats alors que cette contestabilité est un levier important pour se rendre compte de ses erreurs.
• La prédiction oublie souvent de prendre en compte le comportement stratégique qui risque de la rendre moins efficace dans le temps.

 

Au XIXᵉ siècle, dans l’Ouest américain, d’innombrables colporteurs vendaient des médicaments miracles, inefficaces et inoffensifs, pour la plupart… mais pas tous. Certains de ces faux remèdes laisseront des morts derrière eux. En 1906, la Food and Drug Administration (FDA) est imaginée pour remédier au problème et rendre ces colporteurs responsables de leurs produits, comme l’explique le dernier rapport de l’AI Now Institute qui revient en détail sur la naissance de l’agence américaine et comment elle a changé le monde du médicament par la construction de mesures préalables à leur mise sur le marché – l’AI Now Institute invite d’ailleurs à s’inspirer de cette histoire pour rendre l’IA responsable en pointant qu’une « réglementation ex-ante solide, adaptée à un marché en évolution et à ses produits, peut créer des avantages significatifs à la fois pour l’industrie et pour le public ».

Si l’AI Snake Oil est une IA qui ne marche pas et qui ne peut pas marcher, souvenons-nous que même une IA qui fonctionne bien peut être nocive. Face aux produits d’IA, il faut pouvoir mesurer à la fois les préjudices qu’ils peuvent provoquer mais également la véracité qu’ils produisent.

Mais si l’IA défaillante est si omniprésente, c’est parce qu’elle offre des solutions rapides à n’importe quels problèmes. Oubliant que les solutions qui ne fonctionnent pas n’en sont pas, rappellent Kapoor et Narayanan. « Dans le sillage de la révolution industrielle, des millions d’emplois furent créés dans les usines et les mines, avec d’horribles conditions de travail. Il a fallu plusieurs décennies pour garantir les droits du travail et améliorer les salaires et la sécurité des travailleurs. » Nous devons imaginer et construire un mouvement similaire pour garantir la dignité humaine face à l’automatisation qui vient. Nous devons trouver les moyens d’éradiquer le déploiement de l’huile de serpent et construire les modalités pour bâtir une technologie responsable comme nous avons réussi à bâtir une médecine et une industrie agro-alimentaire (plutôt) responsable.

Pourquoi les prédictions échouent-elles ?

Dans leur livre, les deux auteurs mobilisent d’innombrables exemples de systèmes défaillants. Parmi ceux qu’ils classent comme les pires, il y a bien sûr les outils de prédiction qui prennent des décisions sur la vie des gens, dans le domaine de la santé, des soins ou de l’orientation notamment.

Un algorithme n’est qu’une liste d’étapes ou de règles pour prendre une décision, rappellent-ils. Très souvent, les règles sont manuelles mais sont appliquées automatiquement, comme quand on vous demande de ne pas percevoir au-delà d’un certain revenu pour bénéficier d’un droit. Le problème, c’est que de plus en plus, les règles se complexifient : elles sont désormais souvent apprises des données. Ce type d’algorithme est appelé modèle, c’est-à-dire qu’il découle d’un ensemble de nombres qui spécifient comment le système devrait se comporter. Ces modèles sont très utilisés pour allouer des ressources rares, comme des prêts ou des emplois, ouvrant ou fermant des possibilités. C’est typiquement ce qu’on appelle l’IA prédictive. C’est par exemple ainsi que fonctionne Compas, le système de calcul de risque de récidive utilisé par la justice américaine, entraîné depuis le comportement passé des justiciables. L’hypothèse de ces systèmes et de nombre de systèmes prédictifs consiste à dire que des gens avec les mêmes caractéristiques se comporteront de la même manière dans le futur. Ces systèmes prédictifs sont déployés dans de nombreux secteurs : la santé, l’emploi, l’assurance… Le problème, c’est que de petits changements dans la vie des gens peuvent avoir de grands effets. La plupart des entreprises qui développent des systèmes prédictifs assurent que ceux-ci sont performants et équitables. Pourtant, on ne peut pas garantir que les décisions qu’ils prennent soient sans biais ou équitables.

Une bonne prédiction ne signifie pas une bonne décision. L’IA peut faire de bonnes prédictions… si rien ne change, c’est-à-dire si elles ne sont pas utilisées pour modifier les comportements, expliquent les chercheurs en prenant l’exemple d’un système prédictif de la pneumonie qui montrait que les gens atteints d’asthme étaient à moindre risque, parce qu’ils recevaient des soins adaptés pour éviter les complications. Déployer un tel modèle, en fait, aurait signifié renvoyer les patients asthmatiques chez eux, sans soins. Corrélation n’est pas causalité, dit l’adage.

Ces erreurs de prédictions ont souvent pour origine le fait que les chercheurs s’appuient sur des données existantes plutôt que des données collectées spécifiquement pour leur produit. Trop souvent, parce que créer des données spécifiques ou faire des contrôles aléatoires est coûteux, les entreprises s’en abstiennent. Comprendre l’impact des outils de décision est également important et nécessite aussi de collecter des données et de faire des contrôles d’autant plus coûteux que ces vérifications, élémentaires, viennent souvent remettre en question l’efficacité proclamée. Techniquement, cela signifie qu’il faut toujours s’assurer de savoir si le système a évalué ses impacts sur de nouvelles données et pas seulement sur les données utilisées pour la modélisation.

Ces effets sont d’autant plus fréquents que le développement de systèmes conduit souvent les gens à y réagir, à se comporter stratégiquement. C’est le cas quand des candidats à l’embauche répondent aux outils d’analyse des CV en inondant leurs CV de mots clefs pour contourner leurs limites. Une étude a même montré que changer le format de son CV d’un PDF en texte brut, changeait les scores de personnalité que les systèmes produisent sur les candidatures. Quand les entreprises assurent que leurs outils fonctionnent, elles oublient souvent de tenir compte du comportement stratégique des individus. Or, « quand les résultats du modèle peuvent être facilement manipulés en utilisant des changements superficiels, on ne peut pas dire qu’ils sont efficaces ». C’est toute la limite de trop de modèles opaques que dénoncent les deux chercheurs avec constance.

Le risque, c’est que ces systèmes nous poussent à une sur-automatisation. La sur-automatisation, pour les chercheurs, c’est quand le système de prise de décision ne permet aucune voie de recours, comme l’ont connu les individus suspectés de fraude par l’algorithme de contrôle des aides sociales de Rotterdam. Pour éviter cela, les bonnes pratiques invitent à « conserver une supervision humaine ». Problème : tous les développeurs de systèmes assurent que c’est le cas, même si cette supervision ne conduit à aucune modification des décisions prises. En réalité, les développeurs d’IA vendent des IA prédictives « avec la promesse d’une automatisation complète. La suppression d’emplois et les économies d’argent constituent une grande partie de leur argumentaire ». La supervision n’a donc la plupart du temps pas lieu. Même quand elle existe, elle est bien souvent inappropriée. Et surtout, les résultats et suggestions génèrent une sur-confiance particulièrement pervasive, qui affecte tous les utilisateurs dans tous les secteurs. Dans des simulateurs de vol, quand les pilotes reçoivent un signal d’alarme incorrect, 75% d’entre eux suivent les recommandations défaillantes. Quand ils ont recours à une checklist, ils ne sont plus que 25% à se tromper.

Mais surtout, insistent les deux chercheurs, les prédictions sur les gens sont bien plus fluctuantes qu’on le pense. Un outil similaire à Compas développé en Ohio et utilisé en Illinois a produit des aberrations car les taux de criminalité n’étaient pas les mêmes entre les deux Etats. Trop souvent les prédictions se font sur les mauvaises personnes. C’était le cas de l’outil de calcul de risque de maltraitance des enfants de Pennsylvanie étudié par Virginia Eubanks, qui n’avait aucune donnée sur les familles qui avaient recours à des assurances privées et donc qui visait disproportionnellement les plus pauvres. « Les outils d’IA regardent ce qui est sous le lampadaire. Et très souvent, le lampadaire pointe les plus pauvres ». L’IA prédictive exacerbe les inégalités existantes. « Le coût d’une IA défectueuse n’est pas supporté de manière égale par tous. L’utilisation de l’IA prédictive nuit de manière disproportionnée à des groupes qui ont été systématiquement exclus et défavorisés par le passé. » Les outils de prédiction de risque de santé, déployés pour réduire les dépenses d’hospitalisation, ont surtout montré leurs biais à l’encontre des minorités. L’un de ces outils, Optum’s Impact Pro par exemple, écartait systématiquement les personnes noires, parce que le système ne prédisait pas tant le besoin de soins, que combien l’assurance allait dépenser en remboursement des soins de santé. L’entreprise a continué d’ailleurs à utiliser son outil défaillant, même après qu’il eut montré son inéquité. « Les intérêts des entreprises sont l’une des nombreuses raisons pour lesquelles l’IA prédictive augmente les inégalités. L’autre est la trop grande confiance des développeurs dans les données passées. »

Trop souvent, on utilise des proxies, des variables substitutives qui nous font croire qu’on peut mesurer une chose par une autre, comme les coûts de la santé plutôt que les soins. C’est le même problème pour Compas. Compas utilise des données sur qui a été arrêté pas sur les crimes. Compas dit prédire le crime alors qu’en fait il ne prédit que les gens qui ont été arrêtés. Ces confusions sur les données expliquent beaucoup pourquoi les systèmes d’IA prédictive nuisent d’abord aux minorités et aux plus démunis.

S’ils sont défaillants, alors peut-être faudrait-il faire le deuil des outils prédictifs, suggèrent les chercheurs. Ce serait effectivement dans bien des cas nécessaires, mais nos sociétés sont mal à l’aise avec l’imprévisibilité, rappellent-ils. Pourtant, trop souvent nous pensons que les choses sont plus prévisibles qu’elles ne sont. Nous avons tendance à voir des régularités là où elles n’existent pas et nous pensons bien souvent être en contrôle sur des choses qui sont en fait aléatoires. Rien n’est plus difficile pour nous que d’accepter que nous n’avons pas le contrôle. Cela explique certainement notre engouement pour l’IA prédictive malgré ses défaillances. Pourtant, expliquent les chercheurs, embaucher ou promouvoir des employés aléatoirement, plutôt que sur de mauvais critères de performances, pourrait peut-être être plus bénéfique qu’on le pense, par exemple en favorisant une plus grande diversité ou en favorisant un taux de promotion fixe. Accepter l’aléatoire et l’incertitude pourrait nous conduire à de meilleures décisions et de meilleures institutions. « Au lieu de considérer les gens comme des êtres déterminés, nous devons travailler à la construction d’institutions qui sont véritablement ouvertes au fait que le passé ne prédit pas l’avenir. »

Pourquoi l’IA ne peut pas prédire le futur ?

La météorologie est l’un des secteurs où la prédiction est la plus avancée. Pourtant, la météo est un système particulièrement chaotique. Des petits changements conduisent à de grandes erreurs. Plus la prédiction est éloignée dans le temps, plus l’erreur est grande. Les données, les équations, les ordinateurs ont pourtant permis d’incroyables progrès dans le domaine. Nos capacités de prédiction météo se sont améliorées d’un jour par décade : une prévision sur 5 jours d’il y a 10 ans est aussi précise qu’une prévision sur 6 jours aujourd’hui ! Ces améliorations ne viennent pas d’une révolution des méthodes, mais de petites améliorations constantes.

La prévision météo repose beaucoup sur la simulation. Les succès de prévision des phénomènes géophysiques a conduit beaucoup de chercheurs à penser qu’avec les bonnes données et la puissance de calcul, on pourrait prédire n’importe quel type d’évènements. Mais cela n’est pas toujours très bien marché. Le temps est bien plus observable que le social, certainement parce que les conditions géophysiques, contrairement à ce que l’on pourrait penser, sont plus limitées. La prévision météo repose sur des lois physiques calculables. Ce n’est pas le cas des calculs du social. « Cela n’a pas restreint pour autant le développement de prédictions dans le contexte social, même si bien souvent, nous avons assez peu de preuves de leur efficacité ». Le score de risque de défaillance de crédit, Fico, est né dans les années 50 et se déploie à la fin des années 80, en même temps que naissent les premiers scores de risque criminels… Mais c’est avec le développement du machine learning dans les années 2010 que les systèmes prédictifs vont exploser dans d’innombrables systèmes.

Toutes les prédictions ne sont pas difficiles. Le trafic, l’évolution de certaines maladies… sont assez faciles. Les prédictions individuelles, elles, sont toujours plus difficiles. Et cela pose la question de savoir ce qui définit une bonne prédiction. Est-ce qu’une prédiction météo est bonne si elle est au degré près ou si elle prédit bien la pluie indépendamment de la température ? Notre capacité à prédire les tremblements de terre est excellente, notamment les lieux où ils auront lieu, mais notre capacité à prédire la nécessité d’une évacuation est nulle, car prédire quand ils auront lieu avec suffisamment de précision est bien plus difficile. Bien souvent, la précision de la prédiction s’améliore quand on ajoute plus de données et de meilleurs modèles. Mais ce n’est pas nécessairement vrai. On ne peut prédire le résultat d’un jet de dé quel que soit le volume de données que l’on collecte !

Quand les choses sont difficiles à prédire, on a recours à d’autres critères, comme l’utilité, la légitimité morale ou l’irréductibilité des erreurs pour apprécier si la prédiction est possible. Et tout ce qui a rapport à l’individu est bien souvent difficile à prédire, ce qui n’empêche pas beaucoup d’acteurs de le faire, non pas tant pour prédire quelque chose que pour exercer un contrôle sur les individus.

Kapoor et Narayanan reviennent alors sur le Fragile Families Challenge qui a montré que les modèles d’IA prédictibles développés n’amélioraient pas notablement la prédiction par rapport à un simple modèle statistique. Pour les chercheurs, le défi a surtout montré les limites fondamentales à la prédiction du social. Dans le social, « on ne peut pas prédire très bien le futur, et nous ne connaissons pas les limites fondamentales de nos prédictions ». Les données du passé ne suffisent pas à construire ce type de prédictions, comme les données d’une précédente élection ne peuvent pas prédire la suivante. Améliorer la précision des prédictions du social relève du problème à 8 milliards de Matt Salganik : il n’y a pas assez de gens sur terre pour découvrir les modèles de leurs existences ! Cela n’empêche pas qu’il existe d’innombrables outils qui affirment pouvoir faire des prédictions à un niveau individuel.

En vérité, bien souvent, ces outils ne font guère mieux qu’une prédiction aléatoire. Compas par exemple ne fait que prédire la partialité de la police à l’encontre des minorités (et dans le cas de Compas, l’amélioration par rapport à un résultat aléatoire est assez marginale… et dans nombre d’autres exemples, l’amélioration du calcul se révèle bien souvent plus mauvaise qu’un résultat aléatoire). Utiliser seulement 2 données, l’âge et le nombre d’infractions antérieures, permet d’avoir un résultat aussi précis que celui que propose Compas en mobilisant plus d’une centaine de données. Dans le cas de la récidive, le modèle est assez simple : plus l’âge est bas et plus le nombre d’infractions antérieures est élevé, plus la personne sera à nouveau arrêtée. On pourrait d’ailleurs n’utiliser que le nombre d’infractions antérieures pour faire la prédiction sans que les résultats ne se dégradent vraiment (qui serait moralement plus acceptable car en tant que société, on pourrait vouloir traiter les plus jeunes avec plus d’indulgence qu’ils ne le sont). L’avantage d’une telle règle, c’est qu’elle serait aussi très compréhensible et transparente, bien plus que l’algorithme opaque de Compas.

Avec ces exemples, les deux chercheurs nous rappellent que la grande disponibilité des données et des possibilités de calculs nous font oublier que l’opacité et la complexité qu’ils génèrent produisent des améliorations marginales par rapport au problème démocratique que posent cette opacité et cette complexité. Nous n’avons pas besoin de meilleurs calculs – que leur complexification ne produit pas toujours –, que de calculs capables d’être redevables. C’est je pense le meilleur apport de leur essai.

Nous sommes obnubilés à l’idée de prédire un monde imprévisible

Prédire le succès est aussi difficile que prédire l’échec, rappellent-ils. Certainement parce que contrairement à ce que l’on pense, le premier ne repose pas tant sur les qualités des gens que le second ne repose sur les circonstances. Les deux reposent sur l’aléatoire. Et en fait, le succès repose plus encore sur l’aléatoire que l’échec ! Le succès est encore moins prévisible que l’échec, tant la chance, c’est-à-dire l’imprévisible, joue un rôle primordial, rappellent-ils. Le succès dans les études, le succès de produits… rien n’est plus difficile à prédire, rappellent les chercheurs en évoquant les nombreux rejets du manuscrit de Harry Potter. Matt Salganik avait ainsi créé une application de musique et recruté 14 000 participants pour évaluer des musiques de groupes inconnus avec des indicateurs sociaux qui variaient entre groupes de participants. Des chansons médiocres étaient appréciées et de très bonnes musiques négligées. Une même chanson pouvait performer dans un endroit où les métriques sociales étaient indisponibles et sous performer là où elles étaient disponibles. Mais l’expérience a surtout montré que le succès allait au succès. Dans l’environnement où personne ne voyait de métriques : il y avait bien moins d’inégalités entre les musiques.

Les médias sociaux reposent sur des principes d’accélération de la viralité d’une petite fraction des contenus. Mais la popularité est très variable, d’un contenu l’autre. Ce que font les plateformes, ce n’est pas tant de prédire l’imprévisible que de tenter d’amplifier les phénomènes. Sur YouTube, Charlie Bit My Finger fut l’une des premières vidéos virales de la plateforme. Malgré ses qualités, son succès n’avait rien d’évident. En fait, les médias sociaux sont « une loterie à mèmes géante ». Plus un mème est partagé, plus il a de la valeur et plus les gens vont avoir tendance à le partager. Mais il est impossible de prédire le succès d’une vidéo ou d’un tweet. Même la qualité ne suffit pas, même si les contenus de meilleure qualité ont plus de chance que les contenus médiocres. Par contre l’on sait que les contenus plus partisans, plus négatifs reçoivent plus d’engagements. Reste que la polarisation perçue est plus forte que la polarisation réelle – et il est probable que cette mauvaise perception la renforce.

D’une manière assez surprenante, nous prédisons très bien des effets agrégés et très mal ces mêmes effets individuellement. Les ordres de grandeur aident à prédire des effets, mais les experts eux-mêmes échouent bien souvent à prédire l’évidence. Aucun n’a prévu l’effondrement de l’URSS, rappelait Philip Tetlock. Et ce n’est pas une question de données ou de capacité d’analyse. Les limitations à la prédiction sont dues aux données indisponibles et au fait qu’elles sont parfois impossibles à obtenir. Mais la prédiction est également difficile à cause d’événements imprévisibles, mais plus encore à cause de boucles d’amplification complexes. Dans de nombreux cas, la prédiction ne peut pas s’améliorer, comme dans le cas de la prédiction du succès de produits culturels. Dans certains cas, on peut espérer des améliorations, mais pas de changements majeurs de notre capacité à prédire l’avenir. Pour Narayanan et Kapoor, notre obnubilation pour la prédiction est certainement le pire poison de l’IA.

L’IA générative, ce formidable bullshiter

Bien moins intéressants sont les 2 chapitres dédiés à l’IA générative, où les propos des deux chercheurs se révèlent assez convenus. S’il est difficile de prédire l’impact qu’elle va avoir sur l’économie et la culture, la technologie est puissante et les avancées réelles. Pour Narayanan et Kapoor, l’IA générative est déjà utile, expliquent-ils en évoquant par exemple Be My Eyes, une application qui connectait des aveugles à des volontaires voyants pour qu’ils les aident à décrire le monde auquel ils étaient confrontés en temps réel. L’application s’est greffée sur ChatGPT pour décrire les images avec un réel succès, permettant de remplacer les descriptions du monde réel des humains par celles des machines.

Si l’IA générative fonctionne plutôt très bien, ce n’est pas pour autant qu’elle ne puisse pas porter préjudices aux gens qui l’utilisent. Ses biais et ses erreurs sont nombreuses et problématiques. Sa capacité à nous convaincre est certainement plus problématique encore.

Les deux chercheurs bien sûr retracent l’histoire des améliorations de la discipline qui a surtout reposé sur des améliorations progressives, la disponibilité des données et l’amélioration des capacités de calcul. Tout l’enjeu de la technologie a été d’apprendre à classer les images ou les mots depuis les connexions entre eux en appliquant des poids sur les critères.

En 2011, à l’occasion d’une compétition ImageNet, visant à classifier les images, Hinton, Krizhevsky et Sutskever proposent un outil d’apprentissage profond qui se distingue par le fait qu’il ait bien plus de couches de traitements que les outils précédents : ce sera AlexNet. Tout l’enjeu ensuite, consistera à augmenter le nombre de couches de traitements en démultipliant les données… À mesure que les données deviennent plus massives, les contenus vont aussi avoir tendance à devenir plus problématiques, malgré les innombrables mesures de filtrages. Les problèmes vont y être enfouis plus que résolus, comme l’étiquetage de personnes noires sous le terme de Gorille. On va se mettre alors à mieux observer les données, mais la plupart des critères de référence ne mesurent pas dans quelle mesure les modèles reflètent les préjugés et les stéréotypes culturels. Le problème, c’est que dans le domaine de l’IA, les ingénieurs sont convaincus que découvrir les connaissances dans les données surpasse l’expertise, minimisant son importance.

« Alors que l’IA prédictive est dangereuse parce qu’elle ne fonctionne pas. L’IA pour la classification des images est dangereuse parce qu’elle fonctionne trop bien. » 

Les systèmes de génération de texte fonctionnent sur le même principe que les systèmes de génération d’image. Jusqu’aux années 2010, il était difficile que les systèmes de traduction automatique gardent en tête le contexte. Ils fonctionnaient bien sur les courts extraits, mais avaient des problèmes avec des textes plus longs. En 2017, Google a trouvé la solution en proposant une matrice plus grande permettant de mieux relier les mots entre eux. C’est la technologie Transformer. L’IA générative textuelle n’est rien d’autre qu’un système d’autocomplétion qui fait de la prédiction du mot suivant.

La puissance de ces machines est à la fois leur force et leur faiblesse. « Pour générer un simple token – un bout de mot – ChatGPT doit accomplir environ un milliard de milliard d’opérations. Si vous demandez à générer un poème d’une centaine de tokens (une centaine de mots) cela nécessitera un quadrillion de calculs. Pour apprécier la magnitude de ce nombre, si tous les individus au monde participaient à ce calcul au taux d’un calcul par minute, 8 heures par jour, un quadrillion de calcul prendrait environ une année. Tout cela pour générer une simple réponse. » La capacité générative de ces outils repose sur une puissance sans limite. Une puissance dont les coûts énergétiques, matériels et économiques finissent par poser question. Avons-nous besoin d’une telle débauche de puissance ?

Pour que ces modèles répondent mieux et plus exactement, encore faut-il adapter les modèles à certaines tâches. Cette adaptation, le fine-tuning ou pré-entraînement, permet d’améliorer les résultats. Reste que ces adaptations, ces filtrages, peuvent finir par sembler être une cuillère pour écoper les problèmes de l’océan génératif…

Les chatbots peuvent avoir d’innombrables apports en interagissant avec l’utilisateur, mais le fait qu’ils dépendent profondément des statistiques et le manque de conscience de leurs propres limites, émousse leur utilité, soulignent les deux chercheurs. Jouer à Pierre-papier-ciseaux avec eux par exemple rappellent qu’ils ne comprennent pas l’enjeu de simultanéité.

Le problème de ces outils, c’est que la compréhension, n’est pas tout ou rien. Les chatbots ne comprennent rien, et leur regard sur un sujet est limité par leurs données. Mais ils sont configurés pour répondre avec confiance, comme un expert, alors qu’ils sont capables d’erreurs basiques qu’un enfant ne ferait pas. Cela signifie que ces outils ne sont pas sans écueils, rappellent les chercheurs. Ils produisent très facilement de la désinformation, des deepfakes, et permettent à ceux qui les déploient de concentrer un pouvoir très important. Les chatbots sont des bullshiters de première, des menteurs. « Ils sont entraînés pour produire des textes plausibles, pas des vérités ». Ils peuvent sembler très convaincants alors qu‘« il n’y a aucune source vérifiée durant leur entraînement ». Même si on était capable de ne leur fournir que des affirmations vraies, le modèle ne les mémoriserait pas, mais les remixerait pour générer du texte. Ils répondent souvent correctement, mais sont capables parfois de produire des choses sans aucun sens. Cela tient certainement au fait que « les affirmations vraies sont plus plausibles que les fausses ». Les erreurs, les plagiats sont consubstantiels à la technologie.

Les usages problématiques de ces technologies sont nombreux, notamment les deepfakes et toutes les tentatives pour tromper les gens que ces outils rendent possibles. Pour l’instant, les réponses à ces enjeux ne sont pas à la hauteur. Les chercheurs ne proposent que de mieux éduquer les utilisateurs aux contenus trompeurs et aux sources fiables. Pas sûr que ce soit une réponse suffisante. 

Les chercheurs rappellent que la grande difficulté à venir va être d’améliorer l’IA générative, alors que ses limites sont au cœur de son modèle, puisqu’elle ne peut qu’imiter et amplifier les stéréotypes des données qui l’ont entraîné. Pour y parvenir, il faudrait parvenir à bien mieux labelliser les données, mais l’effort devient herculéen à mesure que les moissons sont plus massives. Pour l’instant, cette labellisation repose surtout sur des travailleurs du clic mal payés, chargés de faire une labellisation à minima. Pas sûr que cela suffise à améliorer les choses…

Malgré ces constats inquiétants, cela n’empêche pas les deux chercheurs de rester confiants. Pour eux, l’IA générative reste une technologie utile, notamment aux développeurs. Ils rappellent que ces dernières années, la question des biais a connu des progrès, grâce au fine-tuning. L’atténuation des bias est un secteur de recherche fructueux. Les chatbots progressent et deviennent aussi fiables que la recherche en ligne, notamment en étant capable de citer leurs sources. Pour les chercheurs, le plus gros problème demeure l’exploitation du travail d’autrui. Nous devons opter pour les entreprises qui ont des pratiques les plus éthiques, concluent-ils, et faire pression sur les autres pour qu’ils les améliorent. Oubliant qu’il n’est pas simple de connaître l’éthique des pratiques des entreprises…

Les deux ingénieurs terminent leur livre par un chapitre qui se demande si l’IA pose une menace existentielle. Un sujet sans grand intérêt face aux menaces déjà bien réelles que fait peser l’IA. Ils le balayent d’ailleurs d’un revers de main et rappellent que l’IA générale est encore bien loin. « La plupart des connaissances humaines sont tacites et ne peuvent pas être codifiées ». C’est comme apprendre à nager ou à faire du vélo à quelqu’un simplement en lui expliquant verbalement comment faire. Ça ne marche pas très bien. Le risque à venir n’est pas que l’IA devienne intelligente, nous en sommes bien loin. Le risque à venir repose bien plus sur les mauvais usages de l’IA, et ceux-ci sont déjà très largement parmi nous. Pour améliorer notre protection contre les menaces, contre la désinformation ou les deepfakes, nous devons renforcer nos institutions démocratiques avancent les auteurs. On ne saurait être plus en accord, surtout au moment où les avancées de l’IA construisent des empires techniques qui n’ont pas grand-chose de démocratique.

*

Malgré ses qualités et la richesse de ses exemples, le livre des deux chercheurs peine à rendre accessible ce qu’ils voudraient partager. Parvenir à distinguer ce que l’IA sait faire et ce qu’elle ne peut pas faire n’est pas évident pour ceux qui sont amenés à l’utiliser sans toujours comprendre sa complexité. Distinguer la bonne IA de la mauvaise n’est pas si simple. Le livre permet de comprendre que la prédiction fonctionne mal, mais sans nous aider à saisir où elle peut progresser et où elle est durablement coincée.

On a bien constaté que dès que ces outils agissent sur le social où l’individu, ils défaillent. On a bien compris que l’IA générative était puissante, mais les deux ingénieurs peinent à nous montrer là où elle va continuer à l’être et là où elle risque de produire ses méfaits. Les deux spécialistes, eux, savent très bien identifier les pièges que l’IA nous tend et que l’IA tend surtout aux ingénieurs eux-mêmes, et c’est en cela que la lecture d’AI Snake Oil est précieuse. Leur livre n’est pourtant pas le manuel qui permet de distinguer le poison du remède. Certainement parce que derrière les techniques de l’IA, le poison se distingue du remède d’abord et avant tout en regardant les domaines d’applications où elle agit. Un outil publicitaire défaillant n’a rien à voir avec un outil d’orientation défaillant… Gardons les bons côtés. Les ingénieurs ont enfin un livre critique sur leurs méthodes avec un regard qui leur parlera. Ce n’est pas un petit gain. Si le livre se révèle au final un peu décevant, cela n’empêche pas qu’Arvind Narayanan et Sayash Kapoor demeurent les chercheurs les plus pertinents du milieu. Leur grande force est d’être bien peu perméables au bullshit de la tech, comme le montre leur livre et leur excellente newsletter. Leur défense de la science sur l’ingénierie par exemple – « les essais contrôlés randomisés devraient être un standard dans tous les domaines de la prise de décision automatisée » – demeure une boussole que l’ingénierie devrait plus souvent écouter.

Le 30 novembre 2022, la première version publique de ChatGPT apparaissait sur la toile. Presque instantanément, le monde entier découvrit ce nouvel outil, qui semblait alors révolutionnaire.

Dans les bouches de toutes et tous, nous n’entendions plus qu’un terme : Intelligence Artificielle.

S’ensuivit une accélération sans précédent.

Toutes les quelques semaines, une évolution majeure des techniques d’IA était dévoilée. Les géants du numérique, les gouvernements des superpuissances mondiales, tous ont investi rapidement et massivement ce champ de recherche.

À Framasoft, comme pour beaucoup d’autres, l’émergence de l’IA générative fut vécue comme un tsunami.

Seulement deux mois après sa sortie, ChatGPT était déjà utilisé par plus de 100 millions de personnes. C’est le service web au taux d’adoption le plus rapide de l’histoire.

 

 

Passées la stupeur et la confusion, nous nous organisâmes, en interne, pour suivre l’actualité délirante de cette technique. Nous voulions mieux comprendre le phénomène et ses implications dans nos vies et il nous fallait, pour cela, suivre attentivement ses évolutions.

Aujourd’hui, nous vous proposons de partager des bouts de cette veille, dans une revue mensuelle.

Celle-ci s’évertuera à, brièvement, mettre en perspective différentes actualités autour de l’IA et ses enjeux dans le rapport entre technologies et société.

Notons que cette revue mensuelle s’intègre dans notre objectif incarné par FramamIA : partager des clés de compréhension de l’IA et de ses implications dans nos vies.

Préparez votre boisson chaude préférée, installez-vous confortablement… bienvenue dans FramIActu !

Infomaniak est une société suisse proposant des services alternatifs aux géants du Web à travers des offres intéressantes pour le grand public et les entreprises.

En octobre dernier, Infomaniak présentait à la fois son offre d’IA générative à destination de ses publics, mais aussi l’ouverture de leur centre de données dans laquelle les logiciels d’IA sont hébergés.

Celui-ci est présenté comme le plus écologique de Suisse et a été pensé pour revaloriser l’énergie exploitée.

Si cette innovation technique est certes un pas en avant important et pourrait — mais rien n’est sûr — encourager des changements positifs dans le secteur, il n’en est pas moins que la simple création d’un nouveau centre de données pose des questions.

Aucun centre de données n’est écologique.

Donc sa simple construction est à questionner — et peut être approuvée, bien sûr !

De plus, il est courant que ce genre d’avancées techniques provoquent un effet rebond, entraînant progressivement une augmentation du coût environnemental des centres de données : moins un centre de données aura d’impact sur l’environnement, plus on en construira facilement sans se questionner, impactant de fait l’environnement négativement.

 

Trois quarts des personnes privées d’emploi ont recours à l’IA Générative

Une enquête menée par l’Observatoire de l’IA et Emploi (fondé par les associations Diversidays et Konexio, avec le soutien de France Travail et Google.org) indique que trois quarts des personnes privées d’emploi ont recours à des outils d’Intelligence Artificielle Générative pour postuler à des postes.

Cet usage semble donc massif.

Parmi les raisons expliquées par l’étude, la nécessité, aujourd’hui, d’envoyer en masse des CV et lettres de motivations qui, nous pouvons l’imaginer, sont souvent simplement remplies de banalités que l’IA générative sait très bien formuler, et sans faute typographique, qui plus est !

L’article traite aussi brièvement d’une problématique majeure (qui d’ailleurs est, au moins en partie, responsable de la nécessité de postuler massivement) : l’automatisation des processus de recrutement.

Cette automatisation est d’ailleurs abordée par Hubert Guillaud dans l’infolettre Dans les Algorithmes, dans un article nommé « L’IA ne va pas vous piquer votre job : elle va vous empêcher d’être embauché  ! ».

 

Dans cet article, Martin Clavey fait le point sur les récentes augmentations des besoins en eau et énergie liées à l’IA.

On y découvre notamment la mise en place, au Royaume-Uni, de la première « zone de croissance de l’IA », infrastructure pensée pour offrir un accès privilégié aux ressources en eau et énergie pour les centres de données dédiés à l’IA. L’emplacement choisi pour cette zone accapare un lac de barrage, récemment construit, qui avait initialement pour but de fournir de l’eau potable aux habitant·es du sud-est de l’Angleterre, une des régions du pays les plus vulnérables aux pénuries d’eau.

On imagine assez facilement ces zones essaimer à l’avenir, alors que les conséquences du réchauffement climatique sont de plus en plus ressenties (et particulièrement à travers une raréfaction de l’eau potable).

Mettre la priorité sur la compétitivité dans le secteur de l’IA au détriment d’un des besoins fondamentaux pour une immense partie de la population a donc largement de quoi questionner et souligne, encore une fois, les dangers du système capitaliste.

La question des conséquences physiques des infrastructures permettant l’IA avait d’ailleurs était abordée lors du festival Le Nuage était sous nos pieds, à Marseille, en novembre dernier.

 

 

Aux États-Unis, à la rentrée 2025, aura lieu l’expérimentation d’une école en ligne, dont l’entité pédagogue sera une IA générative.

Comme souvent dans le discours technophile, cette méthode est supposée apporter un progrès social : l’enfant suivrait un contenu adapté à son niveau, à son rythme, etc.

Unbound Academy Institute, qui propose le dispositif, se vante de permettre aux enfants d’apprendre deux fois plus en moins de temps et de justifier ainsi de pouvoir se passer d’instituteurs et d’institutrices.

Le dispositif inclut cependant, pour le moment, la présence d’adultes pour assister et surveiller les élèves.

Comme on peut le constater depuis l’explosion en popularité des IA génératives, les techniques d’Intelligence Artificielle et notamment génératives tentent de s’introduire dans tous les pans de notre existence.

Hubert Guillaud encore, décrivait, à titre d’exemple, son utilisation dans le Trésor Public.

À chaque fois, les procédés de conception de ces techniques sont opaques et bourrés de biais (dans les jeux de données, dans leur réflexion, etc.). Pourtant, celles-ci sont proposées systématiquement comme les parfaites remplaçantes de toute activité humaine.

On y retrouve le même discours que celui porté par le capitalisme :

• le progrès technique serait intimement lié au progrès social, et l’un ne peut faire sans l’autre ;
• nuire à l’innovation technique (en régulant, en la ralentissant, voire en l’empêchant) reviendrait à nuire au progrès social ;
• être productif, être compétitif, créer de la croissance, serait la seule et unique voie possible pour améliorer les conditions de vie de toutes et tous ;
  

Pourtant, ce discours semble nier toute réalité, ne serait-ce qu’en prônant l’idée que la croissance économique peut être infinie ou en fantasmant une idéologie bienveillante prégnante chez les tech bros (des hommes aux comportements masculinistes et toxiques, fans de technologie).

 

Cette première FramIActu se termine !
Nous espérons que vous en avez apprécié la lecture malgré une actualité plutôt… préoccupante !

En attendant la prochaine FramIActu, vous pouvez approfondir vos connaissances sur l’IA en jetant un coup d’œil à FramamIA, notre site conçu pour aider à mieux comprendre cette technique.
Vous pouvez aussi assister à toute notre veille (non-commentée) sur le sujet via notre site de curation dédié !

Si nous pouvons vous proposer cette nouvelle revue mensuelle, c’est grâce à vos dons, Framasoft vivant presque exclusivement grâce à eux !
Pour nous soutenir, si vous en avez les moyens, vous pouvez nous faire un don via le formulaire dédié !

Dans tous les cas, nous nous retrouverons le mois prochain pour un nouveau numéro de FramIActu !

Cet article est une republication, avec l’accord de l’auteur, Hubert Guillaud. Il a été publié en premier le 04 juin 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

---

 

On parle beaucoup des données d’entraînements de l’IA générative, mais sans exactement comprendre ce que ces données d’entraînement recouvrent. Et pour cause : les grands modèles de l’IA générative ne communiquent pas sur les données d’entraînements qu’ils utilisent et, du fait de la taille de ces jeux de données, la compréhension de leurs failles et limites, est difficile à saisir. Cette semaine, on vous invite à saisir les limites de l’IA dite « open source » en regardant comment ces jeux de données sont utilisés et comment ils agissent.

Mettez votre casque de spéléologue et plongez dans une des grandes bases d’images qui façonnent l’IA, Laion 5B !

 

 

 

 

Les progrès ultrarapides de l’IA semblent de plus en plus reposer sur l’open source, c’est-à-dire sur le fait que des milliers de personnes participent à sa conception et que les progrès des uns puissent être rapidement assimilés pour renforcer le progrès des autres. L’open source semble même promettre de devenir la principale modalité de régulation des IA, produisant une gouvernance de facto, purement technique, comme s’en inquiétait le chercheur Bilel Benbouzid il y a quelques mois – au risque de dévitaliser toutes les autres modalités de gouvernance disponibles !

Le problème, c’est que cette approche par l’open source relève bien plus d’un mode de collaboration distribué que de la définition canonique de l’open source. Elle repose sur une définition mouvante, changeante, à géométrie variable, estime le journaliste scientifique Edd Gent pour la Technology Review. Chaque acteur semble pouvoir adapter le concept à ses propres besoins et, plus que permettre les contributions d’innombrables acteurs, l’open source semble de plus en plus consolider la domination des principaux acteurs du secteur. Le problème n’est pas les grands principes fondamentaux de l’open source, balisés depuis longtemps, que leurs applications pratiques. La plupart des grands acteurs de l’IA publient leurs modèles en open source, enfin, sur le papier… Car ces modèles sont-ils vraiment en open source ? Llama 2 de Meta et Gemini de Google, sont tous deux publiés avec des licences qui restreignent ce que les utilisateurs peuvent faire avec ces modèles, ce qui est un anathème vis-à-vis des principes de l’open source, qui interdit l’imposition de toute restriction basée sur les cas d’utilisation. Si les modèles sont accessibles et réutilisables, nombre d’informations sur leurs fonctionnements ne le sont pas, comme les données d’entraînements, les poids donnés à ces données ou encore les mesures prises pour atténuer leurs biais ou leurs réponses.

Le concept de l’open source a été conçu pour garantir que les développeurs puissent utiliser, étudier, modifier et partager des logiciels sans restrictions. Mais ces concepts clés ne se traduisent pas parfaitement du logiciel à l’IA, explique Stefano Maffulli de l’Open source initiative (OSI), notamment du fait de la très grande imbrication des systèmes entre eux. L’un des grands obstacles à la publication ouverte est lié aux grands nombres d’ingrédients qui entrent dans la composition des modèles d’IA actuels, qui peuvent aller du code source, à l’accès au modèle entraîné, à ses données d’entraînement, aux codes utilisés pour prétraiter ces données… et plus encore à des traitements provenant d’autres IA. C’est un peu « comme si on avait défini des libertés fondamentales, sans que les mécanismes qui permettent d’exercer ces droits ne soient clairs ». Pour l’instant, l’accès aux modèles d’IA générative alimente l’innovation, mais si les grandes entreprises changent de politique, elles pourraient refermer ces accès et impacter toutes les applications qui reposent sur ces modèles.

Ouvert, fermé, semi-ouvert… mais qu’attend-on de l’IA open source ?

Dans ces accès plus ou moins ouverts, toujours partiels, les données constituent de loin le plus gros point de friction. Toutes les grandes sociétés d’IA ont simplement publié des modèles pré-entraînés, sans donner accès aux ensembles de données sur lesquels ils avaient été formés. Ce qui restreint sérieusement les possibilités de modification et d’étude des modèles et les déqualifie pour être qualifié d’open source.

L’accès à des données de formation de haute qualité et ouvertes constitue à la fois le goulot d’étranglement de la recherche en IA et l’avantage concurrentiel de chaque modèle. Cette conception restrictive de l’open source assure à la fois une forme de bonne réputation et de l’autre, permet à ces entreprises d’économiser des milliards en coûts de développement tout en permettant d’améliorer la qualité de leurs systèmes en développant des écosystèmes puissants autour de leurs solutions, comme le pointaient récemment des économistes de Harvard, à l’image d’Android de Google qui a permis à l’entreprise d’obtenir une position dominante dans le domaine du smartphone. L’open source permet de standardiser très rapidement les développements et facilite l’intégration de nouvelles solutions.

Sarah Myers West, codirectrice de l’AI Now Institute, rappelle que la plupart des projets d’IA open source ne sont pas très ouverts, même si des barrières structurelles plus profondes, notamment en termes de puissance économique des acteurs, de quantité de données ou de puissance de calcul entrent également en compte. Pour la chercheuse, il y a également un manque de clarté sur ce qu’on attend de l’IA open source : est-ce de renforcer la sécurité ? La responsabilité ? De favoriser l’écosystème ? La concurrence ? Ou le monopole des plus grands acteurs ?…

Pour l’OSI, les questions sur l’utilisation ne doivent pas concerner la communauté open source. Pourtant, le débat est bien là. Penser que la technologie est neutre du moment qu’elle est open source alors que ses enjeux, comme l’éthique, sont hors de portée des principes de l’open source, tient du mythe explique Zuzanna Warso, responsable de la recherche à Open Future.

En 2022, des chercheurs ont introduit les licences d’IA responsables (RAIL) qui sont similaires aux licences open source, mais incluent des clauses pouvant restreindre des cas d’utilisation spécifique, explique Danish Contractor qui a œuvré à leur mise en place. 28% des modèles d’IA open source utiliseraient les licences RAIL. La licence Google attachée à Gemmi énumère également des cas d’utilisation interdits. Le Allen Institute for AI a développé des licences ImpACT qui restreignent la redistribution des modèles et des données en fonction de leurs risques potentiels… Avec le danger que la multiplication de licences spécifiques génèrent des systèmes incompatibles entre eux et freinent l’ouverture actuelle…

Le débat n’est pas sans rappeler celui sur la démultiplication des licences libres qu’on avait évoquées il y a quelques années, qui interrogeait déjà l’éthique comme l’économie du libre.

Suite à un atelier sur la responsabilité des modèles ouverts, un récent travail d’un aréopage de chercheurs s’est penché sur l’impact social de l’ouverture des modèles de fondation. Selon ces chercheurs, les risques liés à l’utilisation de ces modèles proviennent principalement du fait que les développeurs abandonnent le contrôle sur qui peut les utiliser lorsqu’ils sont publiés en open source. Ils proposent de les analyser selon une grille des risques potentiels et invitent leurs développeurs à clarifier les responsabilités entre les développeurs et les utilisateurs de ces modèles et les régulateurs à accélérer sur l’évaluation des risques.

Le risque, à défaut de publier leurs données d’entraînements, c’est que les règles de fonctionnement se démultiplient selon les outils, selon des modalités plus translucides que transparentes, à l’image d’OpenAI, qui a dévoilé récemment certaines des règles de fonctionnement de son chatbot qui tiennent plus de règles de comportements pour ceux qui l’utilisent comme pour le chatbot… Par exemple, afin qu’il ne donne pas de solutions toutes faites, mais guide l’utilisateur pour l’inciter à les trouver lui-même. Bref, l’enjeu de l’open source se brouille à mesure que celle-ci devient de plus en plus une modalité de publication en clair-obscur qu’une assurance de transparence totale et entière.

Le nœud gordien des données d’entraînement

L’enjeu de l’ouverture des données d’entraînement semble rester au cœur du problème, car tant qu’on ne sait pas sur quoi s’entraînent les modèles, difficile de saisir leurs lacunes.

Si aucun modèle d’IA n’a pour l’instant listé précisément depuis quelles données leurs modèles sont formés, l’on sait qu’une importante ressource pour plusieurs d’entre eux (notamment pour Google et Meta) repose sur Common Crawl, un répertoire de données géant qui se présente comme « libre et ouvert ». Le problème, c’est que nombre de contenus de Common Crawl ne sont ni libres ni ouverts, mais scrappés, aspirés depuis l’internet sans avoir obtenu le consentement des acteurs qui les ont produits. Dans cet immense répertoire du web, on trouve à la fois Wikipédia, de grands sites de presse ou des livres piratés… Si le droit d’auteur n’y est pas respecté, c’est parce que sous couvert du « fair use » américain – cet usage raisonnable des contenus soumis au droit d’auteur – le droit d’auteur comporte des exceptions, comme celui de pouvoir utiliser des contenus sous droits pour en produire autre chose mais sans y donner accès… Ce qui laisse à penser que, pour l’instant, le droit d’auteur n’est pas vraiment un obstacle au déploiement l’IA. C’est cet « usage raisonnable » que les éditeurs d’IA mobilisent pour capter des contenus sur lesquels ils n’ont pas les droits, même si on constate désormais que pour se prémunir et s’assurer de résultats à jour, les acteurs de l’IA générative se mettent à proposer des compensations financières aux éditeurs de presse, notamment, pour accéder à des contenus à jour et de qualité, permettant d’améliorer les réponses de leurs IA.

Dans une enquête approfondie sur Common Crawl, la fondation Mozilla rappelle que ce scrapping d’internet est né en 2007 avec pour ambition de mettre à disposition un immense répertoire comme seules les grandes entreprises du net avaient alors accès. Le but de Common Crawl n’était pas de produire une IA responsable, mais simplement de fournir des données massives. Ainsi, Common Crawl ne supprime pas les discours de haine qu’il amasse, ni les contenus sous droits… Il moissonne sans aucune autre préoccupation. Common Crawl ne contient ni l’intégralité du web ni même un échantillon « représentatif » de celui-ci. Sa couverture linguistique est très anglophone et un nombre croissant de domaines refusent désormais leur indexation (comme Facebook ou le New York Times, même si on trouve des versions anciennes du New York Times dans Common Crawl). Si on cherche à l’utiliser comme source pour former une IA générative, Common Crawl doit être utilisé avec prudence et beaucoup utilisent des versions filtrées ou produisent des filtres – trop souvent simplistes… Pour Mozilla, Common Crawl devrait pourtant travailler à mieux mettre en évidence les limites et biais de sa base. Mozilla invite d’ailleurs les créateurs d’IA à travailler plus ouvertement sur les questions de filtrages de données qui se font trop souvent à la serpe.

 

Comme le montrent les limites de Common Crawl, l’enjeu à produire un répertoire de données d’entraînement libre et ouvert reste entier. Le lancement récent de Common Corpus, un corpus de textes pour l’IA relevant entièrement du domaine public, coordonné par la startup française Pleias, apporte enfin une base de données d’entraînement responsable, rapporte Wired. Certes, le modèle ne donne pas accès à des contenus récents puisque ses contenus de sources libres de droit, mais cela pourra être ajouté par des accords de gré à gré avec des éditeurs, voire des accords de gestion collective avec des représentants de la presse ou de l’édition.

La question de la transparence des données d’entraînement progresse donc… à petit pas, sans que le législateur ne se soit hélas saisi de cette demande récurrente pour l’imposer. Mais même en imposant la transparence des données d’entraînement, il faut comprendre que ce qu’elles représentent n’est pas si simple à faire parler.

Comprendre les limites des données d’entraînement : l’exemple de Laion-5B

Le programmeur et data journalist Christo Buschek et l’artiste Jer Thorp ont publié une analyse dans une forme très visuelle de l’un des jeux d’entraînement phare de l’IA générative : la base d’images Laion-5B. Laion-5B est un très grand ensemble (5B signifie 5 billions c’est-à-dire 5 milliards) open source d’images légendées de texte extraits d’Internet, conçu pour les grands modèles d’IA. Il a été publié en 2022 par Laion, une organisation allemande à but non lucratif. Midjourney et Stable Diffusion, deux des grands modèles de l’IA générative d’images, sont, par exemple, en partie entraînés sur Laion-5B (même si on ne connaît pas toutes les sources de leurs données d’entraînement) et les contenus qui forment Laion-5B sont en partie extraits de Common Crawl.

La base d’image de Laion-5B contient donc des images en provenance du web, mais certains sites web y sont plus représentés que d’autres. C’est le cas de Pinterest par exemple, qui propose 155 millions d’images (avec leurs légendes), soit environ 1/40e des contenus de la base. 140 millions d’images (2,4%) viennent de Shopify, la plateforme pour créer des sites de commerce en ligne. 72 millions viennent de SlidePlayer, une plateforme de partage de présentations PowerPoint. Si ces sites sont très représentés dans Laion, c’est parce qu’ils hébergent beaucoup d’images et également parce que leurs images sont souvent décrites, via des légendes ou la balise ALT, une balise de description des images initiée pour améliorer l’accessibilité des sites web en permettant d’avoir une description de celles-ci pour ceux qui ne peuvent pas les voir. On estime que moins de 40% des images sur le web ont cette balise renseignée, mais pour ces 3 sites, le pourcentage est bien plus élevé (SlidePlayer ajoute des balises ALT en utilisant les textes des présentations, Pinterest pousse ses utilisateurs à renseigner leurs images pour gérer leurs collections et sur Shopify, les vendeurs les renseignent pour améliorer leur référencement). Reste que ces descriptions n’en sont pas toujours, on le comprend avec l’exemple de SlidePlayer qui automatise une description d’image avec du texte qui ne lui correspond pas nécessairement. « La balise ALT décrit bien plus ce que le propriétaire du site veut que l’algorithme lise de son image que ce que les humains y voient », soulignent Buschek et Thorp. Par exemple, dans Shopify, la description d’une image de lunettes va avoir tendance à décrire le produit, plus que la personne qui les porte. Au final, ces descriptions contiennent peu d’informations sur la façon dont les humains voient le monde et bien plus sur la façon dont les moteurs de recherche voient le monde. Il s’agit d’ensembles de données fortement façonnés par les logiques commerciales.

 

Un élément clé de la construction de LAION-5B consiste à sélectionner des images et des légendes associées dans Common Crawl, ou l’attribut ALT correspondrait le plus au contenu de l’image. Pour cela, les développeurs de Laion ont utilisé un réseau neuronal d’OpenAI, CLIP, qui permet d’obtenir un score de similarité entre l’image et sa balise – ce score de similarité étant lui-même produit depuis une comparaison avec des images légendées d’ImageNet, un des projets fondateurs de l’IA.

Rappelons qu’ImageNet initié dès 2006 par celle devenue la responsable de l’IA à Stanford, la professeure Fei-Fei Li, a été la première grande base de données d’images labellisées par des travailleurs du clic grâce à l’utilisation du Mechanical Turk d’Amazon, selon des catégorisations réductionnistes et problématiques, comme le dénonçait la chercheuse Kate Crawfordmontrant que les descriptions d’images regorgeaient de stéréotypes et d’absurdités.

Buschek et Thorp ont alors regardé les images exclues et incluses par Laion. Visiblement la similarité est forte quand il y a un texte dans l’image qui correspond à la balise (comme pour l’image d’un panneau « stop » avec une balise de texte correspondant). Comme souvent dans les distributions, les scores de similarité sont très inégalement répartis et un petit changement dans la limite de similarité basse choisie par Laion pour incorporer ou non des images conduit à ajouter ou supprimer des centaines de millions d’images. Dans ce score de similarité entre le texte et l’image, l’essentiel des images ont en fait une assez mauvaise note. Très peu d’images obtiennent un score au-dessus de 0,5 (sur un score allant de -1 à 1) : cela n’arrive que pour 22 645 images sur 5,85 milliards ! Les taux de similarité retenus semblent surtout l’avoir été pour donner de l’ampleur à la base, plus que pour s’assurer de la qualité des descriptions. Laion reste un jeu de données purement construit pour l’IA générative, massif plus que de qualité. Les balises descriptives des images demeurent donc souvent de très mauvaise qualité, comme si l’important était surtout que la balise ALT contienne du texte.

Ce que montrent ces exemples en tout cas, c’est le rôle majeur de l’intrication des modèles entre eux : Laion est lui-même créé sur des modèles qui ne sont ni ouverts ni inspectables, comme le langage detector de Google (qui permet de détecter la langue d’un texte) ou le Clip d’OpenAI. « Les omissions, les biais et les angles morts de ces modèles et ensembles de formation empilés façonnent tous les nouveaux modèles et nouveaux ensembles de formation qui en résultent. » « Il y a des modèles au-dessus des modèles et des ensembles de formation au-dessus des ensembles de formations », expliquent les chercheurs. Les biais et défaillances de chacun s’y imbriquent en cascades.

Les deux chercheurs ont bien sûr observé les données de Laion-5B. Le problème, c’est que Laion-5B n’existe pas : c’est un gigantesque ensemble d’entraînement qui se décompose en plusieurs sous-ensembles. Il y a un sous-ensemble où le texte a été identifié algorithmiquement grâce au modèle de détection de la langue de Google comme de l’anglais, qui contient 2,3 milliards de paires images-textes. Un autre de 2,6 milliards qui contient du texte autre que l’anglais, et un dernier de 1,27 milliards d’images ou la langue n’a pas pu être détectée. Les images par langues sont donc peu représentatives de la population qui la parle. Mais quand on regarde des ensembles de données sur certaines langues, on se rend compte que l’étiquetage n’est pas toujours dans la langue spécifiée et que bien souvent, les textes sensés être dans une autre langue sont en fait en anglais… En fait, la détection de langue sur quelques mots peut avoir bien des ratés, et visiblement, les 3 grands ensembles de Laion-5B en regorgent. Bien souvent, les balises ALT ne sont en effet renseignées que de quelques mots que les systèmes de détection de langue peinent à classer.

Laion a créé d’autres sous-ensembles d’association images-textes spécifiques. C’est le cas de Laion-Aesthetics, un ensemble d’images dites de « haute qualité visuelle ». Midjourney et Stable Diffusion utilisent un résultat affiné de ce sous-ensemble pour générer une image. Ce modèle a été créé depuis 3 sources : 15 000 images de logos ainsi que 2 ensembles d’images jugées visuellement attrayantes par des humains. 238 000 images proviennent d’images de synthèses produites par des IA génératives et notées par des communautés d’utilisateurs qui les échangent sur Discord et rassemble les images les mieux notées. Un forum Discord où les utilisateurs sont majoritairement occidentaux, instruits et fortunés ce qui fait que leur appréciation n’est pas sans biais. Un dernier ensemble de données provient du site dpchallenge.com, un forum de concours de photos, où là aussi une poignée d’évaluateurs notent les images que les participants, surtout américains, s’échangent. A l’aide de ces images, les développeurs de Laion ont produit un modèle qui produit un score esthétique des images qui permet d’améliorer l’esthétique des images générées. Une autre vérité est ainsi révélée : « Les concepts de ce qui est et de ce qui n’est pas visuellement attrayant peuvent être influencés de manière démesurée par les goûts d’un très petit groupe d’individus et par les processus choisis par les créateurs d’ensembles de données pour organiser les ensembles de données ». « Le tout petit façonne le géant », résument les chercheurs, pour dire que l’avis d’une poignée de participants à un forum obscur joue un rôle majeur dans le développement esthétique de l’IA générative ! L’esthétique de l’IA générative dépend donc de trois ploucs du Midwest qui façonnent le design du futur !

Comme l’expliquent les chercheurs, les faiblesses de Laion qu’ils mettent à jour sont visibles parce que Laion publie ses données en open source. Non seulement les modèles comportent d’innombrables biais, mais, on le comprend, l’écosystème repose sur des biais structurels que la « curation statistique amplifie ». En décembre, des chercheurs de l’Observatoire internet de Stanford ont identifié plus de 3000 images sous la catégorie abus sexuel sur enfants dans Laion-5B. Depuis, Laion-5B n’est plus disponible au téléchargement et les développeurs disent travailler à résoudre le problème. Cela n’empêche pas que d’innombrables copies soient disponibles.

Cet exemple permet de saisir plusieurs limites et problèmes de l’IA. La forte intrication des biais des modèles qui s’alimentent les uns les autres. La très faible qualité des modèles, qui tient surtout de qualités statistiques globales, assez fragiles. Et enfin, le fait que l’open source ne garantit rien de particulier, si ce n’est la disponibilité des jeux de données. Le caractère open source de Laion-5B ne permet finalement que d’entrapercevoir les problèmes que tous les jeux d’entraînement non ouverts invisibilisent.

La qualité plutôt que la quantité ?

L’analyse de Buschek et Thorp entre dans le cadre du programme de recherche Knowing Machines, – piloté par Kate Crawford, l’auteure de l’excellent Contre-Atlas de l’intelligence artificielle – qui vise à développer des méthodologies et des outils critiques pour analyser les données d’entraînement et de formation des modèles de l’apprentissage automatique.

Parmi les très riches contributions qu’on trouve sur Knowing Machines, signalons par exemple une rapide étude qui s’est intéressée au droit d’auteur dans Laion en regardant le matériel copyrighté dans la base de données et montre que la question est très mal traitée, notamment parce que nombre d’images peuvent être labellisées par un copyright faussement attribué, comme quand le fournisseur d’une image numérique s’attribue une œuvre du domaine publique. « Il ne fait aucun doute que de nombreuses images de Laion sont protégées par le droit d’auteur. Mais répondre à la question de savoir exactement quelles images et dans quelle mesure leur utilisation constitue une violation s’avère plus compliqué, en particulier lorsque les informations de droit d’auteur sur les images sont manquantes, obsolètes ou erronées », ce qui est généralement et globalement le cas.

Dans Knowing Machines on trouve également une passionnante enquête sur les créateurs de jeux de données, une autre sur la constitution d’une base de données d’images très spécifique mais de haute qualité, celles résultantes de l’observation des oiseaux, où les bases de données se construisent en opposition à la logique extractiviste du Big data, proche des riches réflexions du Féminisme des données. On y trouve également un ensemble de réflexions sur les enjeux juridiques de l’IA.

Mais surtout, Kate Crawford y signe une très intéressante mise en perspective. Elle rappelle que ces dernières années, le déploiement de l’IA s’est construit sur des données de plus en plus massives. Les données de formation et d’entraînement des modèles sont passées d’une échelle relativement petite à des ensembles massifs, à peu près aveugles à toute curation. En 2003, la base Caltech 101 comptait moins de 10 000 images. En 2010, ImageNet approchait les 14 millions d’images. En 2022, Laion-5B compte plus de 5 milliards d’images récupérées sur le Web, avec leurs légendes de texte correspondantes. En avril 2023, CommonPool de Laion a été lancé avec 12,8 milliards de paires image-texte. Nous arrivons à un point où l’ensemble du territoire d’Internet est devenu la carte de l’IA.

« Il existe une idée fausse largement répandue selon laquelle tout cela fonctionne bien, et par conséquent, comprendre ce que contiennent les données d’entraînement n’a pas d’importance », rappelle Crawford. Et en effet, la puissance des outils de génération de textes ou d’images fait toujours l’impasse sur leurs lacunes et leurs défaillances, comme si elles tenaient du bug plutôt que de la fonctionnalité. Nous sommes dans un moment où, dans la course à la production, seule la taille compte. Toutes les autres considérations et problèmes liés aux données d’entraînement, ce qu’elles représentent et comment elles représentent le monde, sont passées sous silence.

Or, prévient Crawford, les données de formation comptent plus que jamais. « Elles déterminent les limites du connu et de l’inconnu ». « Elles codent les visions du monde ». Il est donc essentiel de comprendre comment les données sont utilisées dans ces systèmes. Or, l’accent mis sur l’échelle et l’inattention au contexte conduit à créer un « jeu d’ingénieurs », où l’enjeu ne consiste qu’à produire de nouveaux modèles sur la base du plus grand nombre de données possibles. Peu importe d’où elles proviennent, de quoi il s’agit ou qui les ont assemblés et pourquoi ! Les résultats de cette course conduisent à produire des stéréotypes raciaux, de genre ou de classe profondément inscrits dans ces machines, dont il n’est pas sûr qu’on puisse s’extraire.

Pourtant, malgré les exemples qui s’accumulent… tout le monde continue de détourner le regard, comme si ces biais n’étaient pas importants. Or, à mesure qu’elle est rendue productive, l’IA générative se révèle bien plus biaisée que nous le sommes. Elle accentue et déforme nos stéréotypes au risque d’entraver tout progrès dans les représentations, comme le pointait une enquête de Bloomberg qui montrait comment Stable Diffusion amplifiait les stéréotypes de race et de genre. Comme le pointait Algorithm Watch, si certains générateurs d’images produisent des stéréotypes plus problématiques que d’autres, tous échouent en matière de diversité. Une enquête du Washington Post de novembre, montrait quant à elle que quand ces systèmes sont invités par exemple à illustrer des bénéficiaires de services sociaux, ils représentent massivement des personnes de couleurs alors qu’en fait, aux États-Unis, 63% des bénéficiaires des services sociaux sont blancs (contre seulement 27% de noirs). Pire, comme le montrait une étude sur le classement des images dans les grands modèles de l’IA générative, plus les modèles augmentent en taille, plus l’essentialisation raciste est exacerbée.

Bien sûr, l’enjeu consiste alors à corriger ces effets, comme a tenté de le faire Google avec Gemini. Mais en insérant des correctifs invisibles aux prompts pour qu’ils introduisent de la diversité, Gemini s’est pris les pieds dans les polémiques, en étant accusé de produire des images de papes, de vikings ou de pères fondateurs de l’Amérique noirs. Les IA génératives sont par nature sujettes aux stéréotypes puisqu’elles doivent générer des images les plus communément associées à un mot, selon les représentations largement importées de données américaines et européennes.

Dans The Atlantic, Chris Gilliard estime que l’IA générative n’est pas conçue pour refléter la réalité. Il rappelle également que ces problèmes de déformations de la réalité ne datent pas des IA génératives, mais sont plus anciens. Safiya Noble dans son livre, Algorithms of Oppression avait déjà montré que les programmes de ciblages publicitaires avaient des effets à grande échelle sur certaines communautés plutôt que d’autres. Voilà longtemps que l’on a compris que les systèmes techniques reproduisaient et perpétuaient les préjugés racistes. Ces problèmes n’ont jamais été résolus, mais bien plutôt occultés, comme quand, en 2015, Google a ôté l’étiquette gorille de sa base d’image parce qu’elle avait étiqueté ainsi une photo de personnes de couleurs. Par précaution, près de 10 ans plus tard, on ne peut toujours pas chercher de gorilles sur Google Photo !

« Des représentations de nazis noirs et l’étiquetage raciste des personnes noires sont les deux faces d’une même médaille », explique Gillard. Les résultats racistes de l’IA sont le plus souvent attribués à de mauvaises données et au manque de données suffisamment diversifiées. De l’autre côté, l’extrême droite critique l’IA parce qu’elle serait trop corrigée, « lobotomisée », c’est-à-dire corrigée pour paraître plus universaliste qu’elle n’est. Pour Gillard, nous tourner vers l’IA générative pour obtenir une représentation est une illusion où s’immisce une machinerie qui écrase la réalité et la reconstitue sous des formes qui ne peuvent pas en être.

 

 

Mais le problème est assurément plus profond. Une récente étude menée par Valentin Hofmann montrait par exemple que selon la manière dont on leur parle, les grands modèles de langage ne font pas les mêmes réponses. Si on utilise des variantes d’anglais afro-américain par exemple, les réponses de l’IA générative sont bien plus négatives que si on utilise un anglais plus châtié ! Elles attribuent des emplois moins prestigieux à ces locuteurs, ou condamnent à des peines plus lourdes des personnes qui parlent l’afro-américain si les IA sont amenées à juger quelqu’un depuis les mots qu’ils prononcent. L’augmentation de la taille des modèles leur permet de mieux comprendre l’anglais afro-américain et d’être plus attentifs aux préjugés explicites, mais pas aux préjugés dialectaux. Au contraire, c’est comme si on exacerbait l’écart entre stéréotypes cachés et manifestes et qu’on apprenait aux LLM à dissimuler superficiellement le racisme qu’ils entretiennent à un niveau plus profond, comme l’a fait, visuellement, Gemini. Au final, les modèles linguistiques renforcent les préjugés des stéréotypes raciolinguistiques. Mais surtout, prévient le chercheur, les utilisateurs confondent la diminution des préjugés manifestes avec le signe que le racisme des LLM serait résolu. Il est probable que les préjugés dialectaux s’étendent à mesure que les modèles saisissent mieux les différences d’expressions. Cet effet est très bien mis en avant par un test récemment publié par Bloomberg utilisant ChatGPT. Le testing était particulièrement simple. Les journalistes ont demandé à ChatGPT de classer des CV dont le seul élément qui changeait était le nom des personnes. Sans surprise, les CV avec des noms à consonance afro-américaine étaient à chaque fois les plus mal classés !

Ces exemples nous permettent d’identifier une autre grande lacune du manque d’ouverture des modèles. Non seulement ils ne publient pas leurs données d’entrainements, mais ils ne documentent pas non plus les corrections qu’ils produisent et donc nous empêchent de comprendre les limites de ces corrections. En empêchant certaines commandes (les prompts !) ou en les corrigeant par devers l’action de l’utilisateur, comme l’a fait Gemini avec ses correctifs invisibles, ils rendent assurément l’amélioration des modèles plus difficile. Et ce d’autant que bien des corrections introduites sont très souvent frustres, comme l’expliquait la chercheuse Ksenia Ermoshina en observant le filtrage et la censure des IA génératives d’images russes. Bien souvent, ces mesures de corrections et de filtrages restent bricolées, très perfectibles, à l’image de la disparition du terme gorille de Google Photo. Et c’est un endroit où l’on aurait certainement un grand besoin de travaux communs et partagés.

Kate Crawford et Trevor Paglen avaient mis en place l’ImageNet Roulette (le projet n’est plus disponible) pour permettre aux gens de voir les problèmes que produisaient les logiques de classification, ces balises accolées aux images pour les décrire. Étudier les données pour saisir les idéologies qu’elles portent, leurs points de vue, les préjudices qu’elles incarnent et concentrent et que les systèmes d’IA reproduisent est devenu primordial. Pour Crawford, il faut développer de nouvelles méthodes d’enquêtes et de productions. C’est tout l’enjeu du programme Knowing Machines qu’elle a lancé.

Reste que la question de savoir quelles sont les données utilisées, comment sont-elles pondérées et filtrées –  des enjeux rappelés par tous les chercheurs qui œuvrent à l’éthique des systèmes –  doivent encore beaucoup progresser pour dépasser des modèles bien plus translucides que transparents et s’assurer de leur responsabilité. Ce qui est sûr, c’est que ce n’est pas en mettant ces problèmes sous le tapis de l’efficacité des calculs qu’on résoudra les défaillances massives des machines à amplifier les biais que nous sommes en train de construire. Au contraire. La question de rendre disponible les données d’entraînements des modèles, de discuter des modalités de correction et de l’imbrication des calculs reste un enjeu majeur dont le régulateur devrait se saisir. Nous n’en sommes pas encore là, hélas.

Le sujet de l’intelligence artificielle est omniprésent dans les discours médiatiques et politiques. Et il serait difficile de nier que ses impacts sur nos vies n’ont, eux, rien d’artificiels. Qu’il s’agisse d’écologie, de surveillance, d’économie, de santé, d’éducation, de médias, de politique étrangère, ou bien évidemment d’informatique, l’IA percute de plein fouet tous ces sujets, au nom de… au nom de quoi, en fait ?

À Framasoft, nous sommes soucieuses et soucieux de ne pas réduire la « lutte contre l’IA » à une simple lutte contre une technologie. C’est pourquoi nous annoncions en décembre dernier à la fois le site Framamia afin de partager avec vous nos clés de compréhension critiques autour de l’IA, mais aussi le prototype d’une application smartphone, Lokas, avec pour objectif de ne pas camper une position exclusivement intellectuelle, et apporter une contribution « manipulable » afin d’élargir le champ des questions concrètes auxquelles les utilisateur⋅ices de l’IA peuvent se retrouver confrontées.

Car aucune technologie n’est neutre, évidemment. Et l’IA non seulement n’échappe pas à cette règle, mais sert souvent de bouc-émissaire technique, détournant notre regard du véritable problème : le mobile qui anime les entreprises et les gouvernements qui ont tout intérêt à nous imposer cette technologie.

Car au fond, ce n’est pas l’IA que nous détestons ici, c’est le capitalisme débridé qui l’anime, telle une marionnette.

C’est pourquoi Framasoft a participé à la rédaction du manifeste fondateur de « Hiatus », une coalition composée d’une diversité d’organisations de la société civile française qui entendent résister au déploiement massif et généralisé de l’intelligence artificielle.

« L’IA contre les droits humains, sociaux et environnementaux »

Tout concourt à ériger le déploiement massif de l’intelligence artificielle en priorité politique. Prolongeant les discours qui ont accompagné l’informatisation depuis plus d’un demi-siècle, les promesses abondent pour conférer à l’IA des vertus révolutionnaires et imposer l’idée que, moyennant la prise en compte de certains risques, elle serait nécessairement vecteur de progrès. C’est donc l’ensemble de la société qui est sommée de s’adapter pour se mettre à la page de ce nouveau mot d’ordre industriel et technocratique. Partout dans les services publics, l’IA est ainsi amenée à proliférer au prix d’une dépendance technologique accrue. Partout dans les entreprises, les managers appellent à recourir à l’IA pour « optimiser » le travail. Partout dans les foyers, au nom de la commodité et d’une course insensée à la productivité, nous sommes poussés à l’adopter.

Pourtant, sans préjuger de certaines applications spécifiques et de la possibilité qu’elles puissent effectivement répondre à l’intérêt général, comment ignorer que ces innovations ont été rendues possible par une formidable accumulation de données, de capitaux et de ressources sous l’égide des multinationales de la tech et du complexe militaro-industriel ? Que pour être menées à bien, elles requièrent notamment de multiplier la puissance des puces graphiques et des centres de données, avec une intensification de l’extraction de matières premières, de l’usage des ressources en eau et en énergie ?

Comment ne pas voir qu’en tant que paradigme industriel, l’IA a d’ores et déjà des conséquences désastreuses ? Qu’en pratique, elle se traduit par l’intensification de l’exploitation des travailleurs et travailleuses qui participent au développement et à la maintenance de ses infrastructures, notamment dans les pays du Sud global où elle prolonge des dynamiques néo-coloniales ? Qu’en aval, elle est le plus souvent imposée sans réelle prise en compte de ses impacts délétères sur les droits humains et l’exacerbation des discriminations telles que celles fondées sur le genre, la classe ou la race ? Que de l’agriculture aux métiers artistiques en passant par bien d’autres secteurs professionnels, elle amplifie le processus de déqualification et de dépossession vis-à-vis de l’outil de travail, tout en renforçant le contrôle managérial ? Que dans l’action publique, elle agit en symbiose avec les politiques d’austérité qui sapent la justice socio-économique ? Que la délégation croissante de fonctions sociales cruciales à des systèmes d’IA, par exemple dans le domaine de la santé ou l’éducation, risque d’avoir des conséquences anthropologiques, sanitaires et sociales majeures sur lesquelles nous n’avons aujourd’hui aucun recul ?

Or, au lieu d’affronter ces problèmes, les politiques publiques menées aujourd’hui en France et en Europe semblent essentiellement conçues pour conforter la fuite en avant de l’intelligence artificielle. C’est notamment le cas de l’AI Act adopté par l’Union européenne et présenté comme une réglementation efficace alors qu’elle cherche en réalité à promouvoir un marché en plein essor. Pour justifier cet aveuglement et faire taire les critiques, c’est l’argument de la compétition géopolitique qui est le plus souvent mobilisé. À longueur de rapports, l’IA apparaît ainsi comme le marchepied d’un nouveau cycle d’expansion capitaliste, et l’on propose d’inonder le secteur d’argent public pour permettre à l’Europe de se maintenir dans la course face aux États-Unis et à la Chine.

Ces politiques sont absurdes, puisque tout laisse à penser que le retard de l’Europe dans ce domaine ne pourra pas être rattrapé, et que cette course est donc perdue d’avance. Surtout, elles sont dangereuses dans la mesure où, loin de constituer la technologie salvatrice souvent mise en avant, l’IA accélère au contraire le désastre écologique, renforce les injustices et aggrave la concentration des pouvoirs. Elle est de plus en plus ouvertement mise au service de projets autoritaires et impérialistes. Non seulement le paradigme actuel nous enferme dans une course technologique insoutenable, mais il nous empêche aussi d’inventer des politiques émancipatrices en phase avec les enjeux écologiques.

La prolifération de l’IA a beau être présentée comme inéluctable, nous ne voulons pas nous résigner. Contre la stratégie du fait accompli, contre les multiples impensés qui imposent et légitiment son déploiement, nous exigeons une maîtrise démocratique de cette technologie et une limitation drastique de ses usages, afin de faire primer les droits humains, sociaux et environnementaux.

Premiers signataires :

• Annick Hordille, membre du Nuage était sous nos pieds
• Baptiste Hicse, membre de Stop Micro
• Camille Dupuis-Morizeau, membre du conseil d’administration de Framasoft
• David Maenda Kithoko, président de Génération Lumière
• Denis Nicolier, co-animateur de Halte au contrôle numérique
• Emmanuel Charles, co-président de ritimo
• Éléonore Delatouche, fondatrice de Intérêt à agir
• Judith Allenbach, présidente du Syndicat de la Magistrature
• Judith Krivine, présidente du Syndicat des avocats de France (SAF)
• Julie Le Mazier, co-secrétaire nationale de l’Union syndicale Solidaires
• Julien Lefèvre, membre de Scientifiques en rébellion
• Marc Chénais, directeur de L’Atelier Paysan
• Nathalie Tehio, présidente de la LDH (Ligue des droits de l’Homme)
• Olivier Petitjean, co-fondateur de L’Observatoire des multinationales
• Raquel Radaut, porte-parole de La Quadrature du Net
• Sandra Cossart, directrice de Sherpa
• Soizic Pénicaud, membre de Féministes contre le cyberharcèlement
• Sophie Venetitay, secrétaire générale du SNES-FSU
• Stéphen Kerckhove, directeur général d’Agir pour l’environnement
• Thomas Thibault, président du Mouton Numérique
• Vincent Drezet, porte parole d’Attac France
• Yves Mary, cofondateur et délégué général de Lève les yeux

 

Liste complète des organisations premières signataires à retrouver sur : https://hiatus.ooo

 

Chez Framasoft, nous travaillons activement à créer des clés de compréhension sur les enjeux du numérique.

Ces enjeux sont vastes, multiples, parfois complexes à saisir.
C’est d’autant plus vrai depuis la surmédiatisation de l’Intelligence Artificielle (IA) et la popularisation de services comme ChatGPT, Copilot ou Gemini.

Alors quand, au détour des internets, Hubert Guillaud, journaliste et spécialiste des systèmes techniques et numériques, décortique les ouvrages scientifiques qui traitent de l’IA, ça nous interpelle, ça nous fascine…

Cet article est une republication, avec l’accord de l’auteur. Il a été publié en premier le 30 septembre 2024 sur le site Dans Les Algorithmes sous licence CC BY-NC-SA.

---

 

Si les grandes entreprises de la tech sont devenues des empires, c’est bien que nous avons été colonisés par leurs déploiements techniques. Dans Data Grab, Ulises A. Mejias et Nick Couldry explorent ce que signifie le grand accaparement de nos données. Qu’est-ce que le technocolonialisme et comment faire advenir les luttes pour l’indépendance dont nous avons besoin ?

 

 

 

 

 

 

 

En cartographiant la logique profondément coloniale de nos technologies, avec Anatomy of AI et Calculating Empires, Kate Crawford et Vladan Joker ont attiré notre attention sur le caractère extractiviste sans précédent des technologies numériques, construites depuis « les logiques du capital, du maintien de l’ordre et de la militarisation » qui accélèrent les asymétries de pouvoir existantes. Dans leur nouveau livre, Data Grab : the new colonialism of Big Tech (and how to fight back)  (Pillage de données : le nouveau colonialisme des Big Tech (et comment le combattre), WH Allen, 2024, non traduit),  Ulises A. Mejias et Nick Couldry interrogent la métaphore technocoloniale. Peut-on dire que la technologie procède d’un colonialisme ? Et si c’est le cas, alors comment nous en libérer ?

 

Explorer, étendre, exploiter, exterminer : une continuité

A la fin de leur précédent livre, The costs of connection (Stanford University Press, 2019) Mejias et Couldry en appelaient déjà à « décoloniser internet » de l’emprise des multinationales qui le dominent. Mais derrière la formule qui fait florès, peut-on vraiment affirmer que le colonialisme technologique repose sur les mêmes caractéristiques que le colonialisme d’hier ?

Le colonialisme, historique, repose d’abord sur un accaparement sans précédent des terres, des biens, des ressources, des personnes, dont les effets, les conséquences et les répercussions continuent encore aujourd’hui. Il repose sur un quadriptyque, expliquent les chercheurs : « explorer, étendre, exploiter, exterminer ». Comparativement, l’accaparement des données semble bien anodin. Pourtant, estiment les chercheurs, ce technocolonialisme partage beaucoup de caractéristiques avec son ancêtre. D’abord, il est comme lui global et se déroule à très large et très vaste échelle. Mais surtout, il « prolonge et renouvelle cet héritage de dépossession et d’injustice » commencé avec la colonisation. En 1945, un habitant de la planète sur trois était dépendant de l’ordre colonial. Aujourd’hui, un habitant de la planète sur trois a un compte Facebook, comparent un peu rapidement les auteurs. Les contextes et impacts sont différents, mais l’échelle du déploiement de la domination des Big Tech rappelle nécessairement cette histoire, estiment-ils. Le pouvoir de Meta par exemple contribue à une diffusion étendue de la désinformation qui a conduit jusqu’à des violences génocidaires et des interférences politiques.

Le colonialisme s’est toujours justifié par sa mission civilisatrice, visant non seulement à contrôler les corps, mais également les esprits et les consciences, comme l’ont fait dans le passé l’Eglise et la Science. Et les Big Tech aussi se targuent d’une mission civilisatrice. La mission civilisatrice, les motifs économiques, l’exercice du pouvoir et l’introduction de technologies spécifiques façonnent l’histoire du colonialisme. Par le passé, la mission civilisatrice s’est toujours faite par le déploiement de nouvelles force de surveillance, de discrimination, d’exploitation. Et c’est également ce qu’on retrouve aujourd’hui avec l’extension de la surveillance au travail, la généralisation de la reconnaissance faciale, du scoring, ou l’exploitation des travailleurs du clic du monde entier. Comme le dit le philosophe Achille Mbembe dans Sortir de la grande nuit : Essai sur l’Afrique décolonisée (2010) : « Notre époque tente de remettre au goût du jour le vieux mythe selon lequel l’Occident seul a le monopole de l’avenir. »

Le colonialisme de données est « un ordre social dans lequel l’extraction continue de données génère des richesses massives et des inégalités à un niveau global ». Ce nouvel ordre social repose un nouveau contrat social où le progrès nécessite de remettre nos données aux entreprises, sans condition. Certes, les grandes entreprises de la tech ne nous proposent pas de nous réduire en esclavage et le fait de refuser leurs services ne conduit pas à l’extermination. Reste que le pillage de données n’est pas le fait de quelques entreprises malhonnêtes, mais se produit à tous les niveaux. L’exemple le plus éclairant est certainement l’IA générative qui a eu besoin de collecter toutes les données possibles pour alimenter ses moteurs. Une sorte de prédation généralisée motivée pour le bien de l’humanité. Pour Mejias et Couldry, chausser les lunettes du colonialisme pour regarder la prédation en cours permet surtout de faire apparaître les similarités entre le colonialisme historique et le technocolonialisme, qui reposent, l’un comme l’autre sur l’appropriation de ressources et qui se justifie toujours pour servir un but plus grand (le progrès économique). Ce pillage est toujours imposé par une alliance entre les Etats et les entreprises. Il a toujours des effets désastreux sur l’environnement et il renforce toujours les inégalités, entre des élites extractivistes et des populations exploitées. Enfin, cette prédation se justifie toujours par des alibis : un narratif civilisationnel.

La numérisation de nos existences implique un profond changement dans les relations de pouvoir dans lesquelles nous sommes pris. Le capitalisme ne peut pas être compris sans le rôle qu’a joué le colonialisme dans son expansion, rappellent les chercheurs. « Le capitalisme a une dimension coloniale, non pas par accident, mais par conception ». Et l’exploitation est une fonction des opérations routinières de nos outils numériques. Le colonialisme des données exploite nos existences mêmes. Comme le disait Achille Mbembe dans Brutalisme : « nous sommes le minerai que nos objets sont chargés d’extraire ».

Piller, c’est déposséder sans égard pour les droits de ceux qu’on dépossède

Ce pillage de données transforme déjà en profondeur tous les aspects de nos vies : l’éducation, la santé, les lieux de travail, la consommation, la production… La grande différence que l’on pourrait faire entre le colonialisme historique et ce nouveau colonialisme, c’est que la violence physique semble y être largement absente. En fait, estiment les chercheurs, la violence est devenue plus symbolique. Le pillage lui-même est devenu sans friction, puisqu’il suffit d’accepter les conditions d’utilisation pour qu’il se déploie. Cela ne signifie pas pour autant que toute violence ait disparu. L’enjeu colonial, d’extraction et de dépossession, lui, continue. Il signifie toujours déposséder l’autre sans égard pour ses droits. La justification est d’ailleurs toujours la même : « rendre ce qui est pillé plus productif », selon une définition de la productivité qui correspond aux intérêts du pilleur. Quant à l’exploitation du travail humain, elle n’a pas disparu, comme le rappellent les travailleurs du clic. Cette exploitation est toujours aussi intensive en technologie, nécessite toujours des outils très spécifiques et spécialisés et bénéficie d’abord à ceux à qui ils appartiennent, à l’image des plateformes d’IA qui bénéficient d’abord à ceux qui les proposent et les exploitent.

« L’exploitation des données est une continuation de la violence coloniale via d’autres moyens ». Elle produit toujours de la discrimination et de la perte d’opportunité pour ceux qui en sont les victimes, selon des logiques de classification sociales. Les distinctions de « classe, de genre, de race ont toujours été instrumentées pour créer le mythe que ces différences avaient besoin d’être gérées et organisées par la rationalité occidentale ». Le colonialisme des données renouvelle la mission historique du colonialisme via de nouveaux moyens que sont les systèmes de prise de décision automatisés, les plateformes… dont les effets « sont plus subtils et difficiles à tracer qu’avant ». La discrimination s’inscrit désormais dans nos outils numériques, comme le montrait Virginia Eubanks dans Automating Inequality, en inscrivant les inégalités dans des plateformes profondément asymétriques. L’extraction de données permet d’attacher les personnes à des catégories. Les systèmes de scoring déterminent des scores qui reflètent et amplifient les discriminations forgées par le colonialisme.

Les deux auteurs ont des mots assez durs sur la science occidentale, rappelant qu’elle naît en partie pour la gestion coloniale (la botanique, la zoologie, l’anthropologie…). Qu’elle invente des techniques et des outils (la carte, les rapports, les tableaux…) pas seulement au profit de la science, mais bien également en coordination avec l’expansion économique et militaire. Cette science a été très vite appliquée pour surveiller, contrôler et gérer les populations colonisées. La Big Science et les Big Techs aujourd’hui sont toujours au service de relations de pouvoir asymétriques. Or, rappellent les chercheurs, le colonialisme des données à besoin de nous. « Sans nos données, il ne fonctionne pas ». Nous participons à notre propre exploitation.

La donnée a une caractéristique particulière cependant. C’est un bien non-rival. Elle peut-être copiée et réutilisée sans fin. Cela n’empêche pas qu’elle soit exploitée dans des territoires de données très spécifiques que sont les plateformes, interreliées, qui imposent leurs propres lois depuis les codes qu’elles produisent. Ce nouveau monde de données dirige nos activités vers des canaux numériques qui sont entièrement sous le contrôle des entreprises qui les proposent. Si les données sont un bien non-rival, ce qu’elles capturent (nous !) est bien une ressource finie.

Pour les deux chercheurs, l’exploitation des données est née en 1994, quand Lou Montulli, employé de Netscape, invente le cookie. En 30 ans, les structures de pouvoir du net ont domestiqué la surveillance en avantage commercial via une machinerie numérique tentaculaire, comme le montrait Soshana Zuboff. Les ordinateurs ont été placés au cœur de toute transaction, comme l’expliquait Hal Varian, l’économiste en chef de Google dès 2013. Tout ce qui est personnel ou intime est devenu un terrain d’exploitation. Nous sommes au cœur de territoires de données où le monde des affaires écrit les contrats, en les présentant comme étant à notre bénéfice. Nous sommes cernés par des relations d’exploitation de données qui maximisent l’extraction d’une manière particulièrement asymétrique. Une forme d’hypernudge qui optimise nos comportements pour servir les objectifs des collecteurs. Ce colonialisme n’opère pas que dans le domaine de la publicité ciblée, rappellent les auteurs, elle s’étend aux finances personnelles, à l’agriculture de précision, à l’éducation, la santé, le travail… selon des logiques d’opacité (on ne sait pas exactement quelles données sont collectées), d’expansionnisme (les données d’un secteur servent à d’autres), d’irresponsabilité (sans rendre de comptes) et dans une conformité juridique très incertaine. La gestion des humains est devenue rien d’autre que la gestion d’une base de données, au risque d’y délaisser les plus vulnérables. Ces systèmes ravivent les inégalités du vieil ordre colonial.

La mission civilisatrice des données : produire notre acceptation

Dans un chapitre sur la mission civilisatrice des données, les deux chercheurs expliquent que celle-ci repose d’abord sur la commodité. Elle repose également sur une narration connectiviste, quasi religieuse, qui invisibilise la surveillance qu’elle active en suggérant que l’extraction de données est inévitable. Qu’elle doit être continue, profonde, totale. Ce narratif met de côté tous les problèmes que cette extraction génère, comme le fait qu’elle divise les gens, les épuise, les traumatise… On oublie que la connexion limite plus qu’elle augmente la diversité. « Les plateformes plus que les gens, décident quelles connexions sont plus avantageuses pour elles », à l’image des recommandations qu’elles produisent sans qu’on ait notre mot à dire, qu’importe la polarisation ou la radicalisation qu’elles produisent. La viralité est le modèle économique. Nous sommes le jeu auquel joue l’algorithme.

Ce storytelling impose également un autre discours, celui que l’IA serait plus intelligente que les humains. Comme le microscope a participé au succès de l’impérialisme (soulignant le lien entre la méthode scientifique et l’entreprise coloniale comme moyen de réduire et d’abstraire le monde naturel en objets capables d’être gérés), l’IA est l’outil pour rendre l’extraction de données inévitable. D’un outil pour comprendre le monde, la méthode scientifique est aussi devenue un processus pour éliminer l’opposition à la gestion coloniale. Couldry et Mejias rappellent pourtant que la science n’a pas servi qu’un sombre objectif colonial, mais que l’abstraction scientifique et le développement technologique qu’elle a produit a accompagné l’extractivisme colonial. Le narratif sur l’intelligence de l’IA, comme l’explique Dan McQuillan dans Resisting AI, sert à opacifier ses effets. Il nous pousse à croire que l’optimisation statistique serait le summum de la rationalité, qu’il permettrait justement d’éliminer nos biais quand il ne fait que les accélérer. Pour les deux chercheurs, l’IA discriminatoire et opaque par essence sert d’abord et avant tout à dissimuler les limites de la rationalité, à la parer de neutralité, à automatiser la violence et la discrimination qu’elle produit. L’IA n’est que la nouvelle étape d’une production coloniale de connaissance qui prend toutes les productions humaines pour générer une connaissance qui nous est présentée comme son apothéose, quand elle est avant tout un moyen de s’assurer la continuité de l’appropriation des ressources.

Si le discours civilisationnel fonctionne, c’est d’abord parce que ce narratif renforce la hiérarchie des pouvoirs et vise à verrouiller la position des dominés comme dominés. Il colonise l’imagination de ce que doit être le futur : un avenir connecté, un avenir que l’on doit accepter, un avenir normal et inaltérable. Ce que ce narratif vise à produire, c’est notre acceptation. Il n’y a pas d’alternative !

La nouvelle classe coloniale

La surveillance se porte bien, comme le pointent les chiffrages du site Big Tech sells War. La sécurité, la défense et la surveillance sont désormais largement aux mains des grandes entreprises de la tech. Le pire colonialisme d’hier ressemble à celui d’aujourd’hui. Et comme hier, il implique l’existence d’une véritable classe coloniale. Celle-ci ne porte plus le casque blanc. Elle opère à distance, dans les bureaux feutrés de quelques grandes entreprises. Mejias et Couldry rappellent qu’à la grande époque, la Compagnie britannique des Indes orientales était une entreprise commerciale de 250 000 employés gérés depuis Londres par une équipe de 35 à 159 employés seulement. Uber, avec 32 000 employés coordonne les opérations de 5 000 0000 de livreurs et chauffeurs pour quelque 131 millions d’utilisateurs.

La classe coloniale de la donnée naît dès le milieu des années 80 dans les entreprises qui proposent les premières cartes de crédit et qui se mettent à collecter des données sur les consommateurs pour cela. Leur but ? Distinguer les consommateurs afin de trouver les plus fidèles. Dans les années 90, ces conceptions commencent à essaimer dans les théories de gestion. Couplées aux data sciences, elles donneront naissance aux Big data, c’est-à-dire aux théories de l’exploitation des données qu’incarnent les plus grandes entreprises de la tech. Amazon incarne l’explorateur, celui qui conquiert de nouveaux territoires pour l’extraction depuis le commerce de détail. Google et Apple, les expansionnistes de la donnée qui dominent de vastes empires de services et d’infrastructures cherchant à pousser toujours plus loin leurs emprises. Facebook est l’exploiteur le plus systémique des données. Les deux auteurs dressent rapidement les évolutions extractivistes des grands acteurs de la tech et de bien d’autres. Nous sommes désormais cernés par une infrastructure d’extraction, dominée par une bureaucratie d’acteurs, qui n’est pas sans rappeler la bureaucratie de l’administration coloniale. Celle-ci est dominée par la figure du data scientist, miroir de l’administrateur colonial, qui œuvre dans tous les domaines d’activité. Qu’ils oeuvrent pour Palantir, Salesforce ou LexisNexis, ils façonnent l’Etat algorithmique, transforment la nature même du gouvernement par de nouvelles formes de connaissance et de contrôle, dans un rapprochement dont on peine à prendre la mesure – 6500 agences publiques américaines utilisent Amazon Cloud Services. Partout, la technologie est devenue la modalité d’action sur la société. Partout, la technologie est convoquée pour optimiser les financements publics et notamment réduire les dépenses par un profilage toujours plus intensif des administrés en y appliquant partout des calculs probabilistes pour améliorer leur rentabilité, changeant profondément la nature du bien public et la conception de l’Etat providence. Pour ces acteurs, tout ce qui peut être utilisé le sera, simplement parce qu’il est disponible. Toutes les données sont collectées et sont rendues productives du fait même de leur disponibilité. La précision, l’exactitude ou la justice sont sans conséquences, tant que les données produisent des résultats.

S’inspirer des résistances anticoloniales

La critique de l’extractivisme colonial est nourrie. Les données, par nature, sont des objets sans contexte. L’historien et politicien Eric Williams, auteur de Capitalisme et esclavage (1930), a pourtant rappelé que la révolution industrielle qui a survalorisé l’innovation occidentale n’aurait pas été possible sans les ressources tirées de la colonisation. Pour lui, le capitalisme n’aurait pas pu se développer sans le colonialisme et sans la sujétion au travail, notamment par l’esclavage. Le sociologue péruvien, Anibal Quijano a parlé lui de « colonialité » du pouvoir pour parler des liens entre capitalisme et racisme, qui ne se sont pas achevés avec la décolonisation, mais se sont prolongés bien au-delà. Pour résister à la colonialité, Quijano invite à développer une rationalité et une connaissance débarrassée des idées de hiérarchies et de discrimination. Pour lui, la connaissance par exemple se construit bien plus par la diversité des perspectives que par le rejet de la diversité sous un prétexte rationaliste. Pour Mejias et Couldry, la connaissance que produit le Big Data est une connaissance depuis le point de vue des institutions qui les produisent, pas des gens et encore moins des gens depuis leur grande diversité. En cela, elle perpétue les caractéristiques de la science occidentale et la rend profondément colonialiste.

Sylvia Wynter est une autre chercheuse que les auteurs convoquent pour nous aider à trouver un autre rapport à la connaissance, à la science et à la rationalité. Pour elle, nous devons résister à la vision dominante de la science occidentale pour promouvoir une vision plus inclusive. Pour elle, nous avons besoin d’un mode de pensée sur la donnée qui inclut plus de gens et de perspectives, à l’image de ce que répètent les data scientists les plus critiques des perspectives technologiques comme Safiya Noble, Timnit Gebru ou les sociologues Ruha Benjamin, Virginia Eubanks… C’est également les perspectives que défendent Catherine D’Ignazio et Lauren Klein depuis le féminisme de données. C’est le même point de vue qu’exprime le philosophe Achille Mbembe quand il dénonce la continuité du colonialisme par d’autres moyens et nous invite à ne plus voir dans l’occident le centre de gravité du monde, dénonçant l’expansion de l’IA, comme le devenir artificiel de l’humanité. C’est le même enjeu qu’exprime Naomi Klein quand elle dénonce le capitalisme du désastre, qui utilise celui-ci pour créer des opportunités pour exploiter les populations les plus vulnérables. Pour Klein, l’extractivisme est lié au colonialisme qui ne voit le monde que comme une terre de conquête, plutôt que notre maison commune. Un extractivisme qui s’étend dans la plus grande impunité.

Les deux chercheurs terminent leur essai par des exemples de résistance qui peuvent paraître, comme souvent, bien fragiles face au rouleau compresseur de l’extractivisme des données. Pour eux, « le colonialisme de données n’est pas un problème facile à réparer ». On ne peut pas l’effacer d’une loi ou d’une nouvelle technologie… Ils nous invitent cependant à apprendre des résistances anticoloniales passées et de celles qui continuent de se déployer aujourd’hui, comme des résistances locales contre le déploiement des technologies de reconnaissance faciale, comme le propose la coalition Reclaim your Face. Dans de nombreuses industries de la tech, les travailleurs tentent de se syndiquer, non sans difficultés. D’autres montent des mouvements pour résister à l’extractivisme, comme No Tech for ICE, le mouvement qui s’oppose à l’usage des technologies par les agences d’immigration américaines ou No Tech for Apartheid qui s’oppose aux technologies de surveillance des Palestiniens ou Our Data Bodies, qui s’oppose aux technologies de surveillance sur les communautés pauvres et racisées américaines. Quand les Big Tech sont partout, c’est à chacun d’entre nous de résister, expliquent-ils en invitant à boycotter les plateformes, à éteindre ou déposer nos téléphones, comme le propose le Luddite Club des adolescents newyorkais. Mais nous devons aussi radicalement réimaginer la façon dont on utilise les données, comme nous y invite la penseuse argentine Veronica Gago, auteure de La puissance féministe, qui invite à s’extraire des zones d’extractivisme ou encore Ivan Illich qui nous invitait à construire une société conviale, faite d’outils responsables par lesquels les humains contrôleraient les technologies qu’ils utilisent.

Ils nous invitent d’ailleurs à nous défaire des réponses technologiques. Les solutions sont également sociales, politiques, culturelles, éducatives et légales… Et elles doivent se connecter aux gens et aux luttes. Mejias et Couldry nous invitent à travailler ces systèmes en demandant des droits et des régulations, comme l’a fait le RGPD en Europe. Il nous faut protester contre les pratiques extractivistes, oeuvrer avec les autorités pour exiger des transformations concrètes, oeuvrer avec d’autres organisations pour changer l’allocation des financements, exiger des sanctions et des boycotts, mobiliser les citoyens sur ces enjeux, soutenir la taxation des entreprises de la tech, exiger des garanties pour protéger les citoyens, comme le proposent People vs Big Tech. Mais il faut aussi oeuvrer contre les systèmes et développer de nouveaux outils politiques permettant de refuser le colonialisme sur nos données en œuvrant pour le développement de plateformes plus locales que globales. Si choisir un colonisateur national plutôt qu’un service global ne règle pas la question, Mejias et Couldry nous invitent à trouver les moyens de rendre l’extractivisme des données inacceptable. A la suite de Ben Tarnoff, ils nous invitent à imaginer comment nationaliser l’internet et développer à la suite des travaux de Trebor Scholz, des plateformes coopératives. Ils nous invitent à renverser le discours dominant en relayant les critiques à l’égard des systèmes algorithmiques, à partager les histoires édifiantes des victimes des calculs, et à soutenir les organisations qui œuvrent en ce sens. Ils nous invitent à redéfinir la frontière entre ce que nous voulons et ce que nous ne voulons pas. « La crise du colonialisme des données exige notre participation mais sans notre approbation consciente. Elle ne nous confronte pas à la disparition des glaciers ou des forêts tropicales (même si le colonialisme des données vient avec des coûts environnementaux très significatifs), mais à des environnements sociaux appauvris organisés dans un seul but : l’extraction de données et la poursuite du profit. Et c’est un problème, car résoudre la crise environnementale – et toutes les crises auxquelles nous sommes confrontés – nécessite une collaboration sociale renforcée. Si nos environnements sociaux sont contrôlés par les États et les entreprises, il y a un risque que nous soyons manipulés pour servir leurs intérêts plutôt que les nôtres, ce qui pourrait saper les politiques collectives dont nous avons réellement besoin ». C’est aux colonisés d’agir. Il n’y a rien à attendre des colonisateurs de données. « L’extraction de données est le dernier stade d’un projet qui vise à gouverner le monde dans l’intérêt des puissants. Il nous faut inventer un monde où la donnée est quelque chose que les communautés contrôlent pour les buts qu’elles ont elles-mêmes choisis ». L’IA ne nous sauvera pas. Elle n’est « qu’un mécanisme de plus pour continuer à faire de l’argent et pour transformer le monde en espaces impénétrables que nous ne comprenons pas et sur lesquels nous n’avons aucun contrôle » et qui agit sur nos chances d’accès à des ressources cruciales (prêts, éducation, santé, protection sociale, travail…). Les données discriminent. Les tisser dans des algorithmes et des systèmes toujours plus complexes qui amplifient les biais ne générera que des systèmes de pouvoir encore plus inégaux. Ces systèmes exigent notre transparence la plus totale alors qu’eux-mêmes sont de plus en plus opaques, comme le disaient Ryan Calo et Danielle Citron. Si nous ne démantelons pas ces structures de pouvoir, le colonialisme de données produira de nouvelles injustices, pas leur disparition.

*

Si les perspectives critiques que tirent Mejias et Couldry sont intéressantes, on reprochera néanmoins à leur essai d’être plus philosophique que pragmatique. Les deux chercheurs peinent à documenter concrètement la prédation dont nous sommes l’objet, alors que les exemples ne manquent pas. Leurs propositions conclusives donnent un peu l’impression qu’ils nous invitent à prolonger la lutte, sans documenter justement le coût de la connexion. Leurs recommandations s’inscrivent dans un dictionnaire des luttes bien établies sans parvenir à proposer des leviers sur lesquels celles-ci pourraient converger. Dans leur radicalité, on pourrait s’attendre à ce que leurs propositions le soient également, permettant de construire des objectifs plus ambitieux, comme l’interdiction de la collecte de données, l’interdiction de leurs croisements, l’interdiction des inférences et de la segmentation des publics… On aurait pu attendre d’un livre sur le pillage des données qu’il soit plus radical encore, qu’il nous invite à combattre « la traite » dont nous sommes l’objet par le rétablissement de nos droits, comme l’abolition de l’esclavage ou l’indépendance ont été les leviers décisifs permettant d’envisager de mettre fin au colonialisme. Mejias et Couldry nous offrent une métaphore qui ouvre des perspectives, mais qui semblent bien moins mobilisables qu’on l’attendait.

MAJ du 4/10/2024 : Sur Mais où va le web, Irénée Régnauld revient sur le livre de l’anthropologue Payal Arora, From pessimism to to promise, qui offre un contrepoint au technocolonialisme de Mejias et Couldry. « Pour beaucoup, la peur d’être anonyme et perdu est plus grande que celle d’être surveillé. »

Grazie alle vostre donazioni, Framasoft aiuta più di 2 milioni di persone a diventare digitalmente indipendenti. Dopo un ventesimo anno difficile, la nostra associazione vi chiede i mezzi per continuare il suo lavoro… e per affrontare le sfide del futuro.

 

Nonostante un anno difficile…

Senza entrare nei dettagli o nell’autocommiserazione (perché questo è un momento di festa), quest’anno è stato doppiamente difficile per Framasoft.

Prima di tutto dal punto di vista umano, perché dei conflitti significativi (che possono verificarsi in qualsiasi associazione… e in qualsiasi avventura umana) hanno assorbito molte energie e indebolito il livello di motivazione.

Framasoft conclude quindi il 2024 con una stanchezza accumulata, un team più piccolo e un forte desiderio di focalizzarsi nel 2025 sulle nostre azioni al servizio di chi ha bisogno di strumenti digitali etici e popolari.

Ma anche dal punto di vista finanziario non c’è da rallegrarsi. Tra il fatto che abbiamo meno persone nell’associazione e un annata triste per tutti: l’inflazione, il fascismo alle porte del potere, un crescente bisogno di solidarietà…

Framasoft (come molti altri) ha visto le sue donazioni diminuire drasticamente. Il 1° ottobre 2024, Framasoft aveva ricevuto quasi 50.000 euro in meno di donazioni rispetto alla stessa data del 2023.

…Framasoft è orgogliosa dei risultati ottenuti nel 2024!

Da qui alla fine dell’anno, vi presenteremo in dettaglio su questo blog alcune delle azioni significative realizzate nel 2024. Naturalmente, Framasoft è molto di più di questa selezione (ad esempio, tutti i servizi Internet di Dégooglisons)… Ma dovete scegliere tra le 100 pagine dei resoconti delle nostre attività.

🦄 Framaspace, il cloud associativo, si arricchisce di importanti strumenti

 

Contabilità, gestione dei soci, moduli, gestione semplificata dei dati… tutte queste funzioni si aggiungono alle intro interattive, alla condivisione delle proprietà, alle agende, ai contatti, alla chat e alla sincronizzazione delle cartelle già disponibili in Framaspace.

Se desiderate che la vostra associazione o il vostro piccolo gruppo riceva un Framaspace e possa beneficiare di queste nuove funzionalità il prima possibile, non esitate: le iscrizioni sono ancora aperte!
• scoprire Framaspace
• Tutti i dettagli sul Framablog.

 

🦄 Sostieni Framaspace 🦄

🤖 Framamia & [Project L]: demistificare l’IA attraverso la spiegazione (e l’esempio!)

Dal miracolo all’apocalisse, l’IA è oggetto di fantasie profetiche. Framasoft si è posta la sfida di precisare il dibattito e di ritornare alla concretezza condividendo alcune chiavi di lettura.

 

 

Con il sito web di Framamia, vogliamo spiegare chiaramente come vediamo oggi questa nuova sfida digitale…

Per quanto riguarda il [Progetto L], sarà un esperimento, una dimostrazione del tipo di strumenti che possono essere creati quando l’IA viene utilizzata senza cercare il profitto, la crescita o lo sfruttamento… ma solo per essere fondamentalmente utile.

 

• Tutti i dettagli sono in arrivo sul Framablog.

 

🤖 Sostieni Framamia 🤖

📱 L’app PeerTube: un mondo di video nel palmo della mano

PeerTube non è una piattaforma di video e di live: è una rete di piattaforme autonome, autogestite e interconnesse.

 

Tuttavia, rimane difficile scoprire i contenuti su questa rete, soprattutto perché la maggior parte dei video online viene ormai guardata da un telefono cellulare.

 

Abbiamo quindi sviluppato un’applicazione mobile PeerTube, che sarà disponibile su F-Droid, PlayStore e iOS appstore (se tutto va bene).
• Tutti i dettagli sono in arrivo sul Framablog.

 

📱 Sostieni l’applicazione PeerTube 📱

🐙 PeerTube versione 7: una riprogettazione per un’esperienza ancora più fluida

È stato un anno ricco di nuove funzionalità per il software che consente di creare la propria piattaforma di video e di live: esportazione e importazione di account, moderazione dei commenti, trascrizione automatica dei video, separazione dei flussi audio e video, navigazione nei sottotitoli, ecc.

 

A dicembre è previsto il rilascio della versione 7 di PeerTube, con importanti modifiche all’esperienza e all’interfaccia del software.

Più chiaro, più semplice e più accessibile: non vediamo l’ora di condividere questo nuovo look con voi!

• scoprire PeerTube
• Tutti i dettagli sono in arrivo sul Framablog.

 

🐙 Sostieni PeerTube v7 🐙

🦆 Cancanons: bilancio delle azioni per rendere internet più collettivo e facile da usare

Annunciata alla fine del 2022, la roadmap di Collectivisons Internet / Convivialisons Internet (o « coin-coin », per i più veloci) può essere riassunta in un’unica ambizione: degooglizzare le associazioni.

 

 

Con ECHO network che si sta concludendo (brillantemente), Emancip’Asso che è stata lanciata e sta facendo buoni progressi, Framaspace che si sta evolvendo… sembra un buon momento per fare il punto su queste iniziative e sul futuro che abbiamo in serbo per loro.

Framasoft offre ora una serie di strumenti ai gruppi che desiderano strumenti digitali all’altezza dei loro valori: è ora di presentarli correttamente!
• Vedere la roadmap di Collectivisons / Convivialons Internet
• Rete ECHO
• Emancip’Asso
• Tutti i dettagli sono in arrivo sul Framablog.

 

🦆 Sostieni Coin-Coin 🦆

Celebriamo i 20 anni di condivisione associativa

Per noi, il 2024 è anche il 20° anno dell’associazione Framasoft, la cui fondazione è stata ufficializzata con la pubblicazione sul Journal Officiel del 03 gennaio 2004.

… nel podcast di Projets Libres!

Non abbiamo intenzione di raccontare 20 anni di avventure associative in un post sul blog (non sappiamo se un solo libro sarebbe sufficiente!) Così abbiamo chiesto a Walid, autore del podcast Projets Libres! di aiutare alcuni membri storici a condividere alcuni ricordi di questi due decenni.

Il primo episodio di questo podcast è già disponibile: Framasoft, i primi anni (2004-2014) raccontati da Alexis Kauffmann e Pierre-Yves Gosset.

 

Clicca per ascoltare la prima puntata del podcast sui 20 anni di Framasoft

… sul sito 20ans.framasoft.org!

Inoltre, i membri volontari dell’associazione hanno messo a punto un sito web che illustra 20 anni di azioni e progetti sul software libero, sui beni culturali comuni e sull’educazione popolare alle tematiche digitali.

La storia di Framasoft dimostra che con tanti contributi, talento, duro lavoro, fortuna (anche) e determinazione… una piccola associazione con meno di 40 membri può offrire servizi e strumenti che migliorano la vita digitale di oltre due milioni di persone ogni mese.

 

Fare clic qui per visitare il sito web dei 20 anni di Framasoft

Questa storia potrebbe essere un’anomalia statistica (anche se… vorremmo cogliere l’occasione per augurare alle amiche e agli amici di CLISS XXI, Thunderbird e Wikimedia France un buon 20° compleanno)! Eh sì: Framasoft ha un modello certamente difficile da riprodurre… ma è soprattutto un grande motivo di orgoglio per noi e una grande responsabilità, resa possibile dal sostegno di chi, ogni anno, ha donato a Framasoft.

🎈 Sostieni i 20 anni di Framasoft 🎈

Due possibili futuri, che dipendono interamente da voi

Le donazioni a Framasoft sono una dimostrazione di solidarietà: nel 2023, stimiamo di aver avuto circa 8.000 donatori per 2 milioni di beneficiari mensili.

Una persona che fa una donazione a Framasoft permette ad altre 249 persone di beneficiare gratuitamente dei nostri strumenti.

Essendo Framasoft un’associazione di interesse generale, le donazioni danno diritto ai contribuenti francesi a una detrazione fiscale del 66%. Una donazione di 200 euro quest’anno sarà di 67 euro, al netto della detrazione.

Sì, questo è il periodo dell’anno in cui facciamo appello al vostro sostegno per continuare e finanziare le azioni di Framasoft. E dopo un ventesimo anno difficile, la nostra associazione ha ancora più bisogno di voi, sia per per ripartire che per prendere il volo.

 

Con 200.000 euro, Framasoft prosegue nel suo 21° anno di attività

È la somma di cui abbiamo bisogno per completare il bilancio 2025 e continuare i nostri progetti con il team ridotto. Questo ci permetterà, ad esempio, di assicurare finalmente il posto di lavoro a Wicklow (che, tra le altre cose, sviluppa l’applicazione PeerTube), il cui contratto a tempo determinato è stato prorogato alla fine di agosto.

Tuttavia, non illudiamoci: se da un lato questa somma (già molto cospicua) consentirà a Framasoft di uscire dall’impasse, dall’altro avremo solo i mezzi per mantenere le nostre azioni attuali, i servizi online, ecc. senza poter davvero affrontare nuovi progetti.

 

🎈 Aiuta Framasoft a continuare il suo lavaro 🎈

Con 400.000 euro, Framasoft prende il volo per innovare!

Ecco perché quest’anno abbiamo aggiunto un secondo livello, un bonus nella nostra raccolta fondi. Qualsiasi cifra che superi i 200.000 euro ci darà i mezzi per fare di più, per fare meglio e per affrontare nuovi progetti.

Naturalmente abbiamo già una serie di progetti per migliorare drasticamente i servizi che oggi utilizziamo di più. Ma questo richiede tempo, talento… in breve: denaro.

Vogliamo anche dimostrare che una tecnologia digitale emancipatrice, compresa e controllata… è un tema attuale e importante di fronte alle urgenze climatiche e sociali.
Che si parli di usi mobili, di AI, di Commons, di strumenti resilienti (bassa tecnologia, riuso, ecc.), del posto della tecnologia digitale nell’attuale emergenza climatica… abbiamo grandi ambizioni nell’iniziare questo nuovo decennio della vita di Framasoft. Ci mancano solo i mezzi per realizzarle!

 

🎈🎈 Aiuta Framasoft a decollare nel 2025 🎈🎈

La sfida: 20.000 volte 20 euro di donazioni per il 20° anniversario di Framasoft!

Certo, lo slogan « 20 euro (20 balles/palloni) per 20 anni di Frama » suonava bene… ma se i più generosi tra voi limitassero le loro donazioni a 20 euro, dovremmo trovare 20.000 donatori! (contro i poco più di 8.000 del 2023).

Non vogliamo dirvi quanto contribuire, ma solo che (se siete disposti e in grado di farlo), il vostro sostegno sarà più che benvenuto. Ogni 20 euro donati saranno un nuovo palloncino per celebrare 20 anni di avventure e aiutarci a prendere il volo.

Il vostro sostegno e il vostro incoraggiamento saranno altrettanto preziosi per noi: insieme, abbiamo 42 giorni per convincere i nostri amici e raccogliere abbastanza denaro per far decollare Framasoft.

Allora: sfida accettata?

 

🎈 Io sostengo il 21° anno di Framasoft 🎈

—

Traduzione: nilocram (grazie!)

Framasoft vous propose d’essayer le prototype de Lokas, une nouvelle application de transcription « speech to text » qui respecte votre vie privée. Cette démo fonctionnelle est aussi une expérimentation de Framasoft dans le domaine de l’IA, accompagnée du site Framamia, que l’on présente ici.

 

Facilitez vos prises de notes avec Lokas

Lokas est une application (sur smartphone Android ou iOS) qui permet de transcrire le son de voix en fichier texte.

En gros, pour une réunion : vous mettez le téléphone au centre de la table, vous appuyez sur le bouton « Enregistrer » en début de réunion, sur « Arrêter » en fin de réunion, et l’application vous renvoie quelques minutes après un fichier texte reprenant les phrases prononcées par chacun et chacune.

Lokas permet et surtout permettra pas mal d’autres choses, mais nous y reviendrons en fin d’annonce.

Lokas, c’est pour qui ?

Lokas s’adresse à toute personne qui participe à des réunions. Autant dire un paquet de personnes sur la planète 🙂

Nous pouvons cependant partager quelques cas d’usages.

Premier exemple : une AG associative

Imaginons une Assemblée Générale associative. Il y a 15 personnes dans la pièce, 2 animateur⋅ices, 1 personne à la prise de notes. Et une réunion de 2H.

Les soucis :

• La prise de notes est épuisante

• La personne qui prend les notes voit sa participation limitée

• Les notes peuvent être incomplètes (un « trou » dû à une pause pipi)

Ce qu’apporte Lokas ?

Lokas permet d’assister la personne qui prend les notes, et lui permettra de participer plus facilement (tout en autorisant la pause pipi !).

Second exemple : un atelier avec des ados

Un atelier de l’association « Les petits débrouillards ». 3 groupes de 5 adolescent⋅es. Une majorité de filles dans les groupes.

Les soucis :

• La prise de notes peut être très compliquée

• Les garçons monopolisent la parole

Ce qu’apporte Lokas ?

Lokas permet de garder trace (sonore et écrite) de ce qu’il s’est dit. Et permet d’établir des statistiques de temps de paroles, notamment par genre, afin d’objectiver le fait que les garçons ne laissent que peu de temps de paroles aux filles.

Troisième exemple : une réunion de travail en visio, en langue étrangère

Votre collectif militant est proche d’une association espagnole. C’est Camille, une bénévole de votre collectif, qui parle à peu près l’espagnol, qui fera la visio avec son interlocutrice madrilène. La visio a donc lieu dans une langue étrangère.

Les soucis :

• Vous avez besoin de pouvoir réécouter à tête reposée

• Vous avez besoin d’une transcription en français et de la partager aux membres du C.A.

Ce qu’apporte Lokas ?

Avec Lokas, Camille pourra réécouter la visio, la transcrire automatiquement en français, et la partager depuis votre smartphone (par mail, via Signal, Matrix, WhatsApp, Telegram, etc).

Soutenir Lokas (et Framasoft)

L’IA n’est pas magique ✨. Lokas non plus 🤷.

Lokas n’est qu’un outil. Il peut vous assister dans la prise de notes. Cependant, comme tout outil, il ne doit pas vous dispenser d’utiliser votre cerveau !

L’invention de l’écriture (une autre technologie, très perfectionnée) date d’au moins 3 000 ans. Cela fait donc au moins aussi longtemps que l’humanité est capable de se réunir et de garder des traces écrites. Sans IA. Sans smartphone. Ne jetez pas plusieurs millénaires de techniques avec l’eau de l’IA. Un outil comme Lokas pourra être utile dans certains cas, et complètement gadget, voire improductif, dans d’autres cas. Cela n’est pas sans rappeler le concept de Pharmakon, cher au philosophe Bernard Stiegler : Lokas, comme tout objet technique, est à la fois poison, remède, et bouc-émissaire.

Par exemple le web est « à la fois un dispositif technologique associé permettant la participation et un système industriel dépossédant les internautes de leurs données pour les soumettre à un marketing omniprésent et individuellement tracé et ciblé par les technologies du user profiling. ». Remède et poison.

De la même façon, Lokas pourra être émancipateur (en facilitant la participation plutôt que la prise de notes), ou au contraire contraignant (les réunions un peu foutraques dans un bar bruyant ont aussi leur intérêt, il ne faudrait pas s’en passer parce que l’outil fonctionne mieux dans un environnement calme), ou frustrant (« l’application a planté, je n’ai aucune note de secours ! La technologie, c’est de la mârde ! »).

Lokas, comme une voiture, un marteau, un stylo, n’est pas un outil « neutre ». À vous de voir, collectivement, si vous souhaitez l’utiliser, et comment.

« C’est l’histoire d’une app… »

Il nous semble intéressant de pouvoir vous raconter comment est née l’application Lokas. C’est lever un coin de rideau sur les coulisses de Framasoft, comprendre comment nous pouvons prendre la décision de faire (ou de ne pas faire) tel ou tel projet. C’est aussi montrer que parfois, avec un peu de chance et d’huile de coude clavier, on peut faire des choses qui pourraient paraître impossibles. Cependant, comme cette partie n’est pas indispensable, on vous laisse le choix d’en prendre connaissance ou pas.

Cliquez ici pour lire (l’improbable et fabuleuse) histoire de Lokas

 

Cela fait bien trois ou quatre ans que l’idée de Lokas traîne dans la tête de pyg, membre de Framasoft.

L’idée de départ (nom de code : « Brewawa »), c’était surtout d’imaginer une application qui serait capable de calculer le temps de parole de locuteur⋅ices dans une réunion. Le but (pas du tout caché) était de démontrer facilement que lors d’une discussion avec des personnes de genres différents, ce sont de façon très très majoritairement les hommes qui monopolisent la conversation.

Différents essais ont été réalisés ces dernières années (coucou Gee, coucou bjnbvr !) pour étudier la faisabilité d’une telle application. Mais le fait est qu’en 2020, même si les possibilités techniques étaient présentes, elles n’étaient pas vraiment accessibles pour notre toute petite association, surtout sur un projet parallèle à tous ceux que Framasoft menait déjà.

« C’est l’histoire d’améliorations techniques… »

Cependant, avec le développement de logiciels tels que Vosk ou Whisper, les capacités de transcription audio (c’est-à-dire la capacité à transformer le son de phrases en texte) se sont largement améliorées.

À tel point qu’aujourd’hui, ces technologies sont utilisées par énormément de logiciels (de YouTube à PeerTube, en passant par BigBlueButton ou WhatsApp), et souvent même directement intégrée dans des appareils (Samsung en fait clairement un argument de vente).

Par ailleurs cette dernière décennie a aussi vu s’améliorer les processus de « diarisation ». Ce terme un peu barbare est en fait la technique qui permet d’identifier différent⋅es locuteur⋅ices dans une discussion. Par exemple, si Alex, Camille et Fred font une réunion, la diarisation saura attribuer à chacun⋅e les phrases qu’il ou elle aura prononcées (non, le logiciel ne va pas deviner le prénom de la personne, mais il saura – à peu près – identifier qu’il y avait trois participant⋅es, et dire « Cette phrase a été prononcée par la personne #1. Cette phrase a été prononcée par la personne #2. », etc.

C’est évidemment une phase essentielle pour pouvoir comprendre « qui a dit quoi » dans une réunion.

Ce processus est encore imparfait, mais s’améliore de mois en mois. Il faut donc se projeter en 2026 ou 2027 pour imaginer une diarisation vraiment fiable, mais elle est aujourd’hui « suffisante » dans 60 à 80% des usages en « bonnes conditions ».

« C’est l’histoire d’un alignement de planètes… »

Il se trouve qu’au sein de Framasoft, les compétences nécessaires pour le développement d’une telle application étaient réunies.

Chocobozzz, le développeur de PeerTube, avait déjà beaucoup travaillé sur le processus d’intégration de Whisper à PeerTube, afin de pouvoir générer automatiquement les sous-titres d’une vidéo. Il connait donc bien Whisper, ses options de configuration, ses performances, etc.

Wicklow, le développeur de l’application PeerTube, travaille depuis plusieurs mois avec le langage Dart et le SDK Flutter qui permet de développer en une seule base de code une application pour différents terminaux (Android, iPhone, ordinateur/tablette, web, etc).

Luc, notre administrateur système préféré (c’est pas compliqué, remarquez, nous n’en avons qu’un 😅) gère l’intégralité de l’infrastructure technique de Framasoft (une soixantaine de serveurs informatiques physiques). Donc, mettre en place la machine qui gère les transcriptions, l’installer, la sécuriser, etc, était pour lui un jeu d’enfant.

pyg, anciennement directeur de Framasoft, aujourd’hui coordinateur des services numériques de l’association, a géré d’innombrables projets pour Framasoft ces 20 dernières années. Alors, un de plus, même en pleine campagne, ça n’allait pas l’arrêter.

Entre cet ensemble de compétences, et les capacités techniques des logiciels de transcriptions et diarisation, les planètes étaient donc alignées pour lancer un tel projet.

« C’est une histoire de chance… »

Cependant, comme souvent, il faut un peu compter aussi sur le hasard ou la chance.

En effet, pyg avait un peu laissé tomber l’idée de cette application, tout simplement par ignorance des avancées techniques en termes de diarisation.

C’est en évoquant l’idée de cette application lors du dernier Framacamp, en juillet 2024, que Wicklow a lâché une info au détour de la conversation : « Ah, mais tu sais, Whisper fait maintenant une diarisation correcte. »

BIM 💣

 

« Ah, super intéressant ! Mais j’imagine qu’il faudrait longtemps pour développer une telle application de transcription libre ? » lui demanda pyg.

« Oh, je dirais qu’en 3 jours, je peux avoir un prototype fonctionnel si Chocobozzz se charge de la partie serveur. »

BOUM 💥

Autant vous dire qu’au lieu de profiter de sa soirée à jouer au poker, pyg a filé dans sa chambre, préparé une présentation d’une douzaine de diapositives sur un potentiel projet d’application, qu’il a présenté à l’association le lendemain matin.

 

Certain⋅es membres étaient enthousiastes, d’autres moins. Et on les comprend : d’une part, c’était encore ajouter du travail à une association déjà particulièrement chargée et épuisée ; d’autre part, c’était un projet utilisant un logiciel issu de l’intelligence artificielle, une technologie sur laquelle nous sommes (unanimement) très critiques.

Cependant, cette application, qui allait devenir Lokas, nous semblait un bon moyen « d’incarner » l’objet social de Framasoft : faire de l’éducation populaire aux enjeux du numérique et des communs culturels.

Cela nous permettait en effet de sortir de l’aspect discours pédagogique, à la fois indispensable, mais insuffisant en termes d’appropriation et d’autodétermination. En créant un « objet numérique manipulable », nous pouvions faire de Lokas une occasion complémentaire de faire comprendre ce qu’est l’IA, ses possibilités, mais aussi ses faiblesses. Et revenir, donc, à notre « Pharmakon » évoqué plus haut.

Par ailleurs, en plus de pouvoir assister tout collectif faisant des réunions, cela nous permettait de mettre en œuvre, concrètement, une application portant nos valeurs : un outil convivial, n’exploitant pas les données des utilisateur⋅ices, sous licence libre, s’adressant avant tout aux personnes qui changent le monde pour plus de progrès social et de justice sociale.

Au final, la majorité des membres présent⋅es s’est exprimée : « Banco la caravane ! On se lance ! ».

« C’est (aussi) une histoire de contraintes »

Comme évoqué plus haut, les contraintes étaient fortes.

Un projet, ça coûte forcément en temps et en argent. Du temps et de l’argent qui ne pourront pas être utilisés ailleurs.

Or, il ne vous a pas échappé que Framasoft vit des dons. Il faut donc faire des campagnes de dons. Et la fin de l’année était déjà particulièrement chargée par la finalisation de différents projets et leurs annonces

En discutant avec Thomas et Pouhiou, codirecteurs de l’association, il a donc été décidé que Lokas devrait rester un projet sous contraintes fortes : coûter moins de 10 000€ tout compris ; ne pas impacter fortement les missions de Chocobozzz, pyg, ou Wicklow ; être réalisé (à « temps perdu », donc) entre mi-septembre et mi-novembre (notamment à cause des délais de validation des stores Android et iOS, que nous ne maîtrisons pas).

Avec de telles contraintes, impossible pour nous de réaliser un produit bien finalisé. Nous avons donc décidé de viser plutôt la mise à disposition d’un prototype. Voyez ce prototype comme un appartement témoin. Nous avons produit cette version non pas en nous focalisant sur un projet de long terme, avec des fondations solides, mais plutôt comme une « preuve de concept », développée rapidement, pour voir si le concept est suffisamment attirant et intéressant pour qu’en 2025 nous priorisions le développement de cette application (si les dons sont suffisants, donc !).

Afin de vous donner suffisamment « envie » de voir un jour une version 1.0 de Lokas arriver, nous avons fait appel aux compétences de l’Atelier Domino pour la création d’un logotype et d’une charte graphique. Ce qui nous a guidés pour réalisé en interne le site web du projet : lokas.app

En parallèle, Wicklow et Chocobozzz se sont attaqués au développement du prototype, ainsi qu’à la partie serveur de transcription.

« C’est une histoire qui ne demande qu’à être écrite… »

Une quinzaine de jours de travail plus tard (et un coût estimé à 7 500€ tout compris, avec en gros moitié de temps de travail Framasoft, et moitié prestations : Atelier Domino, location du serveur, des noms de domaines, validation des stores), nous pouvons présenter, avec fierté et un peu d’anxiété, notre prototype !

Soutenir Lokas (et Framasoft)

Lokas, comment ça marche ?

1. Se mettre dans les bonnes conditions

Lokas, comme tous les outils de transcription, d’ailleurs, est imparfait. Des bruits extérieurs, une mauvaise articulation, une voix fluette en fond de salle, des personnes qui se coupent la parole… Autant de raisons qui peuvent nuire à la transcription.

En conséquence, prévoyez de vous mettre au calme, de placer le téléphone au centre de la table (meilleure est la qualité sonore, meilleure est la transcription), n’ayez pas plusieurs discussions en même temps, et… prenez des notes « à l’ancienne » à côté (papier+crayon, ordinateur+pad, etc) en cas de souci.

Une fois cela fait, le fonctionnement est très simple.

2. Lancer l’enregistrement

Cliquez simplement sur le bouton « Enregistrement ». Placez le téléphone de façon à ce qu’il puisse capter au mieux les échanges. Et commencez votre réunion.

 

Afin de limiter les abus, les enregistrements sont limités à 5 par jour et par appareil.

Notez que le modèle de langue géré par Lokas permet de l’utiliser d’ores et déjà dans une cinquantaine de langues, notamment : Néerlandais, espagnol, coréen, italien, allemand, thaïlandais, russe, portugais, polonais, indonésien, mandarin, suédois, tchèque, anglais, japonais et bien entendu français ! D’autres langues sont supportées, mais la reconnaissance sera moins performante.

À la fin de la réunion, cliquez sur « Finaliser ».

3. Envoyez votre fichier pour transcription (et patientez)

Vous pourrez éventuellement réécouter votre fichier avant de cliquer sur « Envoyer ».

Votre fichier est alors envoyé sur notre serveur où il sera placé dans la file d’attente pour sa transcription.

Cette étape pourra prendre de quelques minutes à quelques heures, suivant le nombre de fichiers en attente.

Vous pourrez vérifier manuellement si votre fichier a bien été transcrit, ou attendre tranquillement la notification (dont la tâche de vérification est exécutée toutes les 15mn)

 

Une fois la transcription reçue

Une fois la transcription reçue, vous pourrez l’afficher dans Lokas.

 

Vous pourrez évidemment la partager (avec l’application de votre choix : mail, Signal, WhatsApp, etc) pour la corriger.

 

Vous pourrez aussi voir les statistiques de temps de parole (NB : cette fonctionnalité est relativement expérimentale). Si vous le souhaitez, pour une meilleure lecture des notes, vous pouvez attribuer un prénom (ou pseudo) aux participant⋅es. Pour obtenir des temps de parole par genre, vous pouvez aussi les attribuer manuellement, en vous assurant évidemment du consentement des personnes concernées à communiquer cette information. Notez que ces informations sont volontairement manuelles, et ne quittent pas votre téléphone, et ne sont donc pas transmises à Framasoft ou qui que ce soit.

 

 

Point confidentialité : l’une des particularités de Lokas est que nous respectons votre vie privée : le fichier audio est enregistré sur votre téléphone. Il est envoyé, à votre demande, sur nos serveurs, qui se chargeront alors de sa transcription. Une fois la transcription terminée, une notification est envoyée sur votre téléphone ; lorsque vous ouvrez (dans « Mes fichiers ») la réunion en question, la transcription est alors téléchargée sur votre téléphone. Une fois cette étape réalisée, et après un léger délai pour s’assurer que tout s’est bien passé techniquement, tout est supprimé de notre serveur : le fichier audio ainsi que la transcription. Par ailleurs, si vous attribuez des noms, pseudos ou genres, pour les statistiques, sachez que ces informations ne font l’objet d’aucun traitement de notre côté.

Soutenir Lokas (et Framasoft)

Et l’IA dans tout ça ?

À Framasoft, nous ne sommes pas fans du tout de l’IA. Nous pensons que cette technologie (ou plutôt cet ensemble de technologies), pose plus de problèmes qu’elle n’apporte de solutions. Nous avons d’ailleurs essayé de présenter une synthèse de notre position sur l’I.A. au sein du site Framamia, que nous présentons ici sur le Framablog.

Alors, n’est-ce pas contradictoire d’utiliser l’IA au sein d’applications Framasoft, comme Lokas ou PeerTube ?

À notre sens, non. Et ce pour plusieurs raisons.

D’abord, comme nous l’écrivions dans le site Framamia, tous les modèles d’intelligence artificielle ne se valent pas. Whisper, le logiciel qui sert à la transcription, est une IA « spécialisée », et non une IA « généraliste » comme ChatGPT par exemple.

« Les modèles spécialisés, quant à eux sont optimisés pour résoudre efficacement une tâche précise. Leur impact est souvent maîtrisé, et peut correspondre à celui d’un autre logiciel. ».
Framasoft, sur le site Framamia.org

Whisper est certes une IA, mais qui tourne « en vase clos » sur nos serveurs.

Les algorithmes utilisés sont plus complexes qu’un filtre « Enlève les yeux rouges de cette photo » avec GIMP ou Photoshop, mais cela reste un modèle relativement simple (avec un processus d’entrées/sorties) infiniment moins énergivore qu’un modèle d’entraînement. En effet, l’inférence (le processus d’utiliser le modèle pour effectuer une tâche) consomme bien moins d’énergie que l’entraînement. Par exemple, exécuter Whisper pour transcrire un fichier audio de quelques minutes nécessite une puissance de calcul relativement modeste.

Ensuite, un projet comme Lokas ne nécessite pas d’acheter 350 000 puces GPU pour 9 milliards de dollars, comme l’a fait récemment Meta/Facebook, ce qui représente en gros le PIB du Togo en 2023. Nous ne pensons pas participer à la croissance de la bulle financière autour de l’IA, ou à faire faire s’emballer le capitalisme algorithmique.

Enfin (et surtout), avec Lokas ou PeerTube, nous demeurons cohérent⋅es avec une des valeurs au cœur de Framasoft, à savoir le respect de la confidentialité de vos données. En effet, nous ne faisons aucune exploitation de vos fichiers, en dehors de la tâche explicitement demandée, par exemple la transcription. Elles ne servent pas à enrichir un modèle d’IA à partir de vos discussions, de votre identité, etc. Nous ne conservons pas les fichiers audio ou texte, nous n’avons pas accès aux noms/prénoms/genres que vous attribuez manuellement aux participant⋅es d’une discussion (ça reste sur votre téléphone), etc. Et, évidemment, vos données ne sont JAMAIS monétisées.

Bref, Framasoft se fiche du contenu de vos données, elles vous appartiennent et ne regardent que vous.

Malgré cela, nous respectons le point de vue des personnes qui souhaitent boycotter l’IA, et nous entendons la contradiction qu’iels pourraient trouver à ce qu’une asso technocritique comme Framasoft propose des projets utilisant l’I.A.

Notre objectif est justement de proposer un outil qui permette d’avoir une réflexion concrète, afin de se forger un avis autonome, permettant à chacun et chacune de se construire sa propre position.

Lokas c’est pour quand ?

Vous pouvez d’ores et déjà télécharger l’application Lokas sur le Play Store, iOS (toujours en testflight chez Apple, parce qu’ils sont 🤬… disons tatillons. EDIT : c’est maintenant disponible !), f-droid (en cours), ou avoir l’apk Android en téléchargement direct ici. Notez cependant que Lokas est un prototype (si ce n’est pas déjà fait, prenez deux minutes pour lire « L’histoire de Lokas » et comprendre pourquoi), et il est donc normal que plein plein plein de choses ne fonctionnent pas !

Nous avons déjà pris du temps, de l’énergie, et un peu d’argent sur des ressources pourtant limitées (on vous a déjà dit qu’on ne vivait que de vos dons ? 😉 ). De plus, comme toujours, le code est libre, nous l’avons publié ici sur notre forge logicielle.

Avant d’aller plus loin, nous avons donc besoin de confirmer que ce projet vous intéresse. Si les dons ne sont pas assez importants, ou si les contradictions sont trop fortes : nous nous arrêterons là. (le code est libre, donc ça ne sera pas « perdu »).

Si, par contre, vous trouvez ça pertinent, les possibilités de développements futurs sont innombrables. Citons par exemple :

• Reprendre complètement le design et l’accessibilité (en mode prototypage, nous sommes allé⋅es très vite, et Lokas est donc très perfectible) ;

• Possibilité de (re)transcrire le fichier de son choix (par exemple issu d’une vidéo ou d’une autre application) ;

• Ajouter un mode « web » à l’application. C’est à dire la possibilité d’utiliser Lokas depuis son ordinateur (sur le modèle de ce que fait le serveur Scribe de nos ami⋅es des Céméa) ;

• Ajouter la possibilité de synthèses automatiques des transcriptions, pour retrouver rapidement les points clés ;

• Traduire l’application (et le site web) dans d’autres langues que le français et l’anglais ;

• Possibilité d’éditer et corriger la transcription directement depuis votre téléphone ;

• Donner la possibilité d’obtenir la transcription dans la langue de son choix (par exemple une réunion en anglais, transcrite en français, ou l’inverse) ;
• etc

Mais pour cela, il va nous falloir du temps salarié, et donc de l’argent. Donc, au risque de paraître insistant, nous vous invitons, si vous le pouvez, à nous faire un don.

Faire une don pour soutenir Lokas

Le défi : 20 000 fois 20 € de dons pour les 20 ans de Framasoft !

Framasoft est financée par vos dons ! Chaque tranche de 20 euros de dons sera un nouveau ballon pour célébrer 20 d’aventures et nous aider à continuer et décoller une 21^e année.

Framasoft, c’est un modèle solidaire :

• 8000 donatrices en 2023 ;
• plus de 2 millions de bénéficiaires chaque mois ;
• votre don (défiscalisable à 66 %) peut bénéficier à 249 autres personnes.

À ce jour, nous avons collecté 58 625 € sur notre objectif de campagne. Il nous reste 29 jours pour convaincre les copaines et récolter de quoi faire décoller Framasoft.

Alors : défi relevé ?

Obtenir Lokas Soutenir Framasoft

Framasoft invites you to try out the prototype of Lokas, a new speech-to-text transcription application that respects your privacy. This functional demo is also an experiment by Framasoft in the field of AI, accompanied by the Framamia website, which we present here (in French).

Make note-taking easier with Lokas

Lokas is an application (for Android or iOS smartphones) that allows you to transcribe the sound of your voice into a text file.

Basically, during a meeting: you put the phone in the middle of the table, press the ‘Record’ button at the start of the meeting and the ‘Stop’ button at the end. A few minutes later, the application sends you a text file containing the sentences spoken by everyone.

Lokas can and will do many more things, but we’ll come back to that at the end of this announcement.

Who is Lokas for?

Lokas is aimed at anyone who takes part in meetings. That’s a lot of people on the planet 🙂

However, we can share a few usecases.

First example: a nonprofit’s Annual General Meeting

Let’s imagine a nonprofit AGM. There are 15 people in the room, 2 moderators and 1 note taker. And a 2-hour meeting.

Concerns:

• Note-taking is exhausting

• The person taking the notes has limited participation

• The notes may be incomplete (a ‘blank’ due to a bathroom break).

What does Lokas offer?

Lokas assists the note-taker, making it easier for him or her to participate (while still allowing for a pee break!).

Example of a transcription of a voice exchange using the Lokas application.

Second example: a workshop with teenagers

A workshop run by the ‘ Les petits débrouillards ’ association. 3 groups of 5 teenagers. A majority of girls in the groups.

Concerns:

• Note-taking can be very complicated.

• Boys monopolise the floor

What does Lokas offer?

Lokas makes it possible to keep a record (audio and written) of what was said. It also makes it possible to compile statistics on speaking time, particularly by gender, so that we can see for ourselves that boys leave very little speaking time for girls.

Third example: a video meeting in a foreign language

Your activist collective is close to a Spanish association. Camille, a volunteer from your group, who speaks a little Spanish, will be doing the video with her contact in Madrid. The video will therefore take place in a foreign language.

Concerns :

• You need to be able to listen again with your head down

• You need a French transcript to share with board members.

What does Lokas offer?

With Lokas, Camille will be able to listen to the video again, automatically transcribe it into French, and share it from your smartphone (by email, via Signal, Matrix, WhatsApp, Telegram, etc).

Support Lokas (and Framasoft)

AI isn’t magic ✨. Neither is Lokas 🤷.

Lokas is just a tool. It can assist you in taking notes. However, like any tool, it shouldn’t exempt you from using your brain!

Writing (another highly sophisticated technology) was invented at least 3,000 years ago. So humanity has been able to get together and keep written records for at least that long. Without AI. Without smartphones. Don’t throw away several millennia of technology with the water of AI. A tool like Lokas could be useful in some cases, and completely gimmicky, even unproductive, in others. This is reminiscent of the concept of Pharmakon, a concept dear to the French philosopher Bernard Stiegler: Lokas, like any technical object, is simultaneously poison, remedy and scapegoat.

The web, for example, is both a technological device enabling participation, and an industrial system dispossessing Internet users of their data in order to subject them to omnipresent marketing that is individually traced and targeted by user profiling technologies.

In the same way, Lokas can be emancipating (by facilitating participation rather than note-taking), or on the contrary restrictive (meetings in a noisy bar can be interesting, but we shouldn’t do without them because the tool works better in a quiet environment), or frustrating (« The application has crashed, I don’t have any backup notes! Technology is shite! »)

Lokas, like a car, a hammer or a pen, is not a ‘neutral’ tool. It’s up to you, collectively, to decide whether and how you want to use it.

 

‘This is the story of an app…’

We thought it would be interesting to tell you how the Lokas app came about. It means lifting the curtain on what goes on behind the scenes at Framasoft, and understanding how we can decide to do (or not to do) such and such a project. It’s also about showing that sometimes, with a bit of luck and a bit of elbow keyboard, you can do things that might seem impossible. However, as this part is not essential, we’ll leave it up to you to decide whether or not you want to read it.

Click here to read the (improbable and fabulous) origin story of Lokas

The idea for Lokas has been in the head of pyg, a member of Framasoft, for three or four years now.

The original idea (code name: ‘ Brewawa ’) was mainly to come up with an application that would be able to calculate the speaking time of participants in a meeting. The (not at all hidden) aim was to easily demonstrate that during a discussion with people of different genders, it is overwhelmingly men who monopolise the conversation.

Various tests have been carried out in recent years (hi Gee, hi bnjbvr !) to study the feasibility of such an application. But the fact is that in 2020, even if the technical possibilities were there, they weren’t really available to our tiny association, especially on a project piling on all those that Framasoft was already carrying out.

‘It’s all about technical improvements…’.

However, with the evolution of softwares such as Vosk and Whisper, audio transcription capabilities (i.e. the ability to transform the sound of sentences into text) have considerably improved.

So much so that today, these technologies are used by a huge number of software applications (from YouTube and PeerTube to BigBlueButton and WhatsApp), and are often even integrated directly into devices (Samsung has clearly made this a selling point).

The last decade has also seen improvements in ‘diarization’ processes. This rather barbaric term is in fact the technique used to identify different⋅es speakers in a discussion. For example, if Alex, Camille and Fred are having a meeting, the diarization will know how to attribute to each their sentences (no, the software won’t guess the person’s first name, but it will know – more or less – identify that there were three participants, and say ‘This sentence was uttered by person #1. This sentence was said by person #2.’, etc.

This is obviously an essential phase in being able to understand ‘who said what’ in a meeting.

This process is still imperfect, but it is improving month by month. We therefore need to look ahead to 2026 or 2027 to imagine truly reliable diarization, but today it is ‘sufficient’ in 60 to 80% of uses under ‘good conditions’.

‘It’s the story of an alignment of planets…’.

It just so happened that Framasoft had the skills needed to develop such an application.

Chocobozzz, developer of PeerTube, had already worked hard on the process of integrating Whisper into PeerTube, in order to be able to automatically generate subtitles for a video. So he’s very familiar with Whisper, its configuration options, its performance and so on.

Wicklow, developer of the PeerTube application, has been working for several months with the Dart language and Flutter SDK, which enables an application to be developed for different terminals (Android, iPhone, computer/tablet, web, etc.) in a single code base.

Luc, our favourite system administrator (it’s not complicated, mind you, we only have the one 😅 ) manages Framasoft’s entire technical infrastructure (around sixty physical computer servers). So setting up the machine that manages the transcriptions, installing it, securing it, etc, was child’s play for him.

pyg, former director of Framasoft, now the association’s digital services coordinator, has managed countless projects for Framasoft over the last 20 years. So one more, even in the middle of a campaign, wasn’t going to stop him.

With this range of skills, and the technical capabilities of the transcription and diarization software, the planets were aligned to launch such a project.

‘It’s all about luck…’

However, as is often the case, you also have to rely a little on chance or luck.

Indeed, pyg had somewhat dropped the idea of this application, simply out of ignorance of the technical advances in terms of diarisation.

It was while discussing the idea of this application at the last Framacamp, in July 2024, that Wicklow dropped a piece of information in the nick of time: ‘Ah, but you know, Whisper now does proper diarization.’

BIM 💣

‘Ah, very interesting! But I imagine it would take a long time to develop such a free transcription application?’ asked pyg.

‘Oh, I’d say in 3 days I can have a working prototype if Chocobozzz takes care of the server part.’

BANG 💥

So instead of enjoying his evening playing poker, pyg went off to his room and prepared a presentation of a dozen slides on a potential application project, which he presented to the association the following morning.

 

Some members were enthusiastic, others less so. And we can understand them: first, because it was adding yet more work to an already particularly busy and exhausted association. More, this project would use software derived from artificial intelligence, a technology about which we are (unanimously) very critical.

However, this application, which was to become Lokas, seemed to us to be a good way of ‘embodying’ the social purpose of Framasoft: to educate the public about the challenges of digital technology and the cultural commons.

This enabled us to move away from the pedagogical aspect, which is both essential and insufficient in terms of appropriation and self-determination. By creating a ‘manipulable digital object’, we could use Lokas as an additional opportunity to explain what AI is, its possibilities, but also its weaknesses. And so return to our ‘Pharmakon’ mentioned above.

What’s more, as well as being able to assist any collective holding meetings, this enabled us to put into practice, in concrete terms, an application bearing our values: a user-friendly tool, not exploiting users data, under an open licence, aimed above all at people who are changing the world for more social progress and social justice.

In the end, the majority of members present said: ‘Let’s go for it!’.

‘It’s (also) a story of limits’.

As mentioned above, the constraints were considerable.

A project inevitably costs time and money. Time and money that can’t be used elsewhere.

As you know, Framasoft lives off donations. So we have to run donation campaigns. And the end of the year was already particularly busy with the finalisation of various projects and their announcements.

In discussions with Thomas and Pouhiou, co-directors of the association, it was decided that Lokas should remain a project subject to strict limitations: it should cost less than €10,000 all-included; it should not have a major impact on the missions of Chocobozzz, pyg or Wicklow; and it should be completed (in ‘wasted time’) between mid-September and mid-November (in particular because of the validation deadlines for the Android and iOS stores, which we don’t control).

With such constraints, it was impossible for us to produce a well-finished product. So we’ve decided to focus instead on making a prototype available. Think of this prototype as a showroom house. We’ve produced this version not by focusing on a long-term project, with solid foundations, but rather as a ‘proof of concept’, developed rapidly, to see if the concept is sufficiently attractive and interesting for us to priorise the development of this application in 2025 (if donations are sufficient, that is!).

To give you enough ‘desire’ to see a version 1.0 of Lokas arrive one day, we called on the skills of Atelier Domino to create a logotype and a graphic charter. This led us to create the project website in-house : lokas.app

At the same time, Wicklow and Chocobozzz set about developing the prototype and the transcription server.

‘It’s a story just waiting to be written…’.

A fortnight’s work later (and an estimated cost of €7,500 all-in, with roughly half the time spent by Framasoft and half on services: Domino workshop, server hire, domain names, validation of Google & Apple app stores), we can proudly and somewhat anxiously present our prototype!

Support Lokas (and Framasoft)

How does Lokas work?

1. Get in the right conditions

Lokas, like all transcription tools, is imperfect. Outside noise, poor articulation, a faint voice in the background, people cutting each other off… These are just some of the reasons why transcription can be difficult.

As a result, plan to be in a quiet room, place the telephone in the centre of the table (the better the sound quality, the better the transcription), don’t hold several discussions at the same time, and… take ‘old-fashioned’ notes (paper+pencil, computer+pad, etc.) in case of problems.

Once you’ve done that, it’s very simple.

 

2. Start recording

Simply click on the ‘Record’ button. Position the phone so that it can best pick up the exchanges. And start your meeting.

 

To limit abuse, recordings are limited to 5 per day and per device.

Note that the language model managed by Lokas means that it can already be used in around fifty languages, including: Dutch, Spanish, Korean, Italian, German, Thai, Russian, Portuguese, Polish, Indonesian, Mandarin, Swedish, Czech, French, Japanese and, of course, English! Other languages are supported, but recognition will be less effective.

At the end of the meeting, click ‘Finish’.

3. Send your file for transcription (and be patient)

You may wish to listen to your file again before clicking on ‘Send’.

Your file will then be sent to our server where it will be queued for transcription.

This stage can take from a few minutes to a few hours, depending on the number of files in the queue.

You can check manually whether your file has been transcribed, or wait quietly for the notification (the verification task is carried out every 15 minutes).

 

Once the transcript has been received

Once you have received the transcript, you can display it in Lokas.

You can of course share it (with the application of your choice: email, Signal, WhatsApp, etc.) to correct it.

 

You can also see the speaking time statistics (NB: this feature is relatively experimental). If you wish, you can assign a first name (or pseudonym) to each participants to make it easier to read the notes. To obtain speaking times by gender, you can also allocate them manually, obviously ensuring that you have the consent of the people concerned to communicate this information. Note that this information is voluntarily manual, and does not leave your phone, and is therefore not transmitted to Framasoft nor anyone else.

 

Confidentiality point: one of the special features of Lokas is that we respect your privacy: the audio file is recorded on your phone. At your request, it is sent to our servers, which will then transcribe it. Once the transcription is complete, a notification is sent to your phone; when you open (in ‘My files’) the meeting in question, the transcription is then downloaded to your phone. Once this stage has been completed, and after a slight delay to ensure that everything has gone well technically, everything is deleted from our server: the audio file as well as the transcript. And if you give us names, pseudonyms or genres for statistical purposes, please note that we do not process this information in any way.

Support Lokas (and Framasoft)

What about AI?

At Framasoft, we are not at all fans of AI. We think that this technology (or rather this set of technologies) poses more problems than it solves. In fact, we tried to summarise our position on AI on the Framamia website, which we present here on the Framablog (in French).

So, isn’t it contradictory to use AI in Framasoft applications such as Lokas or PeerTube?

In our opinion, no. For several reasons.

Firstly, as we wrote on the Framamia website, not all artificial intelligence models are created equal. Whisper, the software used for transcription, is a ‘specialised’ AI, not a ‘generalist’ AI like ChatGPT, for example.

‘Specialised models are optimised to solve a specific task efficiently. Their impact is often controlled, and may correspond to that of other software’.

Framasoft, on the Framamia.org website

Whisper is certainly an AI, but it runs ‘in isolation’ on our servers.

The algorithms used are more complex than a ‘Remove the red eyes from this photo’ filter with GIMP or Photoshop, but it remains a relatively simple model (with an input/output process) that uses infinitely less energy than a training model. In fact, inference (the process of using the model to perform a task) consumes much less energy than training. For example, running Whisper to transcribe an audio file lasting a few minutes requires relatively modest computing power.

Secondly, a project like Lokas does not require the purchase of 350,000 GPU chips for $9 billion, as Meta/Facebook recently did, which is roughly equivalent to Togo’s GDP in 2023. We don’t think we’ll be taking part in the growth of the AI financial bubble, or in the runaway growth of algorithmic capitalism.

Finally (and most importantly), with Lokas or PeerTube, we remain consistent with one of the values at the heart of Framasoft, namely respect for the confidentiality of your data. Indeed, we do not make any use of your files, apart from the task explicitly requested, for example transcription. They are not used to enrich an AI model based on your discussions, your identity, etc. We don’t keep audio or text files, we don’t have access to the names/first names/genders that you manually assign to participants⋅es in a discussion (that stays on your phone), etc. And, of course, your data is NEVER monetised.

In short, Framasoft doesn’t care about the content of your data, it belongs to you and is nobody’s business but yours.

Despite this, we respect the point of view of people who wish to boycott AI, and we understand the contradiction they might find in a technocritical association like Framasoft proposing projects using AI.

Our aim is to offer a tool that will enable people to think about the issues in a concrete way, so that they can form their own opinions and come to their own conclusions.

 

When is Lokas coming?

You can Download the Lokas app on the Play Store, iOS (still in TestFlight on iOS, because they are 🤬… let’s say picky EDIT : it’s now available), (and soon on f-droid), or get the android apk directly from us here. But keep in mind it is a prototype (if you haven’t already, take two minutes to read ‘The Lokas Story ’ and understand why), so it’s normal that lots and lots of things don’t work!

We’ve already taken time, energy and a bit of money out of limited resources (did anyone ever tell you that we only live off your donations? 😉 ). And, obviously, this POC is open source, the code is publish here on our forge.

So before going any further, we need to confirm that you are interested in this project. If the donations aren’t big enough, or if the contradictions are too strong: we’ll stop there (the code is free, so it won’t be ‘lost’).

If, on the other hand, you find it relevant, there are countless possibilities for future developments. For example:

• Complete redesign and accessibility (in prototyping mode, we went very fast, and Lokas is therefore very perfectible);

• Ability to (re)transcribe the file of your choice (from Lokas, a video or another application, for example);

• Add a ‘web’ mode to the application. This means you can use Lokas from your computer (similar to the Scribe server used by our friends at the Céméa);

• Add the possibility of automatic summaries of the transcripts, to quickly find the key points;

• Translate the application (and the website) into languages other than French and English;

• Ability to edit and correct the transcript directly from your phone;

• Provide the option of obtaining the transcript in the language of your choice (e.g. a meeting in English transcribed into French, or vice versa);
• etc

But to do this, we’re going to need some staff time, and therefore money. So, at the risk of sounding insistent, we invite you, if you can, to make a donation.

Make a donation to support Lokas

 

The challenge: 20,000 times €20 donations for Framasoft’s 20th anniversary!

Framasoft is funded by your donations! Every €20 you donate will be a new balloon to celebrate 20 years of adventures and help us continue and take off for a^21st year.

Framasoft is a model of solidarity:

• 8,000 donors in 2023 ;
• over 2 million beneficiaries every month;
• your donation (66% tax deductible) can benefit 249 other people.

To date, we have raised €58,625 of our campaign target. We still have 29 days to convince our friends and raise enough money to get Framasoft off the ground.

So, challenge accepted?

Get Lokas Support Framasoft