En réponse à Stéphane Bortzmeyer.

Après lecture du tableau, de l'article qui l'explique https://arxiv.org/abs/2307.05532 et du dépôt Github où se trouvent les données brutes https://github.com/opening-up-chatgpt/opening-up-chatgpt.github.io je recommande la lecture de l'article, qui décrit de manière intéressante le problème. J'aurais dû le lire avant mon propre article.

Toutefois, quelques bémols : le tableau a comme critère la publication d'un article scientifique revu par les pairs. C'est évidemment nécessaire pour la science mais tous les modèles ne prétendent pas être un travail de recherche scientifique, et ce critère est donc à relativiser. D'autre part, si les auteurs, pratiquant ce qu'ils prêchent, publient les données qu'ils ont utilisé, celles-ci sont parfois brèves et difficiles à interpréter. Par exemple, je ne comprends toujours pas la mauvaise note de Falcon sur le critère « corpus de données utilisé pour l'entrainement » alors que ce corpus est sur Hugging Face, et que la fiche Falcon dans les données de l'article est plutôt sommaire. Enfin, les auteurs de l'article ne se limitent pas à la définition traditionnelle du logiciel libre et ajoutent de nombreux critères, comme l'existence d'un service en ligne permettant de faire tourner le modèle. Vu le coût d'un tel service, ce critère est assez discriminatoire.

Normalement, les débats comme celui sur la complétude du corpus d'entrainement de Falcon se règlent facilement : on refait l'entrainement avec les données publiées et on voit si ça marche. C'est la démarche de la science (la reproductibilité) et du logiciel libre (on recompile à partir des sources). Mais dans le cas des LLM, c'est souvent hors d'atteinte, vu les ressources matérielles nécessaires. La vérification est donc souvent impossible en pratique.