Qu'un LLM réussisse une épreuve d'une certaine discipline, montre que l'épreuve ne nécessite pas de compétences disciplinaires mais uniquement de rhétorique. Par exemple si ChatGPT produit une bonne copie de philo même sur un sujet original, c'est grâce à ses capacités à produire un beau texte, non celles de produire un raisonnement philosophique.

C'est aussi l'impression qu'on peut avoir en tant qu'élève dans certaines matières très littéraires, où (ça dépend du prof) on peut apprendre à produire plutôt du baratin intuitif qu'un raisonnement cohérent et solide... ce qui favorise exactement les LLM. Par exemple, ChatGPT répond très mal à des problèmes d'algorithmique ou de preuve mathématique délicate, car tout s'effondre immédiatement à la moindre incohérence.

Les LLM semblent donc permettre de révéler qu'une épreuve évalue plus ou moins les compétences rhétoriques au lieu de celles qu'on voulait évaluer. (note : j'avoue que je fais en même temps la critique de certaines disciplines ou écoles philosophiques où globalement on a peur de la logique et où on s'autorise à écrire des phrases dont on ne comprend pas précisément le sens de chaque mot. Sans vouloir manquer de respect aux profs de français/histoire/philo, c'était mon ressenti au lycée.)