Un enseignant compare ses notes à celles de l'IA sur 13 copies. Les écarts révèlent un problème plus profond que la technologie : sans barème explicite, ni l'humain ni la machine ne peuvent évaluer de manière fiable. Ce que dit un siècle de recherche.

Un professeur de lycée a récemment publié un bilan saisissant. Il a soumis 13 copies de ses élèves de seconde à une IA de correction, sur un travail portant sur l'éthique de l'intelligence artificielle. Puis il a comparé, copie par copie, ses propres notes avec celles de la machine.

Sur certaines copies, l'accord est parfait. Sur d'autres, les écarts atteignent plusieurs points. Pas dans un sens unique : l'IA est tantôt plus sévère, tantôt plus généreuse. Le professeur commente : les divergences ne viennent pas d'un dysfonctionnement de l'IA, mais des zones d'implicite dans l'évaluation.

Ce constat de terrain rejoint exactement ce que la recherche en sciences de l'éducation documente depuis un siècle. En tirant le fil, on découvre que le barème explicite est le chaînon manquant, pas seulement pour l'IA, mais pour toute la chaîne évaluative : avant, pendant et après.

Le point de départ : pourquoi l'IA et l'enseignant divergent

Quand un enseignant corrige, il mobilise simultanément le barème écrit, sa connaissance de l'élève, sa mémoire des copies précédentes, ses attentes implicites forgées par l'expérience, et un ensemble de critères non formulés qu'il applique sans en avoir conscience. C'est ce qui fait la richesse du jugement pédagogique.

Quand une IA corrige, elle n'a accès qu'à ce qui est écrit : la copie et le barème. Pas de mémoire, pas de contexte, pas d'implicite. Elle évalue exactement et uniquement ce qu'on lui demande d'évaluer.

Résultat : chaque divergence entre la note IA et la note enseignant est un signal. Soit le critère est mal défini et l'IA l'interprète différemment. Soit l'enseignant applique un critère qu'il n'a pas écrit dans le barème. Dans les deux cas, la divergence pointe vers un manque d'explicitation.

Ce n'est pas un défaut. C'est un diagnostic.

AVANT : le barème comme fondation

Ce que vaut un barème vague

Sans barème ou avec un barème vague (« contenu : /10, forme : /5 »), la correction est une opération subjective. La docimologie le sait depuis 1936 :

Étude	Résultat
Laugier & Weinberg, 1936	60 % de la variance des notes provient du correcteur, pas de l'élève
Piéron, 1963	Il faudrait 127 correcteurs pour une note fiable en philosophie
Brimi, 2011	Même avec 20h de formation et un barème, l'écart va de 50 à 96 sur 100
Suchaut, 2008	Au bac SES, la même copie : notes de 8 à 18 sur 20

Ces chiffres ne disent pas que les enseignants corrigent mal. Ils disent que sans critères explicites partagés, la correction est structurellement instable. C'est un fait scientifique, pas un jugement.

Pour l'analyse complète de ces études, voir notre article : Corriger des copies : pourquoi c'est si difficile.

Ce que vaut un barème explicite

À l'inverse, un barème critérié explicite (critères observables, indicateurs de réussite, répartition des points justifiée) transforme l'évaluation.

Jonsson & Svingby (2007), dans une méta-analyse de référence publiée dans Educational Research Review, montrent que les grilles critériées (rubrics) ont un effet positif modéré mais significatif à la fois sur la fiabilité de la notation et sur la qualité des apprentissages.

Panadero & Jonsson (2013) précisent : quand des critères explicites sont utilisés, la variabilité inter-correcteurs chute de 20 % à 5 %. L'accord entre correcteurs quadruple.

Reddy & Andrade (2010), dans une revue systématique des rubrics en enseignement supérieur, concluent que les grilles critériées améliorent trois dimensions : la transparence (l'élève sait ce qu'on attend), la cohérence (les correcteurs convergent) et l'équité (moins de biais socio-culturels).

Ce que vaut un barème explicite pour l'IA

Les données sur l'IA confirment le même schéma, de manière encore plus brutale.

Mizumoto & Eguchi (2023) ont mesuré l'accord entre correction humaine et correction IA avec et sans rubric explicite :

Condition	Correspondance exacte IA / humain
Sans rubric	~33 %
Avec rubric explicite	~50 %

Le gain est immédiat : +50 % de correspondance simplement en fournissant un barème structuré.

Ce que ces chercheurs ont mesuré, notre professeur de lycée l'a vécu sur ses 13 copies. Quand le barème est précis, IA et enseignant convergent. Quand il est ambigu, chacun interprète à sa manière.

PENDANT : l'évaluation comme acte de mesure

L'accord entre correcteurs humains

Stemler (2004) a synthétisé les recherches sur l'accord inter-juges (Cohen's kappa). Même avec formation et barème, le kappa dépasse rarement 0,70 pour les évaluations complexes. En écriture et en argumentation, les correcteurs humains ne s'accordent sur la note exacte que 40 à 60 % du temps.

Les données institutionnelles confirment. Ofqual (2019), l'organisme de régulation britannique, a analysé environ 15 millions de copies et publié ces résultats :

Type de matière	Probabilité de recevoir la note « juste »
Mathématiques	96 %
Matières rédigées (histoire, anglais)	56 %

En matières littéraires, un élève a à peine plus d'une chance sur deux de recevoir la note qu'il « mérite ». Ce n'est pas une question de compétence individuelle, c'est une propriété structurelle de l'évaluation en réponse ouverte.

L'IA comme miroir des imprécisions

L'IA n'est pas plus fiable qu'un correcteur humain. Tang et al. (2024) montrent que les meilleurs modèles atteignent un accord avec les humains de l'ordre de QWK = 0,57, inférieur à l'accord inter-humain de 0,66.

Mais l'IA est fiable différemment. Elle n'a pas d'effet de halo, pas d'effet de contraste, pas de fatigue en fin de paquet. Et surtout : quand elle diverge du correcteur humain, la divergence est traçable. On peut remonter au critère du barème qui a produit l'écart et se demander : est-ce l'IA qui a mal compris, ou est-ce le barème qui était ambigu ?

C'est exactement ce que notre professeur de lycée a fait, intuitivement. En comparant ses notes avec celles de l'IA, il ne testait pas la technologie. Il testait son barème.

Le cercle vertueux de l'explicitation

Ce processus de comparaison crée un cercle vertueux :

L'enseignant rédige un barème
L'IA corrige en suivant ce barème à la lettre
Les divergences IA/enseignant révèlent les zones d'implicite
L'enseignant précise son barème
À la prochaine évaluation, la convergence augmente

Chaque itération rend le barème plus explicite, l'évaluation plus fiable, et le feedback plus précis. L'IA ne remplace pas le jugement de l'enseignant : elle l'oblige à formuler ce qu'il sait déjà mais n'avait pas écrit.

APRÈS : le feedback comme levier d'apprentissage

Le feedback est le facteur #1

Si la recherche en docimologie montre que la note seule est peu fiable, la recherche en sciences de l'éducation montre qu'elle est aussi peu utile pour apprendre.

Hattie (2009), dans sa méga-analyse de plus de 800 méta-analyses (Visible Learning), identifie le feedback comme l'un des facteurs les plus puissants pour l'apprentissage, avec un effect size de d = 0,73 (la moyenne de tous les facteurs étudiés est 0,40).

Mais attention : Hattie précise que seul le feedback formatif et explicite fonctionne. Une note seule (12/20) n'a quasiment aucun effet sur l'apprentissage. Ce qui compte, c'est le retour critère par critère : qu'est-ce qui est acquis, qu'est-ce qui ne l'est pas, et comment progresser.

Black & Wiliam (1998), dans leur méta-analyse fondatrice Assessment and Classroom Learning, montrent que l'évaluation formative avec critères partagés améliore les résultats de 70 à 80 %, avec un effet encore plus marqué chez les élèves en difficulté.

Partager les critères transforme les résultats

Le bénéfice de l'explicitation ne s'arrête pas à la correction. Il remonte en amont, jusqu'à la consigne.

Andrade & Du (2005) ont montré que les élèves qui reçoivent le barème critérié avant de commencer le travail produisent des travaux de qualité significativement supérieure. Ce n'est pas qu'ils « trichent » en suivant une recette : c'est qu'ils comprennent ce qu'on attend d'eux et peuvent orienter leur effort.

Panadero & Jonsson (2020), dans une méta-analyse actualisée, confirment que le partage des critères favorise trois capacités chez les élèves :

Capacité	Mécanisme
Autorégulation	L'élève peut s'auto-évaluer pendant le travail
Motivation	L'évaluation devient transparente, moins anxiogène
Métacognition	L'élève comprend ce que signifie réussir

Frontiers in Education (2018) complète le tableau : les critères explicites réduisent les biais socio-culturels dans la notation. Quand les attentes sont claires, l'évaluation mesure davantage la compétence réelle et moins le capital culturel implicite.

Un feedback impossible sans barème explicite

Voici le lien crucial : un feedback de qualité est impossible sans un barème explicite.

Si le barème dit « contenu : /10 », le feedback ne peut être que « vous avez 6/10 en contenu ». L'élève ne sait pas quoi améliorer.

Si le barème dit « définition de l'IA : /2, identification d'un enjeu éthique : /3, argumentation personnelle : /3, exemples concrets : /2 », le feedback peut dire : « votre définition est correcte (2/2), vous identifiez un enjeu pertinent mais sans le développer (1,5/3), votre argumentation manque de connecteurs logiques (1,5/3), et vos exemples sont trop génériques (0,5/2) ».

Le premier feedback est une note. Le second est un plan de progression.

La boucle complète : avant, pendant, après

En tirant le fil depuis l'expérience de notre professeur de lycée, on arrive à une conclusion simple mais profonde :

L'explicitation n'est pas une option. C'est la condition de possibilité d'une évaluation de qualité.

Phase	Sans explicitation	Avec explicitation
AVANT	Barème vague, attentes implicites	Critères observables, partagés avec les élèves
PENDANT	Variabilité inter-correcteurs ~20 %	Variabilité réduite à ~5 %
PENDANT (IA)	Correspondance IA/humain ~33 %	Correspondance ~50 %+
APRÈS	« 12/20 »	Feedback critère par critère, plan de progression
APRÈS (élève)	Anxiété, sentiment d'arbitraire	Autorégulation, motivation, métacognition

L'IA n'a pas inventé ce besoin d'explicitation. Piéron le documentait en 1963. Black & Wiliam le théorisaient en 1998. Hattie le quantifiait en 2009. Ce que l'IA fait, c'est rendre le problème visible : quand l'implicite du correcteur humain rencontre la littéralité de la machine, les zones d'ombre apparaissent instantanément.

Ce que cela change pour EvalIA

Ce n'est pas un hasard si EvalIA propose un générateur de barème par IA avant même la correction. Ce n'est pas un gadget : c'est la fondation. Un barème critérié bien construit détermine la qualité de tout ce qui suit : la correction, le feedback, et la progression de l'élève.

Quand notre professeur de lycée a comparé ses notes avec celles de l'IA sur ses 13 copies, il n'a pas testé un outil. Il a mis à l'épreuve la clarté de ses propres attentes. Et c'est exactement ce que nous espérons : que la confrontation avec un regard complémentaire pousse chaque enseignant à expliciter un peu plus, pour évaluer un peu mieux.

Sources

Vous voulez tester par vous-même ? Créez un barème critérié avec EvalIA, corrigez vos copies, et comparez. Chaque écart est une piste d'amélioration.

Le barème explicite : chaînon manquant entre l'enseignant et l'IA