Harmoniser les notes d'un jury : le score z contre la sévérité et l'indulgence

Pourquoi des membres du jury sévères ou indulgents faussent un classement

Les membres du jury n'utilisent pas l'échelle de la même façon. L'un donne 8 sur 10 à toute candidature solide ; un autre dépasse rarement 6. Tous deux peuvent classer les candidatures dans le même ordre, mais leurs chiffres diffèrent.

Quand chaque membre du jury note toutes les candidatures, cette différence touche toutes les candidatures de la même façon et la moyenne simple est équitable. Quand chacun n'en note qu'une partie, la moyenne d'une candidature dépend des membres du jury qu'elle a tirés. Une candidature tombée sur des membres du jury indulgents devance une candidature tout aussi bonne tombée sur des membres du jury sévères. Le classement récompense alors la chance au tirage.

La normalisation, ou harmonisation des notes entre évaluateurs, retire le niveau et la dispersion propres à chaque membre du jury. Elle garde ce que le membre du jury dit d'une candidature par rapport aux autres candidatures qu'il a notées.

La formule du score z

Pour chaque membre du jury, calculez la moyenne (m) et l'écart type (s) de ses notes dans le tour. Chaque note devient un score z : (note − m) / s. Un score z de +1 signifie un écart type au-dessus de la note habituelle de ce membre du jury.

Pour chaque candidature, faites la moyenne des scores z des membres du jury qui l'ont notée. Ramenez ensuite le résultat sur l'échelle de toutes les notes du tour, à l'aide de leur moyenne (M) et de leur écart type (S), pour qu'il se lise comme une note ordinaire.

note normalisée = M + S × moyenne de ((note − m) / s)

m, s = moyenne et écart type des notes d'un membre du jury dans le tour
M, S = moyenne et écart type de toutes les notes du tour
La moyenne porte sur les membres du jury qui ont noté la candidature.
Un membre du jury qui a moins de 3 notes, ou la même note pour tous, compte pour 0.

C'est exactement ainsi que Juryline calcule la note normalisée. Il utilise l'écart type de la population (ECARTYPE.PEARSON dans un tableur en français, STDEV.P en anglais). Un membre du jury qui a moins de 3 notes ou aucune dispersion ne dit rien de son échelle : ses scores z comptent pour 0 et ne font ni monter ni descendre une candidature.

Exemple chiffré : trois membres du jury, cinq candidatures

Exemple : cinq candidatures inventées, de A à E, notées sur une échelle de 1 à 10. Chaque candidature a deux membres du jury. Le membre du jury 1 a une moyenne de 5,00 avec une dispersion de 1,41, le membre du jury 2 une moyenne de 9,00 (dispersion 0,82) et le membre du jury 3 une moyenne de 7,00 (dispersion 0,82). Les dix notes ensemble ont une moyenne de 6,80 et une dispersion de 1,99. Vous pouvez coller ces notes dans le calculateur gratuit de notes du jury pour vérifier le résultat.

E n'a la meilleure moyenne que parce qu'elle est tombée sur le membre du jury 2, indulgent. Ses deux membres du jury lui ont donné exactement leur note habituelle : sa note normalisée est donc égale à la moyenne du tour, 6,80. C a reçu la meilleure note de ses deux membres du jury : moyenne des z = (1,41 + 1,22) / 2 = 1,32 et 6,80 + 1,99 × 1,32 = 9,43. Elle passe en tête dès que la sévérité est prise en compte.

Quand la moyenne simple suffit, et quand elle ne suffit pas

La moyenne simple suffit quand chaque membre du jury note toutes les candidatures, comme dans un petit jury ou une finale de pitch. C'est aussi la seule option quand les membres du jury ont trop peu de notes pour révéler leur échelle.

Normalisez quand chaque membre du jury ne note qu'une partie des candidatures, ce qui est courant au-delà de quelques dizaines de candidatures. Plus chacun donne de notes, plus la correction est fiable : il en faut au moins 3, et à partir de 10 l'estimation de la sévérité d'un membre du jury est stable.

La normalisation a ses limites. Elle suppose que la part de chaque membre du jury est, en moyenne, de qualité comparable ; si le hasard attribue à un membre du jury une part plus faible, ses notes seront quand même remontées. Elle change le niveau et la dispersion d'un membre du jury, pas son ordre : si deux membres du jury ne s'accordent pas sur la meilleure de deux candidatures, la normalisation ne tranche pas ce désaccord.

Décidez dans le règlement, avant le début de la notation, quel classement fait foi. Affichez ensuite les deux, pour que le jury voie où l'ordre change.

Dans Juryline, chaque tour affiche côte à côte le classement par moyenne et le classement normalisé. Un paramètre du tour indique lequel est officiel ; le modifier après la saisie des notes est consigné et figure dans le procès-verbal du jury.

Une répartition équilibrée et reproductible

La normalisation fonctionne au mieux quand chaque membre du jury note un nombre comparable de candidatures tirées au hasard et partage des candidatures avec autant d'autres membres du jury que possible. On peut alors comparer les membres du jury sévères et indulgents sur l'ensemble du tour.

1. Choisissez 2 ou 3 membres du jury par candidature. Avec trois, le résultat reste stable quand l'un d'eux s'abstient ou déclare un conflit.
2. Excluez les conflits déclarés avant le tirage.
3. Donnez à chacun une part égale : membres du jury par candidature × candidatures ÷ membres du jury, arrondi à l'entier supérieur. Exemple : 3 × 60 ÷ 9 = 20 candidatures chacun.
4. Variez la composition des groupes, pour que les mêmes membres du jury ne notent pas toujours ensemble.
5. Tirez au sort avec une graine aléatoire et consignez la graine et les données d'entrée. Chacun peut alors relancer le tirage et obtenir la même répartition.

Dans Juryline, la répartition est une fonction de ses données d'entrée et d'une graine enregistrée. Chaque membre du jury reçoit une part égale (davantage seulement quand personne d'autre ne peut évaluer une candidature), les candidatures qui ont le moins de membres du jury possibles sont servies en premier et les conflits déclarés ne sont jamais attribués. À charge égale, passe en premier le membre du jury qui a partagé le moins de candidatures avec ceux déjà choisis. Le procès-verbal du jury indique l'algorithme, la graine et une empreinte SHA-256 des données d'entrée : les mêmes données donnent toujours le même résultat.

Comment faire dans un tableur

Il vous faut une ligne par note : candidature, membre du jury et note.

1. Pour chaque membre du jury, calculez la MOYENNE et l'ECARTYPE.PEARSON de ses notes (AVERAGE et STDEV.P dans un tableur en anglais).
2. Pour chaque note, calculez z = (note − moyenne du membre du jury) / dispersion du membre du jury. Mettez 0 si le membre du jury a moins de 3 notes ou une dispersion de 0.
3. Pour chaque candidature, faites la moyenne de ses scores z.
4. Calculez M et S : MOYENNE et ECARTYPE.PEARSON de toutes les notes.
5. Note normalisée = M + S × moyenne des scores z de la candidature. Classez selon cette note.

Ou collez votre tableau dans le calculateur gratuit de notes du jury. Il fait ces étapes dans votre navigateur, affiche les deux classements et n'envoie rien.

Questions

Normaliser les notes, est-ce la même chose qu'utiliser des scores z ?

Oui. Chaque note devient un score z parmi les notes de son membre du jury. La moyenne des scores z est ensuite ramenée sur l'échelle de l'ensemble des notes : une note normalisée de 7,4 se lit comme une note sur 10.

Combien de notes faut-il par membre du jury ?

Au moins 3 pour toute correction. Avec 10 notes ou plus par membre du jury, l'estimation de sa sévérité est stable.

La normalisation change-t-elle l'ordre des notes d'un membre du jury ?

Non. Elle décale et étire l'ensemble des notes de chaque membre du jury, si bien que son propre ordre reste le même. Seul le classement combiné peut changer.

Peut-on normaliser les totaux d'une grille pondérée ?

Oui. Normalisez le total de chaque membre du jury par candidature. Juryline normalise le total pondéré sur 100 points de chaque note.

Faut-il le classement normalisé si chaque membre du jury a tout noté ?

Ce n'est pas nécessaire. Quand chaque membre du jury note toutes les candidatures, la sévérité touche toutes les candidatures de la même façon et la moyenne simple les classe équitablement.