Jurywertungen normalisieren: z-Werte für strenge und milde Jurymitglieder

Warum strenge und milde Jurymitglieder die Rangliste verzerren

Jurymitglieder nutzen eine Skala unterschiedlich. Das eine gibt jeder soliden Bewerbung 8 von 10 Punkten, das andere geht selten über 6. Beide bringen die Bewerbungen vielleicht in dieselbe Reihenfolge, aber ihre Zahlen unterscheiden sich.

Bewertet jedes Jurymitglied jede Bewerbung, trifft dieser Unterschied alle Bewerbungen gleich und der einfache Durchschnitt ist fair. Bewertet jedes Jurymitglied nur einen Teil, hängt der Durchschnitt einer Bewerbung davon ab, welche Jurymitglieder ihr zugelost wurden. Eine Bewerbung mit milden Jurymitgliedern schlägt eine gleich gute mit strengen. Die Rangliste belohnt dann Losglück.

Die Normalisierung, auch Standardisierung genannt, entfernt das persönliche Niveau und die Streuung jedes Jurymitglieds. Erhalten bleibt, was das Jurymitglied über eine Bewerbung im Vergleich zu den anderen von ihm bewerteten Bewerbungen aussagt.

Die z-Wert-Formel

Nehmen Sie für jedes Jurymitglied den Durchschnitt (m) und die Standardabweichung (s) seiner Punkte in der Runde. Jede Bewertung wird zu einem z-Wert: (Punktzahl − m) / s. Ein z-Wert von +1 bedeutet eine Standardabweichung über der üblichen Punktzahl dieses Jurymitglieds.

Mitteln Sie für jede Bewerbung die z-Werte der Jurymitglieder, die sie bewertet haben. Bilden Sie das Ergebnis dann mit dem Durchschnitt (M) und der Standardabweichung (S) aller Punkte der Runde wieder auf deren Skala ab, damit es sich wie eine gewöhnliche Punktzahl liest.

normalisierte Punktzahl = M + S × Mittelwert von ((Punktzahl − m) / s)

m, s = Durchschnitt und Standardabweichung der Punkte eines Jurymitglieds in der Runde
M, S = Durchschnitt und Standardabweichung aller Punkte der Runde
Gemittelt wird über die Jurymitglieder, die die Bewerbung bewertet haben.
Ein Jurymitglied mit weniger als 3 Bewertungen oder mit derselben Punktzahl für alle zählt als 0.

Genau so berechnet Juryline die normalisierte Punktzahl. Verwendet wird die Standardabweichung der Grundgesamtheit (in der Tabellenkalkulation STABW.N, englisch STDEV.P). Ein Jurymitglied mit weniger als 3 Bewertungen oder ohne Streuung sagt nichts über seine Skala aus; seine z-Werte zählen daher als 0 und heben eine Bewerbung weder an noch drücken sie sie.

Rechenbeispiel: drei Jurymitglieder, fünf Bewerbungen

Beispiel: fünf erfundene Bewerbungen, A bis E, bewertet auf einer Skala von 1 bis 10. Jede Bewerbung hat zwei Jurymitglieder. Jurymitglied 1 vergibt im Durchschnitt 5,00 bei einer Streuung von 1,41, Jurymitglied 2 im Durchschnitt 9,00 (Streuung 0,82) und Jurymitglied 3 im Durchschnitt 7,00 (Streuung 0,82). Alle zehn Bewertungen zusammen haben einen Durchschnitt von 6,80 bei einer Streuung von 1,99. Sie können diese Punkte in den kostenlosen Rechner für Jurybewertungen einfügen und das Ergebnis prüfen.

Bewerbung E hat den höchsten Durchschnitt nur, weil ihr das milde Jurymitglied 2 zugelost wurde. Beide Jurymitglieder gaben E genau ihre übliche Punktzahl, daher entspricht ihre normalisierte Punktzahl dem Durchschnitt der Runde, 6,80. Bewerbung C erhielt von beiden Jurymitgliedern deren höchste Punktzahl: mittlerer z-Wert = (1,41 + 1,22) / 2 = 1,32 und 6,80 + 1,99 × 1,32 = 9,43. Berücksichtigt man die Strenge, liegt C auf Platz 1.

Wann der einfache Durchschnitt reicht und wann nicht

Der einfache Durchschnitt reicht, wenn jedes Jurymitglied jede Bewerbung bewertet, etwa in einer kleinen Jury oder einem Pitch-Finale. Er ist auch die einzige Möglichkeit, wenn Jurymitglieder zu wenige Bewertungen abgegeben haben, um ihre Skala zu zeigen.

Normalisieren Sie, wenn jedes Jurymitglied nur einen Teil der Bewerbungen bewertet, was bei mehr als ein paar Dutzend Bewerbungen üblich ist. Je mehr Bewertungen jedes Jurymitglied abgibt, desto verlässlicher ist die Korrektur: Mindestens 3 sind nötig, und ab 10 ist die Schätzung der Strenge eines Jurymitglieds stabil.

Die Normalisierung hat Grenzen. Sie setzt voraus, dass die Anteile der Jurymitglieder im Schnitt ähnlich gut sind; hat ein Jurymitglied zufällig einen schwachen Anteil erhalten, wird dieser angehoben. Sie ändert Niveau und Streuung eines Jurymitglieds, nicht seine Reihenfolge: Sind sich zwei Jurymitglieder uneinig, welche Bewerbung besser ist, löst die Normalisierung das nicht.

Legen Sie vor Beginn der Bewertung in den Regeln fest, welche Rangliste zählt. Zeigen Sie dann beide, damit die Jury sieht, wo sich die Reihenfolge ändert.

In Juryline zeigt jede Runde die Rangliste nach Durchschnitt und die normalisierte Rangliste nebeneinander. Die Einstellung der Runde legt fest, welche offiziell ist; eine Änderung, nachdem Bewertungen eingegangen sind, wird protokolliert und im Juryprotokoll ausgewiesen.

Ausgewogene, reproduzierbare Zuteilung

Die Normalisierung funktioniert am besten, wenn jedes Jurymitglied ähnlich viele zufällig gezogene Bewerbungen bewertet und Bewerbungen mit möglichst vielen anderen Jurymitgliedern teilt. Dann lassen sich strenge und milde Jurymitglieder über die ganze Runde vergleichen.

1. Wählen Sie 2 oder 3 Jurymitglieder pro Bewerbung. Mit drei bleibt ein Ergebnis stabil, wenn sich ein Jurymitglied enthält oder einen Interessenkonflikt erklärt.
2. Schließen Sie erklärte Interessenkonflikte vor der Auslosung aus.
3. Geben Sie jedem Jurymitglied einen gleichen Anteil: Jurymitglieder pro Bewerbung × Bewerbungen ÷ Jurymitglieder, aufgerundet. Beispiel: 3 × 60 ÷ 9 = 20 Bewerbungen pro Jurymitglied.
4. Mischen Sie die Besetzungen, damit nicht immer dieselben Jurymitglieder zusammen bewerten.
5. Losen Sie mit einem Zufallsstartwert (Seed) aus und dokumentieren Sie Seed und Eingaben. Dann kann jeder die Auslosung wiederholen und erhält dieselbe Zuteilung.

In Juryline ist die Zuteilung eine Funktion ihrer Eingaben und eines protokollierten Seeds. Jedes Jurymitglied erhält einen gleichen Anteil (mehr nur, wenn für eine Bewerbung sonst niemand infrage kommt), Bewerbungen mit den wenigsten infrage kommenden Jurymitgliedern werden zuerst besetzt und erklärte Interessenkonflikte werden nie zugeteilt. Unter gleich ausgelasteten Jurymitgliedern kommt zuerst dasjenige zum Zug, das mit den bereits gewählten Jurymitgliedern die wenigsten Bewerbungen geteilt hat. Das Juryprotokoll nennt Algorithmus, Seed und einen SHA-256-Hash der Eingaben, sodass dieselbe Eingabe immer zum selben Ergebnis führt.

So geht es in einer Tabellenkalkulation

Sie brauchen eine Zeile pro Bewertung: Bewerbung, Jurymitglied und Punktzahl.

1. Berechnen Sie für jedes Jurymitglied MITTELWERT und STABW.N seiner Punkte (in englischen Versionen AVERAGE und STDEV.P).
2. Berechnen Sie für jede Bewertung z = (Punktzahl − Durchschnitt des Jurymitglieds) / Streuung des Jurymitglieds. Setzen Sie 0 ein, wenn das Jurymitglied weniger als 3 Bewertungen oder eine Streuung von 0 hat.
3. Mitteln Sie für jede Bewerbung ihre z-Werte.
4. Berechnen Sie M und S: MITTELWERT und STABW.N aller Punkte.
5. Normalisierte Punktzahl = M + S × mittlerer z-Wert der Bewerbung. Sortieren Sie danach.

Oder fügen Sie Ihre Tabelle in den kostenlosen Rechner für Jurybewertungen ein. Er erledigt diese Schritte in Ihrem Browser, zeigt beide Ranglisten und lädt nichts hoch.

Fragen

Ist Normalisieren dasselbe wie das Rechnen mit z-Werten?

Ja. Jede Bewertung wird zu einem z-Wert innerhalb der Bewertungen ihres Jurymitglieds. Der durchschnittliche z-Wert wird dann wieder auf die Skala aller Punkte abgebildet, sodass sich eine normalisierte 7,4 wie 7,4 von 10 Punkten liest.

Wie viele Bewertungen braucht ein Jurymitglied?

Mindestens 3 für jede Korrektur. Ab 10 Bewertungen pro Jurymitglied ist die Schätzung seiner Strenge stabil.

Ändert die Normalisierung die Reihenfolge der Punkte eines Jurymitglieds?

Nein. Sie verschiebt und streckt die Punkte eines Jurymitglieds als Ganzes, seine eigene Reihenfolge bleibt also gleich. Nur die gemeinsame Rangliste kann sich ändern.

Kann ich Gesamtpunkte eines gewichteten Bewertungsbogens normalisieren?

Ja. Normalisieren Sie die Gesamtpunktzahl jedes Jurymitglieds pro Bewerbung. Juryline normalisiert die gewichtete Gesamtpunktzahl von 0 bis 100 jeder Bewertung.

Sollten wir die normalisierte Rangliste nutzen, wenn jedes Jurymitglied alles bewertet hat?

Das ist nicht nötig. Bewertet jedes Jurymitglied jede Bewerbung, trifft die Strenge alle Bewerbungen gleich, und der einfache Durchschnitt ordnet sie fair.