Jak normalizować oceny jury: z-score dla surowych i łagodnych jurorów

Dlaczego surowi i łagodni jurorzy zniekształcają ranking

Jurorzy różnie korzystają ze skali. Jeden daje 8 na 10 każdemu solidnemu zgłoszeniu, inny rzadko wychodzi ponad 6. Obaj mogą ułożyć zgłoszenia w tej samej kolejności, ale ich liczby się różnią.

Gdy każdy juror ocenia każde zgłoszenie, ta różnica dotyczy wszystkich zgłoszeń jednakowo i zwykła średnia jest sprawiedliwa. Gdy każdy ocenia tylko część, średnia zgłoszenia zależy od tego, których jurorów wylosowało. Zgłoszenie, które trafiło do łagodnych jurorów, wygrywa z równie dobrym, które trafiło do surowych. Ranking nagradza wtedy szczęście w losowaniu.

Normalizacja ocen usuwa osobisty poziom i rozrzut ocen każdego jurora. Zachowuje to, co juror mówi o zgłoszeniu w porównaniu z innymi zgłoszeniami, które ocenił.

Wzór na z-score

Dla każdego jurora weź średnią (m) i odchylenie standardowe (s) jego ocen w danym etapie. Każda ocena staje się wynikiem standaryzowanym (z-score): (ocena − m) / s. Z-score równy +1 oznacza jedno odchylenie standardowe powyżej zwykłej oceny tego jurora.

Dla każdego zgłoszenia uśrednij z-score jurorów, którzy je ocenili. Następnie przenieś wynik z powrotem na skalę wszystkich ocen w etapie, korzystając z ich średniej (M) i odchylenia standardowego (S), tak by czytało się go jak zwykłą ocenę.

ocena znormalizowana = M + S × średnia z ((ocena − m) / s)

m, s = średnia i odchylenie standardowe ocen jednego jurora w etapie
M, S = średnia i odchylenie standardowe wszystkich ocen w etapie
Średnia obejmuje jurorów, którzy ocenili dane zgłoszenie.
Juror, który wystawił mniej niż 3 oceny albo wszystkim tę samą, liczy się jako 0.

Dokładnie tak Juryline oblicza ocenę znormalizowaną. Używa odchylenia standardowego populacji (w arkuszu ODCH.STAND.POPUL, w angielskiej wersji STDEV.P). Juror z mniej niż 3 ocenami lub bez rozrzutu nic nie mówi o swojej skali, więc jego z-score liczą się jako 0 i nie podnoszą ani nie obniżają żadnego zgłoszenia.

Przykład z liczbami: trzech jurorów, pięć zgłoszeń

Przykład: pięć zmyślonych zgłoszeń, od A do E, ocenianych w skali od 1 do 10. Każde zgłoszenie ma dwóch jurorów. Średnia jurora 1 wynosi 5,00 przy rozrzucie 1,41, jurora 2 to 9,00 (rozrzut 0,82), a jurora 3 to 7,00 (rozrzut 0,82). Wszystkie dziesięć ocen razem ma średnią 6,80 i rozrzut 1,99. Możesz wkleić te oceny do bezpłatnego kalkulatora ocen jury i sprawdzić wynik.

Zgłoszenie E ma najwyższą średnią tylko dlatego, że trafiło do łagodnego jurora 2. Obaj jego jurorzy dali mu dokładnie swoją zwykłą ocenę, więc jego ocena znormalizowana jest równa średniej etapu, czyli 6,80. Zgłoszenie C dostało najwyższą ocenę od obu swoich jurorów: średni z-score = (1,41 + 1,22) / 2 = 1,32, a 6,80 + 1,99 × 1,32 = 9,43. Po uwzględnieniu surowości jurorów zajmuje pierwsze miejsce.

Kiedy wystarczy zwykła średnia, a kiedy nie

Zwykła średnia wystarczy, gdy każdy juror ocenia każde zgłoszenie, jak w małym jury lub w finale z pitchami. To także jedyna możliwość, gdy jurorzy mają za mało ocen, by pokazać swoją skalę.

Normalizuj, gdy każdy juror ocenia tylko część zgłoszeń, co jest normą przy więcej niż kilkudziesięciu zgłoszeniach. Im więcej ocen wystawia każdy juror, tym pewniejsza korekta: potrzebne są co najmniej 3, a przy 10 lub więcej oszacowanie surowości jurora jest stabilne.

Normalizacja ma swoje granice. Zakłada, że zgłoszenia przypadające każdemu jurorowi są średnio podobnej jakości; juror, któremu przypadkiem trafiły się słabsze zgłoszenia, będzie miał je podniesione. Zmienia poziom i rozrzut ocen jurora, ale nie ich kolejność: jeśli dwaj jurorzy nie zgadzają się co do tego, które zgłoszenie jest lepsze, normalizacja tego nie rozstrzygnie.

Przed rozpoczęciem oceny ustal w regulaminie, który ranking się liczy. Potem pokazuj oba, żeby jury widziało, gdzie zmienia się kolejność.

W Juryline każdy etap pokazuje ranking według średniej i ranking znormalizowany obok siebie. Ustawienie etapu określa, który z nich jest oficjalny, a jego zmiana po wystawieniu ocen jest rejestrowana i drukowana w protokole jury.

Zrównoważony i powtarzalny przydział

Normalizacja działa najlepiej, gdy każdy juror ocenia podobną liczbę losowo przydzielonych zgłoszeń i gdy jurorzy dzielą zgłoszenia z jak największą liczbą innych jurorów. Wtedy surowych i łagodnych jurorów można porównać w całym etapie.

1. Wybierz 2 lub 3 jurorów na zgłoszenie. Przy trzech wynik pozostaje stabilny, gdy któryś juror wstrzyma się od oceny lub zgłosi konflikt interesów.
2. Przed losowaniem wyklucz zgłoszone konflikty.
3. Daj każdemu jurorowi równą część: jurorzy na zgłoszenie × zgłoszenia ÷ jurorzy, w zaokrągleniu w górę. Przykład: 3 × 60 ÷ 9 = 20 zgłoszeń na osobę.
4. Mieszaj składy, żeby ci sami jurorzy nie oceniali zawsze razem.
5. Losuj z ziarnem losowania i zapisz ziarno oraz dane wejściowe. Wtedy każdy może powtórzyć losowanie i uzyskać ten sam przydział.

W Juryline przydział jest funkcją danych wejściowych i zapisanego ziarna. Każdy juror dostaje równą część (więcej tylko wtedy, gdy zgłoszenia nie może ocenić nikt inny), zgłoszenia z najmniejszą liczbą jurorów, którzy mogą je ocenić, są obsadzane jako pierwsze, a zgłoszone konflikty nigdy nie są przydzielane. Spośród jednakowo obciążonych jurorów pierwszeństwo ma ten, który dzielił najmniej zgłoszeń z już wybranymi jurorami. Protokół jury zawiera algorytm, ziarno i skrót SHA-256 danych wejściowych, więc te same dane zawsze dają ten sam wynik.

Jak to zrobić w arkuszu kalkulacyjnym

Potrzebujesz jednego wiersza na każdą ocenę: zgłoszenie, juror i ocena.

1. Dla każdego jurora oblicz średnią i odchylenie standardowe populacji jego ocen (funkcje ŚREDNIA i ODCH.STAND.POPUL, w angielskiej wersji AVERAGE i STDEV.P).
2. Dla każdej oceny oblicz z = (ocena − średnia jurora) / rozrzut jurora. Wpisz 0, jeśli juror ma mniej niż 3 oceny lub rozrzut równy 0.
3. Dla każdego zgłoszenia uśrednij jego z-score.
4. Oblicz M i S: średnią i odchylenie standardowe populacji wszystkich ocen.
5. Ocena znormalizowana = M + S × średni z-score zgłoszenia. Według niej ułóż ranking.

Możesz też wkleić tabelę do bezpłatnego kalkulatora ocen jury. Wykona te kroki w twojej przeglądarce, pokaże oba rankingi i niczego nie wyśle.

Pytania

Czy normalizacja ocen to to samo co standaryzacja (z-score)?

Tak. Każda ocena staje się wynikiem standaryzowanym w obrębie ocen danego jurora. Średni z-score jest potem przenoszony z powrotem na skalę wszystkich ocen, więc znormalizowane 7,4 czyta się jak ocenę w skali do 10.

Ile ocen musi wystawić juror?

Co najmniej 3, żeby była możliwa jakakolwiek korekta. Przy 10 lub więcej ocenach na jurora oszacowanie jego surowości jest stabilne.

Czy normalizacja zmienia kolejność ocen jednego jurora?

Nie. Przesuwa i rozciąga oceny jurora jako całość, więc jego własna kolejność pozostaje taka sama. Zmienić się może tylko łączny ranking.

Czy mogę normalizować sumy punktów z karty oceny z wagami?

Tak. Normalizuj sumę każdego jurora dla każdego zgłoszenia. Juryline normalizuje ważoną sumę każdej oceny w skali do 100 punktów.

Czy używać rankingu znormalizowanego, jeśli każdy juror ocenił wszystko?

Nie jest to potrzebne. Gdy każdy juror ocenia każde zgłoszenie, surowość wpływa na wszystkie zgłoszenia jednakowo i zwykła średnia ustala sprawiedliwą kolejność.