Jak normalizovat body hodnotitelů: z-skóre pro přísné a mírné porotce

Proč přísní a mírní porotci zkreslují pořadí

Porotci a hodnotitelé používají stupnici různě. Jeden dá 8 z 10 každé solidní přihlášce, jiný jen zřídka překročí 6. Oba mohou přihlášky seřadit stejně, ale jejich body se liší.

Když každý porotce hodnotí každou přihlášku, tento rozdíl se dotkne všech přihlášek stejně a prostý průměr je spravedlivý. Když každý hodnotí jen část, závisí průměr přihlášky na tom, které porotce dostala. Přihláška, která dostala mírné porotce, porazí stejně dobrou přihlášku, která dostala přísné. Pořadí pak odměňuje štěstí při losování.

Normalizace odstraní, jak vysoko a jak široce daný porotce na stupnici obvykle hodnotí. Zachová to, co porotce o přihlášce říká ve srovnání s ostatními přihláškami, které hodnotil.

Vzorec z-skóre

Pro každého porotce vezměte průměr (m) a směrodatnou odchylku (s) jeho hodnocení v kole. Každé hodnocení se převede na z-skóre: (body − m) / s. Z-skóre +1 znamená o jednu směrodatnou odchylku víc, než kolik daný porotce obvykle dává.

Pro každou přihlášku zprůměrujte z-skóre porotců, kteří ji hodnotili. Výsledek pak převeďte zpět na stupnici všech hodnocení v kole pomocí jejich průměru (M) a směrodatné odchylky (S), aby se četl jako běžné hodnocení.

normalizované hodnocení = M + S × průměr ((body − m) / s)

m, s = průměr a směrodatná odchylka hodnocení jednoho porotce v kole
M, S = průměr a směrodatná odchylka všech hodnocení v kole
Průměr se počítá přes porotce, kteří přihlášku hodnotili.
Porotce s méně než 3 hodnoceními nebo se stejnými body pro všechny se počítá jako 0.

Přesně takto počítá normalizované hodnocení Juryline. Používá směrodatnou odchylku základního souboru (v Excelu SMODCH.P, v anglické verzi STDEV.P). Porotce s méně než 3 hodnoceními nebo se stejnými body pro všechny o své stupnici nic neprozradí, proto se jeho z-skóre počítají jako 0 a přihlášku nezvednou ani nepotopí.

Řešený příklad: tři porotci, pět přihlášek

Příklad: pět smyšlených přihlášek A až E hodnocených na stupnici 1 až 10. Každou přihlášku hodnotí dva porotci. Porotce 1 má průměr 5,00 a směrodatnou odchylku 1,41, porotce 2 průměr 9,00 (odchylka 0,82) a porotce 3 průměr 7,00 (odchylka 0,82). Všech deset hodnocení dohromady má průměr 6,80 a směrodatnou odchylku 1,99. Body můžete vložit do bezplatné kalkulačky hodnocení poroty a výsledek si ověřit.

Přihláška E má nejvyšší průměr jen proto, že dostala mírného porotce 2. Oba její porotci jí dali přesně své obvyklé hodnocení, takže její normalizované hodnocení se rovná průměru kola, 6,80. Přihláška C dostala od obou svých porotců jejich nejvyšší hodnocení: průměrné z = (1,41 + 1,22) / 2 = 1,32 a 6,80 + 1,99 × 1,32 = 9,43. Jakmile se zohlední přísnost, je první.

Kdy stačí prostý průměr a kdy ne

Prostý průměr stačí, když každý porotce hodnotí každou přihlášku, například v malé porotě nebo ve finále pitchů. Je to také jediná možnost, když porotci mají příliš málo hodnocení na to, aby se ukázalo, jak stupnici používají.

Normalizujte, když každý porotce hodnotí jen část přihlášek, což je běžné u více než několika desítek přihlášek. Čím víc hodnocení každý porotce dá, tím spolehlivější je úprava: potřeba jsou aspoň 3 a od 10 hodnocení je odhad přísnosti porotce stabilní.

Normalizace má své meze. Předpokládá, že přihlášky, které dostal každý porotce, mají v průměru podobnou kvalitu; porotci, který náhodou dostal slabší přihlášky, se jejich hodnocení zvednou. Mění úroveň a šíři hodnocení porotce, ne pořadí, ve kterém přihlášky seřadil: pokud se dva porotci neshodnou, která přihláška je lepší, normalizace to nerozhodne.

Ještě před začátkem hodnocení stanovte v pravidlech, které pořadí platí. Potom ukažte obě, aby porota viděla, kde se pořadí mění.

V Juryline ukazuje každé kolo pořadí podle průměru i normalizované pořadí vedle sebe. Nastavení kola určuje, které z nich je oficiální, a jeho změna po zadání hodnocení se zaznamená a uvede v protokolu poroty.

Vyvážené a opakovatelné přidělování

Normalizace funguje nejlépe, když každý porotce hodnotí podobný počet náhodně vylosovaných přihlášek a když porotci sdílejí přihlášky s co nejvíce jinými porotci. Přísné a mírné porotce pak lze porovnat napříč celým kolem.

1. Zvolte 2 nebo 3 porotce na přihlášku. Tři udrží výsledek stabilní, když se porotce zdrží hodnocení nebo oznámí střet zájmů.
2. Oznámené střety zájmů vyřaďte ještě před losováním.
3. Dejte každému porotci rovnoměrný podíl: porotci na přihlášku × přihlášky ÷ porotci, zaokrouhleno nahoru. Příklad: 3 × 60 ÷ 9 = 20 přihlášek pro každého.
4. Skupiny porotců promíchejte, aby stejní porotci nehodnotili vždy spolu.
5. Losujte s náhodným seedem a zaznamenejte seed i vstupy. Losování pak může kdokoli zopakovat a dostane stejné přidělení.

V Juryline je přidělení funkcí svých vstupů a zaznamenaného seedu. Každý porotce dostane rovnoměrný podíl (víc jen tehdy, když přihlášku nemůže hodnotit nikdo jiný), přihlášky s nejmenším počtem porotců, kteří je mohou hodnotit, se obsazují jako první a oznámené střety zájmů se nikdy nepřidělí. Mezi stejně vytíženými porotci má přednost ten, kdo s už vybranými porotci sdílel nejméně přihlášek. Protokol poroty uvádí algoritmus, seed a hash SHA-256 vstupů, takže stejný vstup dá vždy stejný výsledek.

Jak to udělat v tabulce

Potřebujete jeden řádek na každé hodnocení: přihláška, porotce a body.

1. Pro každého porotce spočítejte průměr a směrodatnou odchylku jeho bodů: PRŮMĚR a SMODCH.P (v anglickém Excelu AVERAGE a STDEV.P).
2. Pro každé hodnocení spočítejte z = (body − průměr porotce) / směrodatná odchylka porotce. Pokud má porotce méně než 3 hodnocení nebo směrodatnou odchylku 0, použijte 0.
3. Pro každou přihlášku zprůměrujte její z-skóre.
4. Spočítejte M a S: PRŮMĚR a SMODCH.P všech bodů.
5. Normalizované hodnocení = M + S × průměrné z-skóre přihlášky. Podle něj přihlášky seřaďte.

Nebo vložte svou tabulku do bezplatné kalkulačky hodnocení poroty. Tyto kroky udělá ve vašem prohlížeči, ukáže obě pořadí a nic nenahrává.

Otázky

Je normalizace bodů totéž co z-skóre?

Ano. Každé hodnocení se převede na z-skóre v rámci hodnocení daného porotce. Průměrné z-skóre se pak převede zpět na stupnici všech hodnocení, takže normalizované 7,4 se čte jako hodnocení z 10.

Kolik hodnocení porotce potřebuje?

Aspoň 3, aby se dalo cokoli upravit. Od 10 hodnocení na porotce je odhad jeho přísnosti stabilní.

Mění normalizace pořadí hodnocení jednoho porotce?

Ne. Posune a roztáhne body porotce jako celek, takže jeho vlastní pořadí zůstane stejné. Změnit se může jen společné pořadí.

Lze normalizovat i součty vážených hodnoticích kritérií?

Ano. Normalizujte součet, který každý porotce dal každé přihlášce. Juryline u každého hodnocení normalizuje vážený součet ze 100 bodů.

Máme použít normalizované pořadí, když každý porotce hodnotil všechno?

Není to potřeba. Když každý porotce hodnotí každou přihlášku, přísnost se dotkne všech přihlášek stejně a prostý průměr je seřadí spravedlivě.