Ako normalizovať body porotcov: z-skóre pre prísnych a miernych porotcov

Prečo prísni a mierni porotcovia skresľujú poradie

Porotcovia používajú stupnicu rôzne. Jeden dá 8 z 10 každej solídnej prihláške, iný len zriedka prekročí 6. Obaja môžu prihlášky zoradiť rovnako, no ich čísla sa líšia.

Keď každý porotca hodnotí každú prihlášku, tento rozdiel ovplyvní všetky prihlášky rovnako a obyčajný priemer je férový. Keď každý porotca hodnotí len časť, priemer prihlášky závisí od toho, akých porotcov dostala. Prihláška, ktorá dostala miernych porotcov, porazí rovnako dobrú prihlášku s prísnymi porotcami. Poradie potom odmeňuje šťastie pri losovaní.

Normalizácia odstráni osobnú úroveň každého porotcu aj to, ako široko využíva stupnicu. Zachová to, čo porotca o prihláške hovorí v porovnaní s ostatnými prihláškami, ktoré hodnotil.

Vzorec z-skóre

Pre každého porotcu vezmite priemer (m) a smerodajnú odchýlku (s) jeho hodnotení v kole. Každé hodnotenie sa zmení na z-skóre: (hodnotenie − m) / s. Z-skóre +1 znamená jednu smerodajnú odchýlku nad bežným hodnotením daného porotcu.

Pre každú prihlášku spriemerujte z-skóre porotcov, ktorí ju hodnotili. Výsledok potom vráťte na stupnicu všetkých hodnotení v kole pomocou ich priemeru (M) a smerodajnej odchýlky (S), aby sa čítal ako bežné hodnotenie.

normalizované hodnotenie = M + S × priemer ((hodnotenie − m) / s)

m, s = priemer a smerodajná odchýlka hodnotení jedného porotcu v kole
M, S = priemer a smerodajná odchýlka všetkých hodnotení v kole
Priemer sa počíta z porotcov, ktorí prihlášku hodnotili.
Porotca s menej ako 3 hodnoteniami alebo s rovnakým hodnotením pre všetkých sa počíta ako 0.

Presne takto počíta normalizované hodnotenie Juryline. Používa smerodajnú odchýlku základného súboru (STDEV.P v tabuľke). Porotca s menej ako 3 hodnoteniami alebo bez rozptylu o svojej stupnici nič nehovorí, preto sa jeho z-skóre počítajú ako 0 a prihlášku ani nezdvihnú, ani nepotopia.

Riešený príklad: traja porotcovia, päť prihlášok

Príklad: päť vymyslených prihlášok A až E hodnotených na stupnici 1 až 10. Každú prihlášku hodnotia dvaja porotcovia. Porotca 1 má priemer 5,00 a smerodajnú odchýlku 1,41, porotca 2 priemer 9,00 (odchýlka 0,82) a porotca 3 priemer 7,00 (odchýlka 0,82). Všetkých desať hodnotení spolu má priemer 6,80 a smerodajnú odchýlku 1,99. Výsledok si môžete overiť v bezplatnej kalkulačke bodov poroty, keď do nej tieto hodnotenia vložíte.

E má najvyšší priemer len preto, že ju hodnotil mierny porotca 2. Obaja jej porotcovia jej dali presne svoje bežné hodnotenie, preto sa jej normalizované hodnotenie rovná priemeru kola, 6,80. C dostala najvyššie hodnotenie od oboch svojich porotcov: priemer z = (1,41 + 1,22) / 2 = 1,32; 6,80 + 1,99 × 1,32 = 9,43. Keď sa zohľadní prísnosť, je prvá.

Kedy stačí obyčajný priemer a kedy nie

Obyčajný priemer stačí, keď každý porotca hodnotí každú prihlášku, ako v malej porote alebo vo finále pitchov. Je to aj jediná možnosť, keď majú porotcovia priveľmi málo hodnotení na to, aby ukázali svoju stupnicu.

Normalizujte, keď každý porotca hodnotí len časť prihlášok, čo je bežné pri viac ako niekoľkých desiatkach prihlášok. Čím viac hodnotení každý porotca dá, tým spoľahlivejšia je úprava: potrebné sú aspoň 3 a pri 10 a viac je odhad prísnosti porotcu stabilný.

Normalizácia má hranice. Predpokladá, že podiel prihlášok každého porotcu má v priemere podobnú kvalitu; porotcovi, ktorý náhodou dostal slabší podiel, ho normalizácia zdvihne. Mení úroveň porotcu a šírku jeho stupnice, nie jeho poradie: ak sa dvaja porotcovia nezhodnú, ktorá prihláška je lepšia, normalizácia to nevyrieši.

Ešte pred začiatkom hodnotenia určte v pravidlách, ktoré poradie platí. Potom ukážte obe, aby porota videla, kde sa poradie mení.

V Juryline každé kolo ukazuje poradie podľa priemeru aj normalizované poradie vedľa seba. Nastavenie kola určuje, ktoré je oficiálne. Jeho zmena po zadaní hodnotení sa zaznamená a uvedie v protokole poroty.

Vyvážené a opakovateľné pridelenie

Normalizácia funguje najlepšie, keď každý porotca hodnotí podobný počet náhodne vylosovaných prihlášok a keď sa porotcovia o prihlášky delia s čo najväčším počtom iných porotcov. Prísnych a miernych porotcov potom možno porovnať v rámci celého kola.

1. Zvoľte 2 alebo 3 porotcov na prihlášku. Traja udržia výsledok stabilný, aj keď sa niektorý porotca zdrží hodnotenia alebo ohlási konflikt.
2. Ohlásené konflikty vylúčte ešte pred losovaním.
3. Dajte každému porotcovi rovnaký podiel: porotcovia na prihlášku × prihlášky ÷ porotcovia, zaokrúhlené nahor. Príklad: 3 × 60 ÷ 9 = 20 prihlášok na porotcu.
4. Miešajte zostavy porotcov, aby tí istí porotcovia nehodnotili vždy spolu.
5. Losujte s náhodným kľúčom losovania a zaznamenajte kľúč aj vstupy. Ktokoľvek potom môže losovanie zopakovať a dostane rovnaké pridelenie.

V Juryline je pridelenie funkciou vstupov a zaznamenaného kľúča losovania. Každý porotca dostane rovnomerný podiel (viac len vtedy, keď prihlášku nemôže hodnotiť nikto iný), prihlášky s najmenším počtom vhodných porotcov sa obsadzujú prvé a ohlásené konflikty sa nikdy nepridelia. Spomedzi rovnako vyťažených porotcov má prednosť ten, kto mal najmenej spoločných prihlášok s už vybranými porotcami. Protokol poroty uvádza algoritmus, kľúč losovania a hash SHA-256 vstupov, takže rovnaký vstup dá vždy rovnaký výsledok.

Ako to urobiť v tabuľke

Potrebujete jeden riadok na každé hodnotenie: prihláška, porotca a body.

1. Pre každého porotcu vypočítajte AVERAGE a STDEV.P jeho hodnotení.
2. Pre každé hodnotenie vypočítajte z = (body − priemer porotcu) / smerodajná odchýlka porotcu. Ak má porotca menej ako 3 hodnotenia alebo odchýlku 0, použite 0.
3. Pre každú prihlášku spriemerujte jej z-skóre.
4. Vypočítajte M a S: AVERAGE a STDEV.P všetkých hodnotení.
5. Normalizované hodnotenie = M + S × priemerné z-skóre prihlášky. Podľa neho prihlášky zoraďte.

Alebo vložte svoju tabuľku do bezplatnej kalkulačky bodov poroty. Tieto kroky urobí vo vašom prehliadači, ukáže obe poradia a nič nenahráva.

Otázky

Je normalizácia bodov to isté ako z-skóre?

Áno. Každé hodnotenie sa zmení na z-skóre v rámci hodnotení daného porotcu. Priemerné z-skóre sa potom prevedie späť na stupnicu všetkých hodnotení, takže normalizovaných 7,4 sa číta ako hodnotenie z 10.

Koľko hodnotení potrebuje porotca?

Na akúkoľvek úpravu aspoň 3. Pri 10 a viac hodnoteniach na porotcu je odhad jeho prísnosti stabilný.

Mení normalizácia poradie hodnotení jedného porotcu?

Nie. Posunie a roztiahne hodnotenia porotcu ako celok, takže jeho vlastné poradie zostane rovnaké. Zmeniť sa môže len spoločné poradie.

Môžem normalizovať súčty vážených kritérií?

Áno. Normalizujte súčet každého porotcu za každú prihlášku. Juryline pri každom hodnotení normalizuje vážený súčet zo 100 bodov.

Máme použiť normalizované poradie, ak každý porotca hodnotil všetko?

Nie je to potrebné. Keď každý porotca hodnotí každú prihlášku, prísnosť ovplyvní všetky prihlášky rovnako a obyčajný priemer ich zoradí férovo.