Come normalizzare i punteggi della giuria: z-score per membri severi e generosi

Perché membri severi e generosi falsano la classifica

I membri della giuria, o i commissari di una commissione di valutazione, usano la scala in modo diverso. Uno dà 8 su 10 a qualsiasi candidatura solida; un altro supera di rado il 6. Entrambi possono mettere le candidature nello stesso ordine, ma i loro numeri sono diversi.

Quando ogni membro della giuria valuta tutte le candidature, questa differenza pesa allo stesso modo su ognuna e la media semplice è equa. Quando ognuno ne valuta solo una parte, la media di una candidatura dipende dai membri che le sono toccati. Una candidatura assegnata a membri generosi supera una candidatura altrettanto buona assegnata a membri severi. La classifica premia allora la fortuna nell'assegnazione.

La normalizzazione dei punteggi elimina il livello e la dispersione personali di ogni membro della giuria. Conserva ciò che il membro dice di una candidatura rispetto alle altre che ha valutato.

La formula dello z-score

Per ogni membro della giuria, prenda la media (m) e la deviazione standard (s) dei suoi punteggi nella fase. Ogni punteggio diventa uno z-score: (punteggio − m) / s. Uno z-score di +1 significa una deviazione standard sopra il punteggio abituale di quel membro.

Per ogni candidatura, calcoli la media degli z-score dei membri che l'hanno valutata. Poi riporti il risultato sulla scala di tutti i punteggi della fase, usando la loro media (M) e la loro deviazione standard (S), così si legge come un normale punteggio.

punteggio normalizzato = M + S × media di ((punteggio − m) / s)

m, s = media e deviazione standard dei punteggi di un membro della giuria nella fase
M, S = media e deviazione standard di tutti i punteggi della fase
La media si calcola sui membri che hanno valutato la candidatura.
Un membro con meno di 3 punteggi, o con lo stesso punteggio per tutti, conta come 0.

È esattamente così che Juryline calcola il punteggio normalizzato. Usa la deviazione standard della popolazione (DEV.ST.P in Excel in italiano, STDEV.P in inglese). Un membro della giuria con meno di 3 punteggi o senza dispersione non dice nulla sulla sua scala, quindi i suoi z-score contano come 0 e non alzano né abbassano una candidatura.

Esempio svolto: tre membri della giuria, cinque candidature

Esempio: cinque candidature inventate, da A a E, valutate su una scala da 1 a 10. Ogni candidatura ha due membri della giuria. Il giurato 1 ha una media di 5,00 con una dispersione di 1,41, il giurato 2 una media di 9,00 (dispersione 0,82) e il giurato 3 una media di 7,00 (dispersione 0,82). Tutti e dieci i punteggi insieme hanno una media di 6,80 e una dispersione di 1,99. Può incollare questi punteggi nel calcolatore gratuito dei punteggi della giuria per verificare il risultato.

E ha la media più alta solo perché le è toccato il giurato 2, quello generoso. Entrambi i suoi giurati le hanno dato esattamente il loro punteggio abituale, quindi il suo punteggio normalizzato è pari alla media della fase, 6,80. C ha ricevuto il punteggio più alto da entrambi i suoi giurati: z medio = (1,41 + 1,22) / 2 = 1,32 e 6,80 + 1,99 × 1,32 = 9,43. Una volta considerata la severità, è prima in classifica.

Quando basta la media semplice e quando no

La media semplice va bene quando ogni membro della giuria valuta tutte le candidature, come in una giuria piccola o in una finale di pitch. È anche l'unica opzione quando i membri hanno troppo pochi punteggi per mostrare la propria scala.

Normalizzi quando ogni membro valuta solo una parte delle candidature, come accade di solito con più di qualche decina di candidature. Più punteggi dà ogni membro, più affidabile è la correzione: ne servono almeno 3, e con 10 o più la stima della severità di un membro è stabile.

La normalizzazione ha dei limiti. Presuppone che la quota di ogni membro sia in media di qualità simile; se a un membro tocca per caso una quota debole, questa viene alzata. Cambia il livello e la dispersione di un membro, non il suo ordine: se due membri non sono d'accordo su quale candidatura sia migliore, la normalizzazione non risolve il disaccordo.

Stabilisca nel regolamento, prima che inizi la valutazione, quale classifica conta. Poi le mostri entrambe, così la giuria vede dove cambia l'ordine.

In Juryline ogni fase mostra la media e la classifica normalizzata una accanto all'altra. L'impostazione della fase indica quale delle due è ufficiale; se la si cambia dopo l'arrivo dei punteggi, la modifica viene registrata e riportata nel verbale della giuria.

Assegnazione equilibrata e riproducibile

La normalizzazione funziona meglio quando ogni membro della giuria valuta un numero simile di candidature estratte a caso e quando i membri hanno candidature in comune con il maggior numero possibile di altri membri. Così si possono confrontare membri severi e generosi in tutta la fase.

1. Scelga 2 o 3 membri della giuria per candidatura. Tre mantengono stabile il risultato quando un membro si astiene o dichiara un conflitto.
2. Escluda i conflitti dichiarati prima dell'estrazione.
3. Dia a ogni membro una quota uguale: membri per candidatura × candidature ÷ membri, arrotondato per eccesso. Esempio: 3 × 60 ÷ 9 = 20 candidature ciascuno.
4. Mescoli i gruppi, così gli stessi membri non valutano sempre insieme.
5. Estragga con un seme casuale e registri il seme e i dati di partenza. Chiunque potrà così ripetere l'estrazione e ottenere la stessa assegnazione.

In Juryline l'assegnazione è una funzione dei dati di partenza e di un seme registrato. Ogni membro della giuria riceve una quota uguale (di più solo quando per una candidatura non c'è nessun altro membro idoneo), le candidature con meno membri idonei vengono coperte per prime e i conflitti dichiarati non vengono mai assegnati. A parità di carico, viene scelto prima il membro che ha avuto meno candidature in comune con i membri già scelti. Il verbale della giuria riporta l'algoritmo, il seme e un hash SHA-256 dei dati di partenza, così gli stessi dati danno sempre lo stesso risultato.

Come farlo in un foglio di calcolo

Serve una riga per ogni punteggio: candidatura, membro della giuria e punteggio.

1. Per ogni membro della giuria, calcoli MEDIA e DEV.ST.P dei suoi punteggi (in inglese AVERAGE e STDEV.P).
2. Per ogni punteggio, calcoli z = (punteggio − media del membro) / dispersione del membro. Usi 0 se il membro ha meno di 3 punteggi o una dispersione pari a 0.
3. Per ogni candidatura, calcoli la media dei suoi z-score.
4. Calcoli M e S: MEDIA e DEV.ST.P di tutti i punteggi.
5. Punteggio normalizzato = M + S × z-score medio della candidatura. Ordini la classifica in base a questo valore.

Oppure incolli la Sua tabella nel calcolatore gratuito dei punteggi della giuria. Esegue questi passaggi nel Suo browser, mostra entrambe le classifiche e non carica nulla.

Domande

Normalizzare i punteggi è la stessa cosa che usare gli z-score?

Sì. Ogni punteggio diventa uno z-score rispetto ai punteggi del suo membro della giuria. Lo z-score medio viene poi riportato sulla scala di tutti i punteggi, così un 7,4 normalizzato si legge come un punteggio su 10.

Di quanti punteggi ha bisogno un membro della giuria?

Almeno 3 per qualsiasi correzione. Con 10 o più punteggi per membro, la stima della sua severità è stabile.

La normalizzazione cambia l'ordine dei punteggi di un membro della giuria?

No. Sposta e allarga o restringe i punteggi di ogni membro nel loro insieme, quindi l'ordine dato dal membro resta lo stesso. Può cambiare solo la classifica complessiva.

Si possono normalizzare i totali di una scheda di valutazione ponderata?

Sì. Normalizzi il totale di ogni membro per ciascuna candidatura. Juryline normalizza il totale ponderato su 100 punti di ogni valutazione.

Serve la classifica normalizzata se ogni membro ha valutato tutte le candidature?

Non è necessaria. Quando ogni membro della giuria valuta tutte le candidature, la severità pesa allo stesso modo su tutte e la media semplice le ordina in modo equo.