Cómo normalizar las puntuaciones del jurado: puntuaciones z para miembros estrictos y generosos

Por qué los miembros del jurado estrictos y generosos distorsionan la clasificación

Cada miembro del jurado usa la escala a su manera. Uno da un 8 sobre 10 a cualquier candidatura sólida; otro rara vez pasa del 6. Puede que los dos ordenen las candidaturas igual, pero sus números son distintos.

Cuando cada miembro del jurado puntúa todas las candidaturas, esta diferencia afecta a todas por igual y la media simple es justa. Cuando cada uno puntúa solo una parte, la media de una candidatura depende de qué miembros del jurado le hayan tocado. Una candidatura a la que le tocaron miembros generosos supera a otra igual de buena a la que le tocaron miembros estrictos. La clasificación premia entonces la suerte en el reparto.

La normalización de las puntuaciones elimina el nivel y la dispersión personales de cada miembro del jurado. Conserva lo que dice sobre una candidatura en comparación con las demás que ha puntuado.

La fórmula de la puntuación z

Para cada miembro del jurado, tome la media (m) y la desviación estándar o típica (s) de sus puntuaciones en la ronda. Cada puntuación se convierte en una puntuación z: (puntuación − m) / s. Una puntuación z de +1 significa una desviación estándar por encima de la puntuación habitual de ese miembro del jurado.

Para cada candidatura, calcule la media de las puntuaciones z de los miembros del jurado que la puntuaron. Después, devuelva el resultado a la escala de todas las puntuaciones de la ronda con su media (M) y su desviación estándar (S), para que se lea como una puntuación normal.

puntuación normalizada = M + S × media de ((puntuación − m) / s)

m, s = media y desviación estándar de las puntuaciones de un miembro del jurado en la ronda
M, S = media y desviación estándar de todas las puntuaciones de la ronda
La media se calcula sobre los miembros del jurado que puntuaron la candidatura.
Un miembro del jurado con menos de 3 puntuaciones, o con la misma puntuación para todas, cuenta como 0.

Así es exactamente como calcula Juryline la puntuación normalizada. Usa la desviación estándar de la población (DESVEST.P en una hoja de cálculo en español, STDEV.P en inglés). Un miembro del jurado con menos de 3 puntuaciones o sin dispersión no dice nada sobre su escala, así que sus puntuaciones z cuentan como 0 y ni suben ni hunden una candidatura.

Ejemplo resuelto: tres miembros del jurado, cinco candidaturas

Ejemplo: cinco candidaturas inventadas, de la A a la E, puntuadas en una escala de 1 a 10. Cada candidatura tiene dos miembros del jurado. El Jurado 1 tiene una media de 5,00 con una dispersión de 1,41. El Jurado 2 tiene una media de 9,00 (dispersión 0,82) y el Jurado 3, de 7,00 (dispersión 0,82). Las diez puntuaciones juntas tienen una media de 6,80 y una dispersión de 1,99. Puede pegar estas puntuaciones en la calculadora gratuita de puntuaciones del jurado para comprobar el resultado.

E tiene la media más alta solo porque le tocó el generoso Jurado 2. Sus dos miembros del jurado le dieron exactamente su puntuación habitual, así que su puntuación normalizada es igual a la media de la ronda, 6,80. C obtuvo la puntuación más alta de sus dos miembros del jurado: z media = (1,41 + 1,22) / 2 = 1,32 y 6,80 + 1,99 × 1,32 = 9,43. Queda primera en cuanto se tiene en cuenta la severidad.

Cuándo basta la media simple y cuándo no

La media simple sirve cuando cada miembro del jurado puntúa todas las candidaturas, como en un jurado pequeño o en una final de pitches. También es la única opción cuando los miembros del jurado tienen muy pocas puntuaciones para mostrar su escala.

Normalice cuando cada miembro del jurado puntúe solo una parte de las candidaturas, lo habitual con más de unas pocas docenas. Cuantas más puntuaciones da cada miembro del jurado, más fiable es el ajuste: se necesitan al menos 3, y con 10 o más la estimación de su severidad es estable.

La normalización tiene límites. Supone que la parte que le toca a cada miembro del jurado tiene, de media, una calidad similar; si a uno le toca por azar una parte más débil, se la elevará. Cambia el nivel y la dispersión de un miembro del jurado, no su orden: si dos miembros del jurado discrepan sobre qué candidatura es mejor, la normalización no lo resuelve.

Decida en las bases, antes de empezar a puntuar, qué clasificación cuenta. Después muestre las dos, para que el jurado vea dónde cambia el orden.

En Juryline, cada ronda muestra la clasificación por media y la normalizada una junto a otra. La configuración de la ronda indica cuál es la oficial, y si se cambia cuando ya hay puntuaciones, el cambio queda registrado y figura en el acta del jurado.

Asignación equilibrada y reproducible

La normalización funciona mejor cuando cada miembro del jurado puntúa un número similar de candidaturas asignadas al azar y cuando comparte candidaturas con el mayor número posible de miembros del jurado. Así se pueden comparar los estrictos y los generosos en toda la ronda.

1. Elija 2 o 3 miembros del jurado por candidatura. Con tres, el resultado se mantiene estable cuando alguien se abstiene o declara un conflicto.
2. Excluya los conflictos declarados antes de la asignación.
3. Dé a cada miembro del jurado una parte equitativa: miembros del jurado por candidatura × candidaturas ÷ miembros del jurado, redondeando hacia arriba. Ejemplo: 3 × 60 ÷ 9 = 20 candidaturas por persona.
4. Mezcle los grupos, para que no puntúen siempre juntos los mismos miembros del jurado.
5. Haga la asignación aleatoria con una semilla y registre la semilla y los datos de partida. Así cualquiera puede repetirla y obtener el mismo reparto.

En Juryline, la asignación es una función de sus datos de partida y de una semilla registrada. Cada miembro del jurado recibe una parte equitativa (más solo cuando una candidatura no tiene a nadie más que pueda evaluarla), las candidaturas con menos miembros del jurado disponibles se cubren primero y nunca se asignan conflictos declarados. Entre miembros del jurado con la misma carga, va primero el que ha compartido menos candidaturas con los ya elegidos. El acta del jurado incluye el algoritmo, la semilla y un hash SHA-256 de los datos de partida, de modo que los mismos datos dan siempre el mismo resultado.

Cómo hacerlo en una hoja de cálculo

Necesita una fila por puntuación: candidatura, miembro del jurado y puntuación.

1. Para cada miembro del jurado, calcule PROMEDIO y DESVEST.P de sus puntuaciones (AVERAGE y STDEV.P en una hoja de cálculo en inglés).
2. Para cada puntuación, calcule z = (puntuación − media del miembro del jurado) / dispersión del miembro del jurado. Use 0 si el miembro del jurado tiene menos de 3 puntuaciones o una dispersión de 0.
3. Para cada candidatura, calcule la media de sus puntuaciones z.
4. Calcule M y S: PROMEDIO y DESVEST.P de todas las puntuaciones.
5. Puntuación normalizada = M + S × puntuación z media de la candidatura. Ordene las candidaturas por ella.

O pegue su tabla en la calculadora gratuita de puntuaciones del jurado. Hace estos pasos en su navegador, muestra las dos clasificaciones y no sube nada.

Preguntas

¿Normalizar las puntuaciones es lo mismo que usar puntuaciones z?

Sí. Cada puntuación se convierte en una puntuación z (z-score) dentro de las puntuaciones de su miembro del jurado. Después, la puntuación z media se devuelve a la escala de todas las puntuaciones, así que un 7,4 normalizado se lee como una puntuación sobre 10.

¿Cuántas puntuaciones necesita un miembro del jurado?

Al menos 3 para cualquier ajuste. Con 10 o más puntuaciones por miembro del jurado, la estimación de su severidad es estable.

¿La normalización cambia el orden de las puntuaciones de un miembro del jurado?

No. Desplaza y estira las puntuaciones de cada miembro del jurado en bloque, así que su propio orden se mantiene. Solo puede cambiar la clasificación conjunta.

¿Puedo normalizar los totales de una rúbrica ponderada?

Sí. Normalice el total de cada miembro del jurado por candidatura. Juryline normaliza el total ponderado sobre 100 puntos de cada puntuación.

¿Debemos usar la clasificación normalizada si todos los miembros del jurado lo puntuaron todo?

No hace falta. Cuando cada miembro del jurado puntúa todas las candidaturas, la severidad afecta a todas por igual y la media simple las ordena de forma justa.