Cómo evaluar solicitudes de subvención de forma justa, paso a paso

El proceso de evaluación de proyectos en siete pasos

El proceso de evaluación convierte las solicitudes recibidas (postulaciones, en buena parte de Latinoamérica) en decisiones de financiación que se pueden explicar. Un proceso justo aplica las mismas reglas a todos los solicitantes, mantiene la independencia de los evaluadores y deja constancia por escrito. Describa los pasos en la convocatoria, para que los solicitantes sepan cómo se les va a evaluar.

1. Revisión de requisitos: comprobación formal, con un motivo para cada exclusión.
2. Asignación: al menos dos evaluadores independientes por solicitud, con cargas de trabajo equilibradas.
3. Evaluación anónima: oculte la identidad del solicitante cuando los criterios no la necesiten.
4. Puntuación: cada evaluador puntúa por su cuenta con los criterios publicados.
5. Diferencias: resuelva las discrepancias grandes entre evaluadores con una única regla.
6. Reunión de la comisión: acuerde las decisiones partiendo de la clasificación.
7. Acta de la decisión y comentarios: anote qué se decidió y por qué. Comunique el resultado a cada solicitante.

Paso 1: revise los requisitos antes de que nadie puntúe

La revisión de requisitos es una comprobación formal. Pregunta si la solicitud cumple las reglas de la convocatoria, no si es buena. Las comprobaciones habituales son el tipo de solicitante, el plazo, el importe solicitado, el número de solicitudes por solicitante y los documentos obligatorios.

Anote un motivo para cada solicitud que excluya, con las palabras de la regla que incumple. Pida a una segunda persona que revise los casos dudosos. Si los solicitantes pueden aportar más tarde un documento que falta, por ejemplo en un plazo de 5 días hábiles, indíquelo en la convocatoria.

En Juryline, usted marca cada solicitud como «Cumple los requisitos», «No cumple los requisitos» o «Duplicada» y añade un motivo. El motivo queda en el historial de la solicitud y no se muestra al solicitante. Solo las solicitudes que cumplen los requisitos pasan a la primera ronda del jurado.

Paso 2: asigne evaluadores independientes de forma equilibrada

Dos evaluadores por solicitud es un mínimo razonable. Una sola opinión no es una evaluación, mientras que dos muestran dónde difieren los juicios. Use tres para subvenciones grandes.

Reparta el trabajo de forma equilibrada. Con 120 solicitudes que cumplen los requisitos, 2 evaluadores por solicitud y 8 evaluadores, cada evaluador lee 30 solicitudes. Mezcle las parejas para que no haya dos evaluadores que puntúen siempre las mismas solicitudes. Las parejas mezcladas ponen de manifiesto qué evaluadores son estrictos y cuáles generosos.

Cada evaluador declara sus conflictos de intereses antes de leer nada. Una solicitud con conflicto pasa a otro evaluador.

En Juryline, usted elige un número fijo de miembros del jurado por solicitud y Juryline reparte las solicitudes de forma equilibrada, con parejas mezcladas. La asignación usa una semilla registrada, así que los mismos datos de partida dan siempre el mismo reparto. Una solicitud con conflicto pasa automáticamente a otro miembro del jurado.

Paso 3: use la evaluación anónima cuando tenga sentido

La evaluación anónima (o ciega) significa que los evaluadores no ven quién es el solicitante. Reduce el peso de la reputación, los nombres y los contactos personales en la puntuación.

Tiene sentido cuando los criterios se refieren al proyecto: la idea, el plan, el presupuesto y los resultados esperados. Cuando la trayectoria o la capacidad del solicitante es un criterio, los evaluadores necesitan saber quién presenta la solicitud. Incluso entonces, oculte lo que los criterios no necesitan, como los datos de contacto y los números de registro.

En Juryline, los campos que marque como ocultos quedan ocultos para el jurado en todas las solicitudes, también en las ya enviadas. La plantilla de subvenciones oculta por defecto los datos de contacto y el número de registro.

Paso 4: puntúe con los criterios publicados

Los evaluadores puntúan con los criterios y pesos publicados en la convocatoria, no con criterios propios. Una escala de 1 a 5 por criterio, con una breve descripción de lo que significan el 1, el 3 y el 5, da a todos la misma vara de medir.

Cada evaluador puntúa por su cuenta, sin ver las demás puntuaciones. Una breve justificación por escrito ayuda en la reunión de la comisión y sirve de base para los comentarios a los solicitantes. Un evaluador al que le faltan conocimientos para valorar una solicitud lo dice en lugar de adivinar.

En Juryline, cada criterio tiene una escala y descripciones de lo que significan las puntuaciones. Los pesos convierten las puntuaciones de cada evaluador en un total sobre 100. Un miembro del jurado que no puede valorar una solicitud puede abstenerse indicando el motivo.

Paso 5: resuelva las diferencias grandes entre evaluadores

Una diferencia grande entre dos evaluadores es una señal: uno de ellos leyó la solicitud o un criterio de otra manera. Defina de antemano qué se considera grande, por ejemplo, una diferencia de 20 puntos o más en un total de 100. También cuenta que un evaluador recomiende financiar y el otro no.

No deje que una diferencia grande desaparezca en la media sin que nadie la vea. Elija una regla y aplíquela en todos los casos:

• Un tercer evaluador puntúa la solicitud de forma independiente. Cuentan las tres puntuaciones.
• Los dos evaluadores comentan la solicitud y pueden cambiar sus puntuaciones, con una justificación por escrito.
• La comisión debate la solicitud en su reunión.

En Juryline, los resultados muestran junto a la media la diferencia entre los miembros del jurado de cada solicitud. Una clasificación normalizada compensa a los miembros del jurado que puntúan con más severidad o más generosidad que el resto. Puede añadir a mano un tercer miembro del jurado a una solicitud concreta.

Paso 6: decida en la reunión de la comisión

La reunión de la comisión de evaluación convierte la clasificación en decisiones. Celébrela cuando la puntuación ya esté cerrada, para que ninguna puntuación cambie durante el debate. Quien preside controla el tiempo y anota las decisiones.

1. La presidencia confirma los conflictos declarados. Un miembro con conflicto sale del debate de esa solicitud.
2. La comisión revisa la clasificación y el presupuesto disponible.
3. Debate las solicitudes cercanas al umbral de financiación y las que tienen diferencias grandes.
4. Acuerda las decisiones: financiar, financiar con un presupuesto reducido, lista de reserva o denegar.
5. Deja constancia de cada desviación respecto a la clasificación, con su motivo.

Paso 7: deje constancia de la decisión y dé comentarios

El acta de la decisión muestra cómo se tomó cada decisión: las reglas, los evaluadores, los conflictos declarados, las puntuaciones, la clasificación, las decisiones y los motivos de cualquier desviación respecto a la clasificación. Guárdela con la documentación del programa para su junta directiva o su financiador.

Todos los solicitantes reciben el resultado, también los que no cumplían los requisitos. Los comentarios útiles siguen los criterios: qué era sólido, qué era débil y qué haría más fuerte la solicitud. No nombran a los evaluadores.

Antes de abrir la convocatoria
[ ] Requisitos redactados como condiciones que cualquiera puede comprobar
[ ] Criterios, pesos y escala publicados en la convocatoria
[ ] Número de evaluadores por solicitud decidido (al menos 2)
[ ] Regla para las diferencias grandes decidida

Revisión de requisitos y evaluación
[ ] Motivo anotado para cada solicitud que no cumple los requisitos
[ ] Conflictos de intereses declarados antes de leer
[ ] Cargas de trabajo equilibradas y parejas mezcladas
[ ] Diferencias grandes resueltas con la regla acordada

Reunión de la comisión
[ ] Puntuación cerrada antes de la reunión
[ ] Los miembros con conflicto salieron de los debates afectados
[ ] Desviaciones respecto a la clasificación anotadas con sus motivos

Después de la decisión
[ ] Acta de la decisión archivada
[ ] Resultado y comentarios enviados a cada solicitante

En Juryline, usted bloquea la ronda y genera un acta del jurado en PDF. Recoge la configuración, la asignación y su semilla, los conflictos declarados, cada puntuación con sus comentarios y las decisiones. Queda sellada con un código de verificación que cualquiera puede comprobar. Si permite comentarios, los solicitantes los leen en su cuenta sin los nombres de los miembros del jurado.

Preguntas

¿Cuántos evaluadores deben puntuar cada solicitud de subvención?

Al menos dos. Dos puntuaciones independientes muestran dónde difieren los juicios. Para subvenciones grandes o desacuerdos fuertes, añada un tercero.

¿Deben ver los evaluadores quién es el solicitante?

Solo si los criterios lo requieren. Cuando los criterios se refieren al proyecto, oculte los nombres y los datos de contacto. Cuando la capacidad es un criterio, muestre quién presenta la solicitud, pero mantenga ocultos los datos de contacto.

¿Qué se considera una diferencia grande entre evaluadores?

Fije el umbral antes de empezar a puntuar. Uno práctico es 20 puntos o más en un total de 100. Resuelva todos esos casos con la misma regla.

¿La clasificación es la decisión final?

No. La clasificación es el punto de partida de la comisión. La comisión puede apartarse de ella, por ejemplo para ajustarse al presupuesto, pero deja constancia del motivo.

¿Qué deben incluir los comentarios a los solicitantes no seleccionados?

El resultado y dos o tres observaciones sobre lo que era sólido o débil, siguiendo los criterios. Mantenga el anonimato de los evaluadores y un tono objetivo.