Évaluer les dossiers d'un appel à projets équitablement, étape par étape

L'évaluation d'un appel à projets en sept étapes

L'évaluation des projets transforme les demandes de subvention reçues en décisions de financement que vous pouvez expliquer. Un processus équitable applique les mêmes règles à tous les candidats, préserve l'indépendance des évaluateurs et laisse une trace écrite. Décrivez les étapes dans l'appel, pour que les candidats sachent comment ils seront évalués.

1. Contrôle de recevabilité : examen formel, avec un motif pour chaque rejet.
2. Attribution : au moins deux évaluateurs indépendants par dossier, avec des charges de travail égales.
3. Évaluation anonyme : masquez l'identité du candidat quand les critères n'en ont pas besoin.
4. Notation : chaque évaluateur note seul, selon les critères publiés.
5. Écarts : réglez les grands écarts entre évaluateurs selon une règle unique.
6. Comité de sélection : arrêtez les décisions en partant du classement.
7. Relevé de décisions et retours : consignez ce qui a été décidé et pourquoi. Communiquez le résultat à chaque candidat.

Étape 1 : contrôler la recevabilité avant toute notation

Le contrôle de recevabilité est un examen formel. Il vérifie si le dossier respecte les règles de l'appel, pas s'il est bon. Les contrôles habituels portent sur le type de candidat, la date limite, le montant demandé, le nombre de dossiers par candidat et les pièces jointes obligatoires.

Consignez un motif pour chaque dossier déclaré irrecevable, dans les termes de la règle qu'il enfreint. Faites vérifier les cas limites par une deuxième personne. Si les candidats peuvent fournir plus tard une pièce manquante, par exemple sous 5 jours ouvrés, précisez-le dans l'appel.

Dans Juryline, vous marquez chaque candidature comme recevable, irrecevable ou en double et ajoutez un motif. Le motif reste dans l'historique de la candidature et n'est pas montré au candidat. Seules les candidatures recevables passent au premier tour du jury.

Étape 2 : répartir les dossiers équitablement entre évaluateurs indépendants

Deux évaluateurs par dossier constituent un minimum raisonnable. Un seul avis n'est pas une évaluation, alors que deux montrent où les jugements divergent. Prévoyez-en trois pour les subventions importantes.

Répartissez le travail de façon égale. Avec 120 dossiers recevables, 2 évaluateurs par dossier et 8 évaluateurs, chacun lit 30 dossiers. Variez les binômes pour que deux évaluateurs ne notent pas toujours les mêmes dossiers. Des binômes variés font apparaître les évaluateurs sévères et indulgents.

Chaque évaluateur déclare ses conflits d'intérêts avant de lire quoi que ce soit. Un dossier en conflit passe à un autre évaluateur.

Dans Juryline, vous choisissez un nombre fixe de membres du jury par candidature et Juryline répartit les candidatures de façon égale, en variant les binômes. Le tirage utilise une graine enregistrée : les mêmes données donnent toujours la même répartition. Une candidature en conflit passe automatiquement à un autre membre du jury.

Étape 3 : recourir à l'évaluation anonyme quand c'est pertinent

L'évaluation anonyme signifie que les évaluateurs ne savent pas qui est le candidat. Elle réduit le poids de la réputation, des noms et des relations personnelles dans la note.

Elle est pertinente quand les critères portent sur le projet : l'idée, le plan d'action, le budget et les résultats attendus. Quand l'expérience ou la capacité du candidat est un critère, les évaluateurs doivent savoir qui candidate. Même dans ce cas, masquez ce dont les critères n'ont pas besoin, comme les coordonnées et les numéros d'enregistrement.

Dans Juryline, les champs que vous marquez comme masqués restent cachés au jury sur toutes les candidatures, y compris celles déjà envoyées. Le modèle subvention masque par défaut les coordonnées et le numéro d'enregistrement.

Étape 4 : noter selon les critères publiés

Les évaluateurs notent selon les critères et les pondérations publiés dans l'appel, pas selon leurs propres critères. Une échelle de 1 à 5 par critère, avec une courte description de ce que signifient 1, 3 et 5, donne à tous la même référence.

Chaque évaluateur note seul, sans voir les autres notes. Une courte justification écrite aide en comité et sert de base aux retours. Un évaluateur qui n'a pas l'expertise nécessaire pour un dossier le dit plutôt que de deviner.

Dans Juryline, chaque critère a une échelle et des descriptions de ce que signifient les notes. Les pondérations transforment les notes de chaque évaluateur en un total sur 100. Un membre du jury qui ne peut pas évaluer une candidature peut s'abstenir en indiquant un motif.

Étape 5 : régler les grands écarts entre évaluateurs

Un grand écart entre deux évaluateurs est un signal : l'un d'eux a lu le dossier ou un critère autrement. Définissez à l'avance ce qu'est un grand écart, par exemple 20 points ou plus sur un total de 100. Le cas où un évaluateur recommande le financement et l'autre non compte aussi.

Ne laissez pas un grand écart disparaître dans une moyenne sans que personne le voie. Choisissez une règle et appliquez-la à chaque cas :

• Un troisième évaluateur note le dossier de façon indépendante. Les trois notes comptent.
• Les deux évaluateurs discutent du dossier et peuvent modifier leurs notes, avec une justification écrite.
• Le comité de sélection examine le dossier en réunion.

Dans Juryline, les résultats affichent l'écart entre les membres du jury pour chaque candidature, à côté de la moyenne. Un classement normalisé compense les membres du jury qui notent plus sévèrement ou plus généreusement que les autres. Vous pouvez ajouter à la main un troisième membre du jury à une candidature.

Étape 6 : décider en comité de sélection

La réunion du comité de sélection transforme le classement en décisions. Tenez-la une fois la notation close, pour qu'aucune note ne change pendant les débats. Un président gère le temps et consigne les décisions.

1. Le président confirme les conflits déclarés. Un membre en conflit quitte la discussion de ce dossier.
2. Le comité examine le classement et le budget disponible.
3. Il discute des dossiers proches de la ligne de financement et de ceux qui présentent de grands écarts.
4. Il arrête les décisions : financement, financement avec un budget réduit, liste d'attente ou rejet.
5. Il consigne, avec un motif, chaque dérogation au classement.

Étape 7 : consigner la décision et faire un retour aux candidats

Le relevé de décisions montre comment chaque décision a été prise : les règles, les évaluateurs, les conflits déclarés, les notes, le classement, les décisions et les motifs de toute dérogation au classement. Conservez-le avec les documents du programme pour votre conseil d'administration ou votre financeur.

Chaque candidat reçoit le résultat, y compris ceux dont le dossier a été jugé irrecevable. Un retour utile suit les critères : ce qui était solide, ce qui était faible et ce qui renforcerait le dossier. Il ne nomme pas les évaluateurs.

Avant l'ouverture de l'appel
[ ] Règles de recevabilité rédigées comme des conditions vérifiables par tous
[ ] Critères, pondérations et échelle publiés dans l'appel
[ ] Nombre d'évaluateurs par dossier fixé (au moins 2)
[ ] Règle pour les grands écarts fixée

Recevabilité et évaluation
[ ] Un motif consigné pour chaque dossier irrecevable
[ ] Conflits d'intérêts déclarés avant la lecture
[ ] Charges de travail égales et binômes variés
[ ] Grands écarts réglés selon la règle convenue

Comité de sélection
[ ] Notation close avant la réunion
[ ] Membres en conflit sortis des discussions concernées
[ ] Dérogations au classement consignées avec leurs motifs

Après la décision
[ ] Relevé de décisions archivé
[ ] Résultat et retour envoyés à chaque candidat

Dans Juryline, vous verrouillez le tour et créez un procès-verbal du jury en PDF. Il contient les paramètres, la répartition et sa graine, les conflits déclarés, chaque note avec ses commentaires et les décisions, le tout scellé par un code de vérification que chacun peut contrôler. Si vous autorisez les retours, les candidats les lisent dans leur espace, sans le nom des membres du jury.

Questions

Combien d'évaluateurs doivent noter chaque demande de subvention ?

Au moins deux. Deux notes indépendantes montrent où les jugements divergent. Pour les subventions importantes ou en cas de fort désaccord, ajoutez-en un troisième.

Les évaluateurs doivent-ils savoir qui est le candidat ?

Seulement si les critères l'exigent. Quand les critères portent sur le projet, masquez les noms et les coordonnées. Quand la capacité est un critère, montrez qui candidate mais gardez les coordonnées masquées.

Qu'est-ce qu'un grand écart entre évaluateurs ?

Fixez le seuil avant le début de la notation. Un seuil pratique : 20 points ou plus sur un total de 100. Réglez chacun de ces cas selon la même règle.

Le classement vaut-il décision finale ?

Non. Le classement est le point de départ du comité. Le comité peut s'en écarter, par exemple pour rester dans le budget, mais il en consigne le motif.

Que doit contenir le retour aux candidats non retenus ?

Le résultat et deux ou trois points forts ou faibles, en suivant les critères. Gardez l'anonymat des évaluateurs et un ton factuel.