Jak hodnotit grantové žádosti a projekty férově, krok za krokem

Hodnocení grantových žádostí v sedmi krocích

Hodnocení a výběr projektů promění podané žádosti v rozhodnutí o podpoře, která dokážete vysvětlit. Férový postup uplatňuje stejná pravidla na každého žadatele, zachovává nezávislost hodnotitelů a zanechává písemný záznam. Kroky popište ve výzvě, aby žadatelé věděli, jak budou hodnoceni.

1. Formální kontrola: kontrola podmínek s důvodem u každého vyřazení.
2. Přidělení: aspoň dva nezávislí hodnotitelé na žádost, s rovnoměrnou zátěží.
3. Anonymní hodnocení: skryjte totožnost žadatele tam, kde ji kritéria nepotřebují.
4. Bodování: každý hodnotitel hodnotí sám podle zveřejněných kritérií.
5. Rozdíly: velké rozdíly mezi hodnotiteli řešte podle jednoho pravidla.
6. Jednání komise: dohodněte rozhodnutí, s pořadím jako výchozím bodem.
7. Záznam o rozhodnutí a zpětná vazba: zapište, co se rozhodlo a proč. Každému žadateli sdělte výsledek.

Krok 1: zkontrolujte podmínky dřív, než kdokoli začne hodnotit

Formální kontrola zjišťuje, zda žádost splňuje pravidla výzvy, ne zda je dobrá. Obvykle se kontroluje typ žadatele, termín podání, požadovaná částka, počet žádostí na žadatele a povinné přílohy.

U každé žádosti, kterou označíte jako nesplňující podmínky, zaznamenejte důvod slovy pravidla, které porušuje. Hraniční případy nechte zkontrolovat druhou osobu. Pokud žadatelé smějí chybějící dokument doplnit později, například do 5 pracovních dnů, uveďte to ve výzvě.

V Juryline označíte každou žádost jako splňující podmínky, nesplňující podmínky nebo duplicitní a doplníte důvod. Důvod zůstane v historii žádosti a žadatel ho neuvidí. Do prvního kola hodnocení jdou jen žádosti, které podmínky splňují.

Krok 2: přidělte nezávislé hodnotitele rovnoměrně

Dva hodnotitelé na žádost jsou rozumné minimum. Jeden názor ještě není hodnocení, dva ukážou, kde se úsudky liší. U velkých grantů použijte tři.

Práci rozdělte rovnoměrně. Při 120 žádostech, které splňují podmínky, 2 hodnotitelích na žádost a 8 hodnotitelích přečte každý hodnotitel 30 žádostí. Dvojice promíchejte, aby žádní dva hodnotitelé nehodnotili vždy stejné žádosti. V promíchaných dvojicích se ukáže, kdo hodnotí přísně a kdo mírně.

Každý hodnotitel oznámí střet zájmů dřív, než cokoli přečte. Žádost se střetem zájmů přejde k jinému hodnotiteli.

V Juryline zvolíte pevný počet porotců na žádost a Juryline žádosti rozdělí rovnoměrně a dvojice promíchá. Losování vychází ze zaznamenaného seedu, takže stejný vstup dá vždy stejné přidělení. Žádost se střetem zájmů automaticky přejde k jinému porotci.

Krok 3: tam, kde to dává smysl, hodnoťte anonymně

Anonymní hodnocení znamená, že hodnotitelé nevidí, kdo žádost podal. Snižuje vliv pověsti, jmen a osobních vazeb na hodnocení.

Dává smysl, když se kritéria týkají projektu: nápadu, plánu, rozpočtu a očekávaných výsledků. Když je kritériem dosavadní činnost nebo kapacita žadatele, hodnotitelé potřebují vědět, kdo žádá. I tehdy skryjte, co kritéria nepotřebují, například kontaktní údaje a IČO.

V Juryline zůstanou pole, která označíte jako skrytá, porotcům skrytá u každé žádosti, i u těch už podaných. Šablona pro granty ve výchozím nastavení skrývá kontaktní údaje a IČO.

Krok 4: hodnoťte podle zveřejněných kritérií

Hodnotitelé hodnotí podle kritérií a vah zveřejněných ve výzvě, ne podle vlastních. Stupnice 1 až 5 u každého kritéria s krátkým popisem toho, co znamená 1, 3 a 5, dává všem stejné měřítko.

Každý hodnotitel hodnotí sám, aniž by viděl ostatní hodnocení. Krátké písemné zdůvodnění (posudek) pomůže na jednání komise a stane se základem zpětné vazby. Hodnotitel, který k žádosti nemá potřebné odborné znalosti, to řekne, místo aby hádal.

V Juryline má každé kritérium stupnici a popisy toho, co jednotlivé body znamenají. Váhy převedou body každého hodnotitele na celkový součet ze 100. Porotce, který žádost nedokáže posoudit, se může s uvedením důvodu zdržet hodnocení.

Krok 5: vyřešte velké rozdíly mezi hodnotiteli

Velký rozdíl mezi dvěma hodnotiteli je signál: jeden z nich četl žádost nebo kritérium jinak. Předem stanovte, co je velký rozdíl, například 20 a více bodů ze 100. Za velký rozdíl se počítá i to, když jeden hodnotitel doporučí podporu a druhý ne.

Velký rozdíl nezprůměrujte potichu. Zvolte jedno pravidlo a použijte ho u každého případu:

• Třetí hodnotitel žádost nezávisle ohodnotí. Počítají se všechna tři hodnocení.
• Oba hodnotitelé žádost proberou a mohou své hodnocení změnit, s písemným zdůvodněním.
• Žádost projedná komise na svém jednání.

V Juryline ukazují výsledky u každé žádosti vedle průměru i rozdíl mezi porotci. Normalizované pořadí vyrovná porotce, kteří hodnotí přísněji nebo velkoryseji než ostatní. K jednotlivé žádosti můžete ručně přidat třetího porotce.

Krok 6: rozhodněte na jednání komise

Jednání hodnoticí komise promění pořadí v rozhodnutí. Konejte ho až po ukončení hodnocení, aby se během diskuse žádné hodnocení neměnilo. Předseda hlídá čas a zapisuje rozhodnutí.

1. Předseda potvrdí oznámené střety zájmů. Člen ve střetu zájmů opustí projednávání dané žádosti.
2. Komise projde pořadí a dostupný rozpočet.
3. Probere žádosti poblíž hranice podpory a žádosti s velkými rozdíly v hodnocení.
4. Dohodne rozhodnutí: podpořit, podpořit s kráceným rozpočtem, zařadit mezi náhradníky nebo zamítnout.
5. Každou odchylku od pořadí zaznamená i s důvodem.

Krok 7: zaznamenejte rozhodnutí a dejte zpětnou vazbu

Záznam o rozhodnutí ukazuje, jak každé rozhodnutí vzniklo: pravidla, hodnotitele, oznámené střety zájmů, hodnocení, pořadí, rozhodnutí a důvody každé odchylky od pořadí. Uložte ho k dokumentaci programu pro správní radu nebo donora.

Výsledek dostane každý žadatel, i ten, jehož žádost nesplnila podmínky. Užitečná zpětná vazba vychází z kritérií: co bylo silné, co slabé a co by žádost posílilo. Hodnotitele nejmenuje.

Před vyhlášením výzvy
[ ] Podmínky napsané tak, aby je mohl ověřit kdokoli
[ ] Kritéria, váhy a stupnice zveřejněné ve výzvě
[ ] Rozhodnuto, kolik hodnotitelů má každá žádost (aspoň 2)
[ ] Rozhodnuto pravidlo pro velké rozdíly

Formální kontrola a hodnocení
[ ] U každé žádosti, která nesplnila podmínky, zaznamenán důvod
[ ] Střet zájmů oznámen před čtením
[ ] Rovnoměrná zátěž a promíchané dvojice
[ ] Velké rozdíly vyřešené podle dohodnutého pravidla

Jednání komise
[ ] Hodnocení ukončené před jednáním
[ ] Členové ve střetu zájmů opustili příslušné projednávání
[ ] Odchylky od pořadí zaznamenané s důvody

Po rozhodnutí
[ ] Záznam o rozhodnutí uložen
[ ] Výsledek a zpětná vazba odeslány každému žadateli

V Juryline kolo zamknete a vytvoříte protokol poroty v PDF. Obsahuje nastavení, přidělení i s jeho seedem, oznámené střety zájmů, každé hodnocení s komentáři a rozhodnutí, zapečetěné ověřovacím kódem, který si může ověřit kdokoli. Pokud zpětnou vazbu povolíte, žadatelé si ji přečtou ve svém účtu bez jmen porotců.

Otázky

Kolik hodnotitelů má hodnotit každou grantovou žádost?

Aspoň dva. Dvě nezávislá hodnocení ukážou, kde se úsudky liší. U velkých grantů nebo při výrazné neshodě přidejte třetího.

Mají hodnotitelé vidět, kdo žádost podal?

Jen pokud to kritéria vyžadují. Když se kritéria týkají projektu, skryjte jména a kontaktní údaje. Když je kritériem kapacita, ukažte, kdo žádá, ale kontaktní údaje nechte skryté.

Co je velký rozdíl mezi hodnotiteli?

Hranici stanovte před začátkem hodnocení. Použitelná hranice je 20 a více bodů ze 100. Každý takový případ řešte podle stejného pravidla.

Je pořadí konečným rozhodnutím?

Ne. Pořadí je pro komisi výchozím bodem. Komise se od něj může odchýlit, například aby se vešla do rozpočtu, ale zaznamená důvod.

Co má obsahovat zpětná vazba pro neúspěšné žadatele?

Výsledek a dva nebo tři body o tom, co bylo silné nebo slabé, podle kritérií. Hodnotitele nejmenujte a držte věcný tón.