Jak uczciwie oceniać wnioski grantowe: ocena formalna i merytoryczna krok po kroku

Ocena wniosków grantowych w siedmiu krokach

Ocena wniosków grantowych zamienia złożone wnioski w decyzje o dofinansowaniu, które potrafisz uzasadnić. Uczciwy proces stosuje te same zasady do każdego wnioskodawcy, zapewnia niezależność ekspertów i zostawia pisemny ślad. Opisz te kroki w ogłoszeniu o naborze, żeby wnioskodawcy wiedzieli, jak będą oceniani.

1. Ocena formalna: sprawdzenie warunków z uzasadnieniem każdego odrzucenia.
2. Przydział: co najmniej dwóch niezależnych ekspertów na wniosek, z równym obciążeniem.
3. Anonimowa ocena: ukryj tożsamość wnioskodawcy tam, gdzie kryteria jej nie wymagają.
4. Ocena merytoryczna: każdy ekspert ocenia samodzielnie według opublikowanych kryteriów.
5. Rozbieżności: wyjaśniaj duże różnice między ekspertami według jednej zasady.
6. Posiedzenie komisji: komisja uzgadnia decyzje, wychodząc od rankingu.
7. Protokół decyzji i informacja zwrotna: zapisz, co postanowiono i dlaczego. Przekaż wynik każdemu wnioskodawcy.

Krok 1: ocena formalna, zanim ktokolwiek zacznie oceniać

Ocena formalna sprawdza, czy wniosek spełnia zasady naboru, a nie czy jest dobry. Typowe warunki to rodzaj wnioskodawcy, termin, wnioskowana kwota, liczba wniosków na jednego wnioskodawcę i wymagane załączniki.

Przy każdym wniosku oznaczonym jako niespełniający wymogów zapisz uzasadnienie, używając słów zasady, której nie spełnia. Przypadki graniczne niech sprawdzi druga osoba. Jeśli wnioskodawcy mogą uzupełnić brakujący dokument później, na przykład w ciągu 5 dni roboczych, napisz o tym w ogłoszeniu o naborze.

W Juryline oznaczasz każdy wniosek jako spełniający wymogi, niespełniający wymogów lub zduplikowany i dodajesz uzasadnienie. Uzasadnienie zostaje w historii zgłoszenia i nie jest pokazywane wnioskodawcy. Do pierwszego etapu oceny przechodzą tylko wnioski spełniające wymogi.

Krok 2: przydziel niezależnych ekspertów po równo

Dwóch ekspertów na wniosek to rozsądne minimum. Jedna opinia to jeszcze nie ocena, a dwie pokazują, gdzie oceny się różnią. Przy dużych grantach zaangażuj trzech.

Rozłóż pracę równo. Przy 120 wnioskach spełniających wymogi, 2 ekspertach na wniosek i 8 ekspertach każdy ekspert czyta 30 wniosków. Mieszaj pary, żeby żadnych dwóch ekspertów nie oceniało zawsze tych samych wniosków. Dzięki mieszanym parom widać, którzy eksperci oceniają surowo, a którzy łagodnie.

Każdy ekspert składa oświadczenie o bezstronności i zgłasza konflikty interesów, zanim cokolwiek przeczyta. Wniosek objęty konfliktem trafia do innego eksperta.

W Juryline wybierasz stałą liczbę jurorów na wniosek, a Juryline rozdziela wnioski po równo i dba o mieszanie par. Losowanie korzysta z zapisanego ziarna, więc te same dane wejściowe zawsze dają ten sam przydział. Wniosek objęty konfliktem automatycznie trafia do innego jurora.

Krok 3: stosuj anonimową ocenę tam, gdzie ma to sens

Anonimowa ocena oznacza, że eksperci nie wiedzą, kto jest wnioskodawcą. Ogranicza to wpływ reputacji, nazwisk i osobistych znajomości na ocenę.

Ma sens, gdy kryteria dotyczą projektu: pomysłu, planu, budżetu i oczekiwanych rezultatów. Gdy kryterium jest doświadczenie lub potencjał wnioskodawcy, eksperci muszą wiedzieć, kto składa wniosek. Nawet wtedy ukryj to, czego kryteria nie wymagają, na przykład dane kontaktowe i numery rejestrowe.

W Juryline pola oznaczone jako ukryte pozostają niewidoczne dla jurorów we wszystkich zgłoszeniach, także tych już wysłanych. Szablon grantowy domyślnie ukrywa dane kontaktowe i numer rejestrowy.

Krok 4: oceniaj według opublikowanych kryteriów

Eksperci oceniają według kryteriów i wag opublikowanych w ogłoszeniu o naborze, a nie według własnych. Skala od 1 do 5 dla każdego kryterium, z krótkim opisem, co oznacza 1, 3 i 5, daje wszystkim tę samą miarę.

Każdy ekspert ocenia samodzielnie, nie widząc ocen pozostałych. Krótkie pisemne uzasadnienie przydaje się na posiedzeniu komisji i staje się podstawą informacji zwrotnej. Ekspert, któremu brakuje wiedzy do oceny danego wniosku, mówi o tym, zamiast zgadywać.

W Juryline każde kryterium ma skalę i opisy znaczenia ocen. Wagi zamieniają oceny każdego eksperta w sumę w skali do 100. Juror, który nie może ocenić wniosku, może wstrzymać się od oceny z podaniem powodu.

Krok 5: wyjaśnij duże rozbieżności między ekspertami

Duża różnica między dwoma ekspertami to sygnał: jeden z nich inaczej odczytał wniosek lub kryterium. Z góry określ, co uznajesz za dużą różnicę, na przykład 20 lub więcej punktów przy sumie w skali do 100. Za dużą różnicę uznaj też sytuację, w której jeden ekspert rekomenduje dofinansowanie, a drugi nie.

Nie uśredniaj dużej różnicy po cichu. Wybierz jedną zasadę i stosuj ją w każdym przypadku:

• Trzeci ekspert niezależnie ocenia wniosek. Liczą się wszystkie trzy oceny.
• Obaj eksperci omawiają wniosek i mogą zmienić oceny z pisemnym uzasadnieniem.
• Komisja omawia wniosek na swoim posiedzeniu.

W Juryline wyniki pokazują różnicę między jurorami dla każdego wniosku obok średniej. Ranking znormalizowany wyrównuje jurorów, którzy oceniają surowiej lub hojniej niż pozostali. Do pojedynczego wniosku możesz ręcznie dodać trzeciego jurora.

Krok 6: decyzja na posiedzeniu komisji

Posiedzenie komisji zamienia ranking w decyzje. Zorganizuj je po zamknięciu oceny, żeby w trakcie dyskusji nie zmieniła się żadna ocena. Przewodniczący pilnuje czasu i zapisuje decyzje.

1. Przewodniczący potwierdza zgłoszone konflikty interesów. Członek komisji w konflikcie nie bierze udziału w dyskusji o danym wniosku.
2. Komisja przegląda ranking i dostępny budżet.
3. Omawia wnioski blisko granicy dofinansowania i te z dużymi rozbieżnościami.
4. Uzgadnia decyzje: dofinansowanie, dofinansowanie w zmniejszonej kwocie, lista rezerwowa lub odrzucenie.
5. Zapisuje każde odstępstwo od rankingu z uzasadnieniem.

Krok 7: zapisz decyzję i przekaż informację zwrotną

Protokół decyzji pokazuje, jak zapadła każda decyzja: zasady, eksperci, zgłoszone konflikty, oceny, ranking, decyzje i uzasadnienie każdego odstępstwa od rankingu. Przechowuj go w dokumentacji programu dla zarządu lub grantodawcy.

Wynik otrzymuje każdy wnioskodawca, także ten, którego wniosek nie spełnił wymogów formalnych. Przydatna informacja zwrotna opiera się na kryteriach: co było mocną stroną, co słabą i co wzmocniłoby wniosek. Nie podaje nazwisk ekspertów.

Przed otwarciem naboru
[ ] Warunki formalne zapisane tak, że każdy może je sprawdzić
[ ] Kryteria, wagi i skala opublikowane w ogłoszeniu o naborze
[ ] Ustalona liczba ekspertów na wniosek (co najmniej 2)
[ ] Ustalona zasada dla dużych rozbieżności

Ocena formalna i merytoryczna
[ ] Uzasadnienie zapisane przy każdym wniosku niespełniającym wymogów
[ ] Konflikty interesów zgłoszone przed lekturą wniosków
[ ] Równe obciążenie i mieszane pary
[ ] Duże rozbieżności wyjaśnione według ustalonej zasady

Posiedzenie komisji
[ ] Ocena zamknięta przed posiedzeniem
[ ] Członkowie w konflikcie nie brali udziału w dyskusji o danych wnioskach
[ ] Odstępstwa od rankingu zapisane z uzasadnieniem

Po decyzji
[ ] Protokół decyzji w dokumentacji
[ ] Wynik i informacja zwrotna wysłane do każdego wnioskodawcy

W Juryline blokujesz etap i tworzysz protokół jury w PDF. Zawiera on ustawienia, przydział z ziarnem losowania, zgłoszone konflikty, wszystkie oceny z komentarzami oraz decyzje, a zapieczętowany jest kodem weryfikacyjnym, który każdy może sprawdzić. Jeśli pozwolisz na informację zwrotną, wnioskodawcy przeczytają ją na swoim koncie bez nazwisk jurorów.

Pytania

Ilu ekspertów powinno oceniać każdy wniosek grantowy?

Co najmniej dwóch. Dwie niezależne oceny pokazują, gdzie opinie się różnią. Przy dużych grantach lub wyraźnej niezgodzie dodaj trzeciego.

Czy eksperci powinni wiedzieć, kto składa wniosek?

Tylko jeśli wymagają tego kryteria. Gdy kryteria dotyczą projektu, ukryj nazwy i dane kontaktowe. Gdy kryterium jest potencjał wnioskodawcy, pokaż, kto składa wniosek, ale nadal ukryj dane kontaktowe.

Co uznać za dużą rozbieżność między ekspertami?

Ustal próg przed rozpoczęciem oceny. Sprawdza się próg 20 lub więcej punktów przy sumie w skali do 100. Każdy taki przypadek rozstrzygaj według tej samej zasady.

Czy ranking to ostateczna decyzja?

Nie. Ranking jest dla komisji punktem wyjścia. Komisja może od niego odstąpić, na przykład żeby zmieścić się w budżecie, ale zapisuje uzasadnienie.

Co powinna zawierać informacja zwrotna dla wnioskodawców, którzy nie dostali grantu?

Wynik oraz dwie lub trzy uwagi o mocnych i słabych stronach, zgodnie z kryteriami. Nie ujawniaj nazwisk ekspertów i zachowaj rzeczowy ton.