Hodnoticí kritéria pro porotu: vzory formuláře hodnocení s vahami a stupnicí

Co obsahují hodnoticí kritéria

Hodnoticím kritériím se říká také formulář hodnocení, hodnoticí tabulka nebo bodové hodnocení. Nejdůležitější jsou popisy bodových stupňů: krátké popisy toho, co dané hodnocení znamená, aby 4 body od jednoho porotce znamenaly zhruba totéž co 4 body od jiného.

• Kritéria: 3 až 6, každé měří jednu věc.
• Otázka: jedna věta ke každému kritériu, například „Dokáže to tento tým postavit?“
• Váha: kolik kritérium v celkovém hodnocení znamená, v procentech nebo jako násobek.
• Stupnice a popisy: například 1 až 5 s popisem pro 1, 3 a 5. Hodnocení 2 nebo 4 leží mezi dvěma popisy.
• Komentář: jedna až tři věty, které body zdůvodní.

Jak zvolit hodnoticí kritéria

Vyjděte z účelu výzvy. Pokud cena oceňuje měřitelné výsledky, dejte největší váhu dopadu. Pokud grant financuje plán, nejvíc rozhoduje kvalita plánu a hospodárnost.

Každé kritérium má měřit jednu věc. Inovace a originalita například obvykle měří tutéž vlastnost dvakrát. Každému kritériu mají odpovídat otázky v přihlašovacím formuláři, aby uchazeči porotcům dodali podklady, které potřebují.

Držte se 3 až 6 kritérií a zveřejněte je i s vahami ve výzvě, aby uchazeči věděli, jak budou hodnoceni.

Juryline má ve svých šablonách hotová hodnoticí kritéria pro ceny, startupové soutěže, granty, stipendia, studentské soutěže a hackathony. Kterékoli kritérium, váhu nebo stupnici můžete změnit, než se kolo otevře.

Váhy a stupnice

Váha říká, kolik kritérium znamená v celkovém hodnocení. Nejsnáze se čtou procenta, která dávají dohromady 100. Stejně fungují násobky jako 1; 1,5 a 2: záleží jen na jejich vzájemném poměru.

Největší váhu dejte kritériu, které má nejblíž k účelu výzvy. Žádné jednotlivé kritérium by nemělo mít víc než zhruba polovinu celku, aby o výsledku nemohl sám rozhodnout jeden názor na jedno kritérium.

Stupnice 1 až 5 je rychlá a většině porot stačí. Stupnice 1 až 10 dává víc prostoru, když je hodně přihlášek vyrovnaných; pak popište stupně 1 až 2, 5 až 6 a 9 až 10. Nepoužívejte 0 až 100 bodů na kritérium: vzbuzuje dojem přesnosti, kterou porotci nedokážou jednotně dodržet.

Příklad: váhy 30, 30, 20 a 20 % a hodnocení 4, 3, 5 a 2 na stupnici 1 až 5 dají 0,3 × 4 + 0,3 × 3 + 0,2 × 5 + 0,2 × 2 = 3,5 z 5.

V Juryline jsou váhy relativní: váha 2 se počítá dvakrát víc než váha 1. Každé hodnocení se převede na celkový součet ze 100 bodů, přičemž spodní konec stupnice znamená 0 % daného kritéria a horní konec 100 %. Příklad výše dá 62,5 bodu.

Vzor hodnoticích kritérií pro startupové soutěže

Pro užší výběr, příjem do akcelerátoru nebo finále pitchů. Největší váhu má tým, protože produkty se v rané fázi mění, kdežto týmy zůstávají.

Stupnice 1 až 5 (2 a 4 leží mezi popisy).
Celkem = součet hodnot váha × body, nejvýše 5.

1. Problém a trh (20 %): Je problém skutečný a trh dost velký?
   1 = nejasný problém nebo velmi malý trh
   3 = skutečný problém, trh zatím neověřený
   5 = palčivý problém na velkém, rostoucím trhu

2. Produkt a inovace (20 %): Jak nové a jak dobré je řešení?
   1 = kopíruje existující řešení
   3 = jasné zlepšení oproti tomu, co existuje
   5 = nový přístup s trvalou výhodou

3. Trakce (20 %): Je doloženo, že to zákazníci chtějí?
   1 = zatím žádní uživatelé
   3 = pilotní projekty nebo první uživatelé
   5 = platící zákazníci a stabilní růst

4. Tým (25 %): Dokáže to tento tým postavit?
   1 = chybí klíčové dovednosti
   3 = solidní tým s několika mezerami
   5 = kompletní tým s doloženými výsledky

5. Potenciál (15 %): Může růst za hranice domácího trhu?
   1 = jen místní trh
   3 = může růst v regionu
   5 = může růst mezinárodně

Komentář: [proč jste udělili tyto body]

Vzor hodnoticích kritérií pro grantové žádosti

Pro projektové granty a výzvy k předkládání projektů. Většinu váhy si dělí relevance, plán a dopad; hospodárnost prověřuje rozpočet.

Stupnice 1 až 5 (2 a 4 leží mezi popisy).
Celkem = součet hodnot váha × body, nejvýše 5.

1. Relevance (25 %): Jak dobře projekt odpovídá cílům výzvy?
   1 = slabý soulad s cíli
   3 = odpovídá některým cílům
   5 = úzce odpovídá cílům a naplňuje stanovenou prioritu

2. Kvalita plánu (25 %): Jsou aktivity a harmonogram jasné a realistické?
   1 = nejasné aktivity a harmonogram
   3 = realistický plán s některými mezerami
   5 = jasné aktivity, harmonogram i rizika

3. Dopad (25 %): Co se změní pro cílovou skupinu a jak se to měří?
   1 = přínos nejasný a neměřený
   3 = jasný přínos, slabé ukazatele
   5 = jasný přínos pro vymezenou skupinu, měřitelné výsledky

4. Hospodárnost (15 %): Jsou náklady nezbytné a zdůvodněné?
   1 = náklady nezdůvodněné nebo nepřiměřené
   3 = většinou přiměřené, některé položky nejasné
   5 = každý náklad nezbytný a zdůvodněný

5. Kapacita (10 %): Dokáže žadatel projekt zrealizovat?
   1 = žádné doložené relevantní zkušenosti
   3 = relevantní zkušenosti, některé mezery
   5 = už realizoval podobné projekty

Komentář: [proč jste udělili tyto body]

Vzor hodnoticích kritérií pro ceny a hackathony

U ceny použijte kvalitu (30 %), originalitu (20 %), dopad (35 %) a prezentaci přihlášené práce (15 %). Dopad navažte na doklady: 1 znamená, že výsledky nejsou doložené, 3 znamená doložené, ale jen zčásti změřené výsledky a 5 znamená změřené výsledky pro klienty, uživatele nebo společnost.

Porotci hackathonu hodnotí během ukázek nebo hned po nich, proto držte kritéria krátká a popisy konkrétní.

Stupnice 1 až 5 (2 a 4 leží mezi popisy).
Celkem = součet hodnot váha × body, nejvýše 5.

1. Dopad (25 %): Řeší to skutečný problém?
   1 = žádný jasný problém
   3 = skutečný problém, vyřešený zčásti
   5 = skutečný problém vyřešený tak, že by to lidé používali

2. Technická náročnost (25 %): Jak těžké bylo to postavit?
   1 = převážně poskládané hotové komponenty
   3 = některé náročné části
   5 = těžké problémy vyřešené v daném čase

3. Design (20 %): Je to použitelné a dobře udělané?
   1 = obtížně použitelné
   3 = použitelné, ale s nedostatky
   5 = snadno použitelné a dobře udělané

4. Funkční demo (30 %): Funguje to?
   1 = žádné funkční demo
   3 = funguje s mezerami nebo na ukázkových datech
   5 = v ukázce funguje od začátku do konce

Komentář: [proč jste udělili tyto body]

Jak s hodnoticími kritérii pracuje porota

Hodnoticí kritéria fungují, jen když je všichni porotci používají stejně.

1. Nejdřív kalibrujte: nechte porotce ohodnotit dvě nebo tři ukázkové přihlášky a proberte každý rozdíl 2 a více bodů.
2. Porotci hodnotí každé kritérium a připojí krátký komentář, který body zdůvodní.
3. Pravidlo pro shodu bodů dohodněte před začátkem hodnocení, například že rozhodne kritérium s nejvyšší vahou.
4. Počítejte s přísnými a mírnými porotci i při dobrých popisech. Když každý porotce hodnotí jen část přihlášek, porovnejte prostý průměr s normalizovaným pořadím.

V Juryline vidí porotci na obrazovce hodnocení popisy nízkého, středního a vysokého hodnocení a mohou si své body porovnat vedle sebe. Kolo může určit kritérium, které rozhoduje při shodě bodů.

Otázky

Kolik hodnoticích kritérií má porota mít?

Tři až šest. Při menším počtu mají porotci málo podkladů, podle kterých by přihlášky odlišili; při větším je hodnocení pomalé a o vahách se těžko uvažuje.

Mám použít stupnici 1 až 5, nebo 1 až 10?

Stupnice 1 až 5 vyhovuje většině porot. Stupnici 1 až 10 použijte, když je hodně přihlášek vyrovnaných a porotci potřebují jemnější kroky. Pro všechny porotce používejte stejnou stupnici.

Jaký je rozdíl mezi hodnoticími kritérii a formulářem hodnocení?

Hodnoticí kritéria jsou soubor kritérií, vah a popisů bodových stupňů. Formulář hodnocení je formulář, do kterého porotce zapisuje body za jednu přihlášku. Mnoho organizátorů používá obě označení pro tentýž dokument.

Mají uchazeči hodnoticí kritéria vidět?

Ano. Kritéria a váhy zveřejněte ve výzvě. Uchazeči pak odpovídají na to, co bude porota hodnotit, a rozhodnutí se snáz vysvětluje.

Co když mají dvě přihlášky stejný součet?

Pravidlo stanovte před hodnocením: vyšší hodnocení v kritériu s nejvyšší vahou, hlasování poroty nebo sdílené místo. Zaznamenejte, které pravidlo jste použili.