Karta oceny merytorycznej: wzór z kryteriami, wagami i skalą

Co zawiera karta oceny

Kartę oceny merytorycznej nazywa się też arkuszem oceny, kryteriami oceny lub punktacją. Jej najważniejszą częścią są opisy poziomów: krótkie wyjaśnienia, co oznacza dana ocena, dzięki którym 4 od jednego jurora znaczy mniej więcej to samo co 4 od innego.

• Kryteria: od 3 do 6, każde mierzy jedną rzecz.
• Pytanie: jedno zdanie na kryterium, na przykład „Czy ten zespół jest w stanie to zbudować?”
• Waga: ile kryterium liczy się w sumie, w procentach lub jako mnożnik.
• Skala i opisy poziomów: na przykład od 1 do 5, z opisem dla 1, 3 i 5. Oceny 2 i 4 mieszczą się między dwoma opisami.
• Komentarz: od jednego do trzech zdań, które uzasadniają oceny.

Jak wybrać kryteria oceny

Zacznij od celu naboru. Jeśli nagroda docenia mierzalne efekty, największą wagę dostaje wpływ. Jeśli grant finansuje plan, najważniejsze są jakość planu i efektywność kosztowa.

Każde kryterium powinno mierzyć jedną rzecz. Innowacyjność i oryginalność, na przykład, zwykle mierzą dwa razy tę samą cechę. Każde kryterium powinno odpowiadać pytaniom w formularzu zgłoszeniowym, żeby zgłaszający dostarczyli jurorom informacji, których ci potrzebują.

Wybierz od 3 do 6 kryteriów i opublikuj je razem z wagami w ogłoszeniu o naborze, żeby zgłaszający wiedzieli, jak będą oceniani.

W szablonach Juryline znajdziesz gotowe karty oceny dla nagród, konkursów startupowych, grantów, stypendiów, konkursów szkolnych i studenckich oraz hackathonów. Przed otwarciem etapu możesz zmienić każde kryterium, wagę i skalę.

Wagi i skale

Waga mówi, ile kryterium liczy się w sumie. Najłatwiej czyta się procenty, które sumują się do 100. Mnożniki (na przykład 1; 1,5 i 2) działają tak samo: liczą się tylko proporcje.

Największą wagę daj kryterium najbliższemu celowi naboru. Żadne pojedyncze kryterium nie powinno przekraczać mniej więcej połowy sumy, żeby jedna opinia o jednym kryterium nie mogła sama przesądzić o wyniku.

Skala od 1 do 5 jest szybka i wystarcza większości jury. Skala od 1 do 10 daje więcej miejsca, gdy wiele zgłoszeń jest na podobnym poziomie; wtedy opisz przedziały od 1 do 2, od 5 do 6 i od 9 do 10. Unikaj skali od 0 do 100 dla pojedynczego kryterium: sugeruje precyzję, której jurorzy nie są w stanie konsekwentnie stosować.

Przykład: wagi 30, 30, 20 i 20 procent oraz oceny 4, 3, 5 i 2 w skali od 1 do 5 dają 0,3 × 4 + 0,3 × 3 + 0,2 × 5 + 0,2 × 2 = 3,5 na 5.

W Juryline wagi są względne: waga 2 liczy się dwa razy bardziej niż 1. Każda ocena zamienia się w sumę w skali do 100 punktów, w której dolna granica skali oznacza 0 procent danego kryterium, a górna 100 procent. Powyższy przykład daje 62,5 punktu.

Wzór karty oceny dla konkursów startupowych

Do wyboru krótkiej listy, naboru do akceleratora lub finału z pitchami. Największą wagę ma zespół, bo produkty na wczesnym etapie się zmieniają, a zespoły zostają.

Skala od 1 do 5 (oceny 2 i 4 mieszczą się między opisami).
Wynik = suma (waga × ocena), maksymalnie 5.

1. Problem i rynek (20%): Czy problem jest prawdziwy, a rynek wystarczająco duży?
   1 = niejasny problem lub bardzo mały rynek
   3 = prawdziwy problem, rynek jeszcze niepotwierdzony
   5 = dotkliwy problem na dużym, rosnącym rynku

2. Produkt i innowacyjność (20%): Na ile nowe i dobre jest rozwiązanie?
   1 = kopiuje istniejące rozwiązania
   3 = wyraźne ulepszenie tego, co już istnieje
   5 = nowe podejście z trwałą przewagą

3. Trakcja (20%): Czy są dowody, że klienci tego chcą?
   1 = brak użytkowników
   3 = pilotaże lub pierwsi użytkownicy
   5 = płacący klienci i stały wzrost

4. Zespół (25%): Czy ten zespół jest w stanie to zbudować?
   1 = brakuje kluczowych kompetencji
   3 = solidny zespół z pewnymi lukami
   5 = kompletny zespół z udokumentowanymi osiągnięciami

5. Potencjał (15%): Czy firma może wyjść poza rynek krajowy?
   1 = tylko rynek lokalny
   3 = może rosnąć w regionie
   5 = może rosnąć międzynarodowo

Komentarz: [dlaczego wystawiasz takie oceny]

Wzór karty oceny dla konkursów grantowych

Do grantów na projekty i naborów wniosków. Większość wagi mają zgodność z celami, plan i wpływ; efektywność kosztowa sprawdza budżet.

Skala od 1 do 5 (oceny 2 i 4 mieszczą się między opisami).
Wynik = suma (waga × ocena), maksymalnie 5.

1. Zgodność z celami (25%): Na ile projekt odpowiada celom naboru?
   1 = słaba zgodność z celami
   3 = odpowiada części celów
   5 = ściśle odpowiada celom i realizuje wskazany priorytet

2. Jakość planu (25%): Czy działania i harmonogram są jasne i realistyczne?
   1 = niejasne działania i harmonogram
   3 = realistyczny plan z pewnymi lukami
   5 = jasne działania, harmonogram i ryzyka

3. Wpływ (25%): Co zmieni się dla grupy docelowej i jak zostanie to zmierzone?
   1 = niejasna korzyść, bez pomiaru
   3 = jasna korzyść, słabe wskaźniki
   5 = jasna korzyść dla określonej grupy, mierzalne rezultaty

4. Efektywność kosztowa (15%): Czy koszty są niezbędne i uzasadnione?
   1 = koszty nieuzasadnione lub nieproporcjonalne
   3 = w większości rozsądne, niektóre pozycje niejasne
   5 = każdy koszt niezbędny i uzasadniony

5. Potencjał wnioskodawcy (10%): Czy wnioskodawca zrealizuje projekt?
   1 = brak wykazanego doświadczenia w tej dziedzinie
   3 = odpowiednie doświadczenie, pewne luki
   5 = zrealizował już podobne projekty

Komentarz: [dlaczego wystawiasz takie oceny]

Wzór karty oceny dla nagród i hackathonów

W przypadku nagrody oceniaj jakość (30%), oryginalność (20%), wpływ (35%) i prezentację zgłoszenia (15%). Opisy wpływu oprzyj na dowodach: 1 oznacza brak wykazanych efektów, 3 efekty wykazane, ale tylko częściowo zmierzone, a 5 zmierzone efekty dla klientów, użytkowników lub społeczeństwa.

Jurorzy hackathonu oceniają w trakcie prezentacji albo zaraz po nich, więc karta oceny powinna być krótka, a opisy konkretne.

Skala od 1 do 5 (oceny 2 i 4 mieszczą się między opisami).
Wynik = suma (waga × ocena), maksymalnie 5.

1. Wpływ (25%): Czy rozwiązanie odpowiada na prawdziwy problem?
   1 = brak jasnego problemu
   3 = prawdziwy problem, rozwiązany częściowo
   5 = prawdziwy problem rozwiązany tak, że ludzie chcieliby z tego korzystać

2. Trudność techniczna (25%): Jak trudno było to zbudować?
   1 = głównie połączone gotowe komponenty
   3 = trochę wymagającej pracy
   5 = trudne problemy rozwiązane w dostępnym czasie

3. Design (20%): Czy rozwiązanie jest wygodne w użyciu i starannie wykonane?
   1 = trudne w użyciu
   3 = da się używać, ale jest niedopracowane
   5 = łatwe w użyciu i starannie wykonane

4. Działające demo (30%): Czy to działa?
   1 = nie ma działającej wersji demo
   3 = działa z lukami lub na przykładowych danych
   5 = działa od początku do końca podczas prezentacji

Komentarz: [dlaczego wystawiasz takie oceny]

Jak korzystać z karty oceny w pracy jury

Karta oceny działa tylko wtedy, gdy wszyscy jurorzy stosują ją w ten sam sposób.

1. Zacznij od kalibracji: niech jurorzy ocenią dwa lub trzy przykładowe zgłoszenia i omówią każdą różnicę wynoszącą 2 punkty lub więcej.
2. Jurorzy oceniają każde kryterium i zostawiają krótki komentarz z uzasadnieniem ocen.
3. Przed rozpoczęciem oceny ustal zasadę rozstrzygania remisów, na przykład kryterium o najwyższej wadze.
4. Spodziewaj się surowych i łagodnych jurorów nawet przy dobrych opisach poziomów. Jeśli każdy juror ocenia tylko część zgłoszeń, porównaj zwykłą średnią z rankingiem znormalizowanym.

W Juryline jurorzy widzą podczas oceniania opisy oceny niskiej, średniej i wysokiej, a swoje oceny mogą porównać obok siebie. Etap może mieć wskazane kryterium rozstrzygające remisy.

Pytania

Ile kryteriów oceny powinna mieć karta oceny?

Od trzech do sześciu. Przy mniejszej liczbie jurorom trudno odróżnić od siebie zgłoszenia; przy większej ocena trwa długo, a działanie wag trudno przewidzieć.

Skala od 1 do 5 czy od 1 do 10?

Skala od 1 do 5 sprawdza się w większości jury. Skali od 1 do 10 użyj, gdy wiele zgłoszeń jest na podobnym poziomie i jurorzy potrzebują drobniejszych kroków. Wszyscy jurorzy powinni używać tej samej skali.

Czym różnią się kryteria oceny od karty oceny?

Kryteria oceny to zestaw kryteriów, wag i opisów poziomów. Karta oceny to formularz, w którym juror wpisuje oceny jednego zgłoszenia. Wielu organizatorów używa obu nazw na ten sam dokument.

Czy zgłaszający powinni znać kartę oceny?

Tak. Opublikuj kryteria i wagi w ogłoszeniu o naborze. Zgłaszający odpowiadają wtedy na to, co jury będzie oceniać, a decyzję łatwiej uzasadnić.

Co zrobić, gdy dwa zgłoszenia mają taką samą sumę punktów?

Ustal zasadę przed oceną: wyższa ocena w kryterium o największej wadze, głosowanie jury albo miejsce ex aequo. Zapisz, którą zasadę zastosowano.