Turkowski, Zawicki: Funkcje, etapy, metody i narzędzia ewaluacji
Tekst opiera się głównie na podejściu do ewaluacji stosowanym przez instytucje UE
Definicje ewaluacji:
Komitet Pomocy Gospodarczej:
•
systematyczna i obiektywna ocena zaplanowania, wdrożenia i rezultatów trwającego lub
zakończonego projektu/programu/polityki
•
cel – określenie adekwatności i stopnia osiągnięcia celów, efektywności, skuteczności,
wpływu i trwałości
•
ma dostarczać wiarygodnych i przydatnych informacji, które będzie można wykorzystać w
procesie podejmowania decyzji (przez odbiorców i dawców interwencji)
•
określenie odpowiednich standardów, ocena aktualnych/oczekiwanych rezultatów i
wyciągnięcie odpowiednich wniosków
Komisja Europejska:
•
ocena przedsięwzięć w kontekście ich wyników, wpływu i potrzeb, które mają zaspokajać
•
ocenia sie wyniki rzeczywiste w stosunku do planowanych i wykorzystuje później w
planowaniu następnych działań
Ewaluacja to nie:
•
ocena – oparta na subiektywnej opinii, a na standardach i kryteriach
•
monitoring – nie wykracza poza zakres trwania ewaluowanego przedmiotu i standardowy
cykl zarządzania nim. Monitoring to zaplanowane w projekcie działanie, jego integralna
część i sprawowany jest przez osoby zarządzające projektem
•
kontrola – porównuje efekty z oczekiwaniami od strony prawnej, w celu ustalenia
nieprawidłowości i sformułowania wniosków i zaleceń. Może mieć charakter represyjny,
ponieważ wykonywana jest głównie przez osoby dostarczające środków do projektu
•
audyt – sprawdza wiarygodność danych zawartych w dokumentach, zgodność projektu z
przepisami prawnymi, czy finansowymi
•
badanie naukowe – uzyskanie wiedzy o danym przedmiocie przy przyjęciu określonej
metodologii i zakresu badania
Funkcje ewaluacji:
•
wkład w planowanie przedsięwzięć, ustalanie priorytetów polityki publicznej
•
optymalizacja alokacji środków publicznych
•
poprawa jakości działań
•
upowszechnianie wyników przedsięwzięć
•
poznawcza – opis mechanizmu interwencji, ocena jej wpływu i użyteczności
•
sprawozdawcza – informuje zainteresowane strony o wynikach podjętych działań
•
normatywna – ocenia zasadność i sens podjętych działań, pomaga w ocenie ich wartości
•
edukacyjna – przedstawia rekomendacje i wnioski pomocne w udoskonaleniu interwencji,
sposobu jej prowadzenia, doboru środków i celu jej podjęcia
Ewaluacja stała się nieodzowną częścią planowania i zarządzania projektami publicznymi. Stosuje
się ją przy planowaniu projektu (ex ante) lub po jego zakończeniu (ex post).
Użycie jej w trakcie planowania służy sprawdzeniu wewnętrznej logiki projektu (czy celom
odpowiadają działania i środki).
Środki przeznaczone na projekt są wykorzystywane do podejmowania działań, które prowadzą do
uzyskania produktów i rezultatów, dzięki czemu możliwe jest wypełnienie celów projektu.
Ewaluacji podlegają wszystkie elementy logiki interwencji.
Cele ewaluacji:
•
doskonalenie efektywności i skuteczności interwencji publicznej (skutki
społeczne/gospodarcze programu)
•
zwiększenie przejrzystości wykorzystania środków publicznych
•
zwiększenie przejrzystości działań a przez to odpowiedzialności władz
•
uzyskanie niezależnej opinii na temat sukcesów programu i czynników, które się doń
przyczyniły
•
odnalezienie błędów i dobrych praktyk w procesie zarządzania projektem i przekazanie tej
wiedzy
Kryteria ewaluacji:
•
Adekwatność – stopień, w jakim cele przedsięwzięcia są zgodne z oczekiwaniami
beneficjentów, potrzebami lokalnymi, prowadzonymi politykami.
•
Efektywność – ocena właściwego przekształcenia środków/zasobów w efekty.
•
Skuteczność – stopień, w jakim przedsięwzięcie osiągnęło cele (wraz z uwzględnieniem
stopnia ich ważności).
•
Oddziaływanie/użyteczność – wszystkie konsekwencje wdrożenia przedsięwzięcia (krótko
i długoterminowe, negatywne i pozytywne, pośrednie i bezpośrednie, zaplanowane i nie).
•
Trwałość – stopień, w jakim efekty przedsięwzięcia oddziałują po jego zakończeniu,
prawdopodobieństwo kontynuacji tych efektów w dłuższym odcinku czasu.
Dane kryteria łączą się z poszczególnymi elementami logiki interwencji:
Inne kryteria ewaluacji:
•
Dodatkowość - stopień, w jakim wyniki osiągnięte w efekcie realizacji danej interwencji są
jej wyłączną konsekwencją. Sprawdzamy, czy rezultaty mogłyby być osiągnięte (albo w
jakim stopniu) bez podejmowania interwencji, ponieważ interwencja może ciągnąć za sobą
działania z innych źródeł (np. inwestycje prywatne).
•
Efekt zdarzenia niezależnego - stopień, w jakim efekty wystąpiłyby niezależnie od
realizacji przedsięwzięcia. Mówi o efektach, które mogłyby być osiągnięte bez
podejmowania interwencji, ale np. w dłuższym czasie lub mniejszym stopniu.
•
Efekt przemieszczenia - stopień, w jakim produkty/wyniki programu redukują
produkty/wyniki w innym miejscu nie objętym wsparciem programu. Występuje, gdy
podjęcie interwencji zmniejsza zyski i wpływy innych źródeł, które mogłyby podejmować
działania w dziedzinie, w której podjęto interwencję.
•
Efekt podwójnego pomiaru - stopień, w jakim produkty/wyniki danego przedsięwzięcia
można przypisać dwóm lub większej liczbie innych przedsięwzięć. Trzeba odpowiednio
określić proporcje wpływu różnych programów.
•
Efekt substytucji – podjęcie interwencji czyni jej beneficjentów bardziej konkurencyjnymi
wobec innych osób/organizacji, których interwencja nie dotyczyła. Polepszenie sytuacji
beneficjentów dzieje sie kosztem tych, którzy beneficjentami nie są.
•
Efekt netto/efekt brutto – w trakcie ewaluacji należy je odróżnić. Efekty brutto to
wszystkie efekty związane z danym przedsięwzięciem, zaś efekty netto to te, które powstały
wyłącznie w wyniku wdrożenia programu, czyli w wyniku danej interwencji publicznej
(Efekt netto = efekt brutto – zdarzenie niezależne – substytucja – przemieszczenie).
Wskaźniki ewaluacyjne:
Wskaźnik – pomiar celu, który ma być osiągnięty, zaangażowanych środków, otrzymanego efektu.
Wskaźniki kontekstu – dostarczają informacji ilościowych o sytuacji społeczno-ekonomicznej;
dotyczą całego regionu, grupy społecznej, sektora
Wskaźniki programu – odnoszą się do wyników interwencji, mierzą w jakim stopniu efekty
interwencji zmieniają zjawiska społ-ekonomiczne w obrębie przedmiotu interwencji
Różne poziomy wskaźników:
•
Wskaźniki zasobów – informacje o środkach finansowych, rzeczowych, zasobach ludzkich
wykorzystywanych do wdrożenia programu.
•
Wskaźniki wyników – odnoszą się do bezpośrednich konsekwencji programu dla jego
beneficjentów
•
Wskaźniki oddziaływania – odnoszą się do konsekwencji programu wykraczających poza
bezpośrednie i krótkoterminowe.
- bezpośrednie – związane z podjętymi działaniami, ale ujawnione po czasie
- pośrednie – wszystkie inne efekty (niezamierzone, wynikające z działania interwencji)
Wskaźnik, by był wiarygodny, musi spełniać określone kryteria:
Często używa się zasady SMART:
•
Specific (określony) – odniesienie się do określonych elementów matrycy logicznej projektu
•
Measurable (mierzalny) – w zakresie dostępnych źródeł weryfikacji
•
Achievable – możliwy do osiągnięcia po akceptowalnych kosztach, realistyczny
•
Relevant – właściwy w stosunku do potrzeb
•
Timely (ograniczony czasowo) – czyli odnoszący się do granic czasowych projektu lub
zakresu badania ewaluacyjnego
Inne ważne cechy wskaźnika:
•
precyzyjność – opisywanie istoty badanego zagadnienia,
•
aktualność informacji – np. w relacji do dostępnych materiałów statystycznych,
•
wrażliwość – podatność na zmiany w trakcie wdrażania programu,
•
wiarygodność – wybór wskaźników z punktu widzenia prawdziwych i wiarygodnych
danych,
•
porównywalność – możliwość porównania wskaźnika z podobnymi wskaźnikami, np. dla
innych programów czy rodzajów interwencji,
•
zrozumienie – rozumienie istoty danego wskaźnika na każdym poziomie programu – od
beneficjenta bezpośredniego do instytucji zarządzającej.
Etapy procesu ewaluacji:
W każdym etapie procesu należy pamiętać o odpowiedniej identyfikacji wszystkich uczestników
procesu ewaluacji. Wszystkim należy przekazać wyniki ewaluacji, a dla każdego będą one
przydatne w nieco innych celach (politycy, zarządzający ewaluacją, wdrażający ją, beneficjenci,
zainteresowani).
I. Planowanie ewaluacji
Polega na analizie potrzeb zamawiającego, określeniu celów badania i zagadnień szczegółowych.
1. Określenie celu
– definicja problemów i podstawowych kryteriów
2. Wyznaczenie czasu badania
– należy wyznaczyć część programu, która zostanie poddana
ewaluacji. Wyznacza się też harmonogram ewaluacji.
3. Wskazanie zakresu
- przedmiotowego (co poddajemy ewaluacji), czasowego, terytorialnego
i określenie zasobów potrzebnych do przeprowadzenia badania
4. Wybór odbiorców
– zależnie od grup docelowych programu i stron zainteresowanych
5. Identyfikacja dostępnych danych wejściowych
– dokumentów programowych, raportów z
monitoringu, danych statystycznych, itp.
6. Rozwiązanie kwestii instytucjonalnych
– wyznaczenie instytucji odpowiedzialnej za
zlecenie i nadzór nad ewaluacją
II. Projektowanie ewaluacji
Celem tego etapu jest konceptualizacja badania.
1. Określenie przedmiotu ewaluacji
– uszczegółowienie decyzji podjętych w etapie planowania
o konkretnych częściach przedmiotu programu, wobec którego ma być podjęta ewaluacja
2. Podjęcie decyzji o metodach, zasobach i zakresie
– metody (określa je zleceniodawca – albo
szczegółowo, albo zostawia swobodę zespołowi ewaluatorów) dobiera się w zależności od:
- typu działania – rodzaju podejmowanej interwencji
- celu ewaluacji
- etapu wdrażania programu
- zakresu ewaluacji
- czasu przeznaczonego na ewaluację
- budżetu i innych zasobów
3. Formułowanie pytań ewaluacyjnych
– rodzaje pytań:
- opisowe – obserwacja, opis, pomiar zmian
- przyczynowo-skutkowe – zrozumienie relacji przyczyn i skutków
- krytyczne – wsparcie procesu zmiany
- normatywne – odnoszące się do kryteriów ewaluacji
- predyktywne – próba przewidzenia co stanie się w rezultacie wprowadzenia interwencji
Jakie warunki powinien spełniać zestaw pytań ewaluacyjnych:
- odnosić się musi do rzeczywistych potrzeb informacyjnych, które można wykorzystać
- odnosić się do rezultatów, oddziaływań i potrzeb beneficjentów
- musi zawierać pytania wartościujące – należy przeprowadzić wartościowanie wyników
4. Przygotowanie zakresu zadań
(Terms of reference - TOR) – Specyfikacja Istotnych
Warunków Zamówienia – spis decyzji podjętych w etapie planowania i projektowania
ewaluacji, zbiór wszystkich istotnych informacji o niej, który służący lepszej kontroli nad jej
przebiegiem.
5. Wybór wykonawcy
– kryteria wyboru (zgodność z oczekiwaniami zleceniodawcy):
- zrozumienie zakresu badań
- rzetelność w metodach i środkach
- przejrzystość zarządzania projektem
- kwalifikacje zespołu ewaluacyjnego
- cena
III. Realizacja ewaluacji
Realizacja odbywa się w ramach 4 głównych faz:
1. Projektowanie ewaluacji
– określenie kryteriów, elementów, narzędzi obserwacji i
wskaźników
2. Pozyskiwanie danych
– zebranie wszystkich potrzebnych rodzajów danych do
przeprowadzenia ewaluacji
3. Analiza danych
– interpretacja zebranych danych, weryfikacja hipotez, analiza
przyczynowo-skutkowa, itd.
4. Formułowanie ocen
– ocena efektów programu w odniesieniu do sformułowanych
wcześniej pytań ewaluacyjnych
IV. Raport ewaluacyjny
Najważniejszy produkt badania. Podstawa oceny zespołu ewaluacyjnego. Struktura:
–
podsumowanie
–
tekst główny raportu
–
wnioski i zalecenia
–
aneksy
–
zakres zadań wykonawcy
–
zastosowana metodologia
–
skład osobowy zespołu ewaluacyjnego
–
Matryca Logiczna Projektu
–
lista konsultowanych osób i organizacji
–
harmonogram badania
–
wykaz dokumentacji wykorzystanej przy ocenie
–
inne dokumenty techniczne (ankiety, dane statystyczne, itd.)
Powinno występować w raporcie wyraźne rozróżnienie między wynikami, wnioskami,
rekomendacjami i doświadczeniami. Musi zachodzić między nimi związek przyczynowo-skutkowy.
Przed oddaniem raportu oddaje się go do grupy sterującej (lub jakiegoś organu zlecającego badanie)
w celu oceny jakości zebranych informacji i akceptacji samego raportu.
Główne rodzaje ewaluacji:
1. Ex ante
Przeprowadzana przed rozpoczęciem realizacji programu. Służy zapewnieniu trafności i spójności
planowanego programu. Wnioski z niej powinny być włączone do projektowanego programu przed
podjęciem decyzji o jego rozpoczęciu. Ewaluacja ex ante przynosi wiedzę bardzo przydatną przy
projektowaniu programu (ocenia szanse jego powodzenia, realistycznie ocenia cele i wartości
docelowe).
Polega na analizie mocnych i słabych stron programu, jego uzasadnieniu ekonomicznym i
społecznym a także na ocenie oczekiwanych rezultatów programu i jego zgodności z
prowadzonymi już politykami, np. regionalnymi.
2. Mid-term
Przeprowadzana w trakcie wprowadzania interwencji. Skupia się na analizie produktów i rezultatów
interwencji, ocenia także system zarządzania programem oraz jakość systemu monitoringu. Co
ważne, płynące z niej informacje mogą wpływać na zarządzanie programem w dalszych jego
fazach.
3. Ex post
Przeprowadzana na zakończenie albo po zakończeniu wprowadzania interwencji w celu
podsumowania całego programu (głównie oddziaływanie i trwałość). Ocenia wielkość
zaangażowanych środków, skuteczność i efektywność pomocy oraz stopień osiągnięcia
planowanych wyników. Prowadzi do wyciągania wniosków, które można stosować do innych
programów. Powinno się ją wykonywać ok 2-3 lat po zakończeniu interwencji.
4. Inne rodzaje ewaluacji
•
Bieżąca
– prowadzona przez cały okres realizacji programu. Celem analiza zagadnień i
problemów pojawiających się w trakcie wprowadzania programu. Ma wspierać proces
zarządzania nim, szukać rozwiązań problemów. Może też sprawdzać pierwsze rezultaty
programu.
•
Kształtująca
– bada sposoby udoskonalenia wdrażania interwencji i nią zarządzania.
•
Podsumowująca
– przeprowadzana pod koniec programu w celu sprawdzenia jego
rezultatów. Ma zebrać informacje o uzyskanej wartości programu.
•
Tematyczna
– koncentruje się na wybranych aspektach interwencji lub tematów
przekrojowych (np. równość płci, tematy środowiskowe, itp.).
•
Wewnętrzna
- przeprowadzana jest przez jednostkę organizacyjną i/lub osoby
odpowiedzialne za samą interwencję poddaną ewaluacji.