Ewaluacja

EWALUACJA

Bogumiła Kowalewska

Marlena Pajek

Lena Osińska

Spis treści:

Definicja

Zarys historyczny

Rodzaje ewaluacji

Funkcje ewaluacji

Zastosowanie -obszary tematyczne.

Podmioty zlecające i wdrążające.

Etapy prowadzonych badań w procesie
ewaluacji

Opis ewaluacji na przykładzie projektu
systemowego Poddziałania 6.1.3 PO KL.

Ewaluacja

Definicja
Ewaluacja to obiektywna ocena projektu,
programu lub polityki na wszystkich jego
etapach, tj. planowania, realizacji i
mierzenia rezultatów. Powinna ona
dostarczyć rzetelnych i przydatnych
informacji pozwalając wykorzystać zdobytą
w ten sposób wiedzę w procesie
decyzyjnym. Często dotyczy ona procesu
określenia wartości lub ważności działania,
polityki lub programu.

Ewaluacja

Ewaluacja ma na celu poprawę: „jakości,
skuteczności i spójności pomocy funduszy
oraz strategii i realizacji programów
operacyjnych w odniesieniu do konkretnych
problemów strukturalnych dotykających dane
państwa członkowskie i regiony, z
jednoczesnym uwzględnieniem celu w postaci
trwałego rozwoju i właściwego prawodawstwa
wspólnotowego dotyczącego oddziaływania
na środowisko oraz strategicznej oceny
oddziaływania na środowisko”.

Ewaluacja

Ewaluacja jako proces systematycznej
oceny interwencji z funduszy strukturalnych
ciągle zyskuje na znaczeniu. W okresie
programowania 2007-2013 wyniki badań
ewaluacyjnych będą pełnić ważną rolę w
procesie kształtowania polityki spójności
Unii Europejskiej, a podczas debaty nad
kolejnym budżetem w perspektywie po 2013
roku będą jednym z kluczowych
argumentów dla jej zachowania w
dotychczasowym kształcie lub weryfikacji
jej założeń.

Zarys historyczny

Jej początki datowane są na lata 20. XX wieku, ale już w
latach 50. została wyodrębniona jako całkowicie niezależna
dyscyplina naukowa.. Pierwsze regulacje dotyczące ewaluacji
programów finansowanych z Funduszy Strukturalnych
ustanowiono w 1988 r.

Obecnie jej znaczenie rośnie, a jej ważność podkreśla m.in.
Unia Europejska, która przywiązuje dużą wagę do badań
społeczno – ekonomicznych zwłaszcza programów
finansowanych ze środków unijnych ,a konkretnie fundusze
strukturalne. Stad ewaluacja na południu Europy zagościła w
latach 90tych XX w. a w Polsce dopiero po 2005 r i w zasadzie
ogranicza się do ewaluacji programów operacyjnych.

Rodzaje ewaluacji

Biorąc pod uwagę kryterium celu ewaluacji
wyróżnia się następujące jej rodzaje:



Ewaluacje strategiczne, (których celem
będzie ocena i analiza ewolucji NSRO i PO
w odniesieniu do priorytetów krajowych i
wspólnotowych);



Ewaluacje operacyjne, (których celem
będzie wspieranie procesu monitorowania
NSRO i PO).

Rodzaje ewaluacji

Ewaluacje strategiczne dotyczyć będą
głównie analizy i oceny interwencji na
poziomie celów strategicznych.
Przedmiotem ewaluacji strategicznych
będzie analiza i ocena trafności ogólnych
kierunków interwencji wyznaczonych na
etapie programowania. Jednym z istotnych
aspektów ewaluacji strategicznej będzie
weryfikacja przyjętej strategii w
odniesieniu do aktualnej i przewidywanej
sytuacji społeczno – ekonomicznej.

Rodzaje ewaluacji

Ewaluacje operacyjne powiązane będą ściśle z
procesem zarządzania i monitorowania NSRO i PO. Celem
ewaluacji operacyjnych jest wsparcie instytucji
odpowiedzialnych za realizację NSRO i PO w zakresie
osiągania założonych celów operacyjnych poprzez
dostarczanie użytecznych wniosków i rekomendacji.

Zgodnie z Rozporządzeniem 1083/2006 ewaluacje
operacyjne będą przeprowadzane w szczególności w
przypadku, gdy monitorowanie ujawniło znaczące
odchylenia od założonych pierwotnie celów oraz gdy
składane są wnioski o dokonanie przeglądu programu
operacyjnego lub jego części.

Rodzaje ewaluacji

Ze względu na moment przeprowadzania
ewaluacji wyróżnia się następujące jej rodzaje:



Ewaluację ex ante (przed rozpoczęciem
realizacji NSRO i PO),



Ewaluację bieżącą (on-going) (w trakcie
realizacji NSRO i PO),



Ewaluację ex post (po zakończeniu realizacji
NSRO i PO).



Ewaluacja mid-term

Rodzaje ewaluacji

Proces ewaluacji ex ante NSRO i PO
zakończony został w roku 2006. Wyniki ewaluacji
ex-ante NSRO i PO wykonanych przez
ewaluatorów zewnętrznych zostały uwzględnione
w ostatecznej wersji Narodowych Strategicznych
Ram Odniesienia na lata 2007-2013 oraz
poszczególnych Programów.
Ewaluacji ex post dokonuje Komisja Europejska
we współpracy z państwami członkowskimi i
Instytucjami Zarządzającymi. Niezależnie od
ewaluacji przeprowadzanej przez KE państwa
członkowskie mogą dokonać ewaluacji ex post we
własnym zakresie.

Rodzaje ewaluacji

Ewaluacja bieżąca (on-going) jest
procesem mającym na celu lepsze
zrozumienie bieżących efektów interwencji
oraz sformułowanie rekomendacji
użytecznych z punktu widzenia wdrażania
programu. W najbliższych latach ewaluacja
bieżąca stanie się kluczowa dla skutecznej
realizacji polityki spójności w Polsce.

Rodzaje ewaluacji

Ewaluacja mid-term - przeprowadzana w połowie okresu
wdrażania programu, analizuje pierwsze produkty i rezultaty,
co pozwala ocenić jakość wdrażania, wskazuje konieczne
korekty. Ocenia aktualność celów w zmieniającym się
kontekście społeczno - gospodarczym. Jak widać z opisów
rola ewaluacji mid-term jest w zasadzie tożsama z ewaluacją
on-going. Różnica polega na tym że ewaluacją mid-term
była wymagana sztywno w połowie okresu wdrażania,
podczas gdy badania on-going przeprowadzane są
elastycznie, w miarę potrzeb. Formalizm i sztywne reguły
badań mid-term (np. objęcie nimi całego programy) czyniły je
mało użytecznymi, realizowanymi jedynie z powodu wymogu
przepisu. Stąd w perspektywie 2007 - 2013 KE odeszła od
badań mid-term skupiając się właśnie na on-going .

Funkcje ewaluacji

1.Poprawa planowania

o zapewnienie racjonalności i uzasadnienie interwencji poprzez

weryfikacje jej wewnętrznej spójności i przystawania do potrzeb

o zapewnienie sprawnej alokacji środków poprzez weryfikacje

logiki interwencji, racjonalności celów oraz zewnętrznej
spójności strategii

2. Poprawa wdrażania i bieżącej jakości.

o usprawnienie zarządzania programem- jego struktur i procedur

o podniesienie jakości realizacji poprzez weryfikację, w jakim

stopniu interwencja realizuje planowane cele, jaka jest jakość
produktów

Funkcje ewaluacji

3.Wzmocnienie poczucia partnerstwa i
współwłasność

wzmocnienie stosunków, interakcji sieci
powiązań istniejących pomiędzy
uczestnikami danego programu

zaktywizowanie zasadniczych podmiotów i
wciągnięcie ich do dyskusji i działania

upodmiotawianie zmarginalizowanych lub
wykluczonych interesariuszy

Funkcje ewaluacji

4.Polepszenie zrozumienia

wyjaśnienie czynników i procesów, które
decydują o sukcesie lub niepowodzeniu
interwencji(łącznie z efektami ubocznymi)

zweryfikowanie teorii i założeń, jakie legły u
podstaw danej polityki czy programu

wyciągnięcie wniosków dla innych i
promowanie dobrych praktyk

budowanie zdolności ewaluacyjnej

Funkcje ewaluacji

5.Rozliczenie i wzmocnienie
odpowiedzialności

zademonstrowanie społeczeństwu, w
jakim stopniu cele zostały zrealizowane

zademonstrowanie, jak dobrze zostały
wykorzystane publiczne środki

Zastosowanie -obszary tematyczne

W okresie 2007-2013 realizowane są równolegle
dwa procesy



proces ewaluacji Narodowego Planu Rozwoju
na lata 2004-2006



proces ewaluacji Narodowych Strategicznych
Ram Odniesienia na lata 2007-2013

W związku z koniecznością koordynacji
dwóch powyższych procesów stworzony został
system integrujący procesy ewaluacji NPR i
NSRO.

Zastosowanie -obszary

tematyczne

Ewaluacja na poziomie NPR i NSRO realizowana jest w
następujących strategicznych obszarach tematycznych
(odpowiadających celom NSRO):

Rozwój społeczno-ekonomiczny Polski

Rozwój i modernizacja infrastruktury technicznej i społecznej
mającej podstawowe znaczenie dla wzrostu
konkurencyjności

Innowacyjności gospodarki

Rozwoju zasobów ludzkich

Rozwój regionalny i przestrzenny

Budowa potencjału administracji publicznej i realizacja
zasady „good governance"

Zastosowanie -obszary

tematyczne

adn. a) Rozwój społeczno-ekonomiczny Polski –celem
działań ewaluacyjnych w tym obszarze jest kompleksowa
ocena oddziaływania Narodowego Planu Rozwoju oraz
Narodowych Strategicznych Ram Odniesienia na polską
gospodarkę poprzez analizę wpływu na przyspieszenie
wzrostu gospodarczego, zwiększenie zatrudnienia oraz
spójności społeczno-ekonomicznej i terytorialnej.

Adn. b) Rozwój i modernizacja infrastruktury –ewaluacji
poddawany jest wpływ rozwoju i modernizacji
infrastruktury technicznej i społecznej na rozwój
społeczno-ekonomiczny Polski, wpływ na zwiększenie
atrakcyjności inwestycji kraju.

Zastosowanie -obszary

tematyczne

Badania w tym obszarze koncentrują się na
zagadnieniach dotyczących oceny interwencji w zakresie
infrastruktury transportowej, środowiskowej,
informatycznej, społecznej oraz energetycznej. Ocenie
podlega również wpływ interwencji współfinansowanych
z funduszy na środowisko naturalne.

Adn.c) Innowacyjność gospodarki-w tym przypadku
ewaluacji poddawana jest skuteczność, efektywność,
trafność, użyteczność i trwałość instrumentów realizacji i
ich efektów przyczyniając się do rozwoju innowacyjności
przedsiębiorstw oraz całej gospodarki.

Zastosowanie -obszary

tematyczne

Badaniu podlegają instrumenty ekonomiczno-finansowe w
ramach przedsiębiorstw oraz instrumenty służące rozwojowi
instytucjonalnego otoczenia biznesu sprzyjającego
konkurencyjności i innowacyjności przedsiębiorstw i całej
gospodarki

Adn. d) Rozwój zasobów ludzkich- celem ewaluacji w tym
zakresie jest ocena wpływu Narodowego Planu Rozwoju i
Narodowych Strategicznych Ram Odniesienia na podniesienie,
jakości kapitału ludzkiego. Badaniu podlega wpływ NPR i
NSRO na wzrost edukacji społeczeństwa i poprawę, jakości
kształcenia, zmniejszenie poziomu bezrobocia, zwiększenie
poziomu zatrudnienia oraz promocję przedsiębiorczości.

Zastosowanie -obszary

tematyczne

Adn. e) Rozwój regionalny i przestrzenny-
przedmiotem ewaluacji w ramach niniejszego
obszaru jest wymiar terytorialny. Celem
ewaluacji jest ocena wpływu NPR i NSPO na
rozwój regionalny i przestrzenny kraju oraz
zwiększenie spójności regionalnej,
przestrzennej i społecznej kraju.

Zastosowanie -obszary

tematyczne

Adn f) Budowa potencjału administracji publicznej i
realizacja zasady „good governance" – wpływ na
budowę potencjału administracji publicznej i realizacji
zasady „good governance" jest system instytucjonalny
administracji publicznej oraz jego zdolność do
skutecznej i efektywnej realizacji zadań w ramach
polityk publicznych.
Ocenie poddawane są procesy realizacji polityk, ze
szczegółowym uwzględnieniem, jakości koordynacji i
współpracy zaangażowanych instytucji oraz ich
zdolność do programowania, wdrążania, monitorowania
i ewaluacji przedsięwzięć rozwojowych.

Podmioty

Głównym podmiotem systemu wdrażania procesu
ewaluacji jest Krajowa Jednostka Oceny, której rolę
pełni Departament Koordynacji Polityki
Strukturalnej w Ministerstwie Rozwoju
Regionalnego (obsługą organizacyjną prac KJO
zajmuje się Wydział Ewaluacji).

Koordynacja procesu ewaluacji NPR i NSRO
odbywa się na forum Zespołu Sterującego
procesem ewaluacji Narodowego Planu Rozwoju i
Narodowych Strategicznych Ram Odniesienia.

Podmioty

W jego skład wchodzi Dyrektor
Departamentu Koordynacji Polityki
Strukturalnej (pełniący rolę
przewodniczącego Zespołu) oraz
Dyrektorzy Departamentów pełniących
funkcję Instytucji Zarządzającej
Podstawami Wsparcia Wspólnoty, Instytucji
Koordynującej NSRO, Instytucji
Zarządzających Programami oraz Instytucji
Koordynującej Regionalne Programy
Operacyjne.

Podmioty

Główną rolą Zespołu Sterującego procesem ewaluacji
NPR i NSRO jest:



koordynacja procesu ewaluacji NPR i NSRO,



zapewnienie spójności procesu ewaluacji NPR i NSRO,



podejmowanie decyzji o sposobie wykorzystania
wyników badań ewaluacyjnych.

Głównym celem funkcjonowania Grup sterujących jest
zapewnienie wysokiej jakości procesu ewaluacji
Narodowego Planu Rozwoju na lata 2004-2006 oraz
Narodowych Strategicznych Ram Odniesienia na lata
2007-2013 poprzez realizację zasady partnerstwa.

Podmioty

Krajowa Jednostka Oceny

W okresie 2007-2013 ewaluacja jest realizowana na dwóch
głównych płaszczyznach - na poziomie Narodowych
Strategicznych Ram Odniesienia (NSRO) dotyczy kwestii
horyzontalnych oraz przekrojowych z zakresu więcej niż
jednego programu operacyjnego, poza tym badania
ewaluacyjne zlecane są w ramach wszystkich programów.

Całość prac w zakresie ewaluacji prowadzonych na obu
poziomach koordynuje Krajowa Jednostka Oceny (KJO).
Ponadto jest ona odpowiedzialna za wypracowanie
standardów w zakresie ewaluacji, tak aby podnieść jakość
prowadzonych analiz.

Podmioty

Powierzone zadania KJO wykonuje we
współpracy z Komisją Europejską i
Instytucją Koordynującą NSRO oraz
Instytucją Koordynującą Regionalne
Programy Operacyjne (RPO), a także
instytucjami na szczeblu zarządzania i
wdrażania wszystkich programów.
Szczegóły określają Wytyczne nr 6 w
zakresie ewaluacji programów
operacyjnych zatwierdzone przez Ministra
Rozwoju Regionalnego 30 maja 2007 r.

Podmioty

Zakres działań powierzonych KJO jest bardzo szeroki i dotyczy w
szczególności:



koordynacji procesu ewaluacji NSRO,



przygotowania Planu ewaluacji NSRO na lata 2007-2013,



rozpowszechniania wiedzy na temat stosowanych w Unii
Europejskiej ogólnie przyjętych standardów ewaluacji funduszy
strukturalnych oraz zapewnienia ich przestrzegania,



zapewnienia przeprowadzenia ewaluacji ex-ante NSRO,



przedkładania komitetowi koordynującemu NSRO oraz Instytucji
Koordynującej NSRO (a Komisji Europejskiej na jej życzenie)
informacji o planowanych działaniach w zakresie ewaluacji oraz
wyników badań ewaluacyjnych,



zapewnienia przeprowadzenia ewaluacji strategicznych oraz
operacyjnych na poziomie NSRO,

Podmioty



zapewniania we współpracy z Instytucjami Zarządzającymi
przeprowadzenia do 30 czerwca 2011 r. ewaluacji stopnia realizacji
programów operacyjnych (w celu podziału krajowej rezerwy
wykonania),



współpraca z Komisją Europejską przy ewaluacji ex-post,
monitorowania procesu wdrażania rekomendacji sformułowanych w
wyniku przeprowadzonych ewaluacji,



koordynacja budowy potencjału ewaluacyjnego w instytucjach
zaangażowanych w proces ewaluacji NSRO oraz programów na lata
2007-2013,



współpraca ze środowiskami eksperckimi w celu podnoszenia
jakości badań i całego procesu ewaluacji,



upubliczniania wyników badań ewaluacyjnych.

Podmioty

Realizacja powyższych zadań zbiega się w czasie z
kończeniem prac w zakresie ewaluacji Narodowego Planu
Rozwoju (NPR) na lata 2004-2006. W celu uspójnienia
sposobu organizacji ewaluacji NPR oraz NSRO przygotowano
dokument System ewaluacji Narodowego Planu Rozwoju na
lata 2004-2006 oraz Narodowych Strategicznych Ram
Odniesienia na lata 2007-2013. Odtąd ewaluacja jest
realizowana w wyznaczonych obszarach tematycznych
odpowiadających celom przewidzianym w obu dokumentach
planistycznych.

Wszystkie prace Jednostki finansowane są ze środków
Programu Operacyjnego Pomocy Technicznej.

Etapy prowadzonych badań w procesie

ewaluacji

W każdym badaniu ewaluacyjnym, niezależnie od jego tematu i
skali możemy wyróżnić kilka typowych etapów:

     1.Planowanie, czyli podjęcie decyzji o badaniu, jego wstępne
zaplanowanie
     2. Strukturalizacja, czyli przygotowanie szczegółowej listy
pytań badawczych. Na które ewaluacja ma odpowiedź, dobór
metod analizy, zaplanowanie harmonogramu badania
     3.Zbieranie danych, potrzebnych nam analizy, wybór
odpowiedniej metody badań(wywiad, ankieta, przegląd
dokumentów, prowadzenie obserwacji etc)
    4.Analiza i ocena –szukanie odpowiedzi na postawione przez
nas pytania badawcze w oparciu o zebrane dane, ocena projektu i
badanych przez nas kwestii w świetle zebranych danych
    5.Przyjęcie ewaluacji i wykorzystanie jej wyników  -raport.

Opis ewaluacji na przykładzie

projektu systemowego

Poddziałania 6.1.3 PO KL.

Na podstawie raportu końcowego z dnia 27 lipca 2011r.
W roku 2011 przeprowadzono na zlecenie Departamentu
Zarządzania Europejskiego Funduszu Społecznego w
Ministerstwie Rozwoju Rejonowego badanie jakościowe
projektów systemowych realizowanych w ramach
Poddziałania 6.1.3 PO KL.

Badanie miało charakter metaewalucyjny ,
podsumowujący wyniki ilościowe i jakościowe oraz
wnioski i rekomendacje płynące z badań projektów
Poddziałania 6.1.3 które zlecane były przez Urzędy Pracy
w 2010r

Zostało przebadane ponad 90 tys.
uczestników. Wsparcie udzielane w ramach
projektów ograniczone jest do form
wymienionych w ustawie z dnia 20 kwietnia
2004r.o promocji zatrudnienia i instytucjach
rynku pracy. Środki EFS pozwalają na realizację
zadań statutowych dla szerokiej grupy
bezrobotnych. Co wyróżnia projekty tego typu to
ukierunkowanie środków na konkretne grupy
określone w ustawie, nacisk na efektywność
zatrudnieniową ,czyli określenie minimalnego
odsetka uczestników , którzy podejmują
zatrudnienie w wyniku udzielanego wsparcia.

W ramach badania zastosowano
następujące metody badawcze:

analiza wniosków i rekomendacji z
raportów ewaluacyjnych projektów
Poddziałania 6.1.3

analiza baz z wynikami badania CATI na
próbie uczestników projektów

analiza treści raportów ewaluacyjnych
Poddziałania 6.1.3

analiza danych ze statystyki publicznej
oraz innych analiz efektywności
aktywnych polityk rynku pracy;

wywiad pogłębiony (face-to-face) z
przedstawicielami Departamentu Rynku
Pracy w Ministerstwie Pracy i Polityki
Społecznej;

wywiady pogłębione za pośrednictwem
telefonu z przedstawicielami
Wojewódzkich Urzędów Pracy;

badania ankietowe realizowane za
pośrednictwem Internetu skierowane do
PUP-ów;

Studia przypadków projektów;

W zrealizowanych badaniach nie
stwierdzono znaczących uchybień z
zarządzaniu projektami systemowymi.
Chociaż w trakcie realizacji projektu
zdarzały się trudności, ale zidentyfikowane
uchybienia nie zarażały realizacji całego
Poddziałania 6.1.3.

Z punktu widzenia pracowników urzędów
pracy, jako uciążliwe uznali wysokie koszty
dostosowania się do ciągle wprowadzanych
zmian w sposobie realizacji projektów
systemowych. Pomimo dodatkowej pracy
pracownicy nie otrzymywali wyższego
wynagrodzenia.

   W ocenie skuteczności poszczególnych instrumentów
wsparcia nie należy koncentrować się jedynie na analizie
wskaźnika efektywności zarudnieniowej mierzonej w
krótkim okresie po zakończeniu udziału w projekcie
Podziałania 6.1.3

   Oferowane w Poddziałaniu 6.1.3. wsparcie powinno być
dostosowane do indywidulanych potrzeb osób
bezrobotnych.
   Dopasowanie usługi powinno wynikać z diagnozy
predyspozycji zawodowych przeprowadzonej przez
doradcę zawodowego.
   Wśród uczestników Poddziałania 6.1.3 jest grupa dla
której obecnie świadczone usługi nie są wystarczające. Z
tego względu w nowej perspektywie finansowej
należałoby wprowadzić większą elastyczność doboru
formy wsparcia w projektach urzędów pracy.

Bibliografia:

www.konferencja-ewaluacja.pl

www.ewalaucja.gov.pl
www.ewalaucja.org.pl
www.ewalaucja.rgo.pl

Raport „Wykorzystanie ewaluacji w
zarządzaniu programami unijnymi w
Polsce” dr.Martin Ferry, dr. Karol Olejniczak

Document Outline