Użyteczność w ewaluacji- kilka praktycznych wskazówek

Trzy konteksty użyteczności

ewaluacji:

• Praktyczność zastosowania wyników
• Planowanie procesu w taki sposób, aby był

przydatny

• Użyteczność

Konteksty  te  mają  także  zastosowanie  w
ewaluacji  w  pomocy  społecznej  odnosząc
się  do  trzech  etapów:  przygotowania,
przeprowadzenia  a  także  zastosowania
wyników.

Przygotowania ewaluacji:

Każde ewaluowane działanie

powinno być opisane uwzględniając
następujące informacje:

• Zdiagnozowane problemy
• Cele
• Etapy działań
• Wskazane zasoby do realizacji

określonych zadań

• Rezultaty w postaci wymiernych

wskaźników

W  działaniach  pomocy  społecznej  jednak  nie
wszystkie  podane  elementy  są  uwzględniane.
Utrudnieniem jest fakt, iż pomoc społeczna jest
wielowątkowa oraz wielowymiarowa.
Podejmowane  działania  można  rozpatrywać  na
trzech poziomach:

•

Systemu- działania wszelkich instytucji pomocy
społecznej oraz system prawny i otoczenie.

•

Instytucji- działania podejmowane w ramach
pojedynczej instytucji

•

Klienta-

działania

podejmowane

przez

jednostkę/rodzinę,

która

zmaga

się

problemem, jak i na rzecz tej rodziny/jednostki
przez innych, także poprzez instytucje.

Na etapie planowania ewaluacji

najważniejszą

czynnością

jest

określenie,

czego

chcemy

się

dowiedzieć. Należy także rozpatrzeć
poziom, jaki ma dotyczyć ewaluacja.

Kryteria ewaluacji

a poziom analizy-

przykład:

KRYTERIUM

SYSTEM POMOCY
SPOŁECZNEJ NA
POZIOMIE
LOKALNYM

DZIAŁANIE
INSTYTUCJI

KLIENT

TRAFNOŚĆ- czy cele
są dopasowane do
problemów?

Czy zaplanowany
katalog działań jest
dostosowany do
problemu wysokiego
bezrobocia w
gminie?

Czy zaproponowane
rozwiązania są
odpowiednie do
problemu niskiego
zatrudnienia i złej
organizacji pracy w
OPS?

Czy ustalone cele
pomocy są
adekwatne do
problemu rodziny,
jakim jest przemoc
psychiczna i fizyczna
stosowana wobec
rodziców przez
niepracującego
syna?

SKUTECZNOŚĆ- czy
są osiągane
wyznaczone cele i
rezultaty?

Czy w rezultacie
podjętych działań
zmniejszony został
wskaźnik bezrobocia
w gminie?

Czy zostało
zwiększone
zatrudnienie w OPS?
Czy została
zmieniona
organizacja pracy?

Czy podjęte
działania
doprowadziły do
rozwiązania
problemu przemocy
w danej rodzinie?

EFEKTYWNOŚĆ-
czy nakłady na
działania były
optymalne w
stosunku do
osiągniętych
rezultatów?

Czy użyte zasoby
były
wystarczające do
rozwiązania
problemu
bezrobocia?

Czy osiągnięte
rezultaty zostały
osiągnięte dzięki
najniższym
kosztom? Czy
wprowadzone
zmiany przyniosły
oszczędności?

Czy wykorzystano
niezbędne zasoby
jednostki/rodziny/
środowiska , a
także instytucji
pomocy i systemu
do rozwiązania
problemu?

UŻYTECZNOŚĆ-
czy
klienci/użytkownicy
są zadowoleni z
podjętych działań

Czy mieszkańcy
danej gminy są
zadowoleni z
działań
podejmowanych w
ramach lokalnego
systemu pomocy
społecznej?

Czy pracownicy
instytucji są
zadowoleni z
wprowadzanych
zmian
organizacyjnych i
czy według nich są
one funkcjonalne?

Czy dana rodzina
jest zadowolona z
otrzymanych form
wsparcia?

TRWAŁOŚĆ- w
jakim stopniu
osiągnięte rezultaty
działań mają trwały
charakter?

Jak długo utrzymuje
się niski poziom
bezrobocia? Czy
stopa bezrobocia
zmniejsza się z roku
na rok?

Czy wprowadzone
zmiany na trwałe
wpisały się w
praktykę
funkcjonowania
instytucji, czy może
ponownie zostały
wprowadzone stare
zasady?

Czy po udzielonym
wsparciu i
osiągnięciu
pozytywnych zmian
dana rodzina
potrafi we własnym
zakresie
rozwiązywać
skutecznie swoje
problemy?

Dodatkowe kwestie do

przemyślenia:

• Kiedy chcemy przeprowadzić

ewaluację (na jakim etapie
projektu?)

• Kto będzie odbiorcą ewaluacji?
• Kto będzie badany?
• Jakie są nasze zasoby (np.

finansowe) na przeprowadzenie
ewaluacji?

• W jaki sposób będą zbierane dane?
• Jak chcemy wykorzystać wnioski z

ewaluacji?

Podczas oceny trafności podejmowanych działań

co  do  zidentyfikowanego  problemu,  bardzo
ważna jest dokładna diagnoza.
Po  analizie  problemu  ważne  jest  wyznaczenie
celu  w  jakim  jest  udzielana  pomoc  a  także  jej
plan.

Zadajemy więc pytania stosując kryterium

trafności:

• Czy zaplanowane działania są adekwatne do

problemu?

• Co jest przyczyną nieusamodzielnienia się

rodziny? (np. niskie kwalifikacje, brak miejsc
pracy są skutkiem problemu bezrobocia w
rodzinie)

• Czy został sformułowany cel?

Narzędziem wykorzystywanym do

analizy problemu jest: wywiad
środowiskowy

Wywiad środowiskowy- szczegółowo

opisuje sytuację zawodową,
mieszkaniową, zdrowotną oraz
rodzinna klienta.

W wywiadzie notuje się także

zgłaszane przez klienta potrzeby,
przewidziane świadczenia oraz
podejmowane przez klienta
zobowiązania.

Aby sprawdzić, czy działania podjęte przez

klienta oraz pracowników OPS są skuteczne

należy sprawdzić:

• Czy jest realizowany plan pomocy?
• Czy realizacja planu pomocy przynosi

zamierzone skutki?

• Czy zastosowane zostały wszystkie

możliwe instrumenty?

Oceny podjętych działań może dokonać
pracownik socjalny, klient a nawet
osoba postronna.

Ocena realizacji działań

W drugiej części kontraktu socjalnego
istnieje możliwość oceny realizacji działań.
Z tego też powodu kontrakt jest
najbardziej przystosowanym narzędziem
do dokonywania ewaluacji.
Istnieje możliwość dokładnego opisu, w
jaki sposób dana osoba wywiązuje się z
podjętych zobowiązań. Tutaj także
powinny znaleźć się informacje o tym, czy
OPS wywiązuje się ze swoich zobowiązań.

Podstawowe zasoby, które zostały użyte

do osiągnięcia zaplanowanego celu

RODZAJE ZASOBÓW KLIENT

PRACOWNIK

SOCJALNY/SPECJALI

STA

OSOBOWE

Umiejętności,

kwalifikacje,

predyspozycje

Ilość czasu, liczba

osób

zaangażowanych w

rozwiązywanie

problemu

INSTYTUCYJNE

Wsparcie członków

rodziny oraz członków

społeczności do

których należy klient

Sieć instytucji

wspomagających

klienta w

przezwyciężaniu

problemu, zespół

interdyscyplinarny

FINANSOWE

Źródła dochodu oraz

kwota dochodu

Zasiłki, pożyczki,

wartość pomocy

rzeczowej, koszt

usług świadczonych

na rzecz klienta oraz

odbywanych szkoleń

Dane dotyczące zasobów

instytucji

•

Pozyskiwane z kontraktu socjalnego gdzie
zapisywane zostają zobowiązania instytucji

•

Aby poszerzyć wiadomości dotyczących zasobów
należy przeprowadzić wywiad z osobami, które
udzielały wsparcia

•

Najprostsze do policzenia są: wartość udzielonej
pomocy (Zasiłki pieniężne, pomoc w formie
rzeczowej, stawka godzinowa pracy socjalnej)

•

Na podstawie danych o zasobach można ocenić:
czy były one wystarczające do rozwiązania
problemu

Kryterium użyteczności

• Oznacza spełnianie oczekiwań klientów
• Można je zweryfikować pytając klientów o

wystarczalność uzyskiwanej pomocy oraz
jakość świadczonych usług

• Opinie klientów powinny być brane pod

uwagę podczas wdrażania poszczególnych
działań oraz oceny ich skuteczności

• Dane można uzyskać bezpośrednio od

świadczeniobiorców, przeprowadzając
ankietę bądź wywiad

Opinie

• Dostarczają ważnych informacji (nawet te

negatywne)

• Anonimowe
• Informacja, które z uzyskanych świadczeń

oraz usług nie były oczekiwane przez klienta

• Które ze świadczeń nie były oczekiwane

przez klienta ale w efekcie zostały
pozytywnie przyjęte

• Które ze świadczeń zostały ocenione jako

niepotrzebne oraz nieużyteczne

Praktyczne wykorzystanie

wyników ewaluacji:

Celem przeprowadzenia ewaluacji jest jej praktyczne
wykorzystanie na bazie jej wyników tzn. sformułowanie
wniosków i rekomendacji.
Jeśli wszelkie zakładane rezultaty zostały osiągnięte,
podjęte działania okazały się trafne, skuteczne oraz
pozytywnie ocenione przez użytkowników a także okazały
się ekonomicznie efektywne, można takie działanie:

• Kontynuować
• Upowszechniać
• Pozyskiwać środki na kolejne działania
• Przyznać nagrodę jego realizatorom
• Dalej rozwijać (metody/instytucje)

Gdy wyniki ewaluacji okazują się
negatywne należy spojrzeć na nie jako
na praktyczne wskazówki do ulepszeń
oraz naprawy.
Można także dokładnie określić, na
którym etapie został popełniony błąd.
Działania jakie w takim przypadku
możemy podjąć to:

• Pogłębienie diagnozy przypadku
• Sformułowanie na nowo celu działań
• Zastosowanie dodatkowych

instrumentów

• Zmienić formę pomocy

Gdy występujący problem zostanie

zidentyfikowany, można zmienić
dotychczasowy sposób
postępowania.

Można także poprosić o wsparcie z

zewnątrz np. szkolenia, superwizję,
doradztwo prawne itp.

Należy zwrócić uwagę na warunki

zewnętrzne, w którym są
podejmowane działania.

Document Outline