Ewaluacja w procesie reformowania oświaty

Ewaluacja w szkole

Do czego jej użyć, jak

zaprojektować, przeprowadzić

i wykorzystać wyniki?

Henryk Mizerek

Uniwersytet Warmińsko – Mazurski

w Olsztynie

Pierwszym warunkiem sprostania zmianom jest

wyzbycie się lęku przed nimi

F. Znaniecki

Ewaluacja szkole

•

Istota, geneza i zastosowania

•

Ewaluacja od kuchni – planowanie i

projektowanie

•

Kiedy ewaluacja może się udać?

•

Lista grzechów

•

Uwagi końcowe

Ten, kto drogę prostuje …

•

Przykład pierwszy

– Słownik

Języka Polskiego -

„

ustalanie wartości i

ceny czegoś; ocenianie,

oszacowanie”

(Szymczak,

1982, t. 1 s. 562)

Przykład drugi ….

Na szczęście

historyczny

Rozporządzenie Ministra Edukacji Narodowej i Sportu

z dnia 23 kwietnia 2004 r.

w sprawie szczegółowych zasad sprawowania nadzoru

pedagogicznego, wykazu stanowisk wymagających kwalifikacji

pedagogicznych, kwalifikacji niezbędnych do sprawowania nadzoru

pedagogicznego, a także kwalifikacji osób, którym można zlecać

prowadzenie badań i opracowywanie ekspertyz

Ilekroć w zarządzenie będzie mowa o …………………………

ewaluacji - należy przez to rozumieć

ocenę

przydatności i skuteczności

przydatności i skuteczności podejmowanych

podejmowanych

działań dydaktycznych, wychowawczych

i opiekuńczych w odniesieniu do założonych

celów, służącą doskonaleniu tych działań;

przykład I

Słownik łacińsko - polski

„

e-valesco, -ere, -ui – stawać się

silnym, potężnieć” oraz

„evaeleo, -ere – móc, zdołać; e-

valesco, - ere, -ui – wzmocnić

się, nabrać siły, spotężnieć; móc,

być zdolnym, zdołać, potrafić

”

przykład II

•

EWALUACJA

to proces zbierania informacji oraz zdawanie

relacji z tego, jak się rzeczy mają – po to by ułatwić

podejmowanie decyzji (H. Simons)

•

Ewaluacja jest systematycznym badaniem zdarzeń, które

mają miejsce w ramach aktualnie realizowanego

programu, jak i innych, stwierdzajacych te same cele

ogólne./Cronbach i współaut, 1980/

•

Praktyka ewaluacyjna obejmuje systematyczne zbieranie

informacji o przebiegu, właściwościach i wynikach

programów, o personelu i o dorobku, który może być

wykorzystany przez określonych ludzi do celu

zmniejszenia niepewności, podniesienia skuteczności i

podjęcia decyzji o tym, czego dotyczą i na co wpływają te

programy, personel i dorobek.

/M.Q. Patton, „Practical

Evaluation”/

Ewaluacja w edukacji

Proces zbierania,

opracowania i komunikowania

informacji na temat wartości,

jaką przypisują realizowanym

w szkole działaniom ich

odbiorcy oraz realizatorzy

Ewaluacja ..... która generacja

piewsza generacja

pomiar

„

techniczna” rola ewaluatora ("technik"

biegły w sztuce doboru adekwatnych

narzędzi pomiaru osiągnięć uczniów)

początki przełom wieku XIX i XX - kult

psychometrii, testomania -

przedstawiciele USA Rice (1897),

Francja Alfred Binet, Anglia - Francis

Galton, Niemcy Wilchelm Wundt

Ewaluacja ..... która generacja

druga generacja -

opis

początki po pierwszej wojnie światowej

(wpływ nowego wychowania -

koncentracja edukacji na dziecku) -

rozkwit lata czterdzieste w USA - główny

przedstawiciel Ralph Tyler. Zadaniem

ewaluacji było dostarczenie danych

umożliwiających konstrukcje programu na

miarę możliwości i potrzeb dziecka

Ewaluacja ..... która generacja

trzecia generacja -

osąd

ewaluator jako sędzia, arbiter,

„ten który wie” czy jest dobrze

(początki - koniec lat

pięćdziesiątych. Przedstawiciel:

Michael Scriven (1967) - osąd

jest integralną częścią ewaluacji

Ewaluacja ..... która generacja

czwarta generacja

ewaluacja dialogiczna

przedstawiciele: R. Stake, Guba, H. Simons,

L.Korporowicz

cechy: jawność, komunikacja i negocjacje w

procesie projektowania ewaluacji; osadzenie

w epistemologii konstruktywistycznej,

zastosowanie jakościowych strategii

badawczych (np. studium przypadku),

rezygnacja z pretensji (ambicji)

przedstawiania racji „obiektywnych”

„

Obiektywizm” ewaluacji

Pięciu zupełnie ślepych mędrców z Hindustanu

poszło oglądać słonia. Pierwszy zbliżył się do

słonia i wszedł na jego grzbiet. „Słoń jest jak

szczotka” - krzyknął. Drugi dotknął trąby i

mówi – „słoń jest jak wąż”. Trzeci sięgnął do

nogi i pomyślał – „słoń jest jak pień drzewa”.

Czwarty chwycił dyndający ogon i wykrzyknął

– „słoń jest jak lina”. Piąty z mędrców trafił na

słonie odchody i zajęczał – „słoń jest miękki i

półpłynny”.

kilka tez o istocie

ewaluacji

•

Ewaluacja z natury nie jest obojętna dla otoczenia.

Jej prowadzeniu towarzyszą liczne konteksty (i

dylematy) etyczne i polityczne

•

Ewaluacja to proces (zbieranie danych) i powstały w

jego wyniku produkt (informacja)

•

Ewaluacja dotyczy strategii i działań praktycznych a

nie osób czy zjawisk (

to nieprawda, że każdy może

„ewaluować” (!?) wszystko

)



Sukces ewaluatora należy szacować według tego,

czego nauczą się inni” a nie „arbitra sportowego,

który został wynajęty po to, aby zadecydować, kto

ma rację, a kto jej nie ma” (Nevo)

kilka tez o istocie

ewaluacji



Proces ewaluacji obejmuje (w uproszczeniu):

(i) rozeznanie problemu, (ii) zebranie i

analizę odpowiednich danych, oraz (iii)

udostępnienie wyników



Ewaluacja może być autokratyczna,

demokratyczna lub biurokratyczna



Ewaluacja może być formatywna lub

konkluzywna



Ewaluacja ma mało wspólnego z ocenianiem,

kontrolą, inspekcją, nadzorowaniem



Pomiar dydaktyczny, mierzenie jakości,

diagnoza to nie to samo, co ewaluacja

Zastosowania ewaluacji w

szkole

•

Poziom instytucjonalny

–

Ewaluacja programów (WSO, WDN,

programy profilaktyki, programy nauczania,

ścieżki itp.) – cel podnoszenie jakości pracy

szkoły

•

Poziom indywidualny

–

Autoewaluacja pracy nauczyciela (zajęcia,

nowe metody, treści, programy, style) – cel

podnoszenie poziomu profesjonalizmu

Kilka nowych instrumentów na

biurku …..

Badanie (mierzenie) jakości,

ewaluacja,

audyt,

monitoring,

benchmarking,

Badania w działaniu (action research)

klient, rynek, usługa

Nauczyciel w roli hostessy w

edukacyjnym supermarkecie

Ewaluacja od kuchni

Jak zaplanować?

•

Po co?

•

Co?

•

Komu?

•

Kto?

•

Jak?

•

Kiedy?

•

Za ile?

Ewaluacja od kuchni

Projektowanie

1. Definiowanie przedmiotu ewaluacji.

2. Sformułowanie pytań kluczowych.

3. Określenie kryteriów ewaluacji.

4. Dobór metod badawczych.

5. Określenie próby badawczej.

6. Monitorowanie danych.

7. Określenie formy prezentacji danych.

Warunki udanej szkolnej

aewaluacji

•

Udział wszystkich zainteresowanych

– konieczne jest

określenie kogo ewaluacja dotyczy, kto poinformuje dane

osoby o jej przebiegu i wynikach, kto jest inicjatorem

działań, kto je będzie planował i realizował, kto weźmie

udział w dyskusji nad wynikami ewaluacji.

•

Jasne określenie celu

– informacja dla wszystkich

uczestników przed przystąpieniem do działania o tym,

czemu ewaluacja ma służyć, jakie cele będą realizowane,

kto ją inicjuje i czyje interesy są reprezentowane.

•

Wcześniejsze ustalenie norm postępowania w

czasie ewaluacji

– kto i za co jest odpowiedzialny na

terenie szkoły, kto wspiera proces z zewnątrz, kto i w

jakiej formie otrzyma wyniki ewaluacji, kto będzie brał

udział w interpretacji i w jakim zakresie będzie

zapewniona ochrona danych.

•

Klarowne i ważne pytania

– czytelne i

jednoznaczne sformułowanie pytań kluczowych,

ważnych dla rozwoju szkoły.

•

Nieskomplikowane metody i rozsądny zakres

–

dostosowanie metod do możliwości

przeprowadzających ewaluację i posiadanego czasu.

•

Uwzględnienie różnych punktów widzenia

– np.

opinie nie tylko nauczycieli, ale także uczniów i

rodziców. W interpretacji danych także powinny

wziąć udział różne grupy, np. niezależni eksperci.

•

Szybka informacja zwrotna do wszystkich

zainteresowanych

•

Wystarczająca ilość czasu na ocenę danych i

przepływ informacji o nich

– decydującą czynnością

w procesie ewaluacji jest wspólna ocena wyników i

podjecie decyzji co do kierunków dalszych działań.

Powinno to odbywać się w różnych zespołach, dlatego

wymaga odpowiedniej ilości czasu.

•

Dokumentacja wyników, oceny i wniosków

– praca

powinna być starannie dokumentowana, aby można

było wielokrotnie korzystać z uzyskanych materiałów.

•

Powtórzenie ewaluacji

– dobra samoewaluacja nie

powinna być jednorazowym działaniem, ale regularnie

przeprowadzoną procedurą.

KRYTERIA EWALUACJI

Przydatność Ewaluacja nie ma sensu, jeśli brak

widoków, że ktoś ją wykorzysta.

Wykonalnoś
ć

Ewaluacje należy przeprowadzać tylko
wtedy, gdy jest to możliwe ze względów

politycznych i praktycznych, a efekty
równoważą koszty.

Przyzwoitoś

Ewaluacji dokonywać się powinno wtedy,

gdy można wykazać, że zostanie
przeprowadzona uczciwie i zgodnie z

zasadami etycznymi.

Adekwatnoś
ć techniczna

Mając pewność co do jej przydatności,
wykonalności i przyzwoitości, ewaluacje

trzeba wykonać profesjonalnie i
precyzyjnie.

projektowanie

•

Projekt jako konsekwencja założenia, iż

ewaluacja jest rodzajem stosowanych nauk

społecznych

•

Brak projektu

•

Nieprecyzyjny przedmiot

•

Za szeroki przedmiot i zadania

•

Wadliwe pytania kluczowe – mania

„czykania”

•

Błąd „dwa w jednym”

Realizacja – zbieranie i

opracowanie danych

•

Występek przeciwko zasadzie triangulacji

•

Ignorowanie metod doboru próby

•

„

raczkowanie” w obszarze metod analizy

danych jakościowych

•

Sakralizacja ankietowania

Detektor błędów

Kwestionariusz ankiety to zawsze

tryptyk.

Trzy części, których kolejności nie wolno

zmieniać:

List

Część zasadnicza

metryczka

Część zasadnicza

•

To nieprawda, że tworzą ją tylko

pytania

•

Jeśli jesteś profesjonalistą wiesz, że

tworzysz

pozycje kwestionariusza

–

Pytania

–

Testy

–

Skale

Konstrukcja pytania

•

Zdanie pytające

Jakie programy telewizyjne oglądasz

najchętniej?

•

Instrukcja

wybierz

proszę

nie więcej niż dwie

możliwości oznaczając je symbolem x w

odpowiedniej kratce

•

Kafeteria (lista możliwości do wyboru)

Zarządzanie ewaluacją

•

Projekt bez konsultacji (szczególnie

kryteria)

•

Ewaluacja „tajne”

•

Ewaluatorzy jako „donosiciele”

•

Ochrona danych

•

Wykorzystanie wyników

Formy grzesznych ewaluacji

•

Ewaluacja tandetna

•

Ewaluacja masywna

•

Ewaluacja towarzyska

•

Ewaluacja wydumana

•

Ewaluacja przelotna

•

Ewaluacja wybielająca

•

Ewaluacja torpedująca

•

Ewaluacja spychająca

•

Ewaluacja rytualna

Uwagi końcowe

Warunki powodzenia prowadzonych w szkole autoewaluacji:

–

W sferze kompetencji profesjonalnych

W sferze kompetencji profesjonalnych – nauczyciel jako

– nauczyciel jako

badacz

–

W sferze organizacji

W sferze organizacji (logistyka, wielopoziomowość,

(logistyka, wielopoziomowość,

sposób wykorzystania wyników, ewaluacja a proces

podejmowania decyzji

–

W sferze etycznej

W sferze etycznej (ochrona danych i dóbr osobistych

(ochrona danych i dóbr osobistych

osób zaangażowanych w proces ewaluacji

–

W sferze kultury organizacji

W sferze kultury organizacji (rola i pozycja osób

(rola i pozycja osób

prowadzących ewaluacje, ich wiarygodność i

prestiż, relacje interpersonalne, ewaluacja jako

element codzienności szkolnej, ewaluacja a

klimat pokoju nauczycielskiego, ewaluacja a

kwestia profesjonalizmu nauczycielskiego)

Parę lektur

•

Komorowska H., Konstrukcja, realizacja i ewaluacja programu nauczania.

IBE, Warszawa 1995.

•

Konarzewski K., Jak uprawiać badania oświatowe. Metodologia

praktyczna, Warszawa 2000,

•

Korporowicz L., Ewaluacja w edukacji. Program TERM FRSE, Oficyna

Naukowa, Warszawa 1997.

•

Kowalski ., Po co ewaluacja? Edukacja i dialog (119/2000)

•

Lisiecka Z., Zaleski-Ejgierd A., Ewaluacja osiągnięć edukacyjnych

uczniów,

•

Majewski M ., Ewaluacja - jej funkcje i znaczenie. Asocjacje (9/1999)

•

Majewski M ., Ewaluować - jak to łatwo powiedzieć. Personel (7/2000)

•

Mizerek H., Ewaluacja w szkole – szansa z (kilkoma) pułapkami w tle?, w:

Nauczyciel i uczeń w przestrzeniach szkoły, M. Nowicka red., Olsztyn

2002, Wyd. UWM

Mizerek H., Ewaluacja zajęć: kilka (praktycznych) uwag, materiał

przygotowany na zamówienie MEN, Warszawa 1998.

•

Mizerek H., przy współpracy Hildebrandt A., Ewaluacja w szkole.

Program TERM FRSE, Wydawnictwo MG, Olsztyn 1997.

•

Radnor H., Ewaluacja. Program TERM FRSE, Ministerstwo Edukacji

Narodowej, Warszawa 1995.

•

Rea L., Planowanie i projektowanie szkoleń, Dom Wydawniczy ABC,

Warszawa 1999.

•

Macbeath,, M. Schratz, D. Meuret, L. Jakobson, Czy nasza szkoła jest

dobra, Warszawa 2003

Document Outline