EWALUACJA W SZKOLE

Do czego jej użyć, jak zaprojektować, przeprowadzić i wykorzystać wyniki?

Czym jest ewaluacja?

Słownik łacińsko - polski

„e-valesco, -ere, -ui – stawać się silnym, potężnieć” oraz „evaeleo, -ere – móc, zdołać; e-valesco, - ere, -ui – wzmocnić się, nabrać siły, spotężnieć; móc, być zdolnym, zdołać, potrafić”

EWALUACJA to proces zbierania informacji oraz zdawanie relacji z tego, jak się rzeczy mają – po to by ułatwić podejmowanie decyzji (H. Simons)

Ewaluacja jest systematycznym badaniem zdarzeń, które mają miejsce w ramach aktualnie realizowanego programu, jak i innych, stwierdzajacych te same cele ogólne./Cronbach i współaut, 1980/

Praktyka ewaluacyjna obejmuje systematyczne zbieranie informacji o przebiegu, właściwościach i wynikach programów, o personelu i o dorobku, który może być wykorzystany przez określonych ludzi do celu zmniejszenia niepewności, podniesienia skuteczności i podjęcia decyzji o tym, czego dotyczą i na co wpływają te programy, personel i dorobek./M.Q. Patton, „Practical Evaluation”/

Ewaluacja w edukacji

Proces zbierania, opracowania i komunikowania informacji na temat wartości, jaką przypisują realizowanym w szkole działaniom ich odbiorcy oraz realizatorzy

Ewaluacja ..... która generacja?

pierwsza generacja - pomiar

„techniczna” rola ewaluatora ("technik" biegły w sztuce doboru adekwatnych narzędzi pomiaru osiągnięć uczniów) początki przełom wieku XIX i XX - kult psychometrii, testomania - przedstawiciele USA Rice (1897), Francja Alfred Binet, Anglia - Francis Galton, Niemcy Wilchelm Wundt

druga generacja - opis

początki po pierwszej wojnie światowej (wpływ nowego wychowania - koncentracja edukacji na dziecku) - rozkwit lata czterdzieste w USA - główny przedstawiciel Ralph Tyler. Zadaniem ewaluacji było dostarczenie danych umożliwiających konstrukcje programu na miarę możliwości i potrzeb dziecka

trzecia generacja - osąd

ewaluator jako sędzia, arbiter, „ten który wie” czy jest dobrze (początki - koniec lat pięćdziesiątych. Przedstawiciel: Michael Scriven (1967) - osąd jest integralną częścią ewaluacji

czwarta generacja - ewaluacja dialogiczna

przedstawiciele: R. Stake, Guba, H. Simons, L.Korporowicz

cechy: jawność, komunikacja i negocjacje w procesie projektowania ewaluacji; osadzenie w epistemologii konstruktywistycznej, zastosowanie jakościowych strategii badawczych (np. studium przypadku), rezygnacja z pretensji (ambicji) przedstawiania racji „obiektywnych”

kilka tez o istocie ewaluacji

• Ewaluacja z natury nie jest obojętna dla otoczenia. Jej prowadzeniu towarzyszą liczne konteksty (i dylematy) etyczne i polityczne

• Ewaluacja to proces (zbieranie danych) i powstały w jego wyniku produkt (informacja)

• Ewaluacja dotyczy strategii i działań praktycznych a nie osób czy zjawisk (to nieprawda, że każdy może „ewaluować” (!?) wszystko)

• Sukces ewaluatora należy szacować według tego, czego nauczą się inni” a nie „arbitra sportowego, który został wynajęty po to, aby zadecydować, kto ma rację, a kto jej nie ma” (Nevo)

• Proces ewaluacji obejmuje (w uproszczeniu): (i) rozeznanie problemu, (ii) zebranie i analizę odpowiednich danych, oraz (iii) udostępnienie wyników

• Ewaluacja może być autokratyczna, demokratyczna lub biurokratyczna

• Ewaluacja może być formatywna lub konkluzywna

• Ewaluacja ma mało wspólnego z ocenianiem, kontrolą, inspekcją, nadzorowaniem

• Pomiar dydaktyczny, mierzenie jakości, diagnoza to nie to samo, co ewaluacja

Zastosowania ewaluacji w szkole

• Poziom instytucjonalny

  • Ewaluacja programów (WSO, WDN, programy profilaktyki, programy nauczania, ścieżki itp.) – cel podnoszenie jakości pracy szkoły

• Poziom indywidualny

  • Autoewaluacja pracy nauczyciela (zajęcia, nowe metody, treści, programy, style) – cel podnoszenie poziomu profesjonalizmu

Ewaluacja a diagnoza edukacyjna

• Kwestia obiektywizmu

• Kolejność w procesie wprowadzania zmiany

Jak zaplanować ewaluację?

Projektowanie ewaluacji

1. Definiowanie przedmiotu ewaluacji.

2. Sformułowanie pytań kluczowych.

3. Określenie kryteriów ewaluacji.

4. Dobór metod badawczych.

5. Określenie próby badawczej.

6. Monitorowanie danych.

7. Określenie formy prezentacji danych.

Warunki udanej szkolnej ewaluacji

• Udział wszystkich zainteresowanych – konieczne jest określenie kogo ewaluacja dotyczy, kto poinformuje dane osoby o jej przebiegu i wynikach, kto jest inicjatorem działań, kto je będzie planował i realizował, kto weźmie udział w dyskusji nad wynikami ewaluacji.

• Jasne określenie celu – informacja dla wszystkich uczestników przed przystąpieniem do działania o tym, czemu ewaluacja ma służyć, jakie cele będą realizowane, kto ją inicjuje i czyje interesy są reprezentowane.

• Wcześniejsze ustalenie norm postępowania w czasie ewaluacji – kto i za co jest odpowiedzialny na terenie szkoły, kto wspiera proces z zewnątrz, kto i w jakiej formie otrzyma wyniki ewaluacji, kto będzie brał udział w interpretacji i w jakim zakresie będzie zapewniona ochrona danych.

• Klarowne i ważne pytania – czytelne i jednoznaczne sformułowanie pytań kluczowych, ważnych dla rozwoju szkoły.

• Nieskomplikowane metody i rozsądny zakres – dostosowanie metod do możliwości przeprowadzających ewaluację i posiadanego czasu.

• Uwzględnienie różnych punktów widzenia – np. opinie nie tylko nauczycieli, ale także uczniów i rodziców. W interpretacji danych także powinny wziąć udział różne grupy, np. niezależni eksperci.

• Szybka informacja zwrotna do wszystkich zainteresowanych.

• Wystarczająca ilość czasu na ocenę danych i przepływ informacji o nich – decydującą czynnością w procesie ewaluacji jest wspólna ocena wyników i podjecie decyzji co do kierunków dalszych działań. Powinno to odbywać się w różnych zespołach, dlatego wymaga odpowiedniej ilości czasu.

• Dokumentacja wyników, oceny i wniosków – praca powinna być starannie dokumentowana, aby można było wielokrotnie korzystać z uzyskanych materiałów.

• Powtórzenie ewaluacji – dobra samoewaluacja nie powinna być jednorazowym działaniem, ale regularnie przeprowadzoną procedurą.

KRYTERIA EWALUACJI

Przydatność	Ewaluacja nie ma sensu, jeśli brak widoków, że ktoś ją wykorzysta.
Wykonalność	Ewaluacje należy przeprowadzać tylko wtedy, gdy jest to możliwe ze względów politycznych i praktycznych, a efekty równoważą koszty.
Przyzwoitość	Ewaluacji dokonywać się powinno wtedy, gdy można wykazać, że zostanie przeprowadzona uczciwie i zgodnie z zasadami etycznymi.
Adekwatność techniczna	Mając pewność co do jej przydatności, wykonalności i przyzwoitości, ewaluacje trzeba wykonać profesjonalnie i precyzyjnie.

Szkolne autoewaluacje

Jak je prowadzić nie grzesząc?

Określić cel i zadania ewaluacji

Projektowanie ewaluacji - błędy

• Projekt jako konsekwencja założenia, iż ewaluacja jest rodzajem stosowanych nauk społecznych

• Brak projektu

• Nieprecyzyjny przedmiot

• Za szeroki przedmiot i zadania

• Wadliwe pytania kluczowe – mania „czykania”

• Błąd „dwa w jednym”

Realizacja – zbieranie i opracowanie danych (błędy)

• Występek przeciwko zasadzie triangulacji

• Ignorowanie metod doboru próby

• „raczkowanie” w obszarze metod analizy danych jakościowych

• Sakralizacja ankietowania

Detektor błędów

Kwestionariusz ankiety to zawsze tryptyk.

Trzy części, których kolejności nie wolno

zmieniać:

List

Część zasadnicza

metryczka

Część zasadnicza

• To nieprawda, że tworzą ją tylko pytania

• Jeśli jesteś profesjonalistą wiesz, że tworzysz pozycje kwestionariusza

  • Pytania

  • Testy

  • Skale

Zarządzanie ewaluacją

• Projekt bez konsultacji (szczególnie kryteria)

• Ewaluacja „tajne”

• Ewaluatorzy jako „donosiciele”

• Ochrona danych

• Wykorzystanie wyników

Formy grzesznych ewaluacji

• Ewaluacja tandetna

• Ewaluacja masywna

• Ewaluacja towarzyska

• Ewaluacja wydumana

• Ewaluacja przelotna

• Ewaluacja wybielająca

• Ewaluacja torpedująca

• Ewaluacja spychająca

• Ewaluacja rytualna

Warunki powodzenia prowadzonych w szkole autoewaluacji:

• W sferze kompetencji profesjonalnych – nauczyciel jako badacz

• W sferze organizacji (logistyka, wielopoziomowość, sposób wykorzystania wyników, ewaluacja a proces podejmowania decyzji

• W sferze etycznej (ochrona danych i dóbr osobistych osób zaangażowanych w proces ewaluacji

• W sferze kultury organizacji (rola i pozycja osób prowadzących ewaluacje, ich wiarygodność i prestiż, relacje interpersonalne, ewaluacja jako element codzienności szkolnej, ewaluacja a klimat pokoju nauczycielskiego, ewaluacja a kwestia profesjonalizmu nauczycielskiego).