Organizacja ewaluacji
wewn
ę
trznej jako zadanie
dyrektora szkoły / placówki
dyrektora szkoły / placówki
Moduł III
Metody i narz
ę
dzia
w badaniach ewaluacyjnych
(3 godz.)
Organizacja ewaluacji
wewn
ę
trznej jako zadanie
dyrektora szkoły / placówki
dyrektora szkoły / placówki
Moduł III
Metody i narz
ę
dzia
w badaniach ewaluacyjnych
(3 godz.)
Program
• Definiowanie poj
ęć
.
• Najcz
ęś
ciej stosowane metody i narz
ę
dzia.
• Rozwa
ż
enie kwestii prób badawczych.
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
2
• Rozwa
ż
enie kwestii prób badawczych.
•
Ć
wiczenia.
Próba definicji
Metoda – „zespół teoretycznie uzasadnionych zabiegów
koncepcyjnych i instrumentalnych obejmuj
ą
cych najogólniej
cało
ść
post
ę
powania badacza, zmierzaj
ą
cego do rozwi
ą
zania
okre
ś
lonego problemu.”
Technika – „czynno
ś
ci praktyczne, regulowane starannie
wypracowanymi dyrektywami, pozwalaj
ą
cymi na uzyskanie
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
3
wypracowanymi dyrektywami, pozwalaj
ą
cymi na uzyskanie
optymalnie sprawdzalnych informacji, opinii, faktów.”
(np. obserwowanie, prowadzenie wywiadu, ankietowanie)
Narz
ę
dzie – słu
ż
y do realizacji wybranej techniki bada
ń
.
(arkusz obserwacyjny, kwestionariusz wywiadu, ankieta, a nawet dyktafon
)
Wybór metody
metody
ilo
ś
ciowe
jako
ś
ciowe
badanie tego, co poddaje si
ę
pomiarowi, poszukiwanie
zale
ż
no
ś
ci przyczynowo -
docieraj
ą
w gł
ą
b badanego
zjawiska
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
4
zale
ż
no
ś
ci przyczynowo -
skutkowych
„suche” dane statystyczne
Mało precyzyjne
Obie przyczyniaj
ą
si
ę
do poszerzenia wiedzy!
Czy osoba
przeprowadzaj
ą
ca badanie
ma wpływ
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
5
ma wpływ
na osoby badane?
Najtrudniejsze dzieło
ś
wiata od łatwego trzeba
rozpocz
ąć
, a najwi
ę
ksze dokonania od
drobiazgów.” /Lao-cy
/
• Nie chcemy, by nasi uczniowie korzystali z bryków,
zatem sami nie korzystajmy z gotowych narz
ę
dzi, a
przynajmniej zachowujmy wobec nich krytyczn
ą
postaw
ę
!
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
6
postaw
ę
!
• Narz
ę
dzia musz
ą
uwzgl
ę
dnia
ć
specyfik
ę
szkoły/
placówki.
• Tworz
ą
c narz
ę
dzia, nale
ż
y pami
ę
ta
ć
o wieku i
potencjale naszych „respondentów”.
• Jako
ść
i zró
ż
nicowanie narz
ę
dzi daje gwarancj
ę
rzetelnej ewaluacji.
Najcz
ęś
ciej
stosowane narz
ę
dzia
:
• obserwacja,
• ankieta,
• analiza dokumentów,
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
7
• analiza dokumentów,
• wywiad.
OBSERWACJA
(„rozumne patrzenie”)
FAZY OBSERWACJI:
• Postrzeganie zjawisk, procesów.
• Utrwalenie dostrze
ż
onych danych.
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
8
• Utrwalenie dostrze
ż
onych danych.
• Interpretacja dostrze
ż
onych danych
.
Cechy obserwacji: celowa, planowa, dokładna
(wierna), wyczerpuj
ą
ca, wnikliwa, obiektywna.
Kryteria klasyfikacji obserwacji
Tre
ść
obserwacji
•
cało
ś
ciowa
•
tematyczna
Liczba obserwowanych osób
•
jednostkowa
•
grupowa
Liczba obserwatorów
Czas
•
ci
ą
gła
•
próbki czasowe
Aktywno
ść
obserwatora
•
bierna
•
czynna (kontrolowana)
Uszczegółowienie obserwacji i stopie
ń
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
9
Liczba obserwatorów
i typ ich kontaktów
z obserwatorami
•
bezpo
ś
rednia
•
po
ś
rednia
•
uczestnicz
ą
ca
•
ukryta
•
jawna
•
pozornie uczestnicz
ą
ca
Uszczegółowienie obserwacji i stopie
ń
standaryzacji zapisu
•
czy i jak dokładnie okre
ś
lono cel obserwacji
•
czy i jak dokładnie przedstawiono wszystkie
wytyczne post
ę
powania składaj
ą
cego si
ę
na
obserwacj
ę
•
czy i jak dokładnie przewidziano kategorie,
w które mo
ż
na uj
ąć
obserwowane
zachowanie
Warunki poprawno
ś
ci:
• wst
ę
pna znajomo
ść
przedmiotu obserwacji,
• jasne sformułowanie zagadnienia i celów
obserwacji,
• bli
ż
sze poznanie przedmiotu obserwacji
przez zastosowanie obserwacji otwartej,
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
10
• szczegółowe opracowanie koncepcji bada
ń
,
kategoryzacja zagadnie
ń
, opracowanie
odpowiednich formularzy i arkuszy
obserwacyjnych.
Uwaga! Ka
ż
da notatka z obserwacji musi zawiera
ć
oznakowanie obserwowanego „przedmiotu”.
Sposoby utrwalania spostrze
ż
e
ń
:
• tabelaryczna skala przymiotnikowa,
• skala przymiotnikowa liniowa,
• skale cyfrowe (skale cyfrowe mog
ą
przybiera
ć
tak
ż
e posta
ć
tabelaryczn
ą
).
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
11
tak
ż
e posta
ć
tabelaryczn
ą
).
Cz
ę
sto spotyka si
ę
skale mieszane, np.
cyfrowo-przymiotnikowe
.
ANKIETA
Procedura tworzenia ankiety
1. Okre
ś
lenie celu:
-
Co chc
ę
bada
ć
?
-
Dlaczego chc
ę
to bada
ć
?
-
Jak
ą
zastosuj
ę
ankiet
ę
?
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
12
-
Jak
ą
zastosuj
ę
ankiet
ę
?
2. Opracowanie ankiety:
-
instrukcja,
-
wst
ę
pne pytania informacyjne,
-
pytania wła
ś
ciwe.
3. Standaryzacja.
Zasady budowy ankiety
• Stosowanie pyta
ń
w kolejno
ś
ci – od obejmuj
ą
cych problemy
ogólne do szczegółowych.
• Unikanie pyta
ń
sugeruj
ą
cych.
• Wprowadzenie pyta
ń
kontrolnych (sprawdzaj
ą
cych
wiarygodno
ść
).
• Ograniczenie ilo
ś
ci pyta
ń
do koniecznego minimum (10-20).
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
13
• Ograniczenie ilo
ś
ci pyta
ń
do koniecznego minimum (10-20).
• Unikanie pyta
ń
, na które odpowiedzi wymagaj
ą
du
ż
ego wysiłku
pami
ę
ciowego.
• Pytania powinny dotyczy
ć
spraw wa
ż
nych i koniecznych.
• Pytania musz
ą
by
ć
jasne, jednoznaczne i dokładne,
dostosowane do j
ę
zyka potocznego
ś
rodowiska, w którym
przeprowadza si
ę
badanie, do wieku i wykształcenia „pytanych”
osób.
Instrukcja i metryczka
Instrukcja powinna zawiera
ć
:
• okre
ś
lenie celu,
• uzasadnienie badania,
• pro
ś
b
ę
o szczere odpowiedzi,
• zapewnienie o zachowaniu dyskrecji,
• informacj
ę
o sposobie wypełnienia ankiety,
• podanie czasu przeznaczonego na wypełnienie ankiety,
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
14
• podanie czasu przeznaczonego na wypełnienie ankiety,
• inne...,
• podzi
ę
kowanie za udział w badaniu.
Metryczka:
• Zawiera rejestr zmiennych niezale
ż
nych pozwalaj
ą
cych
na identyfikacj
ę
problemow
ą
nie personaln
ą
ka
ż
dej jednostki
badawczej (np. wiek, płe
ć
, klas
ę
, wykształcenie, cechy rodziny).
Zawarto
ść
metryczki okre
ś
la problematyka i cel badania.
Zalety:
•
badaniem mo
ż
na obj
ąć
du
żą
grup
ę
osób,
•
wiedza o rozkładzie cz
ę
sto
ś
ci/rozkładzie procentowym cech,
wła
ś
ciwo
ś
ci, opinii,
•
swoboda wypowiedzi, brak sugestii ze strony innych,
•
anonimowo
ść
,
•
łatwo
ść
realizacji i analizy danych przy du
ż
ej liczbie uczestników,
ANKIETA
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
15
•
relatywnie niskie koszty realizacji.
Wady:
•
mała elastyczno
ść
– kwestie najwa
ż
niejsze mog
ą
umkn
ąć
,
gdy
ż
w ankiecie nie znalazło si
ę
pytanie je poruszaj
ą
ce,
•
znudzenie respondentów t
ą
metod
ą
, niech
ęć
do formułowania wypowiedzi na pi
ś
mie,
•
zdawkowo
ść
odpowiedzi.
Badanie dokumentów i materiałów słu
ż
y do gromadzenia
wst
ę
pnych, opisowych, tak
ż
e ilo
ś
ciowych informacji o badanej
instytucji czy zjawisku społecznym.
Dokumenty dzielimy na:
- kronikarskie – wszelka dokumentacja instytucji, materiały
ANALIZA DOKUMENTÓW
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
16
- kronikarskie – wszelka dokumentacja instytucji, materiały
statystyczne obrazuj
ą
ce okre
ś
lone sytuacje, dokumentuj
ą
ce
fakty i działania;
- opiniodawcze – wszelkie osobiste materiały powstałe bez
udziału badaj
ą
cego – listy, pami
ę
tniki, wypracowania,
wypowiedzi na pi
ś
mie na okre
ś
lony temat.
Dokumentem jest ka
ż
da rzecz mog
ą
ca stanowi
ć
ź
ródło informacji, na
podst. której mo
ż
na wydawa
ć
uzasadnione s
ą
dy o przedmiotach,
ludziach i procesach.
Analiza tre
ś
ci – słu
ż
y obiektywnemu, systematycznemu opisowi
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
17
Analiza tre
ś
ci – słu
ż
y obiektywnemu, systematycznemu opisowi
jawnej tre
ś
ci przekazów informacyjnych.
UWAGA!
Analiza dokumentów mimo ich „urz
ę
dowej”
wiarygodno
ś
ci powinna by
ć
krytyczna.
Przygotowuj
ą
c si
ę
do analizy dokumentów, nale
ż
y zbudowa
ć
schemat
analizy zgodny z celami przeprowadzanej ewaluacji
.
Analiza dokumentów
Zalety:
• ró
ż
norodno
ść
dokumentacji,
• dost
ę
pno
ść
,
• daj
ą
ju
ż
zsyntetyzowan
ą
informacj
ę
o maj
ą
cych miejsce
działaniach i ich rezultatach.
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
18
działaniach i ich rezultatach.
Wady:
• ryzyko zbyt uproszczonej interpretacji danych i pochopnych
uogólnie
ń
,
• rzeczywisto
ść
mo
ż
e „odbiega
ć
” od danych zamieszczonych
w dokumentacji.
WYWIAD
• Wywiad nie jest towarzysk
ą
rozmow
ą
!
• To dialog kierowany badawczymi potrzebami.
Do wywiadu nale
ż
y si
ę
gruntownie przygotowa
ć
:
- ustali
ć
miejsce,
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
19
- wst
ę
pnie zebra
ć
jak najwi
ę
cej informacji z zakresu
badanej problematyki,
- dokona
ć
wyboru osób i pyta
ń
.
(koniecznym jest przygotowanie planu tematycznego dla
wywiadu kierowanego i pyta
ń
kwestionariusza wywiadu
– zasady takie same jak w ankiecie)
WYWIAD
Zalety:
• mo
ż
liwo
ść
poruszenia skomplikowanych i szczegółowych
kwestii ,
• poznanie faktów z osadzeniem ich w kontek
ś
cie sytuacyjnym,
• spojrzenie na rzeczywisto
ść
z perspektywy uczestników,
• poznanie znacze
ń
i interpretacji samych zainteresowanych.
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
20
• poznanie znacze
ń
i interpretacji samych zainteresowanych.
Wady:
• czasochłonno
ść
realizacji i analiz,
• mo
ż
liwo
ść
przebadania niewielu respondentów,
• skomplikowana analiza,
• niech
ęć
uczestnika do wyra
ż
ania swoich, zwłaszcza
krytycznych, opinii wprost.
WYWIAD I ANKIETA
• Wywiad to metoda zdobywania informacji przez
bezpo
ś
rednie stawianie pyta
ń
tym osobom, które mog
ą
nam udzieli
ć
pewnej sumy informacji.
• Ankieta to metoda po
ś
redniego zdobywania informacji
przez pytania stawiane wybranym osobom za
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
21
• Ankieta to metoda po
ś
redniego zdobywania informacji
przez pytania stawiane wybranym osobom za
po
ś
rednictwem drukowanej listy pyta
ń
, zwanej
kwestionariuszem.
Wspólna cecha: wypytywanie.
W jednym i drugim przypadku o powodzeniu decyduje
ZAUFANIE!
Triangulacja
Zwielokrotnienie:
• metod i technik badawczych,
•
ź
ródeł informacji,
• typów danych,
• technik analitycznych,
• teorii wyja
ś
niaj
ą
cych,
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
22
• teorii wyja
ś
niaj
ą
cych,
• liczby osób realizuj
ą
cych badania.
Zalety:
• uwzgl
ę
dnianie ró
ż
nych punktów widzenia,
• lepsze poznanie i zrozumienie badanego obiektu,
• pogł
ę
bienie zebranych danych,
• bardziej „zobiektywizowana” analiza.
Próba nielosowa
Na podstawie zgłosze
ń
ochotników:
•
samodzielne zgłoszenia do udziału w badaniu, np. odpowied
ź
na ankiet
ę
doł
ą
czon
ą
do podr
ę
cznika.
Próba kwotowa:
•
znamy lub zakładamy rozkłady % interesuj
ą
cych nas zmiennych
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
23
•
znamy lub zakładamy rozkłady % interesuj
ą
cych nas zmiennych
w populacji, a nast
ę
pnie odtwarzamy je w próbie (np. 30% m
ęż
czyzn
i 70% kobiet),
•
wyniki s
ą
obci
ąż
one bł
ę
dem, którego wielko
ś
ci nie da si
ę
ustali
ć
.
Próba celowa:
•
wybieramy „jak
ąś
”, najcz
ęś
ciej najłatwiej dost
ę
pn
ą
osob
ę
,
•
dobieramy osob
ę
z uwagi na jak
ąś
cech
ę
, np. bycie wychowawc
ą
.
Próba losowa
Operat losowania – ponumerowany i aktualny spis wszystkich jednostek
składaj
ą
cych si
ę
na populacj
ę
Schemat losowania:
•
Nieograniczone indywidualne (np. wg tablicy liczb losowych).
•
Systematyczne indywidualne (np. co 10 osoba).
•
Warstwowe (najpierw dzielimy zbiorowo
ść
na jako
ś
ciowo ró
ż
ni
ą
ce si
ę
cz
ęś
ci, a nast
ę
pnie losujemy z ka
ż
dej warstwy jednostki zbiorowo
ś
ci
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
24
cz
ęś
ci, a nast
ę
pnie losujemy z ka
ż
dej warstwy jednostki zbiorowo
ś
ci
do próby).
•
Grupowe (losowane nie s
ą
poszczególne jednostki populacji, ale grupy )
•
Wielostopniowe.
Tylko próba losowa pozwala na stosowanie metod wnioskowania
statystycznego o populacji.
W praktyce szkolnej mo
ż
emy kierowa
ć
si
ę
innymi zasadami.
Wszystko zale
ż
y od wielko
ś
ci szkoły, badanego problemu,
dost
ę
pno
ś
ci „respondentów”.
Ć
WICZENIE (1)
Prosz
ę
przyjrze
ć
si
ę
podanym przykładom
pyta
ń
kwestionariuszowych
i oceni
ć
ich „jako
ść
”
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
25
i oceni
ć
ich „jako
ść
”
(znale
źć
bł
ę
dy, oceni
ć
przydatno
ść
,
zaproponowa
ć
zmiany).
Ć
WICZENIE (2)
Wypełnianie projektu ewaluacji
(c.d. modułu II)
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
26
– kolumny: sposoby zbierania danych,
próba badawcza, organizacja zbierania
danych.
Dzi
ę
kuj
ę
za uwag
ę
!
2010-03-05
Organizacja ewaluacji wewn
ę
trznej jako zadanie dyrektora szkoły / placówki
27
Dzi
ę
kuj
ę
za uwag
ę
!