POMIAR DYDAKTYCZNY
Istota pomiaru
Pomiar polega na przyporządkowaniu obiektom symboli (liczb, liter, słów) wyrażających określone właściwości tych obiektów w taki sposób aby relacje między symbolami odpowiadały relacjom między obiektami. Układ symboli tworzy skalę pomiarową. Przyporządkowania dokonuje się według określonych reguł i przy pomocy odpowiednich narzędzi. Najczęściej mamy do czynienia z pomiarem fizycznym (np. długości, prędkości, masy, temperatury itd.).
Pomiar dydaktyczny to sprawdzanie i ocenianie osiągnięć szkolnych uczniów, w którym poziomowi osiągnięć szkolnych ucznia zostaje przyporządkowany symbol (np. ocena) z wybranej skali (np. skali ocen), dokonywane według teoretycznie uzasadnionych i wypróbowanych reguł. Reguły te określają sposób tworzenia i stosowania narzędzi pomiaru (najczęściej testów) oraz analizowania uzyskanych wyników.
Obrazek - ze stron 2-3
Najczęściej stosowaną w praktyce nauczycielskiej skalą jest skala stopni szkolnych. Jest to skala porządkowa: stopnie umożliwiają porównywanie osiągnięć uczniów, natomiast nie są określone różnice między nimi. Z formalnego punktu widzenia dla takiej skali nie można więc obliczać średniej arytmetycznej.
Pomiar dydaktyczny może mieć charakter różnicujący bądź sprawdzający w zależności od celu jakiemu służy i rodzaju zastosowanych narzędzi i procedur. Pomiar różnicujący ma za zadanie porównanie wyniku ucznia (klasy, szkoły) w odniesieniu do wyników innych uczniów (klas, szkół). Typowym przykładem takiego pomiaru są konkursy i egzaminy. Narzędziami są testy zaplanowane do wykrywania różnic w osiągnięciach uczniów.
Zadaniem pomiaru sprawdzającego jest stwierdzenie czy i w jakim stopniu osiągnięcia uczniów odpowiadają wymaganiom określonym przez nauczyciela w oparciu o program nauczania (w ocenianiu zewnętrznym wymagania określa Państwo poprzez Podstawę Programową i standardy wymagań)
Pomiar sprawdzający wielostopniowy to pomiar sprawdzający, w którym skala zbudowana jest w oparciu o więcej niż jeden poziomów wymagań programowych. Narzędziami pomiaru są sprawdziany (testy), w których każdemu poziomowi wymagań przyporządkowana jest grupa zadań. W praktyce oba rodzaje pomiaru (różnicujący i sprawdzający) często występują jednocześnie. Na przykład egzamin gimnazjalny ma dać odpowiedz pytanie w jakim stopniu osiągnięcia uczniów odpowiadają standardom, ale również zróżnicować uczniów ze względu na dalsze ścieżki kształcenia. W ocenianiu nauczycielskim dominować powinien charakter sprawdzający pomiaru - głównym pytaniem jest: "Co z tego co zaplanowałem, opanowali moi uczniowie?"
Niezbędne właściwości pomiar
Po to aby pomiar spełniał swoje zadanie, jakim jest dostarczenie możliwie najpełniejszej informacji o rzeczywistych osiągnięciach uczniów, zastosowane narzędzia i procedury powinny spełniać kilka warunków. Warunki te zwane niezbędnymi właściwościami pomiaru, tworzą układ hierarchiczny.
Obrazek - ze stron 2-3
Obiektywizm sytuacji sprawdzania oznacza jednakowe dla wszystkich warunki rozwiązywania sprawdzianu (arkusza egzaminacyjnego). W klasie zapewnia go nauczyciel. W egzaminowaniu zewnętrznym wymuszają go regulaminy i instrukcje.
TESTY OSIĄGNIĘĆ SZKOLNYCH
Podstawowymi narzędziami pomiaru dydaktycznego są testy. Test osiągnięć szkolnych to zestaw zadań przeznaczony do zastosowania w czasie jednego zajęcia szkolnego (najczęściej 1 lekcji), tak dobranych aby na podstawie ich rozwiązania można było wnioskować i stopniu opanowania przez uczniów treści nauczania.
Z powyższej definicji wynika, że zadania będące składnikami testu powinny jak najwierniej reprezentować treść nauczania, z uwzględnianiem wszystkich jej aspektów (celów, materiału, wymagań). Taki test nazywamy testem sprawdzającym. Jeżeli poprzedzająca tworzenie testu analiza treści kształcenia - formułowanie wymagań programowych wyodrębniła więcej, niż jeden poziomów wymagań i zadania w teście reprezentują czynności z tych poziomów mówimy o teście sprawdzającym wielostopniowym (dwustopniowym). Ze względu na stopień zaawansowania konstrukcyjnego wyróżniamy testy nieformalne (zwykle nauczycielskie) i testy standaryzowane. Standaryzacja polega na ulepszaniu testu z uwzględnieniem wyników próbnego testowania. Powinny być jej poddane testy przeznaczone do szerokiego użytku.
ŻĄDANIA TESTOWE
Zadanie testowe to najmniejsza, względnie niezależna i osobno punktowana cząstka testu wymagająca od badanego udzielnia odpowiedzi, czyli wykonania określonej (określonych) czynności. W podejściu analitycznym do pomiaru zadanie sprawdza opanowanie zwykle jednej (czasem kilku) ściśle określonej (określonych) czynności. W podejściu holistycznym (całościowym) rozwiązanie zadania wymaga od ucznia wykonania szeregu czynności składających się na obraz jego osiągnięć w danej dziedzinie.
klasyfikacja zadań testowych - obrazek ze str 5-6
Zadania otwarte
Zadania otwarte - wymagające od ucznia samodzielnego formułowania odpowiedzi. Do ich zalet zaliczyć można:
• łatwość konstruowania
• ukazywanie toku rozumowania ucznia.
• umożliwienie uczniowi samodzielności i oryginalności
Główne wady zadań otwartych:
• Utrudniony obiektywizm punktowania
• czasochłonność zapisywania odpowiedzi
• niewielka liczba zadań w teście - słaba reprezentacja treści nauczania
Zadania otwarte muszą być zawsze tworzone razem z modelową odpowiedzią i schematem punktowania określającym, które elementy rozwiązania będą osobno punktowane i w jaki sposób.
Zadanie rozszerzonej odpowiedzi (rozprawka) wymaga od ucznia zapisania rozwiązania w postaci od kilku do kilkunastu zdań. Obejmuje również dłuższe zadania matematyczne, fizyczne ... Orientacyjny czas rozwiązywania o kilku do kilkunastu minut.
Zadanie krótkiej odpowiedzi - zadanie otwarte wymagające udzielenia odpowiedzi w postaci jednego slówa, liczby, zdania lub niekiedy 2-3 zdań (wyrażeń matematycznych)
Zadanie z luką - zadanie otwarte wymagające uzupełnienia zwrotu, zdania, wyrażenia matematycznego lub rysunku.Zadania zamknięte
Zadania zamknięte - uczeń wybiera spośród podanych odpowiedzi. Zadanie te zapewniają pełny obiektywizm punktowania, dobrze skonstruowane umożliwiają sprawdzanie celów z wyższych kategorii taksonomicznych (B, C, D) i pobudzają procesy myślowe (analiza sytuacji, podejmowanie decyzji), umożliwiają skupienie się na rozwiązywaniu merytorycznym, a nie na pisaniu. Jednocześnie uniemożliwiają uczniowi na samodzielność i oryginalność, nie obrazują toku jego pracy nad rozwiązaniem, są podatne na zgadywanie. Trudne do konstruowania, jeżeli mają sprawdzać coś więcej poza pamiętaniem.
Zadanie na dobieranie - zadanie zamknięte wymagające wzajemnego przyporządkowania danych z dwu lub więcej kolumn (np. daty-wydarzenia, nazwy-rysunki, przykłady-prawa, zasady itd...).
Zadanie typu "prawda -fałsz" - zadanie zamknięte wymagające rozstrzygnięcia, czy zawarte w nim twierdzenie jest prawdziwe czy fałszywe.
Zadanie wyboru wielokrotnego - zadanie zamknięte wymagające wybrania odpowiedniej poprawnej lub najlepszej spośród kilku odpowiedzi do wyboru poprawnych zwanych wertraktorami i fałszywych, czyli tzw. dystraktorów; najczęściej spotykaną i polecaną formą jest zadanie z jedną poprawną odpowiedzią. Największą trudnością w konstruowaniu zadań WW jest zapewnienie atrakcyjności wszystkich dystraktorów.
Oczekiwane właściwości zadań
Od dobrego zdania oczekujemy (od strony redakcyjnej)
• poprawności merytorycznej i językowej ,
• jednoznaczności sformułowania,
• odpowiedniej łatwości (trudności),
• naturalności formy,
• atrakcyjności,
Spełnienie wyżej wymienionych wymagań ma sprawić, aby zadanie było rzetelne, czyli dokładnie mierzyło osiągnięcia uczniów. Nie jest rzetelne zadanie, które może być przez uczniów różnie odczytane, a przez sprawdzających różnie oceniane. Rzetelność zadań można oszacować przez analizę statystyczną.
Najważniejszą właściwością zadania jest jego stosowność (trafność). Zadanie jest stosowne (trafne), jeżeli rzeczywiście mierzy te osiągnięcia, które miało zmierzyć.
Inaczej mówiąc: czynności wykonywane przez uczniów w trakcie rozwiązywania zadania są zgodne z czynnościami, których opanowanie (w zamyśle autora zadania) miało ono sprawdzić. Jednym ze sposobów oceny trafności zadań jest poddanie ich osądowi fachowca - nauczyciela. Cennych informacji na temat trafności zadania dostarczą wyniki sprawdzianu, w którym zostały zastosowane.
ANALIZA WYNIKÓW TESTOWANIA I OSIĄGNIĘĆ UCZNIÓW
Pierwszym krokiem po sprawdzeniu i wypunktowaniu zadań powinno być zestawienie wyników w tabeli zawierającej uczniów za poszczególne zadania uszeregowaną malejąco wg łącznej liczby punktów. Tabale wyników testu dwustopniowego może wyglądać np. tak:
Tabelka
Analiza statystyczna i jakościowa zadań
Nagromadzenie punktów w lewej górnej części tabeli i zer w prawej dolnej może stanowić jakościowy wskaźnik rzetelnośći testu. Istnieją metody obliczania tzw. współczynników rzetelności, jednakże ich stosowania dla testów nauczycielskich nie wydaje się uzasadnione. Warto natomiast zadać sobie trud (niewielki jeżeli zaprzęgniemy do pracy komputer z arkuszem kalkulacyjnym) i obliczyć dla poszczególnych zadań ich łatwość (p) i wskaźnik mocy różnicującej (np. D50).
Łatwość to stosunek liczby punktów uzyskanych przez daną grupę uczniów za rozwiązanie danego zadania do liczby punktów możliwych do uzyskania
Przykład; Obliczmy na podstawie zamieszczonej wyżej tabeli zbiorczej łatwość zadania nr 13. Zgodnie z definicją:
P13= l pkt uzyskanych/l pkt mozliwych do uzyskania= 12/23 ~ 0,52
Wskaźnik ten, zgodnie ze swoją nazwą daje informację o tym na ile łatwie (trudne) dane zadanie było dla uczniów. B. NIemierko zapproponował umowną klasyfikację zadań ze względu na wartość wskaźnika łatwości:
Tabalka -> patrz wykład 3
Generalnie powinniśmy oczekiwać, że zadania z niższych poziomów ymagań uzyskają stosunkowo wysoką wartość wskaźnika łatwości, zadania z poziomów wyższych - przeciwnie. Niska łatwość zadania z poziomu podstawowego jest sygnałem do "przyjrzenia się" takiemu zadaniu i ustaleniu przyczyny. Może ona tkwić w samym zadaniu (zawiłość formy, nieodpowiednie sformułowanie, ...) lub poza nim, na przykład w błędach w nauczaniu lub sformułowaniu wymagań.
Moc różnicująca, wyrażana za pomocą różnych wskaźników daje informację o zdolności zadania do rozróżnienia uczniów "słabszych" od "lepszych". Spodziewamy się na ogół, że zadanie będzie łatwiejsze dla uczniów, którzy uzyskali wysoki wynik w teście i trudniejsze dla tych z niższym wynikiem ogólnym. Sytuacja odwrotna dyskwalifikuje zadanie. Miarą mocy różnicującej może być wskaźnik D50. Liczy się go odejmując łatwość zadania dla połowy uczniów z wyższym wynikiem ogólnym (górna połowa tabeli zbiorczej) od łatwości obliczonej dla uczniów z dolnej połowy tabeli zbiorczej.
Przykład: Obliczamy wskaźnik D50 dla zadania 13:
1. Dzielimy tabelę zbiorczą na dwie połowy : górną - wyniki uczniów z liczbą porządkową od 1 do 11 i dolną - wyniki uczniów z liczbą porządkową 13-23
2. Obliczamy łatwość zadania dla górnej połowy: P13a = 5/11 ~0,45
3. Obliczamy łatwość zadania dla dolnej połowy: P13b = 6/11 ~~0,55
4. Wskaźnik mocy różnicującej D50 = P13a - p13b = 0,45 - 0,55 = -0,1
Wskaźnik D50 może przybierać wartości od -1 do 1. Wartości ujemne oznaczają, że zadanie najprawdopodobniej ma pważne błędy konstrukcyjne. Takie zadanie należałoby wykluczyć z analizy osiągnięć uczniów i nie uwzględniać przy ustalaniu stopni. W teście sprawdzającym możliwe są sytuacje, w których współczynnik mocy różnicującej będzie równy 0 (wszyscy rozwiązali zadanie lub nikt nie rozwiązał).
Przy analizie zadań wielokrotnego wyboru wielu cennych informacji może dostarczyć analiza dystraktorów. Punktem wyjścia tej analizy jest obliczanie dla każdego zadania procentu "wybieralności" poszczególnych odpowiedzi. W dobrze skonstruowanym zadaniu WW wszystkie odpowiedzi fałszywe - dystraktory powinny być wybierane przez zbliżony odsetek uczniów.
Kolejnym użytecznym wskaźnikiem wartości zadania (lub osiągnięć uczniów) jest tzw. frakcja opuszczeń - procent uczniów, którzy w ogóle nie zmierzyli się z nim.
Należy podkreślić, że obliczanie opisanych powyżej wskaźników statystycznych nie jest celem samym w sobie. Ma ono dopomóc w odszukaniu zadań, które szczególnie zasługują na dokładną analizę jakościową. Jej efektem powinno być podjęcie decyzji o tym czy na podstawie wyników testowania możemy zasadnie wnioskować o osiągnięciach uczniów.
-i