background image

Analiza pozycji 

testowych

background image

Trudność pozycji

Trudność pozycji

stosunek liczby osób, które udzieliły 

prawidłowej (zgodnej z kluczem i 

diagnostycznej) odpowiedzi na pytanie, 

do ogółem przebadanej liczby osób

zazwyczaj wyrażany jako odsetek osób, 

które znały prawidłową odpowiedź na 

pytanie

%

100

N

n

p

i

background image

Trudność pozycji

Trudność pozycji

przyjmuje „paradoksalne” wartości – 

wysoka wartość wskazuje na łatwe 

pytania

stosowany zazwyczaj w przypadku 

testów wiedzy

najlepiej różnicującymi pytaniami są 

pytania o przeciętnym stopniu trudności – 

pozwalają na dokonanie największej 

liczby porównań między osobami w 

próbie

background image

Trudność pozycji 

testowej 

W

a

ri

a

n

c

ja

 p

o

zy

c

ji

 

te

s

to

w

e

background image

Problem zgadywania 

odpowiedzi

Badani zgadują poprawne 
odpowiedzi jeśli ich nie znają
Czy można to uwzględnić przy 
obliczaniu wyniku?
Założenie: wszystkie odpowiedzi 
są jednakowo prawdopodobne
Liczba odgadniętych odpowiedzi 
zależy od liczby udzielonych 
błędnie odpowiedzi

background image

Problem zgadywania 

odpowiedzi

1

m

F

gdzie:
F – liczba błędnych odpowiedzi
m – liczba możliwych alternatyw 
odpowiedzi

Liczba odgadniętych 
odpowiedzi=

background image

Problem zgadywania 

odpowiedzi

1

m

F

x

R

gdzie:
R – liczba prawidłowo rozwiązanych 
zadań poprawiona ze względu na 
zgadywanie
x - liczba poprawnych odpowiedzi
F – liczba błędnych odpowiedzi
m – liczba możliwych alternatyw 
odpowiedzi

background image

Problem zgadywania 

odpowiedzi

1

m

F

f

R

gdzie:
R – liczba osób znająca prawidłowe 
rozwiązanie zadania poprawiona ze 
względu na zgadywanie
f - liczba osób, które podały poprawną 
odpowiedź
F – liczba osób, które podały błędną 
odpowiedź
m – liczba możliwych alternatyw 
odpowiedzi

background image

Moc dyskryminacyjna

Moc dyskryminacyjna

informuje w jakim stopniu pytanie/zadania 

różnicuje daną populację, ze względu na 

mierzoną cechę

Grupa osób o 
najwyższych wynikach 
ogólnych danego testu

Grupa osób o 
najniższych wynikach 
ogólnych danego testu

p

u

p

l

background image

Moc dyskryminacyjna

Moc dyskryminacyjna

informuje w jakim stopniu pytanie/zadania 

różnicuje daną populację, ze względu na 

mierzoną cechę

Grupa osób o 
najwyższych wynikach 
ogólnych danego testu

Grupa osób o 
najniższych wynikach 
ogólnych danego testu

p

u

p

l

background image

Moc dyskryminacyjna

Moc dyskryminacyjna

informuje w jakim stopniu pytanie/zadania 

różnicuje daną populację, ze względu na 

mierzoną cechę

Grupa osób o 
najwyższych wynikach 
ogólnych danego testu

Grupa osób o 
najniższych wynikach 
ogólnych danego testu

p

u

p

l

background image

l

u

p

p

D

background image

Moc dyskryminacyjna

Moc dyskryminacyjna

w rozumieniu operacyjnym – korelacja 

między pozycją a skalą; obliczanie takich 

korelacji wymaga spełnienia specyficznych 

założeń – jedna z korelowanych zmiennych 

jest mierzona na skali nominalnej, druga na 

przedziałowej

wartość ujemna wskazuje na to, że badacz 

pomylił się ustalając klucz – można to 

traktować jako dyskwalifikację pozycji mimo 

znaczącej wartości bezwzględnej m.d.

przyjmuje się, że moc dyskryminacyjna musi 

mieć

wartość > 0,20, aby pozycja była włączana 

do skali

(około 5% wspólnej wariancji ze skalą)

wartości mocy dyskryminacyjnych 

maksymalizują się dla pytań o przeciętnej 

trudności

background image

Metody obliczania mocy 

dyskryminacyjnych (1)

Metody obliczania mocy 

dyskryminacyjnych (1)

współczynnik korelacji biseryjnej 

(dwuseryjnej)

rozkład wyników cechy mierzonej przez daną 

pozycję winien być zmienną ciągłą o 

normalnym rozkładzie

rozkład wyników ogólnych w teście winien 

także być rozkładem normalnym

współczynnik korelacji punktowo-

dwuseryjnej

rozkład wyników cechy mierzonej przez daną 

pozycję jest dwukategorialny – zmienna jest 

dyskretna

wyniki ogólne w teście mają rozkład normalny 

(jak wyżej)

współczynnik korelacji punktowo-

czteropolowej

nie można przyjąć założeń wymienionych 

wyżej 

zarówno wynik pozycji, jak i wynik ogólny 

traktowane

są jako zmienne dychotomiczne

background image

Metody obliczania mocy 

dyskryminacyjnych (2)

Metody obliczania mocy 

dyskryminacyjnych (2)

pakiety statystyczne obliczają 

skorygowane korelacje pozycja-skala 

(corrected item-total correlation)

korekta polega na wyłączeniu z sumy 

wyniku ogólnego pytania, dla którego 

obliczana jest moc dyskryminacyjna

obliczane w taki sposób wartości mocy 

dyskryminacyjnej są bardziej surowe 

(niższe) 

background image

Inne miary dobroci pozycji

Inne miary dobroci pozycji

Czasem miarą dobroci pozycji jest jej 

korelacja z zewnętrznym kryterium

konsekwencją takiego podejścia (i 

zastosowanej strategii analizy 

danych) jest tworzenie skal mniej 

homogenicznych, mniej rzetelnych, 

jednak bardziej trafnych kryterialnie i 

treściowo

w zależności od przyjętych założeń 

dotyczących kryterium stosuje się:

model wielokrotnej regresji liniowej

analizę dyskryminacyjną

background image

item

1
2
3
4
5
6
7
8
9

10

Trudnoś

ć

0.8095

0.1429

0.0714

0.381

0.6667

0.2857

0.5238

0.619

0.2857

0.6905

Wariancja

0.15793

0.12546

0.06796

0.24157

0.22762

0.20903

0.25553

0.24157

0.20903

0.21893

Moc 

dyskryminacyjn

a

0.2937

0.1917

-0.1532

0.0636

0.3738

0.1877

0.4142

0.3880

0.1241

0.2684

Rzetelność 

po 

usunięciu 

itemu

0.6353

0.6408

0.6529

0.6474

0.6287

0.6401

0.6252

0.6274

0.6437

0.6353


Document Outline