Ćwiczenia z psychometrii
Ćwiczenia z psychometrii
Zajęcia 10. Zasady tworzenia i doboru
pozycji testowych dla różnego rodzaju
testów
Ewa Witkowska
Ewa Witkowska
ewa.m.witkowska
ewa.m.witkowska
Ćwiczenia z psychometrii
Ćwiczenia z psychometrii
Zajęcia 10. Zasady tworzenia i doboru
pozycji testowych dla różnego rodzaju
testów
Ewa Witkowska
Ewa Witkowska
ewa.m.witkowska
ewa.m.witkowska
Pozycja testowa
Pozycja testowa
sformalizowany wskaźnik danej cechy
sformalizowany wskaźnik danej cechy
psychologicznej, a więc zdanie (twierdzenie lub
psychologicznej, a więc zdanie (twierdzenie lub
pytanie) opisujące określone zachowanie (lub
pytanie) opisujące określone zachowanie (lub
zdanie wyzwalające określone zachowanie) oraz
zdanie wyzwalające określone zachowanie) oraz
skala rejestrująca to zachowanie (zawierająca
skala rejestrująca to zachowanie (zawierająca
określone opcje odpowiedzi o danym formacie
określone opcje odpowiedzi o danym formacie
oraz reguła przekształcania odpowiedzi
oraz reguła przekształcania odpowiedzi
w wynik liczbowy).
w wynik liczbowy).
Zadanie „na rozgrzewkę”
W czteroosobowych zespołach proszę
W czteroosobowych zespołach proszę
wybrać sobie dowolny aspekt
wybrać sobie dowolny aspekt
inteligencji psychometrycznej i
inteligencji psychometrycznej i
opracować 5 przykładowych pozycji
opracować 5 przykładowych pozycji
testowych go mierzących.
testowych go mierzących.
Procedura odpowiadania i forma
Procedura odpowiadania i forma
pozycji kwestionariuszowych
pozycji kwestionariuszowych
Możliwe procedury odpowiadania
Możliwe procedury odpowiadania
•
Wybieranie dowolnej liczby pozycji
Wybieranie dowolnej liczby pozycji
•
Wybór ograniczony (wymuszony)
Wybór ograniczony (wymuszony)
Dwu- lub wielokategorialny
Dwu- lub wielokategorialny
Formaty odpowiedzi
Formaty odpowiedzi
•
precyzja vs. trudność (wiek, wykształcenie)
precyzja vs. trudność (wiek, wykształcenie)
•
słabość logiczna opcji pośrednich (różne
słabość logiczna opcji pośrednich (różne
znaczenia dla o.b.)
znaczenia dla o.b.)
u-kształtność rozkładu
u-kształtność rozkładu
wyników
wyników
•
Kształt rozkładu - formaty rozszerzone prowadzą
Kształt rozkładu - formaty rozszerzone prowadzą
do „lepszych” (b. normalnych) rozkładów
do „lepszych” (b. normalnych) rozkładów
Forma pozycji kwestionariuszowych
Forma pozycji kwestionariuszowych
Zrozumiałość pozycji
Zrozumiałość pozycji
•
Długość, złożoność gramatyczna
Długość, złożoność gramatyczna
•
Wykazano, że pozycje bardziej skomplikowane językowo
Wykazano, że pozycje bardziej skomplikowane językowo
mają słabsze charakterystyki psychometryczne
mają słabsze charakterystyki psychometryczne
Przykład: w FCZ- KT długość pozycji koreluje ujemnie z
Przykład: w FCZ- KT długość pozycji koreluje ujemnie z
mocą dyskryminacyjną (r=-0,23)
mocą dyskryminacyjną (r=-0,23)
Złożoność gramatyczna
Złożoność gramatyczna
•
Z jej wzrostem wydłuża się czas odpowiedzi i zwiększa
Z jej wzrostem wydłuża się czas odpowiedzi i zwiększa
liczba błędów
liczba błędów
•
Problem negacji i podwójnej negacji
Problem negacji i podwójnej negacji
Dostępność użytych pojęć
Dostępność użytych pojęć
•
Język naukowy
Język naukowy
•
Skomplikowane konstrukcje gramatyczne (np. ojciec
Skomplikowane konstrukcje gramatyczne (np. ojciec
brata)
brata)
Forma pozycji
Forma pozycji
kwestionariuszowych
kwestionariuszowych
Jednoznaczność pozycji
Jednoznaczność pozycji
•
niejasność niekorzystna acz nieunikniona
niejasność niekorzystna acz nieunikniona
Ogólność pozycji
Ogólność pozycji
•
Ma zasadnicze znaczenie dla odnoszenia
Ma zasadnicze znaczenie dla odnoszenia
pozycji do własnego doświadczenia
pozycji do własnego doświadczenia
•
Pozycje ogólne zwiększają zmienność
Pozycje ogólne zwiększają zmienność
interindywidualną i intraindywidualną w
interindywidualną i intraindywidualną w
odnoszeniu treści pozycji do własnego
odnoszeniu treści pozycji do własnego
doświadczenia
doświadczenia
Dostępność zachowań w osobistym
Dostępność zachowań w osobistym
doświadczeniu
doświadczeniu
Trudność pozycji
Trudność pozycji
Trudność pozycji
Trudność pozycji
–
stosunek liczby osób, które udzieliły
prawidłowej
(zgodnej z kluczem i diagnostycznej)
odpowiedzi na pytanie, do ogółem przebadanej
liczby osób
–
zazwyczaj wyrażany jako odsetek osób, które
znały prawidłową odpowiedź na pytanie
–
przyjmuje „paradoksalne” wartości – wysoka
wartość wskazuje na łatwe pytania
–
stosowany zazwyczaj w przypadku testów
wiedzy
–
najlepiej różnicującymi pytaniami są pytania o
przeciętnym stopniu trudności – pozwalają na
dokonanie największej liczby porównań
między osobami w próbie
Trudność pozycji - przykład
Pytanie
A
B
C
D
#1
0
3
24*
3
#2
12*
13
3
2
#3
5
5*
17
3
#1
24/30=0,8
#2
12/30=0,4
#3
5/30= 0,17
Moc dyskryminacyjna
Moc dyskryminacyjna
pozycji
pozycji
cel stosowania testów: uzyskanie informacji o
cel stosowania testów: uzyskanie informacji o
różnicach indywidualnych w zakresie mierzonego
różnicach indywidualnych w zakresie mierzonego
konstruktu lub kryterium zewnętrznego, które
konstruktu lub kryterium zewnętrznego, które
chcemy przewidywać na podstawie wyników
chcemy przewidywać na podstawie wyników
test powinien składać się z pozycji
test powinien składać się z pozycji
umożliwiających dokonywanie różnicowania
umożliwiających dokonywanie różnicowania
między osobami uzyskującymi niskie i wysokie
między osobami uzyskującymi niskie i wysokie
wyniki
wyniki
idealny test: osoby z niskim wynikiem rzadziej
idealny test: osoby z niskim wynikiem rzadziej
odpowiadają diagnostycznie na daną pozycję
odpowiadają diagnostycznie na daną pozycję
testową, zaś osoby z wysokim wynikiem – częściej
testową, zaś osoby z wysokim wynikiem – częściej
(przykład: wytrzymałość w FCZ –
(przykład: wytrzymałość w FCZ –
Potrafię
Potrafię
pracować w hałasie
pracować w hałasie
)
)
Mocy dyskryminacyjna pozycji
Mocy dyskryminacyjna pozycji
zazwyczaj w czasie konstruowania testu
zazwyczaj w czasie konstruowania testu
nie dysponujemy żadną inną miarą
nie dysponujemy żadną inną miarą
mierzonego konstruktu poza samym
mierzonego konstruktu poza samym
wynikiem w teście, wynik ten właśnie
wynikiem w teście, wynik ten właśnie
najczęściej traktujemy jako definicję
najczęściej traktujemy jako definicję
operacyjną pozycji osoby na określonym
operacyjną pozycji osoby na określonym
kontinuum
kontinuum
takie rozumowanie jest
takie rozumowanie jest
podstawą opracowania różnych
podstawą opracowania różnych
wskaźników dobroci pozycji testowych,
wskaźników dobroci pozycji testowych,
nazywanych
nazywanych
współczynnikami mocy
współczynnikami mocy
dyskryminacyjnej
dyskryminacyjnej
Współczynniki mocy
Współczynniki mocy
dyskryminacyjnej
dyskryminacyjnej
współczynnik mocy dyskryminacyjnej –
współczynnik mocy dyskryminacyjnej –
stopień, w jakim dana pozycja testowa różnicuje
stopień, w jakim dana pozycja testowa różnicuje
badaną populację w zakresie zachowania, które
badaną populację w zakresie zachowania, które
dany test ma mierzyć. Wartość tego
dany test ma mierzyć. Wartość tego
współczynnika jest interpretowana następująco:
współczynnika jest interpretowana następująco:
•
pozycja testowa o dodatniej mocy
pozycja testowa o dodatniej mocy
dyskryminacyjnej –
dyskryminacyjnej –
częściej rozwiązywana przez osoby
częściej rozwiązywana przez osoby
badane o wysokich wynikach ogólnych, a więc różnicuje
badane o wysokich wynikach ogólnych, a więc różnicuje
te osoby w zgodzie z innymi pozycjami testu i tym samy
te osoby w zgodzie z innymi pozycjami testu i tym samy
zwiększa wariancję wynik ów testowania
zwiększa wariancję wynik ów testowania
•
pozycja testowa o ujemnej mocy dyskryminacyjnej
pozycja testowa o ujemnej mocy dyskryminacyjnej
–
–
częściej rozwiązywana przez osoby badane o niskich
częściej rozwiązywana przez osoby badane o niskich
ogólnych wynikach w teście, a więc różnicuje te osoby
ogólnych wynikach w teście, a więc różnicuje te osoby
przeciwnie niż inne pozycje testu i tym samym
przeciwnie niż inne pozycje testu i tym samym
zmniejsza wariancję testowania
zmniejsza wariancję testowania
Współczynniki mocy
Współczynniki mocy
dyskryminacyjnej
dyskryminacyjnej
do ostatecznej wersji testu powinny oczywiście
do ostatecznej wersji testu powinny oczywiście
wejść te pozycje, które zwiększają wariancję
wejść te pozycje, które zwiększają wariancję
testowania, a więc o dodatniej, wysokiej mocy
testowania, a więc o dodatniej, wysokiej mocy
dyskryminacyjnej
dyskryminacyjnej
istnieje kilkadziesiąt współczynników mocy
istnieje kilkadziesiąt współczynników mocy
dyskryminacyjnej – wyodrębnia się 3 ich
dyskryminacyjnej – wyodrębnia się 3 ich
kategorie:
kategorie:
•
proste współczynniki dyskryminacyjne
proste współczynniki dyskryminacyjne
•
współczynniki oparte na analizie korelacji między
współczynniki oparte na analizie korelacji między
wynikiem danej pozycji a ogólnym wynikiem w teście
wynikiem danej pozycji a ogólnym wynikiem w teście
•
współczynniki oparte na analizie różnic między tzw.
współczynniki oparte na analizie różnic między tzw.
skrajnymi grupami
skrajnymi grupami
anegdotka:
anegdotka:
jak Krzyżacy odróżniali chłopców od
jak Krzyżacy odróżniali chłopców od
mężczyzn
mężczyzn
Miary mocy
dyskryminacyjnej
Współczynnik korelacji dwuseryjnej
Współczynnik korelacji punktowo-
dwuseryjnej
Współczynnik korelacji punktowo-
czteropolowej
Skorygowany współczynnik
korelacji pozycja-skala
Współczynnik korelacji
dwuseryjnej
(M
p
- M
q
)
---------------
S
r
bis
= -----------------------
(p q)
--------
y
Współczynnik korelacji
dwuseryjnej
gdzie M
p
- to średnia wyników w skali tych
osób, które odpowiedziały na daną pozycję
zgodnie z kluczem, M
q
- to średnia wyników
w skali tych osób, które odpowiedziały na
daną pozycję niezgodnie z kluczem, S -
odchylenie standardowe wyników w całym
teście, p - to proporcja tych osób, które
odpowiedziały na daną pozycję zgodnie z
kluczem, q - to proporcja tych osób, które
odpowiedziały na daną pozycję niezgodnie
z kluczem, zaś y - to rzędna rozkładu
normalnego odpowiadająca proporcji p.
Współczynnik korelacji
-punktowo dwuseryjnej
(M
p
- M
q
)
----------------
S
r
p-bis
= -------------------
(p q)
Współczynnik korelacji
punktowo-dwuseryjnej
gdzie M
p
- to średnia wyników w skali tych
osób, które odpowiedziały na daną pozycję
zgodnie z kluczem, M
q
- to średnia wyników
w skali tych osób, które odpowiedziały na
daną pozycję niezgodnie z kluczem, S -
odchylenie standardowe wyników w całym
teście, p - to proporcja tych osób, które
odpowiedziały na daną pozycję zgodnie z
kluczem, q - to proporcja tych osób, które
odpowiedziały na daną pozycję niezgodnie
z kluczem.
Współczynnik korelacji
punktowo-czteropolowej
(phi)
f
g
- f
d
phi = ------------
(p q)
fg - proporcja osób w górnej połowie próby, które
odpowiedziały na daną pozycję zgodnie z kluczem
fd - proporcja osób w dolnej połowie próby, które
odpowiedziały na daną pozycję zgodnie z kluczem
Współczynnik korelacji
punktowo-czteropolowej
gdzie f
g
- to proporcja osób w górnej
połowie próby, które odpowiedziały
na daną pozycję zgodnie z kluczem, f
d
- to proporcja osób w dolnej połowie
próby, które odpowiedziały na daną
pozycję zgodnie z kluczem, p - to
proporcja osób w całej próbie, które
odpowiedziały na daną pozycję
zgodnie z kluczem, q - to proporcja
tych osób, które odpowiedziały na
daną pozycję niezgodnie z kluczem.
Moc dyskryminacyjna pozycji -
przykład
Student
Wynik
ogólny (%)
Pytanie
1
2
3
Jan
90
1
0
1
Krzysztof
90
1
0
1
Joanna
80
0
0
1
Wojtek
80
1
0
1
Jacek
70
1
0
1
Sonia
60
1
0
0
Julia
60
1
0
1
Agata
50
1
1
0
Matylda
50
1
1
0
Mateusz
40
0
1
0
Moc dyskryminacyjna i trudność
pozycji – „krok po kroku”
1.
Po uszeregowaniu wyników studentów od najwyższego do
najniższego, policz ilu studentów z wysokimi i ilu z niskimi
wynikami właściwie rozwiązało zadanie. Dla zad. #1 było to
po 4 studentów z obu grup.
2.
Policz współczynnik trudności dzieląc liczbę osób, które
rozwiązały zadanie prawidłowo przez liczbę wszystkich
badanych. Dla zad. #1 jest to 8/10=0,8
3.
Określ współczynnik mocy dyskryminacyjnej odejmując
liczbę studentów z niskimi wynikami, którzy rozwiązali
zadanie prawidłowo od liczby studentów z wysokimi
wynikami, którzy rozwiązali zadanie prawidłowo. Następnie,
podziel przez liczbę studentów studentów w każdej grupie
(tutaj 5). Dla zad #1 oznacza to odjęcie 4 od 4 i podzielenie
przez 5, co daje współczynnik mocy dyskryminacyjnej
równy 0.
Moc dyskryminacyjna pozycji -
przykład
Pytanie
Liczba
poprawnych
odpowiedzi
(górna
połowa)
Liczba
poprawnych
odpowiedzi
(dolna
połowa)
Trudność
Moc
dyskryminacyjna
#1
4
4
0,80
0
#2
0
3
0,30
-0,6
#3
5
1
0,60
0,8
Czynniki zniekształcające wyniki
testowe
1.
Zgadywanie
2.
Tendencja do udzielania odpowiedzi społecznie
aprobowanych albo społecznie nie
aprobowanych
•
tendencja do dysymulowania (aprobata społeczna)
•
tendencja do symulowania
3.
Style odpowiadania
• tendencja do lateralizacji (style graficzne)
• tendencja do zgadzania się lub zaprzeczania
• tendencja do udzielania odpowiedzi
ekstremalnych albo centralnych przy
wielokategorialnych formatach odpowiedzi
(np. wybieranie znaków zapytania lub
wyłącznie kategorii krańcowych)
Czynniki zniekształcające wyniki
testowe
tendencja do udzielania odpowiedzi losowych
(zgadywania)
tendencja do udzielania odpowiedzi
niekonsekwentnych
tendencja do udzielania odpowiedzi
niezdecydowanych (opuszczenia)
tendencja do udzielania odpowiedzi impulsywnych
tendencja do udzielania odpowiedzi produktywnych
tendencja do udzielania odpowiedzi pozornie
oryginalnych (odwrotność aprobaty)
tendencja do udzielania odpowiedzi
konwencjonalnych
Dysymulacja
Dysymulacja
Dysymulacja - świadoma lub
nieświadoma tendencja osoby
badanej do przedstawiania się w
nieprawdziwie korzystnym świetle.
Tendencja do dysymulowania
a aprobata społeczna
Dysymulacja najczęściej wiązana jest
ze zmienną aprobaty społecznej,
która jest rozumiana jako tendencja
osoby badanej do kierowania się
społecznym wartościowaniem
zachowania przy odpowiadaniu i
prowadzi do zaprzeczania posiadania
cech społecznie niepożądanych oraz
przypisywania sobie cech społecznie
pożądanych.
Aprobata społeczna
Aprobata społeczna jako styl
odpowiadania (czy inaczej postawa
wobec badania) to tendencja
jednostki do kierowania się przy
odpowiadaniu nie tyle faktycznym
zachowaniem, czy treścią pytania,
ale społeczną oceną, jaką pociąga za
sobą dana odpowiedź.
Tendencja do dysymulowania
i aprobata społeczna c.d.
Aprobata jako
cecha
to tendencja
podmiotu do takiego modulowania
zachowania (każdego - testowego,
jak i realnego, pozatestowego), by
było ono zgodne ze społecznym
wartościowaniem - normami
społecznymi, akceptacją otoczenia.
Metody kontroli
(eliminowania) wpływu
aprobaty
Na etapie konstrukcji kwestionariusza:
1). Pozycje neutralne
2). Pozycje subtelne pod względem trafności
fasadowej
3). Specjalne formułowanie językowe pozycji
4). Analiza podatności pozycji przez
manipulowanie instrukcją
5). Analizy itemmetryczne,
6). Korelacje pozycji ze skalami mierzącymi
aprobatę społeczną
Metody kontroli
(eliminowania) wpływu
aprobaty
5). Analiza podatności pozycji przez
manipulowanie instrukcją,
6). Analizy itemmetryczne,
7). Korelacje pozycji ze skalami
mierzącymi aprobatę społeczną;
Metody kontroli
(eliminowania) wpływu
aprobaty
Na etapie stosowania
kwestionariusza:
8). Instrukcja "szczerości",
9). Zmiana procedury badania -
komputeryzacja testu,
Metody kontroli
(eliminowania) wpływu
aprobaty
10). Skala kontrolna aprobaty
społecznej, na podstawie której
odrzuca się respondentów o
wysokich wynikach lub koryguje
wyniki skal treściowych przez
doliczanie tzw. poprawek
korekcyjnych,
11). Wprowadzenie do diagnozy
psychologicznej szacowania cech.
Tendencja do symulowania -
definicja
Tendencja do
symulowania
-
świadome lub nieświadome
udzielanie odpowiedzi,
bezpodstawnie
przedstawiających
osobę badaną w
niekorzystnym
świetle
, np. wskazujących na
istnienie określonych zaburzeń
zachowania czy niepożądanych cech
osobowości.
Tendencja do symulowania
(c.d.)
Tendencja do symulowania jest
zarówno
postawą
wobec badania,
(styl odpowiadania, np."super-
szczerość"), jak trwałym syndromem
cech
osobowości, związanym z
tendencjami agrawacyjnymi,
obniżoną samooceną,
ekscentrycznością i zaburzeniami
psychicznymi. Kontrolowanie
tendencji do symulacji umożliwiają
specjalne skale kontrolne.
Styl odpowiadania - definicja
Styl odpowiadania
- tendencja osoby
badanej do wybierania określonej
opcji odpowiedzi, niezależnie od
treści pytania.
Kontrolowanie stylów
odpowiadania:
a). wyrównanie liczby pozycji
diagnostycznych na "tak" i "nie",
(tendencja do zgadzania się i
zaprzeczania)
b). eliminowanie odpowiedzi
pośrednich (centralny styl
odpowiadania) lub stosowanie skal
kontrolnych, bazujące na zliczaniu
odpowiedzi centralnych,
niezdecydowanych).
Kontrolowanie stylów
odpowiadania:
c). stosowanie skal kontrolnych, np.
skali konsekwencji (nieuważność) lub
konstruowanie skal statystycznych
do kontroli stylu (bazujących na
porównaniu proporcji odpowiedzi, np.
potakujących czy negujących w
skalach treściowych).
Zgadywanie - definicja
Zgadywanie
jest specyficznym
czynnikiem zniekształcającym wyniki
testów zdolności, związanym z
udzielaniem odpowiedzi losowych,
gdy badani nie znają właściwych
odpowiedzi
(„jak nie wiem, to będę
strzelał”)
.
Kontrolowanie zgadywania
a). poprzez instrukcję testową:
wyrównywanie tendencji do
zgadywania (zachęcanie do
zgadywania) lub eliminowanie
zgadywania (informacja o stosowaniu
korekty wyników);
Poprawka na zgadywanie
Poprawka na zgadywanie
Poprawka na zgadywanie
Poprawka na zgadywanie
P
P
B
m
K
1
W przypadku testów wiedzy możliwa jest
korekta wyniku otrzymanego poprzez
zastosowanie tzw. poprawki na zgadywanie,
obliczanej według wzoru:
gdzie: P
k
- wynik po korekcie, P - wynik
surowy (otrzymany), B - liczba błędnych
odpowiedzi, m - liczba opcji odpowiedzi w
zadaniach.
Poprawka na zgadywanie
Poprawka na zgadywanie
(2)
(2)
Poprawka na zgadywanie
Poprawka na zgadywanie
(2)
(2)
stosowanie poprawki na zgadywanie uzasadnione jest
stosowanie poprawki na zgadywanie uzasadnione jest
tylko
tylko
w testach z ograniczeniem czasowym
w testach z ograniczeniem czasowym
w przypadku testów, gdzie osoby badane mogą
w przypadku testów, gdzie osoby badane mogą
„rozwiązywać” wszystkie zadania stosowanie
„rozwiązywać” wszystkie zadania stosowanie
poprawki na zgadywanie jest nieuzasadnione
poprawki na zgadywanie jest nieuzasadnione
warunkiem stosowania poprawki na zgadywanie jest
warunkiem stosowania poprawki na zgadywanie jest
taka postać wszystkich zadań, iż wszystkie opcje
taka postać wszystkich zadań, iż wszystkie opcje
odpowiedzi są równie atrakcyjne
odpowiedzi są równie atrakcyjne
stosowanie poprawki na zgadywanie ma sens
stosowanie poprawki na zgadywanie ma sens
szczególnie w przypadku testów składających się z
szczególnie w przypadku testów składających się z
zadań o małej liczbie opcji odpowiedzi (n<4)
zadań o małej liczbie opcji odpowiedzi (n<4)
poprawkę na zgadywanie szczególnie warto stosować
poprawkę na zgadywanie szczególnie warto stosować
w przypadku trudnych testów, gdyż nasilają one
w przypadku trudnych testów, gdyż nasilają one
tendencję do zgadywania
tendencję do zgadywania