Poza eksperyment …
Problem trafności
w oparciu o materiały
prof. J. Karyłowskiego oraz
prof. A. Nowaka
Hasło: mil
Poza eksperyment …
Problem trafności
w oparciu o materiały
prof. J. Karyłowskiego oraz
prof. A. Nowaka
Hasło: mil
Teorie oraz wyniki badań podstawowych
często dostarczają wstępnej perspektywy z
której można zacząć pojmować złożoność
problemów w warunkach naturalnych
Ale czy wyniki badań prowadzonych w
laboratorium (w wysoce kontrolowanych
warunkach) mogą być uogólniane na
konkretne problemy stosowane
Eksperyment laboratoryjny
Dostarcza środków, które pozwalają na
pełną kontrolę przedmiotu badania oraz
Zapewniają trafność wnioskowania o
zależnościach przyczynowo-skutkowych
Słaby model dla problemów np. stosowanej
psychologii zdrowia
Na ile jesteśmy przygotowani na rozwiązywanie
trudności badań w środowisku naturalnym
Kontrola
klucz do dobrego badania
Trzy modele kontroli
Od fizyków – izolowanie zjawiska od innych czynników,
które mogą wpływać na wyniki badania (uproszczony
model)
Od rolnictwa – losowy przydział jednostek do grup o
różnych warunkach eksperymentalnych
Fisher – zasada randomizacji gwarantuje początkową
równoważność grup pod względem wpływu możliwych, lecz
nieistotnych dla badania czynników
Opieranie się na tej zasadzie nie zawsze zapewnia dostateczną
równoważność grupy kontrolnej i eksperymentalnej
Od nauk społecznych – nie zawsze eliminacja innych
ważnych zmiennych jest możliwa
Za pomocą procedur statystycznych można eliminować
wpływ innych zmiennych
W badaniach epidemiologicznych – choroba wieńcowa a dieta
ważne aby wyeliminować wpływ innych zmiennych ……
Czyli spotkały się w
eksperymencie:
Manipulacja
Randomizacja
Kontrola zmiennych ubocznych
Zidentyfikowane
Rzetelnie mierzone
Znany jest ich związek ze zmienną
zależną
trafność
Dbajmy o podstawy do
weryfikacji hipotez
Trafność wnioskowania
statystycznego
Możliwość wykrycia przez badacza
związków między zmiennymi
Czyli dajmy sobie szansę poprzez
Moc planu badawczego
Spełnienie założeń testów
statystycznych
Moc planu badawczego
Zdolność do wykrywania zależności pomiędzy
zmiennymi, jeżeli takie rzeczywiście istnieją
Ryzyko popełnienia błędu II rodzaju
Gdy dużo badaczy, dostęp do studentów jako osób
badanych – niedoskonałe eksperymenty mogą być
zawsze poprawione i jeszcze raz przeprowadzone
z udziałem nowych badanych
Ale w badaniach stosowanych znacznie większe
koszty powtórnego badania
Dostęp do badanych ograniczony i trudny
Opłacanie udziału w badaniu stąd…..
często jest to jedyna możliwość sprawdzenia hipotez
Co zrobić?
Stosować rzetelne narzędzia pomiaru zmiennych
nie opierać się jedynie o skale 0-1, skale o znanej
rzetelności
Nadzorować przebieg badania
instrukcje dla eksperymentatorów
Mierzyć zmienne uboczne
ich wpływ potem można przy analizie statystycznej usunąć
Zwiększać jednorodność grup badanych
grupy heterogeniczne – większa wariancja błędu, szum
zakłócający nasze oddziaływanie;
pretesty
Zwiększyć liczebność próby w badaniach terenowych
to, co może być istotnym efektem w laboratorium, przy
badaniach terenowych testy statystyczne przy niewielkich
próbach mają małe szanse wykrycia istotnych i mocnych
związków.
o trafności wewnętrznej
Trafność wewnętrzna
Stopień w jakim zebrane dane
pozwalają stwierdzić, że to zmienna
niezależna a nie inne czynniki
odpowiedzialne są za poziom zmiennej
zależnej
Na ile uzyskany efekt może być przypisany
oddziaływaniu
Filozoficzne podstawy schematu
eksperymentalnego
Kanony J S Milla
jedna z najdoskonalszych metod
wykrywania zależności pomiędzy
zmienną niezależną a innymi
elementami badanego układu
pozwalające ustalać związki
przyczynowe między występowaniem
zjawisk, umożliwiają wyciągnięcie
ogólnych prawidłowości z
jednostkowych obserwacji.
Kanon jedynej zgodności
jeżeli zjawisko A występuje
zawsze wspólnie ze zjawiskiem B
lub je poprzedza, to A jest
prawdopodobnie przyczyną B,
Stosowanie kanonu zgodności napotyka na
poważną trudność w przypadku, który Mill
nazywa “wielością przyczyn”. To znaczy,
gdy ten sam skutek może (w różnych
wypadkach) wynikać z różnych przyczyn.
Kanon jedynej różnicy
A, B, C występuje K
¬A, B, D nie występuje K
¬A, C, D nie występuje K
Stąd wynika, że A jest prawdopodobną
przyczyną zjawiska K. Możemy stwierdzić,
że owa usunięta okoliczność jest przyczyną
badanego zjawiska.
Według kanonu jedynej różnicy w różnego
rodzaju eksperymentach, w których
każdorazowo zmieniamy tylko jeden warunek,
a inne pozostają bez zmian.
W ciągu ostatnich 200 lat śnieg
cztery razy topniał w Dolinie
Muminków wcześniej niż zwykle. Za
każdym razem, gdy topniał
wcześniej, nad Doliną przelatywała
kometa. Tak więc Tatuś Muminka – w
oparciu o Kanon ……….. – stwierdził,
że przelatująca kometa jest
przyczyną tego zjawiska
Paweł i Gaweł żyli w jednym domku (na
piętrze, bo parter wynajęli Smerfom). Obaj
byli narażeni na takie same dawki promieni
X. Paweł w tajemnicy przed Gawłem
otrzymuje od Smerfów halucynogenne
smerfojagody i spożywa je w szafie. Gaweł w
nocy świeci, Paweł – nie. Na tej podstawie, w
oparciu o Kanon ……., Papa Smerf
opublikował w Nature artykuł, w którym
stwierdza, że spożywanie smerfojagód chroni
przed chorobą popromienną.
Trafność wewnętrzna
Stopień w jakim badacz wyciąga
trafne wnioski o efektach zmiennej
niezależnej
Eksperyment jest wewnętrznie
trafny, jeżeli eliminuje wszelkie
źródła wariancji artefaktualnej
Nic nie może systematycznie
różnić grup poza maniupulacją
Zagrożenia dla trafności
wewnętrznej
Związane ze schematem z powtarzanym
pomiarem
Dojrzewanie
Historia
Związane z pomiarem zmiennych
Testowanie
Zmiana narzędzia pomiaru w trakcie badania
Efekty oczekiwania badacza
Zlepienie zmiennych
Związane z doborem próby
Regresja do średniej
Selekcja oparta o ochotników
Systematyczne wypadanie z grup
o trafności teoretycznej
badania
Poziomy zmiennych zależnej i
niezależnych
Poziom teoretyczny
Definiujemy ogólne konstrukty teoretyczne oraz
relacje przyczynowo-skutkowe
Poziom operacyjny
Dobór wskaźników; miar
Trafność teoretyczna (konstruktów) - w
jakim stopniu użyte wskaźniki empiryczne
(definicje operacyjne) można uznać za
dobre zobrazowanie pojęć teoretycznych
(konstruktów).
Pomiar i manipulacja
Zmienna zależna jest zawsze
mierzona
Zmienna niezależna może być
manipulowana lub mierzona
Podstawą pomiaru lub manipulacji
jest definicja operacyjna
konstruktu teoretycznego
Definicja operacyjna
Obserwowalny sposób pomiaru
lub manipulacji
Sposób na to jak zmierzyć
pojęcie teoretyczne (konstrukt)
lub jak nim zamanipulować
Operacjonalizacja
Zmienne obserwowalne vs. zmienne latentne
Operacjonalizacja
- Z poziomu opisu
teoretycznego przechodzimy na poziom
empirii.
=> tworzenie/ dobór wskaźników do pomiaru
zmiennych.
=> określenie narzędzi pomiarowych oraz
procedur pomiaru.
Na podstawie wyników
otrzymanych z tych narzędzi będziemy
wnioskować o wartości zmiennej
.
Wskaźniki
Wskaźnikiem jest zdarzenie (własność),
którego wystąpienie pozwala wnioskować z
pewnym prawdopodobieństwem o innym
zdarzeniu/ własności (indicatum).
Wskaźnik zawsze musi być obserwowalny /
mierzalny. Zmienna (zjawisko
wskaźnikowane) może być nieobserwowalna.
Klasyfikacja wskaźników:
Empiryczne
Definicyjne
Inferencyjne
„
Narzekanie i jego konsekwencje dla
ekspresji zadowolenie i
niezadowolenia”
Autor: Iwona Babirecka
Promotor: Prof. dr hab. Bogdan
Wojciszke
Idea badania
Założenie: osoby, które mają dużą
skłonność do narzekania na skutek
częstego wyrażania niezadowolenia
tracą zdolność do wnioskowania
o doświadczanych emocjach z własnej
ekspresji mimicznej.
Strack, Martin i Stepper (1988)
wykazali, że własna ekspresja
mimiczna może być czynnikiem
wpływającym na formułowanie ocen.
hipotezy
istnieje różnica pomiędzy osobami, które
mają wysoką i niską skłonność do
narzekania w sposobie odczytywania
własnej ekspresji mimicznej;
osoby, które uzyskują niskie wartości na
skali narzekania będą bardziej podatne
na manipulację eksperymentalną
zgodnie z jej kierunkiem;
płeć jest czynnikiem wpływającym na
sposób odczytywania własnych emocji.
Schemat badania:
Zmienne niezależne:
2x2
(skłonność do narzekania: niska -
wysoka) x (ekspresja emocji sterowana
sposobem trzymania ołówka:
negatywna-pozytywna)
Zmienna zależna:
ocena śmieszności dowcipów
rysunkowych
definicje
„Narzekanie to wyrażanie
niezadowolenia, faktycznie
odczuwanego lub nie, celem
rozładowania emocji lub osiągnięcia
jakiś osobistych celów”
(Leary, Kowalski, 2001, s. 158).
Wojciszke i Baryła (2001)
wyrażanie niezadowolenia jest przejawem
akceptacji norm społecznych
obowiązujących w naszej kulturze.
1. Norma negatywności własnych stanów, na
którą składa się norma złego samopoczucia,
niezadowolenie z własnego życia, depresyjność i
występowanie efektu raju utraconego.
2. Norma negatywności świata społecznego,
gdzie decydującym elementem jest wiara w
niesprawiedliwość świata społecznego,
obwinianie innych ludzi za własne porażki oraz
ogólne przekonanie, że świat jest zły.
Metoda
Osoby badane
Zbadałam studentów pierwszego roku
psychologii Szkoły Wyższej Psychologii
Społecznej. Była to grupa 100 osób w wieku 18-
26 lat, o średniej wieku 19,83 lat (SD = 1,51).
Cztery osoby nie wypełniły precyzyjnie
wszystkich punktów dołączonego do badania
kwestionariusza, dlatego nie użyłam ich wyników
w dalszych obliczeniach statystycznych.
Ostatecznie analizowałam wyniki 96 osób,
w tym 74 kobiet i 22 mężczyzn.
Instrukcja
„ Na początku chciałabym powiedzieć o specyfice i przebiegu
naszego badania, abyś mógł /-ła zdecydować, czy chcesz
wziąć w nim udział. Ze względu na krótki czas, którym
dysponujemy nie powiem teraz o jego tematyce i celach.
Dane te zostaną przekazane w informacji zwrotnej po
zakończeniu całego projektu. Informacja będzie oparta na
wynikach całej grupy przebadanych osób i zostanie przesłana
pocztą elektroniczną, ponieważ badanie ma charakter
anonimowy. Badanie trwa około 15 min. Składa się z trzech
części. Przed każdą z nich otrzymasz krótką informację na
temat jej wykonania. Pierwsza z nich polega na obejrzeniu i
oszacowaniu śmieszności 12 obrazków przy jednoczesnym
utrzymywaniu w ustach ołówka. Druga to wypełnienie
kwestionariusza treści rozmów codziennych. Trzecia to
uzupełnienie skali opinii o świecie społecznym. Jeżeli
wyrażasz zgodę na udział w badaniu, możemy przystąpić do
jego pierwszej części.”
Jak poprawić trafność
teoretyczną
Sprawdzenie trafności operacjonalizacji
zmiennej niezależnej - Test manipulacji
eksperymentalnej i czynników zakłócających
Sprawdzenie trafności operacjonalizacji
zmiennej zależnej:
wprowadzenie innych wskaźników tego samego
konstruktu:
Wysoka korelacja z innymi wskaźnikami tych samych
konstruktów
trafność zbieżna
Brak korelacji z wskaźnikami innych konstruków
teoretycznych
trafność rozbieżna
Próba poprawienia
trafności wewnętrznej
Gdy oryginalne badanie nie było
eksperymentem
Gdy sądzimy, że oryginalne badanie
eksperymentalne było w sposób
systematyczny „zanieczyszczone”
dodatkowymi zmiennymi (pokrywanie się
zmiennych)
Zwykle wiąże się ze zmniejszeniem
trafności zewnętrznej lub/i trafności
konstruktów
o trafności zewnętrznej
W jakim stopniu
stwierdzone wyniki można
uogólnić na inne
zbiorowości, sytuacje?
Trafność zewnętrzna
Określa w jakim stopniu można
uogólnić wyniki otrzymane w
badaniu na populację
reprezentatywność próby
metody doboru próby
reprezentatywność sytuacji
badawczej
trafność narzędzi pomiaru
Losowy błąd pomiaru
Żaden pomiar nie jest idealny!
Każdy pomiar (i każdy dobór do
grup) obciążony jest błędem
losowym!
Błąd losowy nie jest
systematycznie związany ze
zmienną niezależną
Przykłady błędu losowego w
badaniu o narzekaniu
Badany nie zrozumiał pytania w kwestionariuszu
Badacz pomylił się obliczając lub wpisując wyniki
Niektórzy badani odpowiadali na pytania tak by nie
przyznać się narzekania
Systematyczny błąd
pomiaru
W systematyczny sposób
związany ze zmienną niezależną
(np. prowadzący do zawyżania
wyników w grupie
eksperymentalnej bardziej niż w
grupie kontrolnej lub odwrotnie)
Przykłady błędu systematycznego
Badani domyślali się hipotezy i starali się
pomóc badaczowi
Badacz tendencyjnie mylił się obliczając lub
wpisując wyniki zawyżając wyniki dla
nienarzekających
i….
Błąd losowy a błąd
systematyczny
Błąd losowy
Błąd systematyczny
Nieunikniony
Unikniony (zwł. w badaniach
eksperymentalnych)
Stosowanie statystycznych
testów istotności zabezpiecza
(z określonym prawd.) przed
popełnieniem błędu
pierwszego rodzaju
Stosowanie statystycznych
testów istotności nie
zabezpiecza przed
popełnieniem błędu
pierwszego rodzaju
Zwiększenie liczebności próby
zapobiega popełnieniu błędu
drugiego rodzaju
Zwiększenie liczebności próby
nie zapobiega popełnieniu
błędu drugiego rodzaju
Nie zagraża trafności
wewnętrznej
Zagraża trafności wewnętrznej
eksperyment
Dobór losowy i manipulacja
eksperymentalna
Wysoka trafność wewnętrzna
Niska trafność konstruktów
Niska trafność zewnętrzna
Preferencje
Teoretycznie zorientowane
eksperymenty laboratoryjne
1.
Trafność wewnętrzna,
2.
Trafność teoretyczna zmiennej
niezależnej i zależnej
3.
Trafność wnioskowania
statystycznego
4.
Trafność zewnętrzna
badanie korelacyjne
Brak doboru losowego do grup
Brak manipulacji
eksperymentalnej
Niska trafność wewnętrzna
Wysoka trafność konstruktów
Wysoka trafność zewnętrzna
Preferencje
Badania stosowane
1.
Trafność wewnętrzna,
1.
Chętniej z niej rezygnują na korzyść
trafności zewnętrznej
2.
Zewnętrzna trafność zmiennej zależnej
3.
Trafność wnioskowania statystycznego
4.
Zewnętrzna trafność zmiennej
niezależnej