Wstęp
Czy badania internetowe z wykorzystaniem kwestionariusza online są reprezentatywne? Co
to jest badanie reprezentatywne? W jakich badaniach lepiej sprawdza się ankieta internetowa
a w jakich metody tradycyjne. Dlaczego nie można wykonać badania w 100%
reprezentatywnego? Przeczytaj i dowiedz się więcej o reprezentatywności w badaniach
marketingowych.
Czy badania metodą ankiety internetowej (CAWI) są reprezentatywne?
Za przyczyną nietrafionych sondaży politycznych, sporo mówi się teraz w mediach o
reprezentatywności metod ilościowych w badaniach marketingowych. Oberwało się metodzie
wywiadu telefonicznego (CATI), która nie zawsze jest najlepszym narzędziem. Na realnych,
ż
yciowych przykładach zobaczyliśmy, że ankiety o dużym stopniu intymności, a takimi są
ankiety dotyczące preferencji politycznych, wymagają narzędzi, które zapewnią
respondentowi poczucie intymności oraz anonimowości.
Kwestia reprezentatywności w badaniach wzbudza wiele kontrowersji wśród osób, które w
imieniu swojej firmy, stają przed decyzją wyboru firmy badawczej. Słowo
„reprezentatywny” odmieniane jest przez wszystkie przypadki w trakcie negocjacji z firmą
badawczą. Zamawiający chciałby bowiem wydać swoje pieniądze w sposób najlepszy z
możliwych, uzyskując badanie, na podstawie którego będzie mógł lepiej zarządzać swoją
firmą.
Niestety, nie zawsze Zamawiający zdaje sobie sprawę co to jest ta „reprezentatywność”.
Widzę rozczarowanie wielu z nich, kiedy próbuję być fair wobec Klienta i tłumaczyć, że nie
ma czegoś takiego jak „reprezentatywne badanie”. Reprezentatywność jest bowiem
terminem, który należy rozpatrywać dopiero w kontekście dodatkowych informacji, które
pozwolą ocenić jej poziom. Reprezentatywności nie można oceniać w kategoriach 0-1.
Każde badanie w pewnym sensie jest reprezentatywne tylko pytanie w jakim stopniu i dla
jakiej populacji. Jeśli bowiem chcemy znać preferencje czytelnicze polskiego społeczeństwa,
to nie powinniśmy pytać o zdanie jedynie profesorów filologii polskiej, którzy chociaż na
literaturze znają się bardzo dobrze, to z pewnością nie odzwierciedlają gustu całego
społeczeństwa. Podobnie, na kwestię reprezentatywności wpływ będzie mieć wielkość
populacji, o której chcemy wnioskować – próba 300 maklerów giełdowych wypowiadających
się w ankiecie nt. przyszłego trendu na giełdzie prawdopodobnie będzie wystarczająca do
stwierdzenia, jakie nastroje panują wśród maklerów. Jeśli natomiast zapytamy 300 gospodyń
domowych o nawyki kulinarne, to uzyskane dane nie będą nas uprawniać do wyciągania
reprezentatywnych wniosków. Maklerów giełdowych w Polsce jest bowiem znacznie mniej
niż gospodyń domowych. W konsekwencji, również liczebność próby badawczej powinna
być różna dla obu populacji.
Zacznijmy więc od początku. Czym jest „próba reprezentatywna”?
Próba reprezentatywna to taka próba, która daje wyniki zbliżone do wyników całej populacji,
pozwalające na uogólnienie wniosków z próby badawczej na całą populację. Innymi słowy,
jest to miniatura populacji badanej, która odzwierciedla jej najważniejsze cechy. Jeśli chcemy
zbadać wpływ palenia papierosów na stan zdrowia i chcemy uzyskać próbę reprezentatywną
dla cechy jaką jest fakt palenia papierosów, to udział palaczy w próbie powinien być
podobny do tego, jaki faktycznie występuje w całej populacji.
Jednak należy pamiętać, że próba reprezentatywna dobierana jest zwykle ze względu na
określone cechy. Najczęściej wyróżnia się reprezentatywność ze względu na cechy
społeczno – demograficzne. Może to być wiek, płeć, miejsce zamieszkania, wykształcenie,
zarobki itd. Niestety niewiele jest takich zmiennych, dla których dostępne są dokładne dane
statystyczne. Dla części z nich dostępne są jedynie dane szacunkowe. Dlatego trudno
zapewnić reprezentatywności ze względu na poziom wykształcenia czy stan cywilny, a
jeszcze trudniej ze względu na fakt używania jakiegoś produktu czy usługi.
Innym problemem, który ma znaczący wpływ na reprezentatywność jest liczebność próby.
Każde badanie, nawet to przeprowadzone na grupie reprezentatywnej obciążone jest błędem
statystycznym. W miarę zwiększania wielkości próby błąd statystyczny maleje. Jednakże
należy pamiętać, że nie maleje on proporcjonalnie do wzrostu liczebności próby a najczęściej
jedynie do pierwiastka ze wzrostu tej liczebności.
Przykładowo, wynik badania przeprowadzonego na grupie 500 respondentów jest obarczony
błędem o maksymalnej wysokości 4,4%. Dopiero przy wyborze grupy 2000 osób uda nam się
zredukować błąd o połowę do wysokości 2,2%.
Warto jednak pamiętać, że nie istnieje próba reprezentatywna w 100%. Każda próba jest
obarczona jakimś błędem. I aby mieć 100%-ową pewność co do zgodności wyników badania
ze zdaniem całej populacji to trzeba byłoby zapytać wszystkich członków danej populacji. A
to najczęściej nie jest niestety możliwe.
Innym ważnym pytaniem, na które należy sobie odpowiedzieć, dążąc do uzyskania jak
najbardziej reprezentatywnych wyników badania, jest pytanie o to, kogo powinniśmy badać.
Może się bowiem okazać, że wcale nie potrzebujemy kosztownego badania na próbie
reprezentatywnej dla całego społeczeństwa. Odpowiedź na to pytanie zawsze zależy od
specyfiki badania. Bo o ile producent męskich kurtek zimowych jak najbardziej powinien
uwzględnić w swojej próbie kobiety, które często są odpowiedzialne za to jak ubierają się ich
mężczyźni, o tyle zdanie mężczyzn na temat płaszczy damskich będzie już znacznie mniej
istotne dla pozyskania rzetelnych danych i wnioskowania o preferencjach konsumenckich.
Reprezentatywność próby w naszym przypadku to uwzględnienie w niej tych osób (wg z
góry zdefiniowanych kryteriów), które w sposób istotny mogą interesować Zamawiającego
badanie z perspektywy jego celów biznesowych, specyfiki rynku, grupy docelowej jego
produktu itd.
Wiemy już sporo o reprezentatywności badań marketingowych i tego co na nią wpływa.
Wróćmy więc do tytułowego pytania w tym artykule. Czy badania metodą ankiety
internetowej są reprezentatywne?
Podstawowy zarzut jaki wytaczany jest wobec metody CAWI to fakt, że nie wszyscy mają
dostęp do Internetu, przez co z założenia badania nie mogą odzwierciedlać postaw, opinii i
zachowań całego społeczeństwa. Istotnie, nie wszystkie grupy społeczne posiadają dostęp do
Internetu w tym samym zakresie. I tego argumentu odeprzeć się na pewno nie uda. Trzeba
jednak pamiętać o tym, iż odsetek ludzi posiadających dostęp do Internetu z każdym dniem
wzrasta, a Internet staje się coraz bardziej powszechny. Co więcej, ze względu na jego
rosnącą powszechność, w niektórych grupach populacji badanie prowadzone w Internecie
będzie na pewno obarczone mniejszym błędem niż badanie przeprowadzane metodą CATI
(Computer Assisted Telephone Interview) czy PAPI (Paper and Pencil Interview). Jeśli
chcemy pozyskać w sposób losowy tegorocznych maturzystów aby spytać ich jak
przygotowują się do matury, efektywniej i skuteczniej znajdziemy ich w sieci niż przy
telefonach stacjonarnych, które stanowią bazę teleadresową dla badań CATI. Obecny tryb
ż
ycia, duża aktywność i mobilność społeczeństwa powoduje, że w domu spędzamy coraz
mniej czasu, a więc i trudniej zastać osobę, która znajdzie czas na odpowiadanie przez
telefon na pytania ankietera. To samo dotyczy metody PAPI. Jak bowiem przeprowadzać
badania na strzeżonych osiedlach?
Są pewne grupy populacji, których sposób życia i nawyki konsumenckie wręcz idealnie
pasują do metody CAWI. Są to na pewno ludzie młodzi, osoby aktywne zawodowo -
pracownicy firm mający dostęp do komputera i Internetu. Dostęp do Internetu czy posiadanie
konta e-mail wśród tych grup jest tak samo powszechne jak dostęp do ciepłej wody czy
energii elektrycznej.
Błędem natomiast byłoby próba przeprowadzenia badania CAWI na grupie osób starszych,
emerytów czy rencistów, którzy często dostępu do komputera i Internetu nie mają i nie chcą
mieć. Badanie CAWI na grupie emerytów byłoby z pewnością obciążone sporym błędem, a
w konsekwencji okazałoby się niereprezentatywne dla tej populacji.
Nie bez znaczenia dla wyboru metody badawczej ma cel i tematyka badania. Z pewnością
jeśli chcemy przebadać smakoszy coca – coli czy posiadaczy konsoli do gier nie
potrzebujemy troszczyć się o to, aby przeprowadzać badanie na próbie reprezentatywnej dla
całego społeczeństwa. Wystarczy celowy dobór respondentów. I tutaj respondentów jak
najbardziej należałoby szukać właśnie w Internecie. To logiczne, że nie będziemy ich szukać
wśród osób starszych czy młodych matek.
Drugim dobrym przykładem może być badanie satysfakcji pracowników firmy? Jeśli
pracownicy pracują w biurze to metoda CAWI jest bardzo wskazana. Ankietę mogą wypełnić
w przysłowiowej „wolnej chwili”. Ale jeśli takie badanie miałaby przeprowadzić huta szkła,
w której 65% załogi to robotnicy pracujący na hali produkcyjnej, prawdopodobnie tradycyjna
ankieta papierowa byłaby lepszym rozwiązaniem.
Artykuł ten zaczęliśmy od przypomnienia kontrowersji jakie wzbudziły telefoniczne badania
sondażowe preferencji politycznych. Czas najwyższy poruszyć kwestię jakości
pozyskiwanych danych. Warto się zastanowić, na ile wiarygodne są wyniki badania, w
którym respondent wyrwany z właśnie wykonywanych czynności (odrabianie zadań z
dzieckiem czy obiad dla mających właśnie przybyć gości) bezmyślnie odpowiada na kolejne
pytania ankietera. Jaką jakość mają te wyniki?
Metoda CAWI to także system informatyczny, który umożliwia wypełnienie ankiety w
dowolnej chwili i co więcej, w wielu przypadkach chroni przed popełnieniem błędu. System
pilnuje, aby pytania zadawane respondentowi wyświetlały się we właściwej kolejności. I nie
ma konieczności zapisywania danych do zbioru danych gdyż zbiór tworzy się na bieżąco w
miarę spływania kolejnych ankiet.
Bo co nam po reprezentatywnym badaniu, w którym aż roi się od błędów, najpierw ankietera,
który nieuważnie wypełniał ankietę odpowiedziami respondenta, a później osoby
wprowadzającej dane do komputera.
To, co przemawia za wyborem metody CAWI to fakt, że respondent może wypełnić ankietę
w najbardziej dogodnym dla niego terminie. Np. po godz. 22 (kiedy dzieci już śpią), czy w
niedzielę popołudniu, kiedy mamy chwilę na sprawy mniej pilne.
Last but not least – czyli pieniądze. Budżet wielkości kilku tysięcy zł na pewno nie pozwoli
na przeprowadzenie badania na reprezentatywnej próbie metodą PAPI czy nawet CATI. Ale
jak najbardziej, taki budżet pozwala przeprowadzić profesjonalne badanie metodą CAWI, w
ramach którego pozyskamy liczbę ankiet uprawniającą do wysuwania rzetelnych i
wiarygodnych wniosków.
Dzieje się tak głównie za sprawą niższego kosztu dotarcia do respondentów, który jest
znacznie mniejszy w porównaniu do badań CATI czy PAPI. Nie trzeba zatrudniać rzeszy
ankieterów pozyskujących wywiady drogą telefoniczną czy na papierze. Koszt promocji
badania w Internecie to głównie koszt umiejscowienia baneru czy linka. A koszt wysyłki
zaproszeń drogą mailową, jeśli dysponujemy bazą teleadresową jest praktycznie zerowy
(pomijając koszt pracy autora ankiety).
Wyniki w postaci surowego zbioru danych także dostępne są już chwilę po zamknięciu
badania. Zebranych ankiet nie trzeba zliczać i przenosić do systemu ponieważ dane zapisują
się na bieżąco.
Jeśli
interesuje
Cię
ten
temat,
zachęcamy
do
odwiedzenia
strony
www.badaniamarketingowe.org.pl
Znajdują się tam informacje na temat szkoleń i
seminariów z zakresu badań marketingowych metodą online, w tym również tych, które są
dofinansowane z funduszy europejskich.
Autor: Damian Dec, Członek Zarządu PB Online Sp. z o.o., właściciel serwisu
www.portalbadan.pl
– aplikacji do realizacji badań metodą online.