Wykład 2: Prezentacja danych
Biometria i
Biostatystyka
Wykład 2: Prezentacja danych
Biometria i
Biostatystyka
Analiza danych
Strategie
Niezależna analiza każdej ze zmiennych
Poszukiwanie relacji między zmiennymi
Analiza wielowymiarowa
Statystyki opisowe oraz reprezentacje
graficzne są najlepszym sposobem
prezentacji danych
Wykresy zmiennych typu
kategorie
Dystrybucja zmiennych typu
kategorie
Prezentacja:
Ilościowa
Procentowa
Wykresy słupkowe
Wykresy kołowe
Wykresy „łodygowe” (stem-
leaf)
Obrazują kształt rozkładu,
jednocześnie ukazując na wykresie
wartości numeryczne.
Są najbardziej odpowiednie dla
niewielkiej liczby dodatnich
obserwacji.
Rysowanie wykresu
łodygowego
Podziel każdy wynik na łodygę (stem) i
listek (leaf).
Łodyga: tyle cyfr ile potrzeba
Listek: pojedyncza cyfra
Wypisz łodygi w pionowej kolumnie
rosnąco w dół. Narysuj pionową linię po
prawej stronie.
Wypisz każdy listek w wierszu po prawej
stronie od jego łodygi, w porządku
rosnącym.
Liczba odwiedzin dziennie
54
59
35
41
46
25
47
60
54
46
49
46
41
34
22
54
59
35
41
46
25
47
60
54
46
49
46
41
34
22
Porównywanie dwóch
rozkładów
Wykresy o
wspólnym
pniu
Wykresy „łodygowe”, cd.
Są nieodpowiednie dla dużych zestawów
danych
Każda łodyga musi zawierać dużą ilość listków
Warianty:
Podzielić każdą łodygę na dwie, np.:
Jedna z liśćmi od 0 do 4
Druga z liśćmi od 5 do 9
Zadanie: zobrazować kształt rozkładu
Zasady:
dzielić jeśli jest mniej niż 5 łodyg
łączyć jeśli wiele łodyg ma po 1 liściu (lub wcale)
Badanie rozkładu
Należy zwrócić uwagę na ogólny wzorzec
oraz na odstępstwa od niego.
Pomocne określenia
Kształt
Środek
Rozrzut
Ważnym rodzajem odstępstwa jest
wielkość odstająca - niezależna wartość,
która wyraźnie odstaje od ogólnego
wzorca.
Badanie rozkładu, cd.
Punkt środkowy
Opisuje środek rozkładu
Połowa obserwowanych wartości jest mniejsza
od niego, druga połowa ma wartości większe
Zakres - różnica największej i
najmniejszej wartości
Opisuje rozrzut/zmienność rozkładu
Wykres łodygowy
Obrazuje kształt rozkładu
Badanie rozkładu, cd.
Moda
Szczyt wykresu dystrybuanty
Unimodalne rozkłady mają jeden szczyt
Rozkład symetryczny
Wartości po jednej stronie mediany są
lustrzanym odbiciem wartości po drugiej
stronie
Rozkład skośny
Jeden koniec wykresu jest dłuższy niż drugi
Histogramy
Nie mają takich ograniczeń jak
wykresy łodygowe
Dzielą zakres obserwowanych wartości
na przedziały, pokazując jedynie
liczności lub udział procentowy
obserwacji w danym przedziale
Można wybrać dowolną liczbę
przedziałów równej szerokości
Rysowanie histogramu
1.
Podziel zakres zmienności danych
na przedziały o równej szerokości.
2.
Zlicz liczbę obserwacji w każdym
przedziale. Zrób tabelę częstości
wystąpień.
3.
Narysuj histogram.
Histogramy, cd.
Częstości względne
Ułamek lub procent obserwacji, które
przypadają na poszczególne przedziały
Poprawnie oznacz „liczba” lub „procent”.
Właściwy wybór przedziałów:
Za mało: wszystkie wartości tylko w kilku
przedziałach
Za dużo: dużo przedziałów ma 1 lub mniej
wyników
Histogramy, cd.
Wzór heurystyczny do oszacowania szerokości
przedziału:
Jeśli szerokość przedziału jest za mała lub za
duża, można ją skorygować przez pomnożenie
lub podzielenie przez a = 1.2 ÷1.5
Sprawdza się przy rozkładach zbliżonych do
rozkładu normalnego oraz przy względnie
dużych n (liczność próby)
3
1
n
IQR
64
.
2
h
0
Histogramy, cd.
Jest kilka innych wzorów pomocnych
przy poszukiwaniu liczby przedziałów.
Kilka przykładów:
Żeby znaleźć szerokość, wystarczy
podzielić zakres przez k.
)
n
(
log
3
.
3
1
k
n
k
)
n
(
log
5
k
10
10
Histograms, cont.
93
.
5
h
14
k
0
Histograms, cont.
40
.
3
h
24
k
0
Histograms, cont.
11
.
4
h
20
k
0
Histograms, cont.
12
.
10
h
8
k
0
Histograms, cont.
Histogramy, cd.
Wiele zależy od Twojej decyzji odnośnie
szerokości przedziałów.
Pole pod krzywą zmienia się w zależności od h i
jest równe:
Żeby otrzymać eksperymentalną funkcję gęstości
prawdopodobieństwa, musimy sprowadzić pole
powierzchni S do 1. Ponieważ h nie może być
zmienione, musimy skorygować jednostkę na osi
OY.
n
*
h
S
Histogramy, cd.
Opisywanie rozkładów
liczbami
Miary położenia
Wartość średnia
Mediana
Miary rozrzutu
Odchylenie standardowe
Kwartyle
Metoda pięciu liczb
Wykresy ramkowe
Poszukiwanie wielkości odstających
Opisywanie rozkładów
Krótki opis
Kształt (np.: symetryczny, skośny)
Określony dzięki
Wykresom stem-leaf
Histogramom
Miary liczbowe
Środek
Rozrzut
Przykład - wzrost
Średni wzrost = 176,13 cm
Czy widać wielkości odstające?
Wady średniej jako miary położenia:
Dla małych prób - wrażliwość na
wielkości odstające
Dla dużych prób - słabo reaguje na
zmiany w kilku wynikach, nieważne jak
wielkie zmiany to są.
Miary położenia, cd.
Mediana
Formalne określenie punktu
środkowego, ze specyficzną metodą
obliczania
M
Punkt środkowy: taka wartość, że
połowa wyników jest od niego
mniejsza, a druga połowa większa
Obliczanie mediany
1.
Uporządkuj wszystkie pomiary
rosnąco
2.
Jeśli n (liczba pomiarów) jest
nieparzyste, M to środkowy
pomiar na liście
3.
Jeśli n jest parzyste, M jest średnią
dwóch środkowych pomiarów
Przykład
Znajdź medianę liczby mil na galon
benzyny samochodów klasy kabriolet
Uporządkuj dane w rosnącym
porządku
13 13 16 19 21 21 23 23 24 26
26 27 27 27 28 28 30 30 68
•
Nieparzyste n, więc mediana jest
środkiem listy, czyli 26
Mediana
Jeśli N jest parzyste, wynik powyżej
mógłby nie być liczbą całkowitą. To
wskazuje na to, że nie ma jednej
wartości środkowej, za to są dwie
takie, a medianę definiuje się jako
średnią z tych dwóch:
2
/
)
(
1
2
2
N
N
X
X
M
Mediana
Kiedy wyniki obserwacji się
powtarzają, mogą się pojawić
problemy w szukaniu mediany.
Obliczanie mediany jest
trudniejsze, ponieważ wiele
wartości leży w tym samym
przedziale (klasie) co mediana i
mają to samo oznaczenie klasy.
Przykład
Dane są w formie rozkładu
częstości z powodu dużej
ilości obserwacji w
doświadczeniu
Mediana dla zestawionej
tabeli jest (n+1)/2 wartością.
Tutaj n=9465 więc szukamy
4733-ciej obserwacji.
4733-ci wynik jest w klasie
107.5, czyli gdzieś między
103.5 a 115.5. Ta klasa
zawiera 2240 wyników, a
wynik 4733 jest 4733-
3049=1684-tym wynikiem w
klasie.
Klasa
wagowa
Częstość f
Kumulatywne f
59.5
2
2
67.5
6
8
75.5
39
47
83.5
385
432
91.5
888
1320
99.5
1729
3049
107.5
2240
5289
115.5
2007
7296
123.5
1233
8529
131.5
641
9170
139.5
201
9371
147.5
74
9445
155.5
14
9459
163.5
5
9464
171.5
1
9465
Wagi chińskich noworodków w
uncjach
Przykład
Przyjmując rozkład
równomierny w klasie,
wartość nr 4733 będzie w:
całego przedziału klasy lub w
75.18% odległości między
dolną a górną granicą
przedziału.
Ponieważ przedział każdej
klasy to 8 oz, wartość
medianowa to 0.7518 x 8.0
= 6.014 oz powyżej dolnej
granicy klasy (103.5 oz); czyli
mediana wag noworodków
wynosi 103.5 + 6.014 =
109.514
oz.
Klasa
Licznosc f
Licznosc
skumulowana F
59.5
2
2
67.5
6
8
75.5
39
47
83.5
385
432
91.5
888
1320
99.5
1729
3049
107.5
2240
5289
115.5
2007
7296
123.5
1233
8529
131.5
641
9170
139.5
201
9371
147.5
74
9445
155.5
14
9459
163.5
5
9464
171.5
1
9465
Wagi chińskich noworodków w
uncjach
7518
.
0
2240
1684
Porównanie średniej i
mediany
Mediana jest bardziej odporna niż
średnia.
Rozkłady symetryczne
Mediana i średnia są blisko siebie
Rozkłady skośne
Obie są na dłuższym końcu, ale
średnia jest nieco dalej od szczytu niż
mediana
Punkty odstające
Mogą być wynikiem błędu
aparatury albo błędu pomiarów
Możemy wyeliminować obserwacje
z błędem aparatury
Możemy poprawić błędy pomiarów
Kiedy nie znamy powodu, musimy
osądzić sami
Detekcja punktów
odstających
1.
Znajdź punkty odstające i zbadaj
dlaczego istnieją.
2.
Użyj takich metod, żeby punkty
odstające miały mały wpływ na
wnioski z doświadczenia.
Miary rozrzutu: Kwartyle
podanie jedynie miary położenia może być
niewystarczające i mylące.
Najprostsze opisy liczbowe rozkładów
składają się z miar zarówno położenia jak i
rozrzutu.
p-ty percentyl: wartość, poniżej której jest
jest dokładnie p procent innych wartości
Najbardziej popularna: Mediana = 50-ty percentyl
Drugie popularne: Kwartyle
Inne kwartyle
Mediana to tylko jedna z rodziny
statystyk porządkowych, dzielących
wyniki na części. Dzieli zbiór na dwie
równoliczne części. Z kolei
kwartyle
to
punkty w 25%, 50%, i 75% zbioru –
które dzielą rozkład na pierwszą,
drugą, trzecią i czwartą ćwiartkę. Są
zwykle opisywane symbolami Q
1
(dolny kwartyl), M (mediana), Q
3
(górny kwartyl).
Inne statystyki
porządkowe
Istnieją także kwintyle, decyle i
percentyle, dzieląc rozkład na
odpowienio 5, 10, i 100 równych
części.
Ogólny termin dla tych wszystkich
to
kwantyle
.
Przykład
Znajdź Q1, M, i Q3.
13 13 16 19 21 21 23 23 24
26 26 27 27 27 28 28 30 30
Znajdź Q1, M, i Q3.
13 13 16 19 21 21 23 23 24
26 26 27 27 27 28 28 30
Metoda pięciu liczb
Obejmuje najmniejszą obserwację,
pierwszy kwartyl, medianę, trzeci
kwartyl i największą obserwację,
napisane od najmniejszego do
największego:
Minimum Q1 M Q3
Maksimum
Metoda pięciu liczb, cd.
Dostarcza w miarę pełnej informacji
o położeniu i rozrzucie.
Położenie
Mediana
Rozrzut
rozrzut środkowej połowy pomiarów
(od 25% do 75%) ukazują kwartyle
Min i max pokazują pełny rozrzut
Wykresy ramkowe
Wykres metody pięciu liczb
Centralna ramka obejmuje Q1 i Q3
Linia w pudełku to M
Linie wychodzące z ramki dochodzą
do największej i najmniejszej wartości
wśród pomiarów
Wykresy ramkowe, cd.
Przedstawiają mniej informacji niż
histogramy i wykresy łodygowe
Używane do porównania więcej niż
jednej serii pomiarów
Analiza wykresu
Znajdź medianę (środek)
Określ rozrzut (między Q1 i Q3;
między min i max)
Co z punktami
odstającymi?
Odległość między kwartylami = zakres
połowy danych = przedział
międzykwartylowy = IQR
IQR = Q3 – Q1
IQR jest odporny na zmiany na końcach
dystrybucji zmiennej losowej.
Wynik może być punktem odstającym,
jeśli ma wartość powyżej Q3+1.5 x IQR
lub poniżej Q1-1.5 x IQR.
Example: % Hispanics
data
Q1 = 2.0, Q3 = 7.0
IQR = 7.0 – 2.0 = 5.0
Wszystkie wartości poniżej 2.0 – 1.5*5.0 = -5.5 lub
ponad 7.0 + 1.5*5.0 = 14.5 są oznaczone jako
możliwe punkty odstające. Jest 7 takich obserwacji.
To nie zwalnia od własnego osądu – trzeba zerknąć
na dystrybucje i podjąć decyzję o pozostawieniu lub
usunięciu pomiaru z dalszej analizy.
Wygodne narzędzie do oceny dużych zbiorów
danych.
Zmodyfikowany wykres
ramkowy
Zaznacz każdy punkt odstający osobno
używając symboli typu ‘*’ lub ‘o’.
Linie od „pudełka” prowadzą tylko do
największych i najmniejszych pomiarów,
które pozostały po usunięciu punktów
odstających.
Przykład - wzrost
Liczność próbki N = 582
Wartość średnia = 176.16 cm
Mediana = 177 cm
Zakres = 82 cm
Q1 = 170 cm; Q3 = 183 cm
IQR = 13 cm
Odchylenie standardowe = 9.86 cm
Przykład - wzrost
Dwie wielkości odstające
210 cm i 125 cm
Kształt histogramu
Skośność (asymetria) oznacza że jeden koniec
jest dłuższy niż drugi.
Możemy obliczyć skośność przez:
Krzywe nazywamy skośnymi w prawo (g1>0)
lub w lewo (g1<0), zależnie od tego, który
koniec jest dłuższy.
3
3
i
i
1
s
*
)
2
n
)(
1
n
(
)
X
X
(
n
n
g
Kształt histogramu
Przykład - wzrost: skośność =
-0.26
Kształt histogramu
Inny rodzaj odstępstwa od normalności to kurtoza, jest to
bardziej skomplikowana zmiana w kształcie dystrybucji.
Jeśli symetryczny rozkład ma środek, dwa ramiona i dwa
końce, kurtoza opisuje stosunek między częścią środkową
i końcami w odniesieniu do ramion.
O leptokurtozie mówimy, gdy krzywa ma więcej
obserwacji blisko środka i na końcach a mniej w
ramionach w porównaniu do rozkładu normalnego, z tą
samą średnią i wariancją.
Platykurtoza - ma mniej elementów w środku, za to
więcej w ramionach.
Kształt histogramu
Możemy obliczyć kurtozę ze wzoru:
Ujemne g
2
wskazuje na platykurtozę,
zaś dodatnie g
2
mówi leptokurtozie.
4
2
2
4
1
)
1
(
2
)
3
)(
2
(
)
(
3
)
(
s
n
n
X
X
X
X
g
i
i
n
n
n
Kształt histogramu
Przykład - wzrost: kurtoza = 3.65
Ocena skośności i kurtozy za
pomocą kwantyli
Oznaczając i-ty kwartyl jako Q
i
, możemy
zdefiniować współczynnik skośności
Bowley’a (Bowley, 1920):
1
3
2
1
3
2
Q
Q
Q
Q
Q
skewness
wartość, która może przyjmować wartości od
-1 dla rozkładu ekstremalnie lewoskośnego,
przez 0 dla rozkładu symetrycznego, do 1 dla
rozkładu prawoskośnego
Ocena skośności i kurtozy za
pomocą kwantyli
Pomiar kurtozy (wyostrzenia) na podstawie
oktyli O
i
(12.5%, 25%, 37.5% itd.) został
zaproponowany przez Moors’a w 1988
1
3
1
3
5
7
)
(
)
(
Q
Q
O
O
O
O
kurtosis
Dla skrajnie spłaszczonego rozkładu ta
wartość wynosi 0; 1.233 dla normalnego;
nieskończoność dla skrajnie wyostrzonego.
Pomiar rozrzutu:
odchylenie standardowe
Najpopularniejszy opis liczbowy
rozkładu składa się ze średniej i
odchylenia standardowego
Odchylenie standardowe s mówi,
jak obserwacje są oddalone od ich
średniej
Odchylenie standardowe
Wariancja s
2
to suma kwadratów
odchyleń obserwacji od ich średniej
podzielona przez n-1.
Odchylenie standardowe s to dodatni
pierwiastek kwadratowy z wariancji s
2
.
1
)
(
)
(
)
(
2
2
2
2
1
2
n
x
x
x
x
x
x
s
n
Odchylenie standardowe,
cd.
Duże, jeśli obserwacje są mocno
rozrzucone wokół średniej; Małe, jeśli
wszystkie obserwacje są blisko średniej
Własności
Mierzy rozproszenie i i powinno być używane
tylko wtedy, gdy jako miara położenia jest
wybrana średnia
Równe 0, gdy zupełnie nie ma rozrzutu
(wszystkie obserwacje mają tą samą wartość)
Nie jest odporne - kilka punktów odstających
może diametralnie zwiększyć s.
Wybór miar położenia i
rozrzutu
Stosuj średnią i odchylenie
standardowe dla symetrycznych
rozkładów, bez punktów
odstających
Stosuj przedstawienie w postaci 5
liczb (Min Q1 M Q3 Max) kiedy
opisujesz rozkłady silnie skośne z
dalekimi punktami odstającymi.
Rozkłady normalne
Krzywe gęstości
Miary położenia i rozrzutu
Rozkłady normalne
Właściwości
Standardowy rozkład normalny
Obliczenia
Wykresy kwantylowe
Standaryzowanie obserwacji
Krzywe gęstości
Krzywe, które
Są zawsze na lub nad osią poziomą
Mają pole pod sobą równe dokładnie 1
Opisują cały kształt rozkładu
Pole pod krzywą, powyżej
dowolnego zakresu wartości, jest
relatywną częstością wszystkich
obserwacji z tego zakresu.
Miary położenia i rozrzutu
dla krzywych gęstości
Moda
Punkt szczytowy krzywej
Miejsce gdzie krzywa jest najwyższa
Mediana krzywej gęstości
Punkt, który dzieli pole pod krzywą na dwie
połowy
Średnia krzywej gęstości
Gdyby wykonano kształt z litego materiału zgodny
z obserwowanym rozkłądem, średnia byłaby
punktem podparcia, dla którego bryła balansuje.
Miary położenia i rozrzutu
dla krzywych gęstości
Dla symetrycznych krzywych gęstości,
średnia = mediana (są na środku)
Dla skośnych krzywych, średnia jest
odsunięta dalej od mediany, w stronę
dłuższego ogona.
Kwartyle
Można je znaleźć przez dzielenie powierzchni pod
krzywą na ćwiartki
IQR
Odległość (rozstęp) między pierwszym i trzecim
kwartylem
- średnia
Krzywe gęstości
Wyidealizowany matematyczny
model rozkładu danych
Symetryczny
Teoretyczny vs. empiryczny
i s
μ i σ
x
Rozkłady normalne
Krzywe normalne to takie krzywe
gęstości, które:
Są symetryczne
Są jednomodalne
Mają dzwonowaty kształt
Opisują rozkłady normalne
Rozkłady normalne mają ten sam kształt
Odpowiednia krzywa opisana przez średnią i
odchylenie standardowe.
Odchylenie standardowe
dla krzywych normalnych
Kontroluje rozrzut
Lokalizacja odchylenia
standardowego
punkt przegięcia ramion krzywej
Rozkłady normalne, cd.
Wysokość krzywej gęstości
Znaczenie w statystyce
Dobry opis niektórych rozkładów danych
rzeczywistych
Dobre przybliżenie dla różnych oszacowań
prawdopodobieństw obserwowanych wyników
Wiele z procedur wnioskowania statystycznego
stworzonych przy założeniu normalności
rozkładów, jest odpowiednich również dla innych,
w przybliżeniu symetrycznych, rozkładów.
2
2
1
2
1
x
e
Reguła trzech sigm 68-95-
99.7
W rozkładzie normalnym z wartością
oczekiwaną μ i odchyleniem
standardowym σ
Około 68% obserwacji leży w odległości
mniejszej lub równej σ od średniej μ.
Około 95% obserwacji leży w odległości
mniejszej lub równej 2σ od średniej μ.
Około 99.7% obserwacji leży w odległości
mniejszej lub równej 3σ od średniej μ.
Oznaczenie rozkładów
normalnych
Rozkład normalny ze średnią μ i
odchyleniem σ zapisujemy
skrótowo jako N(μ, σ).
Standaryzacja obserwacji
Standaryzując pomiar, odejmij
średnią i podziel przez odchylenie
standardowe
Jeśli x jest obserwacją z rozkładu o
średnią μ i odchyleniu
standardowym σ,
standardyzowaną wartością x jest
x
z
Z-scores
Mówią nam ile krotności
odchylenia standardowego
obserwacje leżą od średniej i w
którym kierunku
Mogą być dodatnie lub ujemne
Kiedy?
Standardowy rozkład
normalny
N(0,1)
Średnia = 0
Odchylenie standardowe = 1
Jeśli zmienna X ma dowolny rozkład
normalny N(μ, σ), wtedy zmienna losowa
ma standardowy rozkład normalny N(0,1).
X
Z
Dystrybuanta standardowego
rozkładu normalnego – tabela.
Przykład 1
Jaka część obserwacji
standardowej zmiennej normalnej
Z przyjmuje wartości mniejsze niż
1.4?
Znajdź część obserwacji ze
standardowego rozkładu
normalnego które są większe niż –
2.15.
Dystrybuanta standardowego
rozkładu normalnego – tabela.
Przykład 2
Rozkłady normalne –
przykład obliczeniowy
NCAA wymaga 820 punktów zdobytych w
trakcie egzaminu SAT. Rozkład liczby
punktów w 2000r był w przybliżeniu
rozkładem N(1019, 209).
Jaki procent wszystkich studentów miał
liczbę punktów SAT co najmniej 820?
X = punkty z egzaminu SAT
X należy do rozkładu N(1019, 209)
Znajdź Z (standardowe).
Z = (820 – 1019)/209 = -0.95
P(Z > -0.95) = 1 – 0.1711 = 0.8289
Normalny wykres
kwantylowe
Rozkłady normalne
Dobre modele dla niektórych rozkładów
rzeczywistych danych
Rozkłady niektórych zmiennych są skośne i
dalekie od normalnych
Należy przejrzeć dane!
Sposoby sprawdzenia normalności
Histogramy
Wykresy łodygowe
Normalne wykresy kwantylowe
Konstrukcja normalnego wykresu
kwantylowego
1.
Uporządkuj zaobserwowane dane w porządku
malejącym. Zapisz jakim percentylem danych
jest każda wartość.
2.
Przeprowadź obliczenia dla normalnego rozkładu
żeby znaleźć punkty standardowe z tych
percentyli.
3.
Zaznacz każdy punkt x w zależności od z. Jeśli
rozkład danych jest w przybliżeniu standardowy
normalny, narysowane punkty będą leżały blisko
prostej x=z. Jeśli rozkład danych jest bliski do
innego dowolnego rozkładu normalnego, punkty
będą leżały blisko innej linii, także prostej.
Normalny wykres
kwantylowy
Linia prosta
Dane pochodzą z rozkładu normalnego
Systematyczne odchylenia od linii
prostej
Dane nie pochodzą z rozkładu
normalnego
Punkty odstające ujawniają się jako
punkty leżące daleko od ogólnego
kształtu wykresu.
