STATYSTYKA
Statystyczne metody analizy współzależności
Analiza regresji
I. Badanie zależności dla przypadku zmiennych losowych zależnych
(X,Y) - wektor dwu zmiennych losowych.
Interesuje nas taki sposób opisu wzajemnej zależności tych zmiennych losowych by, na przykład, na podstawie obserwacji wartości jednej z nich można było przewidzieć wartość drugiej z nich.
Można do tego wykorzystać funkcję regresji:
Jest to więc warunkowa wartość oczekiwana X, przy warunku Y=y. Tak zdefiniowana funkcja regresji nazywana jest funkcją regresji pierwszego rodzaju. Analogicznie zdefiniowana jest funkcja regresji pierwszego rodzaju w przypadku odwrotnym, tzn. dla E(Y|X=x).
Najczęściej wykorzystuje się funkcję regresji przedstawioną w postaci funkcji liniowej. Mówimy wówczas o funkcji regresji drugiego rodzaju zdefiniowanej jako funkcja liniowa postaci , taka że
Badanie zależności dla przypadku gdy wartości zmiennej losowej zależą od wartości innej zmiennej (zmiennych).
W wielu przypadkach spotykanych w praktyce interesuje nas zależność obserwowanej zmiennej losowej (zmiennej zależnej) Y od wartości jakie przyjmuje inna zmienna (nie koniecznie losowa), zwana zmienną niezależną X. Zmienną zależną Y nazywamy czasami zmienną objaśnianą, a zmienną niezależną X nazywamy wówczas zmienną objaśniającą. Interesują nas zazwyczaj przypadki gdy zależność ta ma postać liniową
gdzie e jest zmienną losową (zakłóceniem) o zerowej wartości oczekiwanej i stałej wariancji.
W przedstawionych powyżej przypadkach regresji liniowej konieczna jest estymacja nieznanych parametrów modelu b0 oraz b1 na podstawie obserwacji par (X,Y).
Wykorzystujemy do tego celu tzw. metodę najmniejszej sumy kwadratów błędów (nazywaną często potocznie metodą najmniejszych kwadratów).
Na podstawie obserwacji n par (Xi,Yi), i=1,...,n poszukujemy takie estymatory b0, b1 nieznanych parametrów modelu b0 oraz b1, by zminimalizować wartość sumy:
Uzyskujemy w ten sposób taką prostą Y=b1X+b0, że zostanie zminimalizowana suma kwadratów odległości pomiędzy zaobserwowanymi punktami (Xi,Yi), a wyznaczoną prostą.
Minimalizacja S ze względu na b0 oraz b1 przebiega następująco:
Wyznaczamy pochodne funkcji S ze względu na b0 oraz b1 i przyrównujemy je do zera uzyskując tzw. układ równań normalnych.
Rozwiązujemy układ równań normalnych ze względu na b0 oraz b1 uzyskując następujące rozwiązanie:
oraz
Oszacowane równanie regresji zmiennej Y względem zmiennej X przyjmuje teraz postać
Można też zauważyć, że równanie regresji można również zapisać w następujący sposób:
W przypadku gdy interesuje nas zależność odwrotna, tzn. gdy funkcja regresji jest postaci
estymatory a0 oraz a1 mają postać:
Wyszukiwarka