1.
Cel ćwiczenia
Celem ćwiczenia jest zapoznanie się ze sposobami estymacji nieliniowej. Na poprzednich
laboratoriach stosowaliśmy metodę najmniejszych kwadratów do estymacji zależności liniowej w
postaci: y=ax+b oraz do zależności, które można było zlinearyzować np.: y=ax
b
. W ogólniejszym
przypadku zależy nam na możliwości znalezienia współczynników dowolnie zaprojektowanej funkcji
nieliniowej. Głównie dlatego, że nie każdą funkcję nieliniową można zlinearyzować, ale również z
powodu przekształcania danych w czasie linearyzacji, silnie wpływającego na wyniki estymacji.
Podstawowym problemem przy analizie nieliniowej jest zrozumienie, że „program” nie odgadnie
za nas postaci zależności regresyjnej. Dlatego należy zwrócić szczególną uwagę studentom na
zrozumienie idei regresji oraz faktu, iż proponowane zależności nie biorą się z „powietrza”. Są to
najczęściej proponowane przez naukowców zależności, których postać zależy od głębokiej wiedzy
badaczy oraz dogłębnego zrozumienia analizowanego zjawiska.
2.
Przebieg zajęć (opis zawarty w skrypcie uzupełniam o mim zdaniem potrzebne komentarze)
a)
Wprowadzenie danych – estymacja_nieliniowa.xls – dane są zorganizowane w dwóch
kolumnach zawierających poszczególne zmienne (zależną oraz niezależną) Należy zwrócić
uwagę na fakt, że tej samej wartości zmiennej X są przypisane więcej niż jedna wartość
zmiennej zależnej Y.
b)
„Moduł estymacja nieliniowa” proponuje uruchomić w trybie zgodności win2k bez
kompozycji wizualnych. Udało mi się w ten sposób narysować wykresy. Po wyborze
modułu musimy określić rodzaj analizowanego zagadnienia. Do wyboru mamy:
•
Regresją użytkownika : można zdefiniować dowolny model nieliniowy.
•
Regresja logistyczna : Ogólny model logistyczny można wyrazić następującym
wzorem:
Y = b0/{1 + b1*exp(b2*x)} Stanowi on niejako rozwinięcie modelu logit. Model logit
ogranicza zależną zmienną objaśnianą tylko do dwóch wartości, zaś regresja
logistyczna pozwala odpowiedziom przybierać wartości z pewnego przedziału.
Załóżmy na przykład, że interesuje nas wzrost w funkcji czasu populacji pewnego
gatunku, który został wprowadzony do nowego środowiska. Zmienną zależną może
być liczba jednostek tego gatunku w danym środowisku. Oczywiście istnieje dolna
granica zmiennej zależnej, ponieważ w środowisku nie może istnieć mniej niż 0
jednostek; najprawdopodobniej istnieje również górna granica, która zostanie
osiągnięta w pewnym momencie czasu. Modele logistyczne są również używane w
farmakologii w celu opisania wpływu różnych dawek leku.
•
Modele dla odpowiedzi binarnych: probit i logit: Jest to specyficzny przypadek analizy,
w której zmienna zależna jest zmienną mogącą przyjmować jedynie dwie możliwe
wartości (0,1) – czyli mają naturę binarną. Na przykład pacjenci powrócą do zdrowia
po urazie albo nie; kandydaci do pracy przejdą albo nie przejdą testu
kwalifikacyjnego, subskrybenci czasopisma wznowią albo nie subskrypcję itd.
•
Regresja
wykładnicza:
Estymowana
zależność
regresyjna
ma
postać:
y=c+exp(b
0
+b
1
x
1
+b
2
x
2
+…+b
k
x
k
)
•
Regresja segmentowa : Jest to narzędzie do analizy zależności cechującej się
nieciągłością a dokładniej model opisujący zależność regresyjną zmienia się w
pewnych „przedziałach”. Przykładem może być sytuacja, w której prowadzona jest
produkcja i w ramach zwiększenia mocy produkcyjnych uruchamiana jest dodatkowa
produkcja na starszych maszynach. Koszt jednostkowy rośnie wtedy znaczącą, lecz
wraz ze wzrostem ilości wyprodukowanych elementów maleje.
W trakcie laboratorium przybliżona zostanie zagadnienie estymacji dowolnej postaci zależności
regresyjnej.
Po wyborze pierwszej opcji z listy ukazuje się panel:
Wybór przycisku „Funkcja estymowana i funkcja straty” przenosi nas do panelu:
W oknie tym należy wpisać estymowana postać funkcji. Przypomnieć w tym miejscu o źródle
naszej wiedzy na temat proponowanej zależności regresyjnej. W oknie należy wpisać pełną
postać funkcji, np.: Y=b1+b2+X^6. Program sam „zrozumie”, że Y to zmienna zależna, X, to
niezależna a b
i
to współczynniki regresji.
W okienku funkcja straty można zdefiniować wzorem tzw. funkcję straty, czyli w praktyce określić
metodę, za pomocą której wyznaczone zostaną współczynniki modelu regresyjnego:
•
(OBS-PRED)**2 – metoda najmniejszych kwadratów.
•
(Obs-Przew)
2
* (1/x
2
) –ważona metoda najmniejszych kwadratów – uwzględnia
fakt, że wariancja błędu pomiaru dla różnych zmiennych niezależnych nie jest
stała.
•
Metoda największej wiarygodności ( o tym tylko wspomnieć)
Po wpisaniu postaci zależności regresyjnej otrzymujemy panel:
Tutaj należy określić szczegółowe parametry optymalizacji. Bo tak naprawdę, to analiza regresji
polega na wyznaczeniu współczynników modelu metodami optymalizacyjnymi. Każda z dostępnych
metod ma swoje zalety oraz wady. Po szczegóły należałoby sięgnąć do podręczników z optymalizacji.
W skrócie:
•
Metoda quasi-Newtona polega na tym, że w każdym kroku iteracji zostaje oszacowana
funkcja w różnych punktach w celu estymacji pochodnych pierwszego i drugiego rzędu.
Informacja ta jest następnie wykorzystywana w celu podążania po ścieżce zmierzającej do
minimum funkcji straty.
•
Procedura Sympleks.
Algorytm ten nie opiera się na obliczaniu lub estymacji pochodnych
funkcji straty. Natomiast w każdej iteracji funkcja będzie szacowana w m+1 punktach w m
wymiarowej przestrzeni parametrów. Na przykład w dwóch wymiarach (tzn. gdy trzeba
oszacować dwa parametry), program oszacuje funkcję w trzech punktach wokół bieżącego
optimum. Te trzy punkty zdefiniują trójkąt; w więcej niż trzech wymiarach "figura" utworzona
przez te punkty nazywa się sympleksem. Intuicyjnie, w dwóch wymiarach trzy punkty
pozwolą nam określić, "w którym kierunku podążać", to znaczy, w którym kierunku w
przestrzeni w dwuwymiarowej należy podążać, aby zminimalizować funkcję. Tę samą zasadę
można zastosować do wielowymiarowej przestrzeni parametrów, to znaczy, że sympleks
będzie "przemieszczał" się w dół, gdy aktualne długości kroków staną się zbyt "zgubne", aby
wykryć wyraźny kierunek opadający (tzn. gdy sympleks jest zbyt duży), to sympleks "skurczy
się" i nastąpi kolejna próba.
•
Metoda Hooke'a-Jeevesa przemieszczania układu.
W pewnym sensie jest to najprostszy ze
wszystkich algorytmów. Metoda ta polega na tym, że w każdej iteracji zostaje zdefiniowany
układ punktów przez przesuwanie pojedynczo każdego parametru, tak by zoptymalizować
bieżącą funkcje straty. Cały układ punktów zostaje następnie przesunięty lub przemieszczony
w nowe położenie; nowe położenie jest określone przez ekstrapolację linii ze starego punktu
bazowego w m wymiarowej przestrzeni parametrów do nowego punktu bazowego. Długości
kroków w tym procesie są stale dostosowywane, tak by synchronizować się w odpowiednim
optimum. Metoda ta jest zazwyczaj całkiem efektywna i powinna być wypróbowana, gdy
obie metody quasi-Newtona i sympleks (patrz powyżej) nie dają sensownych ocen
parametrów.
•
Metoda Rosenbrocka poszukiwania układu.
Kiedy wszystkie inne metody zawodzą, wówczas
często dobre wyniki daje metoda Rosenbrocka poszukiwania układu. W metodzie tej rotuje
się przestrzeń parametrów i wyrównuje się jedną oś do grzbietu (metoda ta nazywana jest
również metodą rotacji współrzędnych); wszystkie inne osie pozostaną do niej ortogonalne.
Jeśli funkcja straty jest jednomodalna i posiada wykrywalne grzbiety wskazujące w kierunku
minimum funkcji. Zauważmy jednak, że ten algorytm poszukiwania może zostać wcześnie
przerwany, jeśli istnieje kilka krępujących ograniczeń (odbijających się na wartości kary; patrz
powyżej), które się nakładają, co prowadzi do nieciągłości w okolicach grzbietów.
Tip:
Macierz (cząstkowych) pochodnych drugiego rzędu nazywa się hesjanem.
Właściwe wybranie metody optymalizacji oraz ustalenie ich parametrów nie jest
zagadnieniem
prostym.
Wymaga
praktyki
w
posługiwaniu
się
procedurami
optymalizacyjnymi.
Opcja asymptotyczne błędy standardowe - pozwala wyznaczyć ocenę odchyleń standardowych
współczynników,
Maksymalna liczba iteracji – można dawać max (1000), ponieważ irytujące jest zapytanie co 30
iteracji czy program ma liczyć dalej.
Kryterium zbieżności – im mniejsza wartość tym teoretycznie dokładniejszy wynik, lecz czasem
algorytm nie będzie w stanie znaleźć współczynników zapewniających zadana dokładność.
(pozostawić wartości domyślne).
Wartości początkowe – tu problem, ponieważ badający powinien w przybliżeniu znać poszukiwane
rozwiązanie. To znaczy, że im dalej od optimum zaczniemy szukać, tym większe
prawdopodobieństwo, że nie znajdziemy poszukiwanych wartości współczynników.
Długość kroku – wartość silnie zależna od zmienności funkcji regresji. Ma również wpływ na to, czy
przy zadanej ilości iteracji będziemy w stanie znaleźć optimum.
Po wciśnięciu ok. mamy ekran wyników:
Bardzo ważna jest informacja czy proces estymacji osiągnął zbieżność czy też nie. Jeśli nie, wówczas
należy przemyśleć zastosowane parametry estymacji lub wybrać inny algorytm lub w ostateczności
przemyśleć, czy zaproponowana postać regresji jest właściwa.
Dwukrotne wciśnięcie OK. daje:
Ocena – to wartości współczynników
t(41) - wartość statystyki testowej t-Studenta, służącej do weryfikacji hipotezy o nieistotności
poszczególnych współczynników.
Wyjaśniona wariancja – to współczynnik determinacji R
2
(kwadrat współczynnika korelacji)
Wybór dopasowana funkcja 2W i wart obserwowane pozwala wyznaczyć wykres zależności:
Uzyskany wykres należy analizować w taki sam sposób jak dla zależności liniowych, np. poszukując
błędów pomiaru (odstające dane) itd.
Zadanie 1
Stężenie toksyn w wodzie, spowodowane wyciekiem z uszkodzonego rurociągu maleje w funkcji
czasu. Przyjmuje się zależność w postaci:
Y=
b1+(.49-b1)exp(-b2(X-b3))
Wyznaczyć postać zaproponowanego modelu oraz określić stopień jego dopasowania.
Zadanie 2
Na podstawie danych pochodzących z pomiarów oblicz wartości parametrów i wykreśl
krzywą wysokości drzewostanu. Zastosuj w tym celu równanie Näslunda.
·
1.3
gdzie: h – wysokość drzewa, d – pierśnica drzewa, A, B – parametry równania.
