Politechnika Rzeszowska 

im. Ignacego Łukasiewicza

 

 

Katedra Informatyki 

i Automatyki

 

 

Projekt z przedmiotu:  

Sztuczna Inteligencja 

 
 
 

Temat:  

Zrealizować sieć  neuronową uczoną algorytmem wstecznej 

 

 

propagacji błędu ( learnbp ) uczącą się rozpoznawania  

 

 

zwierząt.

  

 
 
 
 
 
 
 
 
 
 

Autor: 

 Sebastian Twardzik 

Rok:   

 

        II EF-DI 

Grupa: 

 

                P15 

Data:   

 

 24.05.2011r. 

 
 
 

 

2 

Spis treści: 

1. Opis problemu...........................................................................................................................3 

2. Dane do projektu.......................................................................................................................3 

 

2.1 Opis danych.................................................................................................................3 

 

2.2 Normalizacja danych...................................................................................................3 

 

2.3 Wczytanie danych.......................................................................................................4 

3. Opis algorytmu..........................................................................................................................4 

 

3.1 Czym jest sieć neuronowa?.........................................................................................4 

 

3.2 Koncepcja budowy sieci neuronowej..........................................................................4 

 

3.3 Opis algorytmu............................................................................................................5 

 

3.4 Skrypt realizujący sieć neuronową..............................................................................6 

4. Eksperymenty............................................................................................................................8 

5. Podsumowanie i wnioski........................................................................................................13 
6. Bibliografia.............................................................................................................................13 

 
Zawartość płyty CD: 

- kod 
- wykresy 
- wyniki oraz skrypt rysujący wykresy 
- projekt 
- info.txt 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 

3 

1. Opis problemu. 

Celem projektu jest stworzenie sieci neuronowej, która będzie przyporządkowywać zwierzę do jednej z 
następujących grup: 
- (1) ssaki 
- (2) ptaki 
- (3) gady 
- (4) ryby 
- (5) płazy 
- (6) owady 
- (7) bezkręgowce. 
Przeanalizowanych zostało 101 gatunków zwierząt na podstawie siedemnastu ich cech. Ostatnią wartością w 
tabeli jest numer klasy do jakiej należy dany gatunek.  
 
Dane do projektu zostały pobrane z repozytorium Uniwersytetu Kalifornijskiego w Irvine  
(http://archive.ics.uci.edu/ml/datasets/zoo) stworzonego przez Richarda Forsytha. 
 

2. Dane do projektu. 
2.1 Opis danych. 

Tablica z danymi składa się z 18 wierszy z cechami zwierząt: 

1. Nazwa zwierzęcia  
2. włosy: Boolean  
3. pióra: Boolean  
4. jaja: Boolean  
5. mleko: Boolean  
6. powietrzne: Boolean  
7. wodne: Boolean  
8. drapieżnik: Boolean  
9. zębate: Boolean  
10. kręgowiec: Boolean  
11. oddycha: Boolean  
12. jadowite: Boolean  
13. płetwy: Boolean  
14. nogi: liczbowe (wartości: {0,2,4,5,6,8})  
15. ogon: Boolean  
16. domowe: Boolean  
17.rozmiaru kota (catsize): Boolean  
18. typ: liczbowe (liczby całkowite w przedziale [1,7])  

Oraz 101 kolumn z gatunkami zwierząt. Tabela poniżej opisuje układ kolumn. 
 

Numer 

kolumny 

Typ zwierzęcia 

1 - 41 

ssaki 

42 - 61 

ptaki 

62- 66 

gady 

67 - 79 

ryby 

80 - 83 

płazy 

84 - 91 

owady 

92 - 101 

bezkręgowce 

 

2.2 Normalizacja danych. 

Do dalszej części projektu dane należy odpowiednio przekształcić. W tym celu usuwamy pierwszy wiersz tablicy( 
ten zawierający nazwy zwierząt). Ostatni wiersz również należy usunąć i stworzyć z niego osobny wektor. Cechy 
które nie są opisane wartościami Boolowskimi należy znormalizować, tzn. wielkości te mają się mieścić w 
przedziale od 0 do 1. Po takich przekształceniach otrzymujemy dwie tablice: 
P<16 x 101> zawierającą cechy zwierząt oraz  
T<1 x 101> zawierającą gatunki zwierząt.  
Całość zapisujemy pod nazwą Zoo2.mat. 

 
 

 

4 

2.3 Wczytanie danych. 

Przed wczytaniem danych należy wyczyścić przestrzeń roboczą oraz ustawić pewne parametry środowiska. 
Aby to zrobić należy zacząć program w ten sposób: 
 

clear 

all

   

% czyszczenie wszystkich zmiennych

 

nntwarn 

off

 

% wył

ą

czenie ostrze

ż

e

ń

 NNT

 

format 

long

 

% 15 cyfr double i 7 single

 

format 

compact

  

% format danych wyj

ś

ciowych brak enter przed ans=

 

 

 

load 

zoo2

;      

% załadowanie danych do przestrzeni roboczej

 

 
 

3. Opis algorytmu 
 
3.1 Czym jest sieć neuronowa? 

Sieć neuronowa jest to model matematyczny realizujący obliczenia lub przetwarzanie sygnałów. Składa się ona z 
sieci węzłów obliczeniowych zwanych neuronami oraz z ich połączeń.. Została ona zaprojektowana na wzór  
ludzkiego mózgu. Jednak w przypadku mózgu każdy neuron jest połączony z około 10 000 innych. Natomiast w 
przypadku sztucznej sieci łączy się on jedynie z sąsiadem. Wszystkie one działają kolejno a nie tak jak w mózgu: 
jednocześnie.  
 
Podstawowe właściwości sieci neuronowych mające swoje odzwierciedlenie w biologicznym układzie 
nerwowym, to:  

•

 

zdolność do uogólniania danych. 

•

 

interpolacja i przewidywanie. 

•

 

mała wrażliwość na szumy w zbiorze danych. 

•

 

zdolność do efektywnej pracy nawet po usunięciu kilku neuronów lub połączeń między nimi. 

•

 

przetwarzanie równoległe i rozproszone.  

Najpopularniejsze obecnie zastosowanie sieci neuronowych: 

•

 

w programach do rozpoznawania pisma (OCR) 

•

 

na lotniskach do sprawdzania, czy prześwietlony bagaż zawiera niebezpieczne ładunki 

•

 

do syntezy mowy. 

 

3.2 Koncepcja budowy sieci neuronowej. 

 

 

 

 

 

5 

Matematyczny model neuronu oraz sieci 3 warstwowej: 

 

 

gdzie:    a jest wyjściem sieci 
 

W jest prostokątną macierzą wag 

 

p są to sygnały wejściowe 

 

b jest wektorem przesunięć 

 

Budowa neuronu. 

 

 

Budowa sieci neuronowej 3 warstwowej – model. 

 
3.3 Opis algorytmu. 

W projekcie zastosowany został algorytm uczenia pod nadzorem ze wsteczną propagacją błędu (learnbp). 
 
Algorytm wstecznej propagacji błędu określa sposób doboru wag w sieci wielowarstwowej przy użyciu 
gradientowych metod optymalizacji. Uczenie polega na odpowiednim doborze wag neuronów tak aby błąd 
ś

redniokwadratowy sieci ( SSE) był mniejszy niż zadany.  

Wartość błędu dla pojedynczego neuronu może być dodatnia lub ujemna a więc dla dwóch źle nauczonych 
neuronów może wynieść zero. Aby temu zapobiec e

j

 jest podniesione do kwadratu, a więc : 

 

∑

=

=

K

j

j

e

E

1

2

2

1

 

 

 

6 

Nazwa algorytmu pochodzi od metody obliczania błędów w poszczególnych warstwach sieci. 
W pierwszym kroku na podstawie danych wejściowych i wyjściowych wykonywane są ich obliczenia w ostatniej 
warstwie. 
Kolejno obliczany jest błąd dla neuronów poprzedniej warstwy itd. W ten sposób sygnał błędu rozprzestrzenia się 
od warstwy wyjściowej wstecz.  
Korekcja błędu sieci jest oparta na minimalizacji funkcji miary błędu, będącej sumą kwadratów błędów na 
wyjściach sieci. Wektor wag neuronu jest przesuwany w kierunku ujemnego gradientu. Dodatkowo wektor ten jest 
przemnażany przez współczynnik 

η

, który nazywany jest współczynnikiem szybkości uczenia. Zatem zmiana 

wagi w każdej iteracji jest równa:

 

 

 
 
Wykorzystując oprogramowanie MatLab opisaną wyżej funkcje wywołujemy w następujący sposób: 

           
[dW1,dB1] = learnbp(P,D1,lr);  

Gdzie:  
                     P- Macierz wektorów wejściowych  
                     D1- Macierz wektorów błędów [S,Q] 
                     lr - Współczynnik uczenia 
                    dW1- macierz zmian wagi  
                    dB1- wektor zmian biasów 
 

3.4 Skrypt realizujący sieć neuronową. 

Do skryptu zostały dodane pętle zmieniające różne parametry sieci. Efekty pracy zapisywane są w pliku 
tekstowym "wyniczek.txt". 

 

clear 

all

   

% czyszczenie wszystkich zmiennych

 

nntwarn 

off

 

% wył

ą

czenie ostrze

ż

e

ń

 NNT

 

format 

long

 

% 15 cyfr double i 7 single

 

format 

compact

  

% format danych wyj

ś

ciowych brak enter przed ans=

 

 
 

 

load 

zoo2

; 

wiersz = 1; 
[R,Q] = size(P); 

%zwraca wymiar macierzy [R -kol, Q- wier]

 

 

 

for

 eksperyment = 1 : 1 : 10, 

     
    lr = 1e-2;  
    

for

 licznik = 0: 1 : 2, 

        lr = lr / 10; 
         
        

for

 S1 = 1: 10 : 101,  

            

for

 S2 = 1: 10 : S1, 

                [S3,Q] = size(T); 
                

%S1 - liczba neuronów warstwy 1

 

                

%S2 - liczba neuronów warstwy 2

 

 

 

                [W1,B1] = nwtan(S1,R);   

% generator losowy Nguyn- Widrow dla  

 

 

 

 

 

 

  % neuronów TANSIG

 

                

% otrzymujemy macierz W1 o wymiarach S1xR i wektor B1 o wymiarze S1 

 

                [W2,B2] = nwtan(S2,S1);  

% W1, W2, W3- macierze wag

 

                [W3,B3] = rands(S3,S2);  

% generowanie macierzy wag i wektora biasu 

 

 

 

 

 

 

  % o warto

ś

ciach statystycznych o 

 

                

% jednorodnym rozkładzie z zakresu [-1,1] 

 

                

% B1, B2, B3- wektory bias 

 

                

% otrzymujemy macierz W1 o wymiarach S3xS2 i wektor B3 o wymiarze S3 

 

 

 

                disp_freq=100;  

%cz

ę

stotliwo

ść

 wy

ś

wietlania     

 

                max_epoch=20000;  

%maksymalna liczba kroków 

 

                err_goal=.25;    

% bł

ą

d docelowy- warto

ść

 kra

ń

cowa  

 

               

 

7 

                error = [];         
  
                A1 = tansig(W1*P,B1); 

% kalkuluje wyj

ś

cia warstwy na podstawie wej

ść

 

                A2 = tansig(W2*A1,B2); 

% parametry W1*P- wej

ś

cia warstwy* odpowiednie 

 

 

 

 

 

 

 % wagi

 

                A3 = purelin(W3*A2,B3); 

% zwraca macierz ( A3 E <-1,1>)

 

                E = T -A3;     

 

 

% A- wyj

ś

cie warstwy

 

                SSE = sumsqr(E); 
                

for

 epoch=1:max_epoch, 

                    

if

 SSE < err_goal,   

% je

ż

eli suma kwadratów bł

ę

dów mniejsza od 

 

 

 

 

 

 

  % bł

ę

du minimalnego 

 

                        epoch = epoch - 1; 
                    

break

, 

                    

end

, 

                    D3 = deltalin(A3,E);    

% funkcja delty dla neuronów purelin  

 

 

 

 

 

 

     % E- macierz bł

ę

dów

 

                    

%( ró

ż

nica warto

ś

ci faktycznych i przewidzianych przez sie

ć

 

 

 

 

% neuronow

ą

 w poprzednim kroku)

 

                    

% zwraca pochodn

ą

 bł

ę

dów dla ukrytej warstwy

 

                    D2 = deltatan(A2,D3,W3); 

% % funkcja delty dla neuronów tansig  

 

 

 

 

 

 

% W - macierz wag pomi

ę

dzy warstwami[S1, S2]

 

                    D1 = deltatan(A1,D2,W2);    
  
                    [dW1,dB1] = learnbp(P,D1,lr);  
                    

% P- Macierz wektorów wej

ś

ciowych 

 

                    

% D1- Macierz wektorów bł

ę

dów [S,Q]

 

                    

% lr- Współczynnik uczenia

 

                    

% dW1- macierz zmian wagi

 

                    

% dB1- wektor zmian biasu

 

                    

% zwraca dW1 i dB1

 

                       
                    [dW2,dB2] = learnbp(A1,D2,lr);   
                    [dW3,dB3] = learnbp(A2,D3,lr); 
                        
                    W1 = W1 + dW1; 
                    B1 = B1 + dB1; 
                         
                    W2 = W2 + dW2; 
                    B2 = B2 + dB2; 
                         
                    W3 = W3 + dW3; 
                    B3 = B3 + dB3; 
                         
                    A1 = tansig(W1*P,B1); 

% kalkuluje wyj

ś

cia warstwy na podstawie 

 

 

 

 

 

 

   % wej

ść

 

                    A2 = tansig(W2*A1,B2); 

% parametry W1*P- wej

ś

cia warstwy*  

 

 

 

 

 

 

    %odpowiednie wagi

 

                    A3 = purelin(W3*A2,B3); 

% zwraca macierz ( A3 E <-1,1>) 

 

                         
                    E = T - A3;     

% A- wyj

ś

cie warstwy

 

 

 

                    SSE = sumsqr(E); 

% sumuje spot

ę

gowane elementy macierzy

 

                    error = [error SSE]; 

% składa 2 macierze w jedn

ą

 

                    

if

(rem(epoch,disp_freq) == 0)  

% rem- reszta z dzielenia. co ile 

 

 

 

 

 

 

 

     % epok ma wy

ś

wietla

ć

 numer epoki

 

                        epoch 
                        SSE 
                        eksperyment 
                        S1 
                        S2 
                        lr 
                        pause(1e-100) 
                    

end

  

                

end

 

                

% tu zapis wyników do tablicy

 

                wynik( wiersz , 1) = eksperyment;  
                wynik( wiersz , 2) = S1;  
                wynik( wiersz , 3) = S2;  

 

8 

                wynik( wiersz , 4) = lr;  
                wynik( wiersz , 5) = 100*(1-sum((abs(T-A3)>.5)')/length(T));  
                wynik( wiersz , 6) = SSE;  
                wynik( wiersz , 7) = epoch;  
                    
                wiersz = wiersz + 1; 
  
                epoch 
                SSE 
                [T' A3' (T-A3)' (abs(T-A3)>.5)']   
                100*(1-sum((abs(T-A3)>.5)')/length(T)) 
            

end

 

        

end

 

    

end

 

end

 

save 

wyniczek4.txt

 

wynik

 

-ascii

;  

 
4. Eksperymenty 

Eksperymenty wykonane w ramach projektu opierały się na zmianie ilości neuronów w pierwszej oraz drugiej 
warstwie, oraz zmianie współczynnika uczenia( lr). Zostało wykonanych 10 takich eksperymentów.  
Dane uczące zostały zapisane w tablicy <16 x 101>. 
Dla każdego eksperymentu zostało wykonane 9 wykresów trójwymiarowych. 
 
Najlepszą miarą tego ja szybko sieć się uczy jest liczba epok po której błąd minimalny został osiągnięty. 
Dla współczynnika uczenia lr = 0.001 wykres wygląda tak: 

  

Jak widać sieć uczy się tylko dla małej liczby (mniej niż 30) neuronów w drugiej warstwie. 
 
 
 
 
 
 
 
 
 
 
 
 

 

9 

 
Błąd SSE dla współczynnika lr = 0.001 obrazuje wykres: 
 

 

 

Tam gdzie funkcja nie przyjmuje żadnych wartości błąd jest bardzo duży( wartość Nan). 
 
A oto wykres pokazujący w ilu procentach sieć się nauczyła. Wartość ta wynosi 100% również tam gdzie błąd 
SSE ma wartość Nan a więc wykres nie zupełnie pokazuje prawdę. 

 

 

 
 
 
 
 
 
 

 

10 

Następnie zmieniony został współczynnik uczenia na lr = 0.0001. Dla tej wartości wykresy wyglądają 
następująco: 
f(S1, S2) = epoch 

  

Jak widać sieć jest w stanie nauczyć się niezależnie od ilości neuronów w warstwach. Ich ilość wpływa na tempo 
uczenia. Im więcej neuronów tym szybciej sieć się uczy.   
 
 
 
A oto pozostałe wykresy: 
f(S1, S2) = SSE 

 

 
 

 

11 

f(S1, S2) =  % 

 

W tym przypadku współczynnik uczenia jest dobrze dobrany. 
  
 
 
 
 
Ostatnia wartość współczynnika lr wynosiła 0.00001. Dla tej wartości wykresy wyglądają następująco: 
f(S1, S2) = epoch 

 

 

 

12 

Sieć nie jest w stanie się nauczyć liczbie epok równej 20 000. A w ilu procentach była w stanie się nauczyć 
pokazuje poniższy wykres: 
f(S1, S2) = % 

 

Wyniki są zbliżone do 100%. Wykres zależności SSE od ilości neuronów w warstwach jest tu zbędny. 
Prawdopodobnie przy większej liczbie epok sieć by się nauczyła.  
 
Wykonane wykresy pokazują że współczynnik uczenia lr = 0.0001 jest optymalną wielkością dla tych danych 
wejściowych.  
Dla kolejnych eksperymentów wyniki nie były identyczne. Najlepiej będzie to odzwierciedlał wykres  
f(S1, S2) = epoch  przy współczynniku uczenia lr = 0.0001. 
 
Poniższe wykresy pokazują różnicę pomiędzy eksperymentem: 

•

 

pierwszym i trzecim 

 

 
 
 

 

13 

 
 

•

 

czwartym i siódmym 

 

 

5. Podsumowanie i wnioski. 

Celem projektu było zbadanie działania wielowarstwowej, sztucznej sieci neuronowej. Do tego celu została 
wykorzystana funkcja  learnbp z pakietu MatLab która realizuje algorytm uczenia ze wsteczną propagacją błędu. 
Zadaniem sieci było przyporządkowywanie zwierząt do jednej z grup na podstawie ich cech. Dane uczące zostały 
pobrane z repozytorium uniwersytetu Kalifornijskiego w Irvine. 
 
Do realizacji projektu dane musiały zostać odpowiednio znormalizowane. Podczas badań zmieniane były 
następujące parametry sieci: Liczba neuronów w pierwszej warstwie, liczba neuronów w drugiej warstwie ( nigdy 
nie przekraczała liczby neuronów w pierwszej ) oraz współczynnik uczenia. Wykonanych zostało 10 
eksperymentów. Pokazały one że dla tych samych parametrów szybkość uczenia może się nieznacznie różnić a 
więc wyniki nie są powtarzalne.  
Dla współczynnika uczenia lr = 0.001 sieć uczyła się najszybciej ( najmniejsza potrzebna liczba epok to około 
1180 ) przy odpowiednio dobranej liczbie neuronów, ale nie uczyła się wcale gdy ich liczba była źle dobrana. 
Natomiast dla współczynnika lr = 0.0001 uczyła się zawsze. A więc jeśli jest on mniejszy mamy gwarancję że 
sieć będzie się uczyć ale proces ten będzie potrzebował więcej epok aby osiągnąć minimalny błąd.  
 
Współcześnie sztuczne sieci neuronowe znajdują coraz więcej zastosowań. Problem rozpoznawania zwierząt to 
tylko mała część ich możliwości. Wykorzystywane są również do rozpoznawania obrazów, mowy, diagnostyki 
medycznej czy teorii sterowania. Swoją rosnącą popularność sieci neuronowe zawdzięczają min. zdolności do 
uczenia się i uogólniania nabytej wiedzy oraz równoległemu przetwarzaniu informacji.    
 

6. Bibliografia 

1. 

http://ssn.elektrotechnika.ip.pwsz.edu.pl/nnt/nnt1.php 

2. 

http://pbryzi.fm.interia.pl/W/SN.htm 

3. 

http://www.neuron.kylos.pl/pliki/jednokier/jednokier4.html 

4.  

http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html