Materiały pomocnicze do przedmiotu Wspomaganie decyzji i metody sztucznej inteligencji – ćwiczenie 03

Politechnika Łódzka, Instytut Automatyki

1

Ćwiczenie 3.

Zadanie: Korzystając z pakietu Simulink należy zrealizować sieć neuronową przybliżającą obiekt o

równaniach (1). Nauka sieci powinna być przeprowadzona w trybie on-line. Struktura sieci została

przedstawiona na rys 1. Neuronowy model będzie posiadał n=3 wejścia i N=4 neurony z funkcja tansig (tgh –

tangens hiperboliczny) w warstwie ukrytej.

( )

1

2

1

2

2

1

sin

*

4

x

y

u

x

x

x

x

x

=

+

−

−

=

=

&

&

(1)

Rys. 1.

Zadanie zostanie podzielone na dwa etapy: (1) wyznaczenie praw adaptacji wartości wag, (2) implementacja

sieci wraz z mechanizmem adaptacji,

(1) Prawo adaptacji wartości wag

Podczas kolejnych iteracji (k+1, ....) wagi warstwy wyjściowej będą modyfikowane o składnik

ij

w

∆

. W zapisie

wektorowym będzie to

W

W

W

∆

+

=

+

)

(

)

1

(

k

k

,

(2)

gdzie w zależności od przyjętej metody uczenia składnik wyrażenie

W

∆

może być określony różnie. Dla metody

gradientowej składnik ten będzie określony jako

e

∇

⋅

−

=

∆

η

W

,

(3)

gdzie

i-ty neuron

x

j

w

ij

s

i

f

i

w

i

y

Materiały pomocnicze do przedmiotu Wspomaganie decyzji i metody sztucznej inteligencji – ćwiczenie 03

Politechnika Łódzka, Instytut Automatyki

2













∂

∂

∂

∂

∂

∂

=

∇

N

w

e

w

e

w

e

e

,...,

,

2

1

(4)

jest gradientem błędu, a

η

to współczynnik uczenia (na diagramach Simulinka rate).

Błąd e został zdefiniowany jako

(

)

2

2

1

d

y

e

−

=

(5)

Wyjście sieci określa równanie

∑

=

⋅

=

N

i

i

i

w

f

y

1

(6)

w którym f

i

jest wyjściem i-tego neuronu o pobudzeniu s

i

.

( )

i

i

s

tgh

f

=

(7)

∑

=

⋅

=

n

j

ij

j

i

w

x

s

1

(8)

Pochodną cząstkową obliczymy ze wzoru

i

i

w

y

y

e

w

e

∂

∂

∂

∂

=

∂

∂

(9)

gdzie zgodnie z (5) i (6)

d

y

y

e

−

=

∂

∂

(10)

i

i

f

w

y

=

∂

∂

(11)

czyli

(

)

i

i

i

f

d

y

w

y

y

e

w

e

⋅

−

=

∂

∂

∂

∂

=

∂

∂

(12)

W podobny sposób można wyznaczyć aktualizacje wag warstwy ukrytej

ij

ij

w

e

w

∂

∂

⋅

−

=

∆

η

(12)

ij

i

i

i

i

ij

w

s

s

f

f

y

y

e

w

e

∂

∂

∂

∂

∂

∂

∂

=

∂

∂

(13)

gdzie zgodnie z (5), (6), (7), (8)

d

y

y

e

−

=

∂

∂

(14)

Materiały pomocnicze do przedmiotu Wspomaganie decyzji i metody sztucznej inteligencji – ćwiczenie 03

Politechnika Łódzka, Instytut Automatyki

3

i

i

w

f

y

=

∂

∂

(15)

( )

[

]

i

i

i

s

tgh

s

f

2

1

−

=

∂

∂

(16)

j

ij

i

x

w

s

=

∂

∂

(17)

czyli

(

)

( )

[

]

j

i

i

ij

i

i

i

i

ij

x

s

tgh

w

d

y

w

s

s

f

f

y

y

e

w

e

⋅

−

⋅

⋅

−

=

∂

∂

∂

∂

∂

∂

∂

=

∂

∂

2

1

(18)

(2) Implementacja sieci wraz z mechanizmem adaptacji

Schamat uczącej się w trybie on-line sieci neuronowej został pokazany na rysunku poniżej,

gdzie subsystem n1 jest neuronem ze zmieniającymi się wagami o budowie

Materiały pomocnicze do przedmiotu Wspomaganie decyzji i metody sztucznej inteligencji – ćwiczenie 03

Politechnika Łódzka, Instytut Automatyki

4

Bloczki Unit Delay w polu Initial Condition powinny mieć wpisane wyrażenie rand(1). Odpowiada to

początkowym losowym wartościom wag sieci neuronowej. Subsystemy wi2 i wi3 niczym się nie różnią od

subsystemu wi1. Identyczne w budowie są także subsystemu n1, n2, n3, n4.

Materiały pomocnicze do przedmiotu Wspomaganie decyzji i metody sztucznej inteligencji – ćwiczenie 03

Politechnika Łódzka, Instytut Automatyki

5

Budowę warstwy wyjściowej przedstawia rysunek poniżej.

gdzie wagi w1 – w4 zrealizowane są wg schematu

W ramach zajęć należy:

-

sprawdzić jak czas próbkowania wpływa na prace układu

-

sprawdzić jak współczynnik uczenia

η

wpływ na prace układu

-

zmodyfikować algorytm uczenia wag dokładając składnik momentum

-

do układu wprowadzić sygnały progowe zadziałania neuronów (biasy)