79 

3.7.

  Rekurencyjne sieci neuronowe 

W  ogólności,  istnieją  dwie  metody  wprowadzenia  dynamiki  do  sieci  neuronowych,  a 

mianowicie  zastosowanie  zewnętrznej  pamięci  w  postaci  linii  opóźniającej  lub  też  użycie 
sprzężeń  zwrotnych.  Najprostszym  sposobem,  zastosowanym  w  modelu  neuronowym  typu 
NNOE przedstawionym na rys. 3.7, jest podanie na wejścia klasycznej sieci dwuwarstwowej 
sygnału wyjściowego w poprzednich chwilach dyskretnych. Model można podzielić na dwie 
części: nieliniowy statyczny aproksymator (sieć neuronowa) i zewnętrzną pamięć. Dlatego też 
omawiany model jest często nazywany siecią neuronową z liniami opóźniającymi. Podejście 
takie jest najczęściej stosowane w praktyce, umożliwia skuteczne modelowanie bardzo wielu 
nieliniowych  procesów  dynamicznych.  Warto  jednak  pamiętać,  że  model  taki  jest  znacznie 
mniej ogólny niż model w przestrzeni stanu (3.53). Na przykład, model typ NNOE nie nadaje 
się do procesów, w których występują nieliniowości niejednoznaczne, np. histereza lub luz. 

Drugą  metodą  umożliwiającą  wprowadzenie  dynamiki  do  sieci  neuronowych  jest 

wprowadzenie do nich sprzężeń zwrotnych. Ze względu na rodzaj sprzężeń zwrotnych można 
wyszczególnić dwie klasy sieci rekurencyjnych: 

Sieci globalnie rekurencyjne, w których sprzężenia występują między neuronami tej samej 

warstwy lub między neuronami różnych warstw. 

Sieci  lokalnie  rekurencyjne,  w  których  sprzężenia  zwrotne  znajdują  się  wyłącznie 

wewnątrz pojedynczych neuronów. Ogólna struktura sieci jest natomiast taka sama jak 
w przypadku klasycznej sieci perceptronowej. 

Sieć  RTRN  (ang.  Real  Time  Recurrent  Network)  służy  do  przetwarzania  sygnałów  w 

czasie rzeczywistym. Jej struktura została przedstawiona na rys. 3.25. Zawiera ona 

u

n

 wejść 

zewnętrznych, na które podawane są sygnały 

)

1

(

,

),

1

(

),

1

(

u

2

1

−

−

−

k

u

k

u

k

u

n

K

. Sieć ma tylko 

jedną warstwę, liczba neuronów wynosi K. Każdy z nich objęty jest sprzężeniem zwrotnym w 
taki  sposób,  że  sygnały  wyjściowe  opóźnione  o  jeden  takt  podawane  są  na  wejście  sieci. 
Wśród  K  neuronów  tylko 

y

n

  stanowi  wyjście  sieci.  Pozostałe 

y

n

K −

  neuronów  to  neurony 

ukryte, niedostępne dla sygnałów zewnętrznych. 

Nieco inną strukturę ma rekurencyjna sieć neuronowa Elmana pokazana na rys. 3.26. Jest 

to  sieć  częściowo  rekurencyjna  o  strukturze  dwuwarstwowej.  Sieć  zawiera 

u

n

  wejść 

zewnętrznych,  liczba  neuronów  ukrytych  wynosi  K.  W  odróżnieniu  od  sieci  RTRN, 
sprzężenie  dotyczy  wyłącznie  warstwy  ukrytej.  Wyjście  sieci  stanowią  neurony  połączone 
tylko  z  warstwą  ukrytą,  podobnie  jak  w  sieciach  jednokierunkowych.  Przepływ  sygnałów 
odbywa  się  tylko  w  jedną  stronę,  tzn.  od  warstwy  ukrytej  do  warstwy  wyjściowej.  Różnica 
występuje w warstwie ukrytej, ponieważ opóźnione sygnały wyjściowe neuronów ukrytych są 
podawane na wejścia sieci. 

Główną  zaletą  rekurencyjnych  sieci  neuronowych  typu  RTRN  i  Elmana  jest  możliwość 

aproksymacji bardzo szerokiej klasy procesów dynamicznych, mogą być one też zastosowane 
do opisu szeregów czasowych. Do uczenia sieci stosuje się zazwyczaj algorytmy gradientowe. 
W  porównaniu  z  algorytmami  uczenia  klasycznej  sieci  jednokierunkowej  ich  złożoność 
obliczeniowa jest większa, ponieważ obliczając gradient należy uwzględnić rekurencję. 

 

80

M

M

)

(

1

k

y

)

(

y

k

y

n

ϕ

ϕ

ϕ

M

)

1

(

u

−

k

u

n

)

1

(

1

−

k

u

M

ϕ

M

1

1

−

q

1

−

q

1

−

q

1

−

q

 

Rys. 3.25. Struktura sieci rekurencyjnej RTRN 

 

M

)

(

1

k

y

)

(

y

k

y

n

ϕ

ϕ

M

)

1

(

u

−

k

u

n

)

1

(

1

−

k

u

M

ϕ

1

1

1

−

q

1

−

q

1

−

q

+

+

M

 

Rys. 3.26. Struktura sieci rekurencyjnej Elmana 

 

81 

Nieco  inną  strukturę  ma  sieć  neuronowa  RMLP  (ang.  Recurrent  Multi  Layer  Perceptron) 

pokazana na rys. 3.27. Omawiana sieć jest rozszerzeniem klasycznej sieci jednokierunkowej o 
dwóch warstwach ukrytych. Istnieją w niej dodatkowe połączenia skrośne między neuronami 
danej  warstwy  oraz  połączenia  rekurencyjne,  natomiast  poszczególne  warstwy  są  połączone 
jednokierunkowo.  Sieć  nadaje  się  do  aproksymacji  wielu  nieliniowych  procesów 
dynamicznych.  Istotną  wadą  sieci  jest  jednak  znaczna  złożoność  struktury,  co  oznacza,  że 
proces uczenia jest zazwyczaj złożony obliczeniowo. 

M

)

1

(

u

−

k

u

n

)

1

(

2

−

k

u

)

1

(

1

−

k

u

M

M

)

(

1

k

y

)

(

y

k

y

n

ϕ

ϕ

ϕ

M

ϕ

ϕ

ϕ

+

+

 

Rys. 3.27. Struktura sieci rekurencyjnej RMLP (dla przejrzystości nie zaznaczono sygnałów 

polaryzacji) 

W  stosunku  do  rekurencyjnych  sieci  neuronowych  omówionych  do  tej  pory  interesującą 

alternatywę  stanowią  sieci  lokalnie  rekurencyjne  globalnie  jednokierunkowe  (ang.  Locally 
Recurrent Globally Feedforward, w skrócie LRGF) [30]. Sieci LRGF mają strukturę podobną 
do  jednokierunkowych  sieci  perceptronowych,  ponieważ  składają  się  z  kilku  warstw 
neuronów, natomiast wszystkie sygnały przepływają przez sieć tylko w jednym kierunku – od 
wejść,  przez  warstwy  ukryte,  do  wejść.  W  przeciwieństwie  do  np.  rekurencyjnych  sieci 
RTRN  lub  Elmana,  w  sieci  LRGF  nie  występują  żadne  sprzężenia  zwrotne  między 
neuronami.  Właściwości  dynamiczne  sieci  uzyskuje  się  w  wyniku  zastosowania  neuronów 
dynamicznych,  które  zawierają  wewnętrzne  sprzężenia  zwrotne.  Istnieje  wiele  typów 
neuronów  dynamicznych,  najpopularniejsze  z  nich  to  neurony  z  filtrem  o  Nieskończonej 
Odpowiedzi  Impulsowej  (NOI)  i  neurony  z  filtrem  o  Skończonej  Odpowiedzi  Impulsowej 
(SOI). Strukturę obu neuronów pokazano na rys. 3.28 i rys. 3.29. 

1

−

q

)

(⋅

ϕ

1

w

b

A

i

A

i

+

+

x

i

(k)

x

i

(k+1)

 

Rys. 3.28. Schemat blokowy neuronu z filtrem NOI 

 

82

1

−

q

1

w

c

A

+

x

i

(k)

x

i

(k+1)

 

Rys. 3.29. Schemat blokowy neuronu z filtrem SOI 

Neurony  z  filtrem  NOI  oraz  z  filtrem  SOI  mogą  posłużyć  do  budowy  sieci 

jednowarstwowych oraz dwuwarstwowych. Można udowodnić, że sieci dwuwarstwowe, przy 
odpowiedniej  liczbie  neuronów  z  filtrem  NOI,  są  w  stanie  odtworzyć  trajektorię  stanu 
wygenerowaną  przez  dowolną  funkcję  klasy  C

1

 (funkcja  i  jej  pierwsze  pochodne  są  ciągłe). 

Przedstawiona  na  rys.  3.30  dwuwarstwowa  sieć  LRGF  może  być  więc  z  powodzeniem 
zastosowane do modelowania bardzo szerokiej klasy procesów dynamicznych. 

Istnieje  możliwość  uproszczenia  dwuwarstwowej  sieci  LRGF  z  filtrami  NOI.  W 

przedstawionej na rys. 3.31 sieci kaskadowej stosuje się w drugiej warstwie prostsze neurony 
SOI oraz wprowadza się dodatkowe połączenia  między wejściami modelu a warstwą ukrytą 
neuronów  z  filtrami  SOI.  Sieć  kaskadowa  również  jest  w  stanie  odtworzyć  dowolną 
trajektorię stanu, natomiast jej struktura i uczenie jest prostsze niż pełnej sieci LRGF. 

M

)

(

1

k

y

)

(

y

k

y

n

M

)

1

(

u

−

k

u

n

)

1

(

1

−

k

u

NOI

NOI

NOI

NOI

NOI

NOI

M

+

+

M

Rys. 3.30. Struktura sieci lokalnie rekurencyjnej 

M

)

(

1

k

y

)

(

y

k

y

n

M

)

1

(

u

−

k

u

n

)

1

(

1

−

k

u

NOI

SOI

NOI

SOI

SOI

M

+

+

M

Rys. 3.31. Struktura kaskadowej sieci lokalnie rekurencyjnej