formalnie:

Jednokierunkowe

sieci

neuronowe

i dane (z ominięciem efektu GIGO)...

Dorota Cendrowska

nieformalnie:

Widzieć to co jest, a nie to co chcemy
zobaczyć...

Plan wykładu



sieci jednokierunkowe, jednowarstwowe:



budowa



metoda uczenia



zastosowanie



kodowanie wyjścia:



„1 na 1”



binarne



typy danych:



konsekwencje z tego wynikające



„konwersja” typów danych



wstępna obróbka danych

Neuron (perceptron) i klasyfikacja



zdolność do uogólniania (?)

Neuron (perceptron) i klasyfikacja



zdolność do uogólniania (?)

Neuron (perceptron) i klasyfikacja



zdolność do uogólniania (?)

Neuron (perceptron) i klasyfikacja



zdolność do uogólniania (?)

sieć jednowarstwowa



wejście:



warstwa przetwarzająca



wyjście:

.
.
.

w

1

x

1

.
.
.

x

n

1

w

2

w

k

w

3

y

2

y

1

y

3

y

k

Przetwarzanie...



wejście:



warstwa przetwarzająca



wyjście:

.
.
.

w

1

x

1

.
.
.

x

n

1

w

2

w

k

w

3

y

2

y

1

y

3

y

k

Przetwarzanie...



wejście:



warstwa przetwarzająca



wyjście:

.
.
.

NET1

x

1

.
.
.

x

n

1

y

2

y

1

y

3

y

k

NET2

NET3

NETk

Przetwarzanie...



wejście:



warstwa przetwarzająca



wyjście:

.
.
.

f

x

1

.
.
.

x

n

1

f

f

f

y

2

y

1

y

3

y

4

Uczenie (I)



wzorzec uczący:



zbiór uczący:

.
.
.

f

x

1

.
.
.

x

n

1

f

f

f

y

2

y

1

y

3

y

4

Uczenie (II)



wzorzec uczący:



otrzymane wyjście:



korekta wag:

.
.
.

w

1

x

1

.
.
.

x

n

1

w

2

w

k

w

3

y

2

y

1

y

3

y

k

d

2

d

1

d

3

d

k

?

Jak?



korekta wag:

.
.
.

w

1

x

1

.
.
.

x

n

1

w

2

w

k

w

3

y

2

y

1

y

3

y

k

d

2

d

1

d

3

d

k

?

Jak?



korekta wag:

.
.
.

w

1

x

1

.
.
.

x

n

1

w

2

w

k

w

3

y

2

y

1

y

3

y

k

d

2

d

1

d

3

d

k

Jak?



korekta wag:

.
.
.

w

1

x

1

.
.
.

x

n

1

w

2

w

k

w

3

y

2

y

1

y

3

y

k

d

2

d

1

d

3

d

k

Jak?



korekta wag:

.
.
.

w

1

x

1

.
.
.

x

n

1

w

2

w

k

w

3

y

2

y

1

y

3

y

k

d

2

d

1

d

3

d

k



=1



=0,5



=0,2

Jak?



korekta wag:

.
.
.

w

1

x

1

.
.
.

x

n

1

w

2

w

k

w

3

y

2

y

1

y

3

y

k

d

2

d

1

d

3

d

k

Jak?



korekta wag:

.
.
.

w

1

x

1

.
.
.

x

n

1

w

2

w

k

w

3

y

2

y

1

y

3

y

k

d

2

d

1

d

3

d

k

Uczenie



wzorzec uczący:



otrzymane wyjście:



korekta wag*:

.
.
.

w

1

x

1

.
.
.

x

n

1

w

2

w

k

w

3

y

2

y

1

y

3

y

k

d

2

d

1

d

3

d

k

* metoda perceptronowa lub metoda delty

kodowanie wyjścia w sieci
jednowarstwowej

x

1

OldsMobile Intrique

S

x

2

niedobry

oczekiwane wyjście (d)

BMW Z3

S

dobry

Citroen C3

S

dobry

OldsMobile Intrique

L

niedobry

OldsMobile Intrique

M

niedobry

Citroen C3

M

dobry

BMW Z3

L

niedobry

BMW Z3

M

niedobry

Citroen C3

L

dobry

dobry

niedobry

y

1

?

kodowanie wyjścia w sieci
jednowarstwowej

x

1

OldsMobile Intrique

S

x

2

niedobry

oczekiwane wyjście (d)

BMW Z3

S

dobry

Citroen C3

S

dobry

OldsMobile Intrique

L

niedobry

OldsMobile Intrique

M

niedobry

Citroen C3

M

dobry

BMW Z3

L

niedobry

BMW Z3

M

niedobry

Citroen C3

L

dobry

dobry

niedobry

y

1

d

2

y

2

d

3

y

3

d

4

y

4

d

5

y

5

d

1

y

1

dobry

niedobry

y

1

kodowanie wyjścia w sieci
jednowarstwowej



kodowanie „jeden na jeden”

klasa 2

klasy

klasa 3

klasa 1

klasa 4

0

neuron 1

(

d

1

)

0

1

0

klasa 5

0

1

neuron 2

(

d

2

)

0

0

0

0

0

neuron 3

(

d

3

)

1

0

0

0

0

neuron 4

(

d

4

)

0

0

1

0

0

neuron 5

(

d

5

)

0

0

0

1

d

2

y

2

d

3

y

3

d

4

y

4

d

5

y

5

d

1

y

1

kodowanie wyjścia w sieci
jednowarstwowej



kodowanie „binarne”

klasa 2

klasa 3

klasa 1

klasa 4

0

0

1

1

klasa 5

1

1

0

0

0

0

0

1

0

0

1

klasy

neuron 1

(

d

1

)

neuron 2

(

d

2

)

neuron 3

(

d

3

)

d

2

y

2

d

3

y

3

d

1

y

1

Sieć jednowarstwowa… i
klasyfikacja



zdolność do uogólniania (?)

?



informacja ilościowa



informacja jakościowa

Typy danych a typy informacji...



informacja ilościowa

(numeryczna):



dyskretna:



dochód w zł, rozmiar buta, wzrost



ciągła:



temperatura powietrza, waga ciała



informacja jakościowa

(kategoryczna):



porządkowa:



wykształcenie, stopień opanowania języka obcego



symboliczna:



płeć, stan cywilny

Typy danych a typy informacji...



informacja ilościowa

(numeryczna):



dyskretna:



dochód w zł, rozmiar buta, wzrost



ciągła:



temperatura powietrza, waga ciała



informacja jakościowa

(kategoryczna):



porządkowa:



wykształcenie, stopień opanowania języka obcego



symboliczna:



płeć, stan cywilny

Typy danych a typy informacji...

==

==

>,<

==

>,<

+, -

*, /



informacja ilościowa (numeryczna):



dyskretna



ciągła



informacja jakościowa (kategoryczna):



symboliczna



porządkowa

15°C

59°F

288,15°K

ciepło

zimno

21

dorosły

22

młody

stary

[255, 102,

0]

ceglany

pomarańczow

y

[0, 60,

100,0]

Typy danych a typy informacji...



informacja ilościowa (numeryczna):



dyskretna



ciągła



informacja jakościowa (kategoryczna):



symboliczna



porządkowa

Przetwarzanie danych przez sieci
neuronowe

?

w

1

w

2

w

3

w

4

y

f

x

1

=120000

x

2

=0.3

x

3

=7

1

x

1

=duży

x

2

=protestant

x

3

=550

1

w

1

w

2

w

3

w

4

f

Konwersje

informacja

ilościowa

informacja

jakościowa

wzrost

wymiary

S, M, L

XL, XXL, XXXL

informacja

ilościowa

informacja

jakościowa

Konwersja na informację jakościową

Konwersja na informację jakościową



technika „równych przedziałów”:

Konwersja na informację jakościową

A

1

A

2

A

3

A

4

A

5

A

6

A

7



technika „równych przedziałów”:



technika „równoliczności”:

Konwersja na informację jakościową

B

1

B

2

B

3

wartości atrybutów jakościowych

A

1

A

2

A

3

A

4

A

5

A

6

A

7

Konwersja na informację jakościową

Konwersja na informację jakościową

Konwersja na informację jakościową

informacja

ilościowa

informacja

jakościowa

Konwersje

w

1

w

2

w

3

y

f

x

1

=marka samochodu

x

2

=rozmiar odzieży

1

?

Konwersja na informację ilościową

w

1

w

2

w

3

y

f

x

1

=marka samochodu

x

2

=rozmiar odzieży

1

x

1

OldsMobile Intrique

S

x

2

niedobry

oczekiwane wyjście (d)

BMW Z3

S

dobry

Citroen C3

S

dobry

OldsMobile Intrique

L

niedobry

OldsMobile Intrique

M

niedobry

Citroen C3

M

dobry

BMW Z3

L

niedobry

BMW Z3

M

niedobry

Citroen C3

L

dobry

Konwersja na informację ilościową

X

1

= { Citroen C3, OldsMobile Intrique, BMW Z3 }

X

2

= { S, M, L }

A

2

= { 1, 2, 3 }

A

1

= { 1, 2, 3 }

x

1

OldsMobile Intrique

S

x

2

niedobry

oczekiwane wyjście (d)

BMW Z3

S

dobry

Citroen C3

S

dobry

OldsMobile Intrique

L

niedobry

OldsMobile Intrique

M

niedobry

Citroen C3

M

dobry

BMW Z3

L

niedobry

BMW Z3

M

niedobry

Citroen C3

L

dobry

Konwersja na informację ilościową

X

1

= { Citroen C3, OldsMobile Intrique, BMW Z3 }

X

2

= { S, M, L }

A

2

= { 1, 2, 3 }

A

1

= { 1, 2, 3 }

x

1

OldsMobile Intrique

S

x

2

niedobry

oczekiwane wyjście (d)

BMW Z3

S

dobry

Citroen C3

S

dobry

OldsMobile Intrique

L

niedobry

OldsMobile Intrique

M

niedobry

Citroen C3

M

dobry

BMW Z3

L

niedobry

BMW Z3

M

niedobry

Citroen C3

L

dobry

(3)
BMW

(2)

OldsMobile

(1)

Citroen

S (1)

M (2)

L (3)

Konwersja na informację ilościową

x

1

OldsMobile Intrique

S

x

2

niedobry

oczekiwane wyjście (d)

BMW Z3

S

dobry

Citroen C3

S

dobry

OldsMobile Intrique

L

niedobry

OldsMobile Intrique

M

niedobry

Citroen C3

M

dobry

BMW Z3

L

niedobry

BMW Z3

M

niedobry

Citroen C3

L

dobry

X

1

= { Citroen C3,

BMW Z3, OldsMobile Intrique

}

X

2

= { S, M, L }

A

2

= { 1, 2, 3 }

A

1

= { 1, 2, 3 }

Konwersja na informację ilościową

x

1

OldsMobile Intrique

S

x

2

niedobry

oczekiwane wyjście (d)

BMW Z3

S

dobry

Citroen C3

S

dobry

OldsMobile Intrique

L

niedobry

OldsMobile Intrique

M

niedobry

Citroen C3

M

dobry

BMW Z3

L

niedobry

BMW Z3

M

niedobry

Citroen C3

L

dobry

X

1

= { Citroen C3,

BMW Z3, OldsMobile Intrique

}

X

2

= { S, M, L }

A

2

= { 1, 2, 3 }

A

1

= { 1, 2, 3 }

(3)
OldsMobile

(2)

BMW

(1)

Citroen

S (1)

M (2)

L (3)

Konwersja na informację ilościową

x

1

OldsMobile Intrique

S

x

2

niedobry

oczekiwane wyjście (d)

BMW Z3

S

dobry

Citroen C3

S

dobry

OldsMobile Intrique

L

niedobry

OldsMobile Intrique

M

niedobry

Citroen C3

M

dobry

BMW Z3

L

niedobry

BMW Z3

M

niedobry

Citroen C3

L

dobry

X

1

= { Citroen C3,

BMW Z3, OldsMobile Intrique

}

X

2

= { S, M, L }

A

2

= { 1, 2, 3 }

A

1

= { 1, 2, 3 }

(3)
OldsMobile

(2)

BMW

(1)

Citroen

S (1)

M (2)

L (3)

Co mówią a czego nie pojedyncze mierniki



lokalizacja A:



temperatura w lecie 16,5–20˚C



lokalizacja B:



temperatura w czerwcu 21,4˚C

?

Co mówią a czego nie pojedyncze mierniki



lokalizacja A:



średnia

temperatura w lecie 16,5–20˚C



lokalizacja B:



średnia

temperatura w czerwcu 21,4˚C

Siła kilku prostych mierników



Polska:



średnia

temperatura w lecie

16,5–20˚C



średnia

temperatura w roku 7–8˚C

(poza obszarami górskimi)



Zachodnia Sahara:



średnia

temperatura w czerwcu

21,4˚C



średnia

temperatura w roku 20,3˚C



minimalna

temperatura: prawie 0˚C



maksymalna średnia

temperatura dobowa: 57˚C

Średnio czyli jak?



Człowiek A:



6000 zł



2000 zł



Istota B:



3000 zł



2000 zł

Średnio czyli jak?



Człowiek A:



6000 zł



2000 zł



Istota B:



3000 zł



2000 zł

średnio zarobił 4000

zł

średnio zarobiła 2500

zł

Średnio czyli jak?



Człowiek A:



6000 zł



2000 zł



Istota B:



3000 zł



2000 zł



Kim chciał(a)byś być?



Którą pracę byś rzucił(a)?

średnio zarobił 4000

zł

średnio zarobiła 2500

zł

Średnio czyli jak?



Ile wynosi średnia stawka za godzinę?

zarobki

2000

A

osoba

40

liczba godzin pracy

3000

B

40

6000

A

160

2000

B

10

50

stawka [zł/h]

75

37,5

200

Średnio czyli jak?



Ile wynosi średnia stawka za godzinę?



średnia arytmetyczna:

zarobki

2000

A

osoba

40

liczba godzin pracy

3000

B

40

6000

A

160

2000

B

10

50

stawka [zł/h]

75

37,5

200

stawka

A

=

43,75

stawka

B

=

137,5

?

Średnio czyli jak?



Ile wynosi średnia stawka za godzinę?



średnia arytmetyczna:



średnia ważona:

zarobki

2000

A

osoba

40

liczba godzin pracy

3000

B

40

6000

A

160

2000

B

10

50

stawka [zł/h]

75

37,5

200

Średnio czyli jak?



Człowiek A:



6000 zł



2000 zł



Istota B:



3000 zł



2000 zł



Tylko co robić z pozostałym czasem? :)

średnio zarobił 4000
zł
średnia stawka: 40 zł

średnio zarobił 2500
zł
średnia stawka: 100
zł

Mierniki pozycyjne



Mediana

— element środkowy:

1, 2, 4, 5,

6

, 7, 10, 20, 100

M=6

średnia=

17,2

2

Mierniki pozycyjne



Mediana

— element środkowy:

1, 2, 4, 5,

6

, 7, 10, 20, 100

M=6

1, 2, 4,

5

,

6

, 7, 10, 20

M=5,5

średnia=

17,2

2

średnia=

6,88

Mierniki pozycyjne



Mediana

— element środkowy:



Kwartyl Q

1

:

1, 2, 4, 5,

6

, 7, 10, 20, 100

M=6

1, 2, 4,

5

,

6

, 7, 10, 20

M=5,5

1, 2,

4

, 5, 6

, 7, 10, 20, 100

Q

1

=4

1,

2

,

4

, 5

, 6, 7, 10, 20

Q

1

=3

Mierniki pozycyjne



Mediana

— element środkowy:



Kwartyl Q

1

:



Kwartyl Q

3

:

1, 2, 4, 5,

6

, 7, 10, 20, 100

M=6

1, 2, 4,

5

,

6

, 7, 10, 20

M=5,5

1, 2,

4

, 5, 6, 7, 10, 20, 100

Q

1

=4

1,

2

,

4

, 5, 6, 7, 10, 20

Q

1

=3

1, 2, 4, 5,

6, 7,

10

, 20, 100

Q

3

=10

1, 2, 4, 5,

6,

7

,

10

, 20

Q

3

=8,5

Mierniki pozycyjne



Mediana

— element środkowy:



Kwartyl Q

1

:



Kwartyl Q

3

:



rozstęp kwartylowy IQR

: Q

3

–Q

1

1, 2, 4, 5,

6

, 7, 10, 20, 100

M=6

1, 2, 4,

5

,

6

, 7, 10, 20

M=5,5

1, 2,

4

, 5, 6, 7, 10, 20, 100

Q

1

=4

1,

2

,

4

, 5, 6, 7, 10, 20

Q

1

=3

1, 2, 4, 5,

6, 7,

10

, 20, 100

Q

3

=10

1, 2, 4, 5, 6,

7

,

10

, 20

Q

3

=8,5

IQR=6
IQR=5,5

Wszyscy nie są tacy sami, czyli o

odchyleniach



Odchylenie standardowe

:

Wszyscy nie są tacy sami, czyli o

odchyleniach



Odchylenie standardowe

:



Odchylenie przeciętne

:



wstępna obróbka danych (?):

Po co proste mierniki?

w

1

w

2

w

3

w

4

y

f

x

1

=120000

x

2

=0.3

x

3

=7

1



wstępna obróbka danych:



standaryzacja

(„wybielanie”):

Po co proste mierniki?

w

1

w

2

w

3

w

4

y

f

x

1

=120000

x

2

=0.3

x

3

=7

1



wstępna obróbka danych:



standaryzacja („wybielanie”):



analiza składowych głównych

Po co proste mierniki?

w

1

w

2

w

3

w

4

y

f

x

1

=120000

x

2

=0.3

x

3

=7

1

Analiza składowych głównych (ilustracja)

Atrybut B

Atrybut A

Atrybut B

Atrybut A

?

klasa 2

klasa 1

Analiza składowych głównych (ilustracja)

Atrybut B

Atrybut A

?

klasa 2

klasa 1

Analiza składowych głównych (ilustracja)

Analiza składowych głównych (ilustracja)

Atrybut B

Atrybut A

At

ryb

ut

1

klasa 1

At

ryb

ut

2

klasa 2

Totolotek...



Kto gra?



Kto podpuszcza?



Kto w co wierzy w kategorii „gier”?

Histogram... optymisty

wszystkie możliwe wartości

li

c

z

b

a

w

y

s

tą

p

ie

ń

w

z

b

io

rz

e

Histogram... umiarkowanego
optymisty

Co można wykryć przy użyciu histogramu?



zbiór: Pima Indians Diabetes Database

Wykresy pudełkowe

klasa 1

klasa 2

atrybut X

Wykresy pudełkowe

klasa 1

klasa 2

atrybut X

mediana
Q

1

Q

3

wąs, max. dł.: 1,5IQR

jak zwykle, zamiast zakończenia...



filozoficznie:

fragment okładki i książki pt.
„Paddington daje sobie
radę”

(autor: Michael Bond)

— Wie pani — powiedział do pani

Bird, gdy przyszła do jadalni, by
sprawdzić,
czy już zjadł grzankę z marmoladą —

nigdy dotąd nie zrobiłem
wszystkiego,
bo gdybym zrobił, to nie
czekałyby mnie już żadne
niespodzianki

.