POLITECHNIKA ŚWIĘTOKRZYSKA W KIELCACH
SYSTEMY INTELIGENTNE 2
Nr ćwiczenia: 2

1. Wstęp teoretyczny.

Naszym zadaniem było przeprowadzenie eksperymentów uczenia sieci neuronowej dla danych liniowo nieseparowanych. Eksperymenty te przeprowadzane były dla różnych wartości tolerancji uczenia i testowania.

2. Dane.

Dane uczące:

-6,760 0,700 Klasa 1 -5,662 1,928 Klasa 1 -5,580 0,528 Klasa 1

-4,565 2,592 Klasa 1 -3,965 4,016 Klasa 1 -1,025 3,992 Klasa 1

0,528 4,139 Klasa 1 2,743 3,771 Klasa 1 3,675 0,504 Klasa 1 4,834 0,012 Klasa 1 4,731 -2,739 Klasa 1 4,420 0,970 Klasa 1

3,592 1,855 Klasa 1 2,743 1,904 Klasa 1 1,874 5,023 Klasa 1 -6,677 -1,093 Klasa 1 -5,869 -0,970 Klasa 1 -6,304 -0,258 Klasa 1

-6,760 -3,992 Klasa 1 -5,869 -2,813 Klasa 1 -7,112 -1,756 Klasa 1 -4,627 1,069 Klasa 1 -5,124 2,837 Klasa 1 -3,426 2,788 Klasa 1

-2,702 3,697 Klasa 1 -1,998 4,704 Klasa 1 -0,383 4,753 Klasa 1 1,004 4,778 Klasa 1 2,371 3,083 Klasa 1 3,571 3,058 Klasa 1

4,192 0,209 Klasa 1 4,358 -2,100 Klasa 1 4,110 -1,535 Klasa 1 5,103 -4,409 Klasa 1 5,145 -3,525 Klasa 1 5,331 -2,149 Klasa 1

1,501 4,188 Klasa 1 -5,228 -0,626 Klasa 1 -5,600 -1,953 Klasa 1 -6,987 -2,813 Klasa 1 -4,689 -3,476 Klasa 2 -4,462 -2,444 Klasa 2

-4,234 -2,985 Klasa 2 -1,770 0,725 Klasa 2 -4,337 -1,658 Klasa 2 -4,047 -0,798 Klasa 2 -3,468 -0,946 Klasa 2 -3,240 -0,307 Klasa 2

-3,323 0,135 Klasa 2 -3,178 0,798 Klasa 2 -2,805 1,019 Klasa 2 -1,170 0,798 Klasa 2 -2,660 0,504 Klasa 2 -2,122 0,454 Klasa 2

-2,350 1,511 Klasa 2 -1,853 1,683 Klasa 2 -1,335 1,904 Klasa 2 -0,569 1,584 Klasa 2 0,093 1,855 Klasa 2 0,756 1,683 Klasa 2

1,211 1,241 Klasa 2 1,749 0,798 Klasa 2 1,956 0,012 Klasa 2 2,081 -0,700 Klasa 2 2,288 -1,634 Klasa 2 2,412 -2,346 Klasa 2

2,640 -2,911 Klasa 2 2,847 -3,304 Klasa 2 3,012 -4,016 Klasa 2 3,012 -4,483 Klasa 2 2,640 -4,483 Klasa 2 2,267 -4,286 Klasa 2

2,143 -2,935 Klasa 2 1,749 -2,051 Klasa 2 1,915 -1,191 Klasa 2 1,335 -0,651 Klasa 2 1,128 0,061 Klasa 2 0,569 1,142 Klasa 2

0,259 0,823 Klasa 2 -0,590 0,798 Klasa 2 -3,240 -4,016 Klasa 3 -2,826 -3,992 Klasa 3 -2,660 -3,844 Klasa 3 -2,702 -3,353 Klasa 3

-2,557 -2,469 Klasa 3 -2,019 -2,297 Klasa 3 -1,397 -2,272 Klasa 3 -0,901 -2,444 Klasa 3 -0,756 -3,181 Klasa 3 -0,549 -3,893 Klasa 3

-0,404 -4,434 Klasa 3 0,135 -4,434 Klasa 3 0,611 -4,311 Klasa 3

0,507 -3,623 Klasa 3 0,404 -2,763 Klasa 3 0,155 -2,125 Klasa 3

-0,052 -1,511 Klasa 3 -0,445 -1,216 Klasa 3 -0,942 -1,118 Klasa 3

-1,211 -1,142 Klasa 3 -1,646 -1,265 Klasa 3 -2,101 -1,584 Klasa 3

-2,557 -2,002 Klasa 3 -2,930 -2,616 Klasa 3 -1,894 -2,051 Klasa 3

-1,356 -1,756 Klasa 3 -0,714 -1,953 Klasa 3 -0,342 -2,665 Klasa 3

-0,052 -3,206 Klasa 3 0,114 -3,648 Klasa 3 -0,052 -3,893 Klasa 3

-0,342 -3,427 Klasa 3 -0,300 -2,739 Klasa 3 -0,217 -2,223 Klasa 3

-2,971 -3,058 Klasa 3 -1,749 -1,609 Klasa 3 -0,735 -1,560 Klasa 3

0,114 -2,788 Klasa 3 0,279 -3,058 Klasa 3 0,383 -4,016 Klasa 3

Dane uczące schemat

Dane testowe:

-5,931 -3,279 Klasa 1 -7,153 -1,560 Klasa 1 -5,207 -1,511 Klasa 1

-6,739 0,356 Klasa 1 -4,503 0,847 Klasa 1 -5,165 2,690 Klasa 1

-3,281 2,813 Klasa 1 -2,702 4,532 Klasa 1 -0,838 4,016 Klasa 1

0,300 5,195 Klasa 1 2,163 4,999 Klasa 1 1,066 4,065 Klasa 1

2,205 2,911 Klasa 1 3,778 2,739 Klasa 1 3,219 1,118 Klasa 1

4,876 0,553 Klasa 1 3,840 -0,946 Klasa 1 5,207 -2,125 Klasa 1

4,296 -3,181 Klasa 1 4,938 -4,385 Klasa 1 5,559 -4,115 Klasa 1

5,021 -0,626 Klasa 1 -1,522 4,262 Klasa 1 -5,580 0,233 Klasa 1

-6,097 -1,560 Klasa 1 -6,470 -3,058 Klasa 1 -3,426 4,115 Klasa 1

3,468 1,953 Klasa 1 2,557 3,992 Klasa 1 4,565 -1,314 Klasa 1

-4,669 -3,918 Klasa 2 -4,337 -3,107 Klasa 2 -4,399 -1,953 Klasa 2

-3,613 -1,142 Klasa 2 -3,488 0,258 Klasa 2 -2,329 0,307 Klasa 2

-1,977 1,191 Klasa 2 -0,445 1,339 Klasa 2 0,321 1,805 Klasa 2

0,549 0,872 Klasa 2 1,563 0,847 Klasa 2 1,439 -0,381 Klasa 2

2,060 -1,019 Klasa 2 1,646 -2,100 Klasa 2 2,536 -2,346 Klasa 2

2,288 -3,525 Klasa 2 3,033 -3,967 Klasa 2 2,660 -4,458 Klasa 2

2,536 -3,279 Klasa 2 1,563 0,233 Klasa 2 0,797 1,314 Klasa 2

-0,052 1,388 Klasa 2 -1,397 1,462 Klasa 2 -3,696 -0,504 Klasa 2

2,060 -1,928 Klasa 2 1,087 0,676 Klasa 2 -2,515 1,044 Klasa 2

-1,480 0,970 Klasa 2 -0,714 1,855 Klasa 2 -0,756 1,216 Klasa 2 -3,261 -3,672 Klasa 3 -3,178 -2,886 Klasa 3 -2,598 -3,427 Klasa 3

-2,722 -2,395 Klasa 3 -2,060 -1,683 Klasa 3 -1,190 -1,363 Klasa 3

-0,424 -1,535 Klasa 3 0,176 -2,321 Klasa 3 0,321 -3,058 Klasa 3

0,652 -4,016 Klasa 3 0,342 -4,360 Klasa 3 -0,155 -4,262 Klasa 3

-0,631 -3,869 Klasa 3 -0,694 -3,157 Klasa 3 -1,025 -2,444 Klasa 3

-1,563 -2,321 Klasa 3 -2,019 -2,420 Klasa 3 -1,542 -1,977 Klasa 3

-0,983 -1,977 Klasa 3 -0,445 -2,469 Klasa 3 -0,114 -3,304 Klasa 3

0,259 -3,230 Klasa 3 -0,031 -2,862 Klasa 3 -0,445 -2,223 Klasa 3

-0,673 -2,518 Klasa 3 -2,681 -2,886 Klasa 3 -3,033 -3,328 Klasa 3

-1,501 -1,707 Klasa 3 -0,424 -1,781 Klasa 3 -0,093 -1,781 Klasa 3

Dane testowe schemat

Dane weryfikujące:

-0,362 3,034 1,046 2,935 2,391 1,241 2,950 0,454

3,178 -1,584 3,799 -4,115 3,737 -3,132 1,501 -3,648

0,797 -2,935 1,149 -1,904 0,880 -0,725 0,404 -1,265

0,155 0,037 -0,569 -0,725 -1,128 0,012 -1,874 -0,332

-1,915 -0,946 -2,992 -1,314 -3,613 -2,444 -3,737 -3,255

-5,145 -4,237 -5,497 -3,795 -5,165 -3,304 -4,689 -1,142

-4,213 0,012 -3,965 1,167 -3,551 1,412 -2,619 2,174

-1,625 2,542 -1,046 3,181 0,362 2,714 -0,487 -0,086

0,052 -0,528 0,694 -1,707 1,273 -2,886 1,418 -4,139

3,530 -2,518 3,509 -0,577 2,743 -0,725 1,749 2,346

1,460 3,304 -1,812 3,083 -0,052 2,739 0,342 3,304

2,495 -0,012 -3,012 -1,707 -3,613 -3,918 -2,081 -3,893

-2,143 -3,181 -1,667 -2,837 -1,190 -3,304 -0,983 -4,016

-1,480 -3,893 -1,273 -3,697 -1,708 -3,304 -1,480 -0,479

0,797 2,370 -3,137 2,100 3,551 -1,683 3,074 -2,395

Dane uczące + testowe schemat

3. Proces uczenia sieci:

TU=.04	TT=0.4
MW=WL							Dane	do	wykresów
ZPWU	WU1,2,3	LWUPT	LWTPT	PPDDU	PPDDT		ZPWU	PPDU	ZPWU	PPDT
50	0,0,0	0	0	100	100		50	98,33	50	66,67
60	0,0,0	0	0	100	100		60	99,17	60	82,22
70	0,0,0	0	0	100	100		70	100,00	70	100,00
80	0,0,0	0	0	100	100		80	98,33	80	66,67
90	0,0,0	0	0	100	100		90	99,17	90	95,56
100	0,0,0	0	0	100	100		100	100,00	100	100,00
TU=.04	TT=0.4
MW=WyL
ZPWU	WU1,2,3	LWUPT	LWTPT	PPDDU	PPDDT		50	100,00	50	100,00
50	0,0,0	0	0	100	100		60	99,17	60	91,11
60	0,0,0	0	0	100	100		70	100,00	70	100,00
70	0,0,0	0	0	100	100		80	98,33	80	66,67
80	0,0,0	0	0	100	100		90	99,17	90	97,78
90	0,0,0	0	0	100	100		100	100,00	100	100,00

Uruchomienie sieci dla: TU=0.4 TT=0.4 ZPWU=100 MW=WL

TU=0.3	TT=0.3
MW=WL
ZPWU	WU1,2,3	LWUPT	LWTPT	PPDDU	PPDDT		Dane	do	wykresów
50	3,0,0	49	43	59,17	52,22		50	63,33	50	40,00
60	3,0,0	36	19	70,00	78,89		60	59,17	60	68,89
70	3,0,0	20	10	83,33	88,89		70	78,33	70	86,67
80	3,0,0	16	12	86,67	86,67		80	84,17	80	88,89
90	3,0,0	9	2	92,50	97,78		90	90,83	90	95,56
100	3,0,0	3	0	97,50	100,00		100	100,00	100	100,00
MW=WYL
ZPWU	WU1,2,3	LWUPT	LWTPT	PPDDU	PPDDT
50	3,0,0	2	30	98,33	66,67		50	96,67	50	57,78
60	3,0,0	12	30	90,00	66,67		60	95,83	60	42,22
70	3,0,0	4	60	96,67	33,33		70	91,67	70	62,22
80	3,0,0	13	12	89,17	86,67		80	95,83	80	66,67
90	3,0,0	5	2	95,83	97,78		90	94,17	90	56,67
100	3,0,0	2	0	98,33	100,00		100	100,00	100	100,00

Uruchomienie sieci dla: TU=0.3 TT=0.3 ZPWU=100 MW=WL

TU=0.2	TT=0.2
MW=WL
ZPWU	WU1,2,3	LWUPT	LWTPT	PPDDU	PPDDT		Dane	do	wykresów
50	3,0,0	5	90	95,83	0,00		50	49,17	50	65,56
60	3,0,0	7	90	94,17	0,00		60	60,00	60	71,11
70	3,0,0	7	60	94,17	33,33		70	71,67	70	84,44
80	3,0,0	5	60	95,83	33,33		80	79,17	80	86,67
90	3,0,0	5	90	95,83	0,00		90	89,17	90	96,67
100	3,0,0	0	90	100,00	0,00		100	100,00	100	100,00
MW=WYL
ZPWU	WU1,2,3	LWUPT	LWTPT	PPDDU	PPDDT
50	3,0,0	7	90	94,17	0,00		50	88,33	50	0,00
60	3,0,0	6	90	95,00	0,00		60	88,33	60	0,00
70	3,0,0	6	90	95,00	0,00		70	86,67	70	0,00
80	3,0,0	6	90	95,00	0,00		80	88,33	80	0,00
90	3,0,0	7	90	94,17	0,00		90	89,17	90	87,78
100	3,0,0	0	90	100,00	0,00		100	100,00	100	1,11

Uruchomienie sieci dla: TU=0.2 TT=0.2 ZPWU=100 MW=WL

TU=0.1	TT=0.2
MW=WL
ZPWU	WU1,2,3	LWUPT	LWTPT	PPDDU	PPDDT		Dane	do	wykresów
50	3,0,0	56	17	53,33	81,11		50	25,83	50	33,33
60	3,0,0	46	15	61,67	83,33		60	60,00	60	1,11
70	6,0,0	37	3	69,17	96,67		70	70,00	70	1,11
80	6,0,0	24	3	80,00	96,67		80	79,17	80	1,11
90	9,0,0	13	0	89,17	100,00		90	90,00	90	1,11
100	9,0,0	1	1	99,17	98,89		100	99,17	100	100,00
MW=WYL
ZPWU	WU1,2,3	LWUPT	LWTPT	PPDDU	PPDDT
50	9,0,0	24	60	80,00	33,33		50	85,00	50	0,00
60	9,0,0	22	60	81,67	33,33		60	84,17	60	0,00
70	9,0,0	23	60	80,83	33,33		70	82,50	70	0,00
80	9,0,0	14	60	88,33	33,33		80	80,83	80	0,00
90	3,3,0	13	9	89,17	90,00		90	89,17	90	100,00
100	3,3,0	0	0	100,00	100,00		100	99,17	100	100,00

Uruchomienie sieci dla: TU=0.1 TT=0.2 ZPWU=100 MW=WL

5. Wnioski:

W tym ćwiczeniu sposób rozłożenia danych uczących trzech klas nie pozwolił na stworzenie pojedynczych linii, które mogłyby oddzielić poszczególne klasy od siebie. Powstał za to skomplikowany układ, który tylko w najprostszych przypadkach potrzebował już dość dużo neuronów. W raz ze zmniejszaniem tolerancji uczenia oraz tolerancji testowania musiałem dokładać dodatkowe neurony w warstwie ukrytej.

Proces uczenia zarówno z włączonym jak i wyłączonym mieszaniem potrzebował dodatkowych warstw ukrytych aby zakończyć się poprawnie. Zapotrzebowanie zwiększało się wraz ze wzrostem zadanego procentu wzorców uczących mieszczących się w tolerancji.

Jedynie przy tolerancji : TU = 0.4, TT = 0.4 proces uczenia nie wymagał dodatkowych warstw ukrytych. We wszystkich przypadkach można zauważyć, że im większy zadany procent wzorców uczących mieszczących się w tolerancji, tym więcej danych jest poprawnie klasyfikowanych. Przy zmniejszających się zadanych tolerancjach odpowiedź systemu zbliża się do pożądanej odpowiedzi.