1. Sygnał deterministyczny i stochastyczny
Wszelkie spotykane sygnały najogólniej możemy podzielić na:
Stochastyczne (zbiór sygnałów losowych)
Deterministyczne
Zaliczanie sygnałów do pierwszej lub drugiej grupy zależy od zawartości informacji, jaką posiada
odbiorca sygnału w stosunku do nadawcy informacji. Jeżeli przekazywana jest nam informacja znana
to sygnał dla nas jest deterministyczny. Jeżeli przekazywana jest nam informacja, którą możemy,
jedynie przewidzieć jako statystyczną to sygnał traktujemy jako losowy. A zatem sygnał o przyszłości
znanej opisanej, np.: matematycznie jest sygnałem deterministycznym. Natomiast sygnał losowy o
nieznanej przyszłości posiada model probabilistyczny i z nim związana jest informacja. W praktyce
modele stochastyczne sygnałów wynikają często z nieznajomości zjawisk fizycznych, które generują
dane sygnały.
2. Rozkład dwumianowy i jego przybliżenia
Z najprostszą postacią rozkładu mamy do czynienia wówczas, jeżeli eksperyment ma jedynie
dwie możliwości: sukces bądź niepowodzenie, rozkład taki nazywamy dwumianowym.
Załóżmy, że w każdym eksperymencie prawdopodobieństwo sukcesu wynosi p, a
niepowodzenia q, wówczas można zapisać:
p
q
q
p
1
1
. W przypadku n przeprowadzonych
eksperymentów prawdopodobieństwo osiągnięcia sukcesów k razy określa się zależnością:
k
n
k
k
n
k
p
p
k
n
k
n
q
p
k
n
k
P
)
1
(
)!
(
!
!
)
(
-
jest to postać rozkładu dwumianowego. W
przypadku, kiedy liczba eksperymentów jest bardzo duża, n >> 1, a prawdopodobieństwo
sukcesów każdego z doświadczeń bardzo małe p << 1 to istnieje pewne przybliżenie
rozkładu dwumianowego nazywane rozkładem Poisson. 3. Parametry charakteryzujące rozkłady
prawdopodobieństwa i związek między nimi
4. Probabilistyczny model systemu informacyjnego. Pojęcie
macierzy transmisyjnej
Suma tych prawdopodobieństw warunkowych po wszystkich realizacjach sygnału musi
być równa 1:
N
k
i
k
x
y
P
1
1
)
(
.
Z powyższego widzimy, że dla każdej wartości
i
x
własności zakłóceń działających w
kanale transmisyjnym, opisuje się warunkowym rozkładem prawdopodobieństwa:
)}
(
{
i
k
x
y
P
.
W związku z tym, że ilość możliwych realizacji sygnału nadawanego jest N, a
ilością realizacji sygnału odbieranego jest M, to własności zakłóceń działających w kanale
transmisyjnym, będą opisane przez P x M prawdopodobieństw warunkowych
)
(
i
k
x
y
P
. W
związku z tym probabilistyczną charakterystykę kanału możemy przedstawić za pomocą
macierz
y prostokątnej posiadającej M – kolumn i N – wierszy. Macierz ta ma postać:
)
(
)...
(
)...
(
.....
..........
..........
..........
..........
)
(
)...
(
)...
(
.....
..........
..........
..........
..........
)
(
)...
(
)...
(
)]
(
[
1
1
1
1
)
,
(
M
N
i
N
i
M
k
i
k
i
M
k
i
i
M
N
i
k
x
y
P
x
y
P
x
y
P
x
y
P
x
y
P
x
y
P
x
y
P
x
y
P
x
y
P
x
y
P
.
Należy pamiętać, że suma kolumn ma być równa
. Powyższą macierz nazywamy
macierzą przejścia kanału transmisyjnego, przedstawiającego zbiory
)}
(
{
i
x
P
i
)}
(
{
k
y
P
w postaci macierzy kolumnowych:
)
1
,
(
1
)
1
,
(
)
(
)
(
....
....
....
)
(
)]
(
[
M
M
i
M
i
x
P
x
P
x
P
x
P
, oraz zbiór
)}
(
{
k
y
P
:
)
1
,
(
1
)
1
,
(
)
(
)
(
....
....
....
)
(
)]
(
[
N
N
k
N
k
y
P
y
P
y
P
y
P
.
5. Transinformacja i przepustowość kanału transmisyjnego
Przepustowość kanału transmisyjnego:
Rozpatrzmy system informacyjny, który był omawiany:
)
1
,
(
)]
(
[
M
i
x
P
)
,
(
)]
(
[
M
N
i
k
x
y
P
)
1
,
(
)]
(
[
N
k
y
P
)
(
)
(
)
(
H
)
(
H
Rys.: Graficzne przedstawienie elementarnego dyskretnego systemu informacyjnego.
Należy teraz ocenić zdolność kanału transmisyjnego do przesyłania informacji. Wielkość
charakteryzująca zdolność powinna zależeć od charakterystyki probabilistycznej kanału a
zatem od zbioru prawdopodobieństwa
)}
(
{
i
k
x
y
P
. Jednakże miarą oczekiwanej ilości
informacji przesyłanej przez kanał jest transinformacja, będąca funkcją zarówno
probabilistycznej charakterystyki źródła informacji jak i probabilistycznej
charakterystyki kanału.
6. Kodowanie Shannona-Fano
Projektowanie kodów Shannona – Fano.
Rozpatrzymy projektowanie kodów binarnych, czyli Q = 2. Załóżmy, że kody mają
spełniać właściwość przedrostkową, w przypadku takich założeń, dla zapewnienia dużej
sprawności kodowania długości
i
L
wyrazów
i
D
muszą spełniać nierówność:
)
)
(
2
(
log
)
)
(
1
(
log
2
2
i
i
i
x
P
L
x
P
.
Na podstawie powyższej nierówności dla danego źródła informacji określamy długości
i
L
wyrazów
i
D
kodu. W taki sposób projektowany kod w ogólnym przypadku nie spełnia
jeszcz
e właściwości przedrostkowej, dlatego należy zastosować metodę Shannona –
Fano,
którą opiszemy następująco: elementy
i
x
ze zbioru
w zależności od wartości
prawdopodobieństw apriori, czyli
)
(
i
x
P
uszeregujemy w ten sposób, aby spełniona była
nierówność:
)
(
)
(
...
)
(
)
(
1
2
1
xM
P
x
P
x
P
x
P
i
M
.
Przez
)
(
i
x
F
oznaczamy
dystrybuantę rozkładu prawdopodobieństw
)
(
i
x
P
ma
ona postać:
x
x
i
i
x
P
x
F
1
)
(
)
(
i
następnie wprowadzimy pewien pomocniczy zbiór liczb
j
o postaci:
1
)
(
...
)
(
...
)
(
)
(
0
1
1
2
3
2
1
M
M
j
j
i
x
F
x
F
x
F
x
F
. Zauważyć należy, że
j
zmienia się od j = 1, … do
.
W następnym kroku wartości liczby
j
zapisujemy w układzie dwójkowym, czyli każda z
liczb będzie ciągiem 0 i 1. Dla określenia i – tego wyrazu
i
D
kodu o długości
i
L
należy
wybrać
i
L
kolejnych współczynników, czyli 0 i 1, licząc od kropki w prawo.
Przykład:
Źródło informacji wytwarza losowy sygnał
charakteryzowany zbiorem realizacji
)}
{(
i
x
, przy czym i = 1, 2, …, 5 oraz rozkładem prawdopodobieństw
)
(
i
x
P
, gdzie
2
1
)
(
1
x
P
,
4
1
)
(
2
x
P
,
8
1
)
(
3
x
P
,
16
1
)
(
4
x
P
,
16
1
)
(
5
x
P
. Zaprojektować kod
binarny Shannona
– Fano. Obliczyć ilość informacji zawartą w sygnale
.
Dane:
2
1
)
(
1
x
P
4
1
)
(
2
x
P
8
1
)
(
3
x
P
16
1
)
(
4
x
P
16
1
)
(
5
x
P
.
Rozwiązanie:
5
5
4
32
log
)
16
(
log
3
4
3
16
log
)
8
(
log
2
3
2
8
log
)
4
(
log
1
2
1
)
2
1
2
(
log
)
2
1
1
(
log
)
)
(
2
(
log
)
)
(
1
(
log
2
4
2
4
2
3
3
2
3
2
2
2
2
2
2
1
1
2
1
2
2
2
L
L
L
L
L
L
L
L
L
L
L
L
x
P
L
x
P
i
i
i
sygna
ł
bit
H
x
P
x
P
H
D
D
D
D
D
x
P
F
M
i
i
a
i
x
xi
i
875
,
1
)
(
)
(
1
log
)
(
)
(
)
1111
(
)
1110
(
)
110
(
)
10
(
)
0
(
000000
.
1
111100
.
0
111000
.
0
110000
.
0
100000
.
0
000000
.
0
1
16
15
8
7
4
3
2
1
0
)
(
1
5
4
3
2
1
6
5
4
3
2
1
6
5
4
3
2
1