Spis treści
1 Procesy stochastyczne
3
1.1 Definicja i statystyki . . . . . . . . . . . . . . . . . . . . . . .
3
1.1.1
Statystyki I-go rzędu . . . . . . . . . . . . . . . . . . .
4
1.1.2
Statystyki II-go rzędu . . . . . . . . . . . . . . . . . .
5
1.1.3
Statystyki wyższych rzędów . . . . . . . . . . . . . . .
7
1.1.4
Podsumowanie . . . . . . . . . . . . . . . . . . . . . .
7
1.2 Procesy gaussowskie (normalne) . . . . . . . . . . . . . . . . .
7
1.3 Procesy stacjonarne . . . . . . . . . . . . . . . . . . . . . . . .
8
1.3.1
Definicje statystyk dla procesów stacjonarnych . . . . . 10
1.4 Statystyki łączne procesów . . . . . . . . . . . . . . . . . . . . 10
1.5 Właściwości statystyk . . . . . . . . . . . . . . . . . . . . . . 11
1.5.1
Autokorelacja . . . . . . . . . . . . . . . . . . . . . . . 11
1.5.2
Korelacja wzajemna . . . . . . . . . . . . . . . . . . . 12
1.5.3
Widmowa gęstość mocy . . . . . . . . . . . . . . . . . 12
1.5.4
Nieskorelowanie i ortogonalność . . . . . . . . . . . . . 12
1.6 Ergodyczność . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.7 Przykłady sygnałów stacjonarnych . . . . . . . . . . . . . . . 13
1.8 Przykład z radarem . . . . . . . . . . . . . . . . . . . . . . . . 14
1.8.1
Bez bramki . . . . . . . . . . . . . . . . . . . . . . . . 14
1.8.2
Z wyłączonym odbiornikiem na czas nadawania . . . . 15
1.9 Przejście sygnału przez układ LTI . . . . . . . . . . . . . . . . 15
1.10 Elementy identyfikacji systemu . . . . . . . . . . . . . . . . . . 16
1.11 Procesy zespolone . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.12 Pole losowe . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1
2
SPIS TREŚCI
Rozdział 1
Procesy stochastyczne
1.1
Definicja i statystyki
* Proces stochastyczny jest modelem sygnału losowego
* Proces stochastyczny jest uogólnieniem pojęcia zmiennej losowej
* Dane jest doświadczenie E określone przez jego wyniki ξ tworzące prze-
strzeń probabilistyczną S. Przestrzeń S dzielimy na skończona liczbę pod-
zbiorów {S
i
}. Każdemu podzbiorowi przyporządkowane jest prawdopodo-
bieństwo wystąpienia wyniku z tego podzbioru. Natomiast każdemu wyniko-
wi ξ przyporządkowywana jest funkcja według pewnej reguły. Dla przypo-
mnienia, w przypadku zmiennej losowej każdemu wynikowi przyporządkowy-
wana jest liczba i to jest jedyna ale daleka w konsekwencjach różnica. Tak
więc proces stoch. jest funkcją dwóch zmiennych niezależnych
x(t, ξ);
t ∈ R;
ξ ∈ S
Zwykle przyporządkowywaną funkcją jest funkcja czasu, ale może to być inna
zmienna niezależna
* Przykład z rzutami wieloma monetami - rysunek
* Przykład z wieloma odbiornikami radiowymi, ta sama stacja
* Przykład z wieloma mówcami
3
4
ROZDZIAŁ 1. PROCESY STOCHASTYCZNE
* Przykład z generatorami szumu białego - nieskończona ich liczba - ry-
sunek
* Przykład z generatorami sygnałów sinusoidalnych o tej samej częstotli-
wości i amplitudzie - rysunek
* Przykład z sygnałem telekomunikacji cyfrowej - rysunek
* Dlaczego wprowadzamy pojęcie procesu stochast.? Chcemy opisywać
zjawisko jako całość a nie pojedyncze sygnały, np. projektowanie urządzeń,
systemów telekomunikacyjnych, teleinformatycznych itd.
* ustalenie jednej ze zmiennych niezależnych
x(t, ξ)
t=const
= x(ξ)
zmienna losowa
x(t, ξ)
ξ=const
= x(t)
realizacja
* Procesy z czasem ciągłym i z czasem dyskretnym
* Model jest zbyt skomplikowany, dlatego opisujemy go za pomocą sta-
tystyk (charakterystyk)
* Statystyki I-go rzędu, II-rzędu i wyższych rzędów
1.1.1
Statystyki I-go rzędu
* Dystrybuanta
F (x, t) = P {x(t) ¬ x}
* Uwaga: tutaj mamy 2 różne wielkości pod oznaczeniem x - x(t) ja-
ko proces (dla uproszczenia opisu rezygnujemy z oznaczenia x(t, ξ)), x jako
wartość; ale jeszcze x(t) jako realizacja
* Omówić dystrybuantę na przykładzie procesu z 3 realizacji o różnych
prawdopodobieństwach, rysunek, wkreślić dystrybuantę dla wybranego czasu
1.1. DEFINICJA I STATYSTYKI
5
* Gęstość prawdopodobieństwa, rozkład prawdopodobieństwa
f (x, t) =
δF (x, t)
δx
na tym samym rysunku wkreślić rozkład prawdopodobieństwa
* Wartość średnia procesu
m(t) = E{x(t)}
* E - operator wartości oczekiwanej, średnia ważona prawdopodobień-
stwem jako uogólnienie średniej ważonej i średniej arytmetycznej, dla procesu
złożonego ze skończonej liczby realizacji
m(t) =
I
X
i=1
f (x
i
, t)x
i
przykład rachunkowy
Dla procesu z ciągłym rozkładem prawdopodobieństwa
m(t) =
Z
∞
−∞
xf (x, t)dx
* Operator E jest operatorem liniowym - podać co to znaczy
* Rozkłady prawdopodobieństwa a tym samym dystrybuanta są pierwot-
ne, patrz powyżej i później też
1.1.2
Statystyki II-go rzędu
* Dystrybuanta
F (x
1
, x
2
, t
1
, t
2
) = P {x(t
1
) ¬ x
1
, x(t
2
) ¬ x
2
}
* Gęstość prawdopodobieństwa
f (x
1
, x
2
, t
1
, t
2
) =
δ
2
F (x
1
, x
2
, t
1
, t
2
)
δx
1
δx
2
6
ROZDZIAŁ 1. PROCESY STOCHASTYCZNE
* Ze statystyk wyższego rzędu można wyznaczyć statystyki niższego rzę-
du, statystyki brzegowe
F (x
1
, ∞, t
1
, t
2
) = F (x
1
, t
1
)
f (x
1
, t
1
) =
Z
R
f (x
1
, x
2
, t
1
, t
2
)dx
2
* Autokorelacja, uogólnienie wartości średniej
R(t
1
, t
2
) = E{x(t
1
)x(t
2
)}
R(t
1
, t
2
) =
Z
R
2
x
1
x
2
f (x
1
, x
2
, t
1
, t
2
)dx
1
dx
2
* Autokowariancja
C(t
1
, t
2
) = E{[x(t
1
) − m(t
1
)][x(t
2
) − m(t
2
)]}
* Wartość średniokwadratowa
N(t) = E{x(t)
2
}
* Wariancja
σ
2
(t) = E{[x(t) − m(t)]
2
}
σ to odchylenie standardowe
* Widmowa gęstość mocy
S(f
1
, f
2
) = F T {R(t
1
, t
2
)}
zapisać też 2-wymiarową transformatę
1.2. PROCESY GAUSSOWSKIE (NORMALNE)
7
1.1.3
Statystyki wyższych rzędów
* Wielowymiarowe dystrybuanty i rozkłady prawdopodobieństwa
* Momenty, kumulanty i polispektra
m(t
1
, t
2
, ..., t
m
) = E{x(t
1
)x(t
2
) · · · x(t
m
)}
1.1.4
Podsumowanie
* Statystyki I-go rzędu to zwykle za mało, ale np. wartość średnia może być
ważna
* Zwykle statystyki II-go rzędu
* Czasem statystyki wyższych rzędów, np. ślepa separacja
* Proces jest całkowicie określony jeśli znane są statystyki dowolnego
rzędu, zawsze skończonego
1.2
Procesy gaussowskie (normalne)
* Ważna klasa procesów, gdyż taki model upraszcza wiele teoretycznych pro-
blemów i czasem zdarza się w rzeczywistości
f (x, t) =
1
(2π)
M
2
q
detC(t)
e
−
1
2detC(t)
P
n
j,k=0
C
jk
(t)(x
j
−m
j
)(x
k
−m
k
)
* ale I-go rzędu
f (x, t) =
1
q
2πC(t, t)
e
−[x−m(t)]2
2C(t,t)
* W pełni opisane przez autokorelacje i wartości średnie
f (x, t) = N (x, t, m, R)
8
ROZDZIAŁ 1. PROCESY STOCHASTYCZNE
1.3
Procesy stacjonarne
* Stacjonarność całkowita (w ścisłym sensie), przesunięcie punktu zerowego
procesu nie wpływa na jego statystyki
F (x
1
, x
2
, ..., x
n
, t
1
+ , t
2
+ , ..., t
n
+ ) = F (x
1
, x
2
, ..., x
n
, t
1
, t
2
, ..., t
n
)
jednocześnie
f (x
1
, x
2
, ..., x
n
, t
1
+ , t
2
+ , ..., t
n
+ ) = f (x
1
, x
2
, ..., x
n
, t
1
, t
2
, ..., t
n
)
* W szczególności
f (x, t + ) = f (x, t) = f (x)
stąd
m(t) =
Z
R
xf (x, t)dx =
Z
R
xf (x) = m
brak zależności od czasu
f (x
1
, x
2
, t
1
+ , t
2
+ ) = f (x
1
, x
2
, τ )
gdzie τ = t
2
− t
1
, stąd
R(t
1
, t
2
) =
Z
R
2
x
1
x
2
f (x
1
, x
2
, t
1
, t
2
)dx
1
dx
2
=
Z
R
2
x
1
x
2
f (x
1
, x
2
, τ )dx
1
dx
2
= R(τ )
* Stacjonarność k-tego rzędu - dla k ¬ n
* Stacjonarność w szerszym sensie (słaba, w szerszym sensie) - dwa wa-
runki
m(t) = m;
R(t
1
, t
2
) = R(τ );
τ = t
2
− t
1
* Lokalna stacjonarność, quasistacjonarność
|R(t + τ, t − τ ) − R
s
(2τ )| < (T )
1.3. PROCESY STACJONARNE
9
T to przedział lokalnej stacjonarności
* Cyklostacjonarność - dla sygnałów transmisji cyfrowej
x(t) =
∞
X
n=−∞
a
n
g(t − nT )
gdzie a
n
jest sekwencją informacji (ciągiem symboli), g(t) jest oknem kształ-
tującym widmo a T jest czasem trwania symbolu. Wprowadźmy oznaczenia
m
a
= E{a
n
} i R
a
(k) = E{a
n
a
n+k
} - stacjonarność sekwencji informacyjnej
m
x
(t) = E{x(t)} = E{
∞
X
n=−∞
a
n
g(t − nT )} =
∞
X
n=−∞
E{a
n
}g(t − nT ) =
m
a
∞
X
n=−∞
g(t − nT )
czyli wartość średnia okresowo zależy od czasu
Podobnie
R
xx
(t, t + τ ) =
∞
X
n=−∞
∞
X
n=−∞
R
aa
(m, n)g(t − nT )g(t − mT )
ale
R
xx
(t + kT, t + τ + kT ) = R
xx
(t, t + τ )
Proces nazywamy cyklostacjonanym jeśli spełnione są powyższe warunki
dla średniej i autokorelacji. Zwykle operujemy wtedy wielkościami uśrednio-
nym za czas trwania symbolu
¯
m
x
=
1
T
Z
T /2
−T /2
m
x
(t)dt
¯
R
xx
(τ ) =
1
T
Z
T /2
−T /2
R
xx
(t, t + τ )dt
10
ROZDZIAŁ 1. PROCESY STOCHASTYCZNE
1.3.1
Definicje statystyk dla procesów stacjonarnych
* To tak dla porządku
R(τ ) = E{x(t)x(t + τ )}
C(τ ) = E{[x(t) − m][x(t + τ ) − m]}
σ
2
= E{[x(t) − m]
2
}
S(f ) = F T {R(τ )}
1.4
Statystyki łączne procesów
* Gdy chodzi o 2 procesy lub więcej - definicje dla stacjonarnych
* Nie ma łącznych dla I-go rzędu
* Dystrybuanta łączna II-rzędu
F (x, y, t
1
, t
2
) = P {x(t
1
) ¬ x, y(t
2
) ¬ y}
* Łączna gęstość prawdopodobieństwa
f (x, y, t
1
, t
2
) =
δ
2
F (x, y, t
1
, t
2
)
δxδy
*Statystyczna niezależność pomiędzy x(t) i y(t)
f (x, y, t
1
, t
2
) = f (x, t
1
)f (y, t
2
)
* Korelacja wzajemna
R
xy
(τ ) = E{x(t)y(t + τ )}
1.5. WŁAŚCIWOŚCI STATYSTYK
11
dla przykładu
R
xy
(τ ) =
Z
R
2
xyf (x, y, τ )dxdy
* Kowariancja wzajemna
C
xy
(τ ) = E{[x(t) − m
x
][y(t + τ ) − m
y
]}
* Wzajemna widmowa gęstość mocy
S
xy
(f ) = F T {R
xy
(τ )}
1.5
Właściwości statystyk
1.5.1
Autokorelacja
* autokorelacja w zerze to moc
R(0) = E{x(t)
2
} 0
* parzystość
R(−τ ) = E{x(t)x(t − τ )} = E{x(t + τ )x(t)} = E{x(t)x(t + τ )} = R(τ )
* maksimum w zerze
|R(τ )| ¬ R(0)
* rysunek
* autokorelacja sumy procesów
z(t) = x(t) + y(t)
R
zz
(τ ) = E{[x(t)+y(t)][x(t+τ )+y(t+τ )} = R
xx
(τ )+R
xy
(τ )+R
yx
(τ )+R
yy
(τ )
12
ROZDZIAŁ 1. PROCESY STOCHASTYCZNE
1.5.2
Korelacja wzajemna
* relacja
R
xy
(−τ ) = R
yx
(τ )
* ograniczoność
R
2
xy
(τ ) ¬ R
xx
(0)R
yy
(0)
2|Rxy(τ )| ¬ R
xx
(0) + R
yy
(0)
1.5.3
Widmowa gęstość mocy
- czysto rzeczywista (brak części urojonej)
- parzystość
- nieujemna
- rysunek
1.5.4
Nieskorelowanie i ortogonalność
* nieskorelowanie
C
xy
(τ ) ≡ 0
* ortogonalność
R
xy
(τ ) ≡ 0
* ale często często spotykane określenie nieskorelowania to
R
xy
(τ ) ≡ 0
1.6. ERGODYCZNOŚĆ
13
1.6
Ergodyczność
* Definicja 1: Proces x(t) jest ergodyczny jeśli z prawdopodobieństwem 1
można wyznaczyć jego cechy probabilistyczne z pojedynczej funkcji x(t, ξ)
procesu.
* Definicja 2: Proces x(t) jest ergodyczny jeśli uśrednienie po czasie jest
równe uśrednieniu po zbiorze.
* Aby proces mógł być ergodyczny, musi być stacjonarny
* Twierdzenie ergodyczne dla wartości średniej
m = E{x(t)} = lim
T →∞
1
2T
Z
T
−T
x(t)dt
* Twierdzenie ergodyczne dla autokorelacji
R(τ ) = E{x(t)x(t + τ } = lim
T →∞
1
2T
Z
T
−T
x(t)x(t + τ )dt
* inne podobnie ale nie podawać
* ergodyczność to podstawowe założenie w teorii estymacji - później
1.7
Przykłady sygnałów stacjonarnych
* Narysować wykres czasowy, autokorelację, wgm i rozkład prawdopodobień-
stwa dla sygnałów:
* Szum biały
* Szum kolorowy
* Szum różowy
* Sygnał sinusoidalny o losowej fazie
14
ROZDZIAŁ 1. PROCESY STOCHASTYCZNE
* Sygnał telekomunikacji cyfrowej
* Fonem np. a
* Klasy równoważności - np. szum biały, chirp i losowy ciąg impulsów
1.8
Przykład z radarem
* Jest to przykład zastosowania teorii procesów stochastycznych, ale również:
prognoza, optymalna filtracja odszumiająca, kompresja, itd.
* rysunek sytuacji
1.8.1
Bez bramki
* model
y(t) = a
0
x(t) + a
1
x(t − t
1
) + bn(t)
zredukowany czas opóźnienia sygnału bezpośredniego z anteny nadawczej
- aby uprościć zależności, zresztą jest on minimalny
* emitowany sygnał i jego widmo; rysunek; omówić
* korelacja wzajemna
R
yx
(τ ) = E{[a
0
x(t) + a
1
x(t − t
1
) + bn(t)]x(t + τ )} =
a
0
R
xx
(τ ) + a
1
R
xx
(τ + t
1
) + bR
nx
(τ )
R
nx
(τ ) ≡ 0
* pierwszy element przykrywa wszystko, dlatego ...
1.9. PRZEJŚCIE SYGNAŁU PRZEZ UKŁAD LTI
15
1.8.2
Z wyłączonym odbiornikiem na czas nadawania
* model
y(t) = a
1
x(t − t
1
) + bn(t)
* rysunek
* korelacja wzajemna
R
yx
(τ ) = E{[a
1
x(t − t
1
) + bn(t)]x(t + τ )} = a
1
R
xx
(τ + t
1
) + bR
nx
(τ )
* rysunek
1.9
Przejście sygnału przez układ LTI
* Rysunek sytuacji
* Obowiązuje splot, ale jest to dla procesu, całka Stiltjesa
y(t) =
Z
∞
−∞
h(α)x(t − α)dα = x(t) ∗ h(t)
* Dystrybuanta i rozkład prawdopodobieństwa po przejściu przez układ
liniowy i nieliniowy
* Korelacja
R
yx
(τ ) = R
xx
(τ ) ∗ h(τ )
R
yy
(τ ) = R
xx
(τ ) ∗ h(τ ) ∗ h(−τ ) = R
xx
(τ ) ∗ R
hh
(τ )
* Widmowa gęstość mocy
S
yx
(f ) = S
xx
(f )H(f )
S
yy
(f ) = S
xx
(f )|H(f )|
2
16
ROZDZIAŁ 1. PROCESY STOCHASTYCZNE
1.10
Elementy identyfikacji systemu
* metoda sinusoidalna
* metoda impulsowa
* metoda z wykorzystaniem sygnałów losowych - często jedyna możliwa
do zastosowania
h(τ ) = R
yx
(τ ) ∗ R
−1
xx
(τ )
gdzie R
−1
xx
(τ ) to odwrotność w sensie splotowym
* Jeśli R
xx
(τ ) = δ(τ )
h(τ ) = R
yx
(τ )
* lub
H(f ) =
S
yx
(f )
S
xx
(f )
* Jeśli S
xx
(f ) = N
0
- szum biały
H(f ) =
1
N
0
S
yx
(f )
* brak jednoczesności rejestracji
|H(f )| =
v
u
u
t
S
yy
(f )
S
xx
(f )
* uwagi dotyczące realizacji: synchroniczność rejestracji, skończony czas
obserwacji, obecność szumu
1.11. PROCESY ZESPOLONE
17
1.11
Procesy zespolone
* dwa procesy połączone razem, szczególnie w analizie modulacji jest to ko-
rzystne
z(t) = x(t) + jy(t)
* dla procesów zespolonych w definicjach i we wzorach pojawia się ope-
racja zespolony sprzężony, ale to nie będzie omawiane
1.12
Pole losowe
* tylko wspomnieć
0
1
2
3
4
5
6
7
x 10
−5
−1
−0.8
−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1
czas[s]
amplituda
Rysunek 1.1: Sygnał emitowany
18
ROZDZIAŁ 1. PROCESY STOCHASTYCZNE
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
5
x 10
8
0
50
100
150
czest[Hz]
modul widma
Rysunek 1.2: Widmo emitowanego sygnału
1.12. POLE LOSOWE
19
−5
−4
−3
−2
−1
0
1
2
3
4
x 10
−5
−4000
−2000
0
2000
4000
6000
8000
10000
12000
opoznienie[s]
amplituda
Rysunek 1.3: Autokorelacja emitowanego sygnału
20
ROZDZIAŁ 1. PROCESY STOCHASTYCZNE
0
1
2
3
4
5
6
7
x 10
−5
−6
−4
−2
0
2
4
6
x 10
−3
czas[s]
amplituda
Rysunek 1.4: Sygnał odebrany
1.12. POLE LOSOWE
21
−5
−4
−3
−2
−1
0
1
2
3
4
x 10
−5
−4
−2
0
2
4
6
8
10
12
opoznienie[s]
amplituda
Rysunek 1.5: Korelacja wzajemna