Transmisja w binarnym kanale symetrycznym

Wartości (0, 1) zmiennej X pojawiają się na wejściu binarnego kanału syme-

trycznego z prawdopodobieństwami { α , 1−α }. Kanał przekłamuje te wartości
z prawdopodobieństwem µ (zob. rys).

1

0

1

0

X

Y

µ

µ

1

− µ

1

− µ

Z rysunku znajdujemy rozkład prawdopodobieństwa warunkowego P (Y |X):

X

|Y

0

1

0

1 − µ

µ

1

µ

1 − µ.

Korzystając ze wzoru p(y, x) = p(y|x)p(x) obliczamy rozkład prawdopodobień-
stwa łącznego P (Y |X):

X

|Y

0

1

0

α

(1 − µ)

αµ

1

(1 − α)µ

(1 − α)(1 − µ)

P

(Y )

α

(1 − µ) + (1 − α)µ

αµ

+ (1 − α)(1 − µ)

Sumując w kolumnach po wartościach zmiennej X dostajemy rozkład prawdo-
podobieństw zmiennej Y : P (Y ) = {α(1 − µ) + (1 − α)µ, αµ + (1 − α)(1 − µ)}.
Aby uniknąć operowania na długich, nieprzyjemnych wzorach i stowarzyszo-
nym z tym większym prawdopodobieństwem popełnienia błędu wprowadzamy
oznaczenie s = α + µ − 2αµ. Wówczas P (Y ) = {s, 1 − s} i od razu dostajemy
niepewność związaną z tą zmienną:

H

(Y ) = −[s log s + (1 − s) log(1 − s)] = H(s)

. Niepewność warunkową H(Y |X) wyliczamy ze wzoru:

H

(Y |X) = P (X = 0)H(Y |X = 0) + P (X = 1)H(Y |X = 1)

= α[−(1 − µ) log 1 − µ − µ log µ] + (1 − α)[−µ log µ − (1 − µ) log 1 − µ]

= −(1 − µ) log 1 − µ − µ log µ = H(µ).

Policzmy do kompletu niepewność źródła:

H

(X) = −[α log α + (1 − α) log (1 − α)] = H(α).

Jak widać, niepewność źródła zależy tylko od prawdopodobieństw pojawiania
się jego symboli, niepewność warunkowa zależy tylko od właściwości kanału, a
niepewność związana ze zmienną Y , tj. z obserwacją symboli na wyjściu kanału,
zależy zarówno od prawdopodobieństw symboli ze źródła, jak i od właściwości
kanału.

Znając H(Y ) i H(Y |X) możemy policzyć informację wzajemną miedzy wyjściem
i wejściem kanału:

I

(X; Y ) = H(Y ) − (Y |X) = H(s) − H(µ).

Aby stąd wyznaczyć przepustowość kanału, musimy znaleźć maksimum tego
wyrażenia ze względu na rozkłady prawdopodobieństw ze źródła. Od α zależy
tylko H(s) i wiemy, że przyjmuje wartość maksymalną równą jedności przy
s

=

1
2

. Widzimy więc, że przepustowość symetrycznego kanału binarnego wynosi

C

= 1 − H(µ)

i jest osiągana przy

1
2

= α + µ − 2αµ lub 2α(1 − 2µ) = 1 − 2µ.

Stąd dostajemy α =

1
2

. Zatem zgodnie z oczekiwaniami widzimy, że przepusto-

wość kanału symetrycznego jest osiągana przy jednorodnym rozkładzie prawdo-
podobieństw symboli ze źródła.

2