Własności entropii
Funkcja H(X):
Ciągła na odcinku [0, 1] i symetryczna
Posiada dolne i górne ograniczenie
0 = H(1, 0,..., 0)H(p1,..., pn)=<H(1/n,..., 1/n) = lg n.
Własność grupowania.
Jeśli w zbiorze X = {x1,..., xn} symbole x1,..., xi tworzą podzbiór Xi, to:
H(p1,..., pi, pi+1,..., pn) = HX-Xi + HXi
Kodowanie informacji
Kod wynikowy nazywamy jednoznacznie dekodowalnym jeżeli istnieje
tylko jeden sposób podziału ciągu kodowego na oddzielne słowa kodu.
Kod jest kodem przedrostkowym jeśli nie możemy otrzymać żadnego
słowa kodu z innego słowa kodu poprzez dodanie do niego zer lub
jedynek.
Kodem optymalnym dla danego rozkładu prawdopodobieństwa
nazywamy kod, dla którego liczba Lc posiada najmniejszą wartość.
Systemy kodowania danych
Reprezentacja danych alfanumerycznych.
Nośnikami danych są sygnały elektryczne przetwarzane przez system układów
elektronicznych.
Układy pracują w logice dwuwartościowej i nazywane są logicznymi układami
cyfrowymi.
Elementy tych układów pozostają w dwóch stanach:
Stanie wysokim (istnieje wartość amplitudy napięcia - Umax, prądu - Imax)
Stanie niskim (istnieje wartość amplitudy napięcia - Umin, prądu - Imin)
Stany te oznaczamy odpowiednio: stan wysoki - 1, stan niski - 0 (konwencja logiki
dodatniej).
Cechy kodu binarnego:
Duża niezawodność układów dwustanowych.
Łatwość opisu, analizy i syntezy tych układów.
Stany 1 oraz 0 utożsamiane są z cyframi binarnymi
Mała ilość przekazywanej informacji charakterystyczna dla elementów
dwustanowych (logiki dwuwartościowej).
Kody danych alfanumerycznych
Standardy:
ASCII (American Standard Code for Information Interchange),
ISO (International Standard Organisation),
ANSI (American National Standard Institute),
Extended ASCII (IBM, 1981) 8-bitowy kod znaków:
Alfanumerycznych,
Matematycznych,
Symboli specjalnych,
Znaków sterujących.
Pozycyjne systemy liczbowe
Systemy stałobazowe ( Radix-based systems) - systemy pozycyjne, w których
poszczególne wagi są potęgami stałej całkowitej, zwanej podstawą lub bazą.
Format stałopozycyjny (Radix notation) - reprezentacja ustalonej pozycji kropki
oddzielającej części całkowitą od ułamkowej.
Binarny system liczbowy
Kod NBC (Natural Binary Code). Liczba całkowita.
Ciąg cyfr binarnych:
an-1 an-2 … an-2 … a1 a0
wyraża wartość liczby całkowitej będącej odpowiednikiem liczby dziesiętnej:
A = an-1 2n-1 + an-2 2n-2 + … + a1 21 + a0 20
ai - wartość i-tego bitu liczby
a0 - najmniej znaczący bit lsb (least significant bit)
ai - najbardziej znaczący bit msb (most significant bit)
1 1 0 1(2) ->13(10)