plik

Prezentacja 1

SM- synteza mowy,
ARG -

automatyczne rozpoznawanie głosów,

ARM- automatyczne rozpoznawanie mowy,
ARMIS-

rodzaj ARM rozpoznajacy izolowane słowa,

ARMC - rodzaj ARM rozpoznajacy mowe ciagla,
ASV-

automatyczna weryfikacja mówcy,

ASI- automatycz

na identyfikacja mówcy,

Zalety systemów wykorzystujących informacje przekazywane za pośrednictwem sygnału mowy:



sterowanie i przekazywanie danych głosem może być realizowane znacznie szybciej niż za
pomocą klawiatury alfanumerycznej,



przekazywanie informa

cji do maszyny za pomocą sygnału mowy umożliwia zwolnienie rąk

operatora,



czas reakcji głosowej jest znacznie krótszy niż reakcji ruchowej, co jest ważne w systemach
alarmowych uruchamianych głosem,



przekazywanie informacji głosem może mieć miejsce w różnych, nietypowych sytuacjach i
położeniach operatora,



układy sterowania głosem pozwoliłyby w znacznym stopniu złagodzić skutki kalectwa osób
niepełnosprawnych,



sterowanie głosem nie wymaga od operatora specjalnego przygotowania ani treningu.

Rozpoznawanie mowy -

> słowa

Rozpoznawanie języka -> nazwa języka
Rozpoznawanie mówcy -> imię mówcy

Schemat blokowy systemu ARM/ARG:

Przetwarzanie wstępne- mające za zadanie zamianę sygnału akustycznego na postać
cyfrową,



Odbiór sygnalu mowy



Wzmocnienie sygnalu i normalizacja mocy



Ograniczenie pasma czestotliwosci



Przetwarzanie A/C (analogowo - kodowe)

2. Blok ekstrakcji -

gdzie tworzone sa obrazy wypowiedzi jako macierzy parametrów, które

niosą informacje o tresci wypowiedzi, mozliwie niezalezna od indywidualnych cech glosu
mówcy,

3. Blok uczenia i klasyfikacji -

gdzie w oparciu o okreslony algorytm decyzyjny porównywane

sa nadchodzace ciagi obrazów ze znajdujacymi sie w pamieci wzorcami (tworzonymi
wczesniej w procesie uczenia).

Na rysunku przedstawiono przyklad schematu blokowego systemu ARM

z uwzględnieniem

segmentacji.  Sygnal  wejsciowy  jest  przetwarzany  na  postac  cyfrowa  a  nastepnie  podawany
niezaleznie do dwóch bloków: segmentacji i opisu parametrycznego.
Blok segmentacji ma za zadanie  wykrycie w przychodzacym sygnale granicy segmentu i w postaci
znacznika czasowego przekazanie tej informacji

do bloku ekstrakcji parametrów.

Automatyczna weryfikacja mówcy - jest prostszym zadaniem, gdyż konieczne jest tylko porównanie
sygnalu  testowego  z  sygnalem  odniesienia  i  podjecie  „binarnej”  decyzji,  czy  oba  pochodza  od  tego
samego mówcy.

Automatyczna  identyfikacja  mówcy  -  wymaga  wyboru,  który  sposród  N  znanych  glosów  najlepiej
odpowiada  glosowi  testowemu.  Poniewaz  potrzebnych  jest  N  decyzji,  blad  prawidlowej  identyfikacji
rosnie  wraz  z  N  dla  automatycznej

identyfikacji mówcy, podczas, gdy w systemach automatycznej

weryfikacji jest

niezalezny od ilosci mówców.

W ARG możemy wyróżnić dwa przypadki:



Zbiór otwarty (open set)- glos rozpoznawany moze nie znajdowac sie posród zachowanych
wzorców, co wymaga podjecia decyzji, ze zaden wzorzec nie odpowiada sygnalowi
testowemu.



Zbiór zamknięty (closed- set)- gdy badane sa tylko glosy użytkowników,

Błąd fałszywej akceptacji (FA)- gdy system niepoprawnie zaakceptuje oszusta w systemie
weryfikacji lub zidentyfikuje mówce jako inna osobe w systemie identyfikacji.

Błąd fałszywego odrzucenia (FR)- gdy system niepoprawnie zaakceptuje oszusta w systemie
weryfikacji lub zidentyfikuje mówce jako inna osobe w systemie identyfikacji.

Prezentacja 2

Blok wstępnego przetwarzania:

1. Przetwarzanie A/C (analogowo

– cyfrowe)

Pierwszym  etapem  komputerowej  analizy  sygnalu  akustycznego  jest  jego  rejestracja  oraz
zamiana na postac cyfrowa za pomoca przetwornika.
Wybór  czestotliwosci  próbkowania  okresla  górna  czestotliwosc  pasma  rejestrowanego
sygnalu.  Przyjecie  zbyt  malej  czestotliwosci  próbkowania  moze  prowadzic  do  trudnosci
identyfikacji tych

segmentów, o których informacja moze byc zawarta w wyzszych wartościach

czestotliwosci, natomiast zbyt duza czestotliwosc próbkowania nadmiernie rozszerza
analizowane pasmo i

powoduje wzrost nakladów obliczeniowych.

W cyfrowym przetwarzaniu mowy stosuje

się czestotliwosci próbkowania z zakresu: 8kHz-

32kHz (pasmo czestotliwosci sygnalu mowy ma okolo 16kHz).

2. Preemfaza

Tak zwane formanty ( maksima widma niosace informacje o rezonansach traktu głosowego)
maja zwykle znacznie nizsza amplitude dla wyzszych czestotliwosci. Aby wiec otrzymać
podobna amplitude wszystkich fo

rmantów, spróbkowany sygnal poddawany jest najczęściej

wstepnej filtracji, która w najprostszym przypadku ma postac preemfazy. Mozna to
zrealizowac, poprzez filtracje sygnalu mowy filtrem pierwszego rzedu typu FIR.

3. Okienkowanie

Kolejnym etapem wstepnego przetwarzania sygnalu mowy zwanym okienkowaniem jest
wybór fragmentu sygnalu dla którego obliczany jest wektor parametrów. W systemach ARM
najczesciej stosuje sie okno Hamminga.

Kryteria wyboru parametrów
Skuteczność - wyznaczona w tzw. sile dyskryminacyjnej. Dzwieki opisane tymi parametrami sa lepiej
rozrózniane przez dalsze procedury rozpoznawania

Łatwość pomiaru - kryterium to jest zwiazane ze zlozonoscia procedur pomiarowych, co ma wpływ
m.in. na koszty. Przykladowo pomiar, w charakterze parametru, amp

litudy jest znacznie prostszy niż

ekstrakcja formantu.

Stabilność - kryterium to oznacza, ze zakresy zmiennosci mierzonych (ekstrahowanych) parametrów
mieszcza sie w okreslonych przedzialach zmiennosci sytuacyjnej lub czasowej

Odporność na zakłócenia - kryterium to oznacza stopien wrazliwosci parametrów na zmiany i
poziom zaklócen wnoszonych przez otoczenie, w którym jest rejestrowany sygnal mowy, jak i na
zakłócenia wprowadzane przez tor transmisyjny.

Parametry w dziedzinie czasu
Istnieja dwie grupy para

metrów mozliwych do uzyskania bezposrednio ze struktury czasowej sygnalu:



Pierwsza  zwiazana  jest  z  tzw.  makrostruktura  sygnalu  i  odnosi  sie  do  wielkosci
rozciagajacych  sie  na  cale  elementy fonetyczne  (fonemy,  sylaby,  wyrazy  a  nawet  zdania)  a
ich pomiar dokonywany jest najczesciej w ramach konturowego modelu analizy.



Do grupy tej zaliczamy m.in. natezenie w funkcji czasu i przebieg obwiedni amplitudowej. Jest
bezpośrednio powiazana z mikrostruktura czasowa sygnalu mowy i zaliczamy do nich m.in.
parametry zwiazane z analiza przejsc przez zero sygnalu mow (czestotliwosci

a Rice’a) oraz

interwaly pomiedzy przejsciami przez zero.

Parametry w dziedzinie częstotliwości
Krótkoterminowa analiza widmowa jest tradycyjnie jedna z najwazniejszych metod obróbki sygnalu
mowy. Podstawowym zalozeniem lezacym u podstaw dowolnej metody a

nalizy krótkoterminowej jest

fakt, ze dla dluzszego przedzialu czasu sygnal mowy jest niestacjonarny, natomiast dla odpowiednio
krótkich odcinków czasu (tzw. okienek czasowych) moze byc uwazany za stacjonarny.

Krótkoterminowe  widmo  mowy  zawiera  prawie  wszystkie  informacje  zawarte  w  sygnale  mowy  i
stanowi podstawe dla wielu innych metod parametryzacji sygnalu. Jedna z metod uzyskiwania widma
krótkoterminowego  zwana  dyskretna  transformata  Fouriera  (DFT),  polega  na  obliczeniu  widma
dynamiczneg  z  wykorzystanie

m efektywnych algorytmów przetwarzania, zwanych szybkimi

transformatami Fouri (FFT).

LFC-

liniowe parametry częstotliwości; Liniowe parametry czestotliwosciowe LFC (Linear Frequency

Coefficients) wyznaczane sa najczesciej w sposób analogowy za pomoca banku filtrów pasmowych
lub w sposób cyfrowy za pomoca transformaty FFT.
MFC-

melowe parametry częstotliwości

Parametry cepstralne- sygnal mowy mozna przedstawic jako odpowiedz kanalu losowego,
przedstawionego w postaci odpowiednio pobudzonego kanalu liniowego o parametrach zmiennych w
czasie.
Centrowanie parametrów cepstralnych- Po wyznaczeniu, parametry cepstralne moga zostać
wycentrowane, tzn. sredni wektor cepstralny odejmowany jest kolejno od wszystkich

wektorów.

Redukcja wektorów cepstralnych- polega na normalizacji zmian wartosci parametrów.

Prezentacja 3

Dopasowanie czasowe i normalizacja
Na  wyjsciu  modułu  parametryzacji  systemów  rozpoznawania  mowy  otrzymujemy  krótkoterminowe
(rzedu  10ms  ramki)  wektory  parametrów.  Rozpoznawana  wypowiedz  jest  dosc  zlozona  i  zawiera
sekwencje  wektorów  parametrów  reprezentujacych  krótkoterminowe  reprezentacje  akustyczne
sygnalu mowy. Problem zwiazany jest z porównaniem sekwencji wektorów parametrów sygnalu mowy
dla róznych interpretacji tej samej wypowiedzi (tj. wyrazu, frazy, zdania), które rzadko artykułowane sa
z tym samym tempem (szybkoscia mówienia). Stad nalezy znormalizowac czas wypowiedzi przed jej
pózniejszym porównaniem i rozpoznaniem.
Najprostszym sposobem dla rozwiazania problemu dopasowania czasowego i normalizacji je technika
normalizacji  liniowej.  Równanie  normalizacji  liniowej  zaklada,  ze  czas  trwania  wypowiedzi  jest
niezalezny od artykułowanych dzwieków.

Ogólny schemat dopasowania
Ogólny schemat dopasowania i normalizacji czasowej wykorzystuje dwie funkcje   które odnosza  sie
do odstepów czasowych dwóch obrazów sygnalu mowy na osi czasu. (Przykład slajd 5)

Dla  uzupelnienia  definicji  miary  odleglosci  pary  obrazów  musimy  jeszcze  okreslic  sciezke.  Istnieje
wiele  par  mozliwych  funkcji.    Kluczowym  zagadnieniem  je

st wiec okreslenie która mozliwa sciezka

powinna byc wybrana , taka, ze odleglosc moze byc mierzona w spójny sposób. Jednym naturalnym i
czesto stosowanym wyborem jest zdefiniowanie funkcji jako minimum funkcji po wszystkich mozliwych
sciezkach. Dla rozwiazania tego problemu stosuje sie techniki programowania dynamicznego.

Kwantyzacja wektorowa (VQ)
Zalety:



Zredukowana objetosc przechowywanej informacji spektralnej,



Zredukowana ilosc obliczen niezbedna przy wyznaczaniu podobienstw analizowanych
wektorów parametrów



Dyskretna reprezentacja dzwieków mowy

Wady:



Nieodlaczne znieksztalcenia przy reprezentacji aktualnie analizowanego wektora



Rozmiar danych niezbednych do przechowania ksiazki kodowej ma czesto duze rozmiary

Do zbudowania książki kodowej (VQ) potrzebujemy:



Duzego zbioru wektorów skladajacego sie na zbiór uczący,



Miary podobienstwa lub odleglosci pomiedzy para wektorów aby móc pogrupowac zbiór
wektorów uczących i poklasyfikowac wektory na poszczególne klasy ksiazki kodowej,



Procedury wyznaczania

centroidów



Procedury klasyfikacji dokonujacej wyboru wektora z ksiazki kodowej najblizszego do wektora
wejściowego i wykorzystujacej indeks ksiazki kodowej jako wynikowa reprezentacje

Grupowanie wektorów uczących:

Inicjalizacja: Arbitralny wybór M wektorów (poczatkowo sposród l wektorów zbioru uczacego)
jako poczatkowy zbiór slów kodowych w ksiazce kodowej.

2. Poszukiwanie najblizszego sasiada: Dla kazdego wektora uczacego znajdowane jest

najblizsze slowo kodowe w aktualnej ksiazce kodowej (zgodnie ze zdefiniowana miara
odleglosci), nastepnie wektor ten przypisywany jest do korespondujacej komórki (powiazanej
z najblizszym slowem kodowym).

Uaktualnienie centroidów: Uaktualniane jest slowo kodowe w kazdej komórce z
wykorzystaniem centroidów wektorów uczacych powiazanych z komórka.

Iteracja: Powtórzenie kroków 2 oraz 3 az do chwili gdy srednia odleglosc bedzie mniejsza od
zalozonego progu.

Algorytm podziału binarnego.
Pomimo,  ze  powyzszy  alorytm  rekurencyjny  dziala  dobrze,  wykazano,  ze  korzystne  jest
zaprojektowanie  M-  wektorowej  ksiazki  kodowej  etapami    tj.  najpierw  zaprojektowanie  1-wektorowej
ksiazki kodowej, nastepnie korzystajac z metody podzialu slów kodowych rozpoczac poszukiwania 2-
wektorowej  książki  kodowej i  dalsze  kontynuowanie  podzialu  az  do  uzyskania  M-wektorowej  ksiazki
kodowej. Procedura ta zwana jest algorytmem podzialu binarnego.

Procedura  klasyfikacji  wektorowej-  polega  na  pelnym  przeszukaniu  ksiazki  kodowej  w  celu
znalezienia najlepszego odpowiednika.

Prezentacja 4

Systemy rozpoznawania obraz

ów:



Strukturalne (syntaktyczne)



O logicznych kryteriach decyzyjnych



O statystycznych kryteriach decyzyjnych

Statyczne algorytmy rozpoznawania:
1. Parametryczne

algorytm Bayesa i jego modyfikacje

HMM (Hidden Markov Models)

ANN (Artificial Neural Networks)

SVM (Support Vector Machines)

GMM (Gaussian Mixture Models)

2. Nieparametryczne

NN (najblizszy sasiad)

k-NN (k-

najblizszych sasiadów)

NM (najblizsza srednia)

Opis niektórych algorytmów na slajdach 6-12.

Prezentacja 5

HMM, pięciostanowy proces Markowa- Rozwazmy system który moze byc opisany w kazdej chwili
czasu jako znajdujacy sie w zbiorze charakterystycznych stanów. W równych, dyskretnych odstepach
czasu,  nastepuje  zmiana  stanu  (z  mozliwoscia  powrotu  do  tego  samego  stanu)  zgodnie  ze  zbiorem
prawdopodobienstw zwiazanych z każdym stanem.
Uczenie  modelu  sprowadza  sie  do  optymalizowania  parametrów  HMM.  Najczesciej  stosowany  jest
algorytm wprowadzony przez Bauma i Welcha i znany pod nazwa algorytmu Forward- Backward.

Uczenie modelu opisane na slajdach 5-15.

W  ogólnym  przypadku  mozna  powiedziec,  ze  problem  rozpoznawania  w  modelach  Markowa
sprowadza

się do wyznaczenia prawdopodobienstwa ciagu obserwacji dla danego modelu. Przyjety

sposób rozpoznawania zalezy od typu rozpoznawanych sygnalów i w przypadku rozpoznawania
segmentów izolowanych moze sprowadzac sie do obliczenia prawdopodobienstwa i wybrania modelu,
dla którego jest ono najwieksze. Bardziej zlozonym zagadnieniem okazuje sie byc rozpoznawanie
sygnalów ciaglych.

Algorytm opisany na slajdach 17-22.

Prezentacja 6

ARM problem interdyscyplinarny:



Prz

etwarzanie sygnałów- efektywny i niezawodny proces ekstrakcji niezbednej informacji z

sygnalu mowy. W przetwarzaniu sygnalów uwzgledniona jest zarówno analiza widmowa do
opisu cech sygnalu mowy zmieniających sie w czasie jak i przetwarzanie wstepne majace na
celu uniezaleznienie uzytecznego sygnalu mowy od warunków akustycznych srodowiska.



Fizyka/ akustyka- Pozwala zrozumiec zaleznosc pomiedzy fizycznym sygnalem mowy
(mechanizm traktu glosowego czlowieka) a fizjologicznym mechanizmem wytwarzania mowy
a sposobem jej percepcji (mechanizm slyszenia).



Rozpoznawanie obrazu-

zbiór algorytmów wykorzystywanych do klasyfikacji danych w celu

stworzenia jednego lub wiecej prototypów wzorców oraz ich porównania na podstawie miar
parametrycznych.



Teoria informacji i komunikacji -

nowoczesnych algorytmów kodowania i dekodowania (np.

wlaczajac programowanie dynamiczne, algorytmy akwizycji i skladowania danych,
dekodowanie Viterbiego etc.) wykorzystywane do przeszukania obszernego ale skonczonego
ukladu w celu znalezienia n

ajlepszej „sciezki”-tzn. rozpoznanej sekwencji slów.



Lingwistyka - Zwiazek pomiedzy dzwiekami (fonologia), slowami w jezyku (syntaktyka),
znaczeniem wypowiadanych slów (semantyka) oraz sensem wyznaczonym ze znaczenia.
Metodologia gramatyki i rozbiór jezykowy równiez zawieraja sie w tej dyscyplinie.



Fizjologia-

Rozumienie mechanizmów wyzszego rzedu w centralnym ukladzie nerwowym

czlowieka czyli wytwarzania mowy oraz jej percepcji przez czlowieka. Wiele nowoczesnych
technik próbuje umiescic ten rodzaj wiedzy w
ramach sieci neuronowych.



Informatyka-

Badania efektywnych algorytmów implementacji programowej lub sprzetowej

różnych metod wykorzystywanych w rzeczywistych systemach rozpoznawania mowy.



Psychologia -

Nauka rozumienia czynników umozliwiajacych wykorzystanie przez czlowieka

technologii dozadan praktycznych.

Rodzaje informacji wykorzystywanych w ARM:

Procedury rozpoznawania mowy:



z dołu do góry (bottom-up)- Najbardziej standardowa procedura w której proces najnizszego
rzedu (tj. detekcja parametrów, dekodowanie fonemów) poprzedza procesy wyzszego rzedu
(dekodowanie leksykalne, modelowanie jezykowe) dokonywane jest w sposób sekwencyjny.



z góry do dołu (top-down)- Model jezykowy generuje w oparciu o sygnal mowy hipotezy,
nastepnie syntaktycznie i semantycznie sensowne wypowiedzi budowane sa na podstawie
wyników porównania wyrazów. Pokazane zostalo, ze czesto stosuje sie integracje porównania
jednostek, dekodowania leksykalnego oraz modulu analizy syntaktycznej w jednym bloku.



wspólnej płaszczyzny (blackboard)- W tym podejsciu wszystkie zródla informacji
analizowane sa niezaleznie. Paradygmat hipoteza-

test sluzy jako glówne medium komunikacji

pomiedzy zródlami informacji. Kazde zródlo opiera sie o dane uzyskane w oparciu o
wystepujace na wspólnej plaszczyznie obrazy które odpowiadaja rozwiazaniom okreslonym w
zródlach. System dziala wiec asynchronicznie.



Rozpoznawania  obrazów  i  akustyczno-  fonetyczna  -  Trzy  glówne  kroki  w  modelu
rozpoznawania  obrazów  to:  pomiar  parametrów  (w  którym  obraz  testowy  jest  tworzony),
porównanie  obrazów  oraz  podjecie  decyzji.  Funkcja  bloku  pomiaru  parametrów  jest
prezentacja  odpowiednich  zdarzen  akustycznych  sygnalu  mowy  w  formie  zwartych,
wydajnych  wektorów  parametrów  mowy.  Podobnie  w  modelu  akustyczno-fonetycznym
rozpoznawania pierwszy krok procesu tj. pomiar parametrów, jest zasadniczo identyczny jak
w modelu rozpoznawania obrazów, pomimo, ze dalsze kroki obu podejsc znaczaco się róznia.

Skutecznosc systemów rozpoznawania mowy jest oceniana poprzez porównanie prawdziwej oraz
rozpoznanej  przez  system  sekwencji  elementów.  Liczba  dodanych  elementów  oznacza  liczbe
rozpoznanych  przez  system  elementów  nieobecnych  w  prawdziwej  sekwencji.  Liczba  pominietych
elementów  to  liczba  wypowiedzianych  przez  mówce  elementów  nie  odnotowanych  w  rozpoznanej
przez system sekwencji elementów.

Miary  skutecznosci

wykorzystywane sa zarówno w systemach rozpoznawania wykorzystujacych

fonemy  jako  jednostki  podstawowe  jak  i  w  systemach  rozpoznawa  calych  wyrazów  (elementem
rozpoznawania jest wiec wtedy odpowiednio fonem i wyraz). Przy tym oczywiscie wysoka skutecznosc
rozpoznawania fonemów moze  przekladac  sie  na  skutecznosc  rozpoznawania  calych  wyrazów.  Tak
wiec  w  pierwszej  kolejnosci  system  rozpoznawania  powinien  byc  oceniany  na  podstawie  modelu
akustycznego o parametrach dobranych dla skutecznosci ro

zpoznawania fonemów bez uwzglednienia

gramatyki.

WER (word error rate)-

Najpowszechniej stosowana miara skutecznosci systemów. Jest

rocentowym stosunkiem liczby zamienionych, dodanych oraz pominietych wyrazów do liczby

wyrazów w rozpoznawanym zdaniu.

Prezentacja 7

Same tabelki i wykresy :P

Prezentacja 8

Model przejść międzydifonowych
Korzystne  relacje  przy  przyjeciu  difonów  jako  jednostek  rozpoznawania  zachodza  dla  jednej  z
najpowszechniej wykorzystywanych  we  wspólczesnych algorytmach ARM technik opierajacych sie o
niejawne  procesy  Markowa  jaka  jest  metoda  programowania  dynamicznego  zwana  algorytmem
Viterbiego.  Ma  ona  szczególnie  korzystne  cechy  zwlaszcza  w  odniesieniu  do  analizy  sygnalów
ciaglych.  W  procesie  rozpoznawania  otrzymujemy  ciag  obserwacji,

które w naszym systemie

odpowiadaja wektorom parametrów dla kolejnych wykrytych w analizowanej wypowiedzi diafonów -
stanów niejawnego procesu Markowa. Zadaniem algorytmu jest znalezienie jednego „najlepszego”
ciągu stanów dla danego ciagu obserwacji.

Sieć neuronowa jako estymator prawdopodobieństwa a priori
Wsród wielu sposobów wykorzystania sztucznych sieci neuronowych najstarszym i najlepiej opisanym
jest

rozpoznawanie wzorców. Na wejscie sieci podawany jest wektor wejściowy. Opisuje on

rozpoznawany

obiekt. W przypadku sygnalów akustycznych jest to wektor cech akustycznych czyli

parametryczny opis sygnalu akustycznego. Moze to byc zbiór współczynników Fouriera, predykcji
liniowej lub rozklad interwalów czasowych. Pamietac nalezy o tym, ze sygnal akustyczny jest
próbkowany w oknach dlatego liczba wejsc sieci zalezy od liczby okien i liczby parametrów w oknie.

Podstawowym elementem jest model neuronu McCullo

ch’a - Pitts’a.

Prezentacja 9

Schemat bud

owy urządzenia AGD z funkcją automatycznego rozpoznawania mowy

Schemat funkcjonalny

systemu ARM w urządzeniu AGD

Układ do rozpoznawania mowy SRI-07 - jest to kompletny i programowalny podzespól sluzacy do
realizacji funkcji rozpoznawania mowy. Zestaw ten pracuje w trybie zaleznym od mówcy, tzn. najpierw
nagrywa sie slowa (albo wypowiedzi), a nastepnie uklad je rozpoznaje. Dzieki temu mozna
wykorzystać dzialanie zestawu do sterowania innym urzadzeniem.

Prezentacja 10

Biometria

– zautomatyzowane rozpoznawanie osób na podstawie cech biologicznych lub

behawioralnych.

Obejmuje rozpoznawanie osób m.in. na podstawie: odcisków palców, glosu,

siatkówki  oka,  badan  krwi,  badan  antropologicznych,  badan  struktury  kodu  DNA.  Mozliwe  jest
stosowanie  równiez  innych  technik  biometrycznych  lub  ich  pochodnych:  sposób  chodzenia,  odciski
dloni, itp. Metody biometryczne moga byc stosowane jako dodatkowe zabezpieczenie przy metodach
identyfikcji osób.
Zastosowanie:



Dokumenty biometryczne
Na calym swiecie kraje tworza polityczne i prawne warunki dla stopniowego wprowadzenia
dokumentów biometrycznych. Zgodnie z zaleceniami dane z obszaru dla czytnika
automatycznego, zdjecie twarzy, dwa odciski linii papilarnych oraz podpis elektroniczny beda
przechowywane w chipie.



Kryminalistyka
U

niwersalny zespól metod i srodków, który pozwolilby w warunkach wzrastajacej

przestepczosci nie tylko na optymalne wykrywanie sprawców przestepstw, lecz takze na
jednoznaczne i nie budzace watpliwosci udowadnianie im winy.

Badania fonoskopijne- sa nowoczesnym dzialem kryminalistyki, zajmujacym sie problematyka
ustalania tozsamosci czlowieka na podstawie analizy pewnych cech akustycznych zawartych sygnale
mowy.

Metody rozpoznawania

głosów:



subiektywna-

Polega na rozpoznawaniu mówców przez sluchaczy na podstawie próbek

głosów. Sluchacze nie sa na ogól w stanie wymienic kryteriów lezacych u podstaw ich decyzji.



zobiektywizowana (metoda wzrokowa)-

Polega na porównywaniu przez ekspertów obrazów

wypowiedzi,

czyli spektrogramów otrzymanych na podstawie analizy spektrograficznej

kreslonej frazy, jednakowej dla wszystkich badanych glosów.



obiektywna (metoda automatyczna)- Metoda ARG polega na realizacji regul decyzyjnych na
mierzalnych w sposób obiektywny cechach sygnalu mowy w celu okreslenia, czy dana
wypowiedz nalezy do określonego mówcy.

Automatyczne rozpoznawanie glosu (ARG) to proces polegajacy na rozpoznaniu osoby mówiącej na
podstawie  indywidualnych  informacji  osobniczych  zawartych  w  falach  dźwiękowych  wypowiedzi
danego  mówcy.  Podstawowy  podzial  systemów  ARG jest  uzalezniony  od  nastepujacych  czynników:
rodzaju  i  ilosci  analizowanego  materialu  akustycznego,  oraz  od  sposobu  analizy  pobranych  próbek
glosu.

Systemy zalezne i niezalezne od tresci wypowiedzi
Kolejnym  sposobem  podzialu  metod  rozpoznawania  mówców  jest  podzial  na  systemy  zalezne  i
niezalezne  od  tekstu  wypowiedzi.  Systemy  niezalezne  od  tekstu  wypowiedzi  wychwytuja  z
wypowiedzi danego mówcy jego specyficzne cechy osobnicze zawarte w glosie bez wzgledu na to, co
on  mówi.  Specyfika  systemów  zaleznych  od  tekstu  polega  na  tym,  ze  mówca  wypowiada  jedna,
konkretnie  ustalona  wczesniej  sentencje  slowna  i  to  na  jej  podstawie  zostaje  odpowiednio
zidentyfikowany.

Klasyczny proces weryfikacji glosu mozna schematycznie przedstawic jako dwie procedury:



procedurę uczenia gdzie tworzone sa modele mówców oraz model tla



procedure rozpoznawania

gdzie sparametryzowane próbki glosu porównywane sa ze

stworzonymi wczesniej modelami i podejmowana jest decyzja o akceptacji badz odrzuceniu
tozsamosci mówcy

Schemat procesu weryfikacji głosu
Sygnal mowy jest najpierw poddawany preemfazie. Celem preemfazy jest uwypuklenie wyższych
czestotliwosci widma sygnalu mowy, które sa tlumione w procesie artykulacji. Po okienkowaniu oknem
Hamminga wyznaczana jest szybka transformata Fouriera (FFT). Modul FFT przemnażany jest przez
bank filtrów melowych w celu wygladzenia i uzyskania obwiedni spektrum w skali audytoryjnej. Po
przejsciu na dB jako krok koncowy procedury parametry

zacji stosowana była dyskretna transformata

cosinusowa dajac wspólczynniki cepstralne. Tak uzyskane wektory parametrów podawane byly do
procedury klasyfikacji.

Krzywa ROC-

relative operating characteristic; określa stopę porawnych decyzji systemu

Krzywa DET-

detection error tradeoff; standardowy sposób prezentacji jakosci systemów ARG oraz

ARM.

Prezentacja 11

rzadzenie mówiace zostałow wynazleione w 1791r. przez Wolfganga von Kempelena. Urzadzenie

skladalo sie z miecha wzbudzajacego strumien powietrza podawanego z kolei na wibrujace jezyki
spelniajace funkcje strun (wiazadel) glosowych. Kanal glosowy imitowala

rurka elastyczna, która przez

odpowiednie manipulowanie (ucisk dlonia) powodowala generacje róznych dzwieków (20 dźwięków
mowy). Urzadzenie zawieralo dwie komory imitujace kanal nosowy oraz dwie dzwigienki, za pomoca
których mozna bylo sterowac generacja glosek tracych.

Mozna wyróznic trzy zródla sygnalu mowy:



trakt glosowy czlowieka, dokonujacy mowy;



systemy techniczne o prostej strukturze, dokonujace mowy;



syntezatory mowy dokonujace mowy na drodze modelowania procesu artykulacji.

Tekst moze byc analizowany jako jedna z form bardzo efektywnego kodowania mowy z duza jednak
mozliwoscia jego interpretowania pod wzgledem stylu, intonacji, tempa, rytmu itp.
Relacja miedzy tekstem pisanym i mówionym jest jednak czesto niezwykle zlozona, szczególnie, gdy
mamy do czynienia z tekstami z dodatkowymi opisami. Modul analizy tekstu okresla typ i strukture
przetwarzanego dokumentu, dokonuje konwersji nieortogr

aficznych znaków, rozbioru gramatycznego,

analizy syntaktycznej, leksykalnej.

Modul ten powinien dostarczyc cala informacje dotyczaca tekstu, nie bedaca w swej naturze
fonetyczna, majaca jednak wplyw na dzialanie modulu fonetycznego.
W najprostszych syste

mach modul ten dokonuje konwersji znaków nieortograficznych np. liczby.

Bardziej rozwiniete systemy dokonuja analizy

znaków takich jak spacje, znaków przestankowych itp. w

celu dokonania bardziej

szczególowej analizy syntaktycznej i semantycznej tekstu podzielonego na

zdania.

Normalizacja tekstu

polega na ujednoliceniu konwersji symboli, liczb i znaków nieortograficznych w

transkrypcji ortograficznej, w postaci umozliwiajacej nastepnie ich konwersje na ciag znaków
transkrypcji fonetycznej.

Analiza lingwistyczna tekstu obejmuje wybrane elementy syntaktyczne i semantyczne takie jak
slowo, fraza, zdanie, wypowiedz by ocenic ich wpływ na sama wymowe i cechy prozodyczne.

Modul syntezy mowy generuje akustyczny sygnal mowy, na podstawie sekwencji okreslonych
fon

emów uzyskanych na podstawie przetwarzania tekstu, wzorców iloczasowych, konturu

melodycznego i obwiedni amplitudy.

Modelowanie obwiedni widma

– statyczne:



Stewart(1922)

– 2 filtry formantowe pobudzane przebiegiem piloksztaltnym



Voder (Dunn,1939)

– 10 szeregowo polaczonych filtrów pasmowych pobudzanych badz

przebiegiem okresowym, badz szumowym.

Elektroniczne syntezatory formantowe- Opieraly sie na modelowaniu funkcji przenoszenia toru
glosowego w dziedzinie

czestotliwosci za pomoca filtrów dolnoprzepustowych.

Synteza artykulacyja- modelowanie narzadu artykulacyjnego w oparciu o rejestrowane obrazy
przekrojów toru glosowego w nadziei, ze uzyska sie prostsze reguly odwzorowywania zmian polozenia
elementów artykulacyjnych.
Dla kazdej gloski utworzono zestaw

przekrojów cylindrycznych o odpowiednio dobranych

powierzchniach.  Przyjeto  liniowe  odwzorowywanie  zmian  konfiguracji  toru  glosowego  przy  przejsciu
miedzy gloskami. Wyniki byly jednak gorsze od ówczesnych syntezatorów formantowych.

Synteza  konkatenacyjna-  podstawowym  elementem  sa  wycinki  rzeczywistego  sygnalu  mowy
zarejestrowane  w  bazie  danych  i  laczone  ze  sobą  odpowiednio  do  przetwarzanego  tekstu.
Atrakcyjnosc  tej  metody  polega  przede  wszystkim  w  tym,  ze  nie  sa  potrzebne  rozbudowane  reguly
oraz  ze  dzieki

operowaniu rzeczywistym sygnalem mowy laczone ze soba segmenty zachowują

stosunkowo naturalne brzmienie.
Problemy: Wybór jednostek , stworzenie bazy jednostek, rozmiary bazy, jak okreslic optymalny system
wyboru  i  laczenia  ze  soba  segmentów,  jak  modyfikowac  cechy  prozodyczne  ztworzonego  lancucha
segmentów.

Difon-  element  zawierajacy  w  calosci  przejscie  miedzy  gloskami,  poprzedzone  czescia  gloski
poprzedzajacej i zakonczone czescia gloski nastepujacej.

Zastosowanie syntezy mowy:
Uslugi  telekomunikacyjne,

portale głosowe, nauka jezyków, dostep do tekstów pisanych dla osób

niewidomych, ulatwienie komunikacji werbalnej osobom z zaburzeniami mowy, w dwustronnej
komunikacji werbalnej czlowiek-

maszyna, człowiek – człowiek, automatyczny tłumacz.

Prezentacja 12

Problemy przy projektowaniu akustycznej bazy danych:

Style wypowiedzi do baz danych:



Mowa naturalna-

nagrywana w sytuacjach codziennych rozmów na tematy wybrane przez

mówce



Mowa laboratoryjna-

nagrywana w sytuacjach kontrolowanych i artykulowana w sposób

bardziej formalny.



Czytanie izolowanych fonemów- wypowiedz izolowanego fonemu jest generalnie
wykorzystana jako wzór do porównania wypowiedzi tego samego fonemu w mowie ciaglej.



Czytanie izolowanych słów- moze obejmowac zarówno istniejace wyrazy jak i slowa "bez
sensu" lingwistycznego które sa jednak uzyteczne do badan nad efektami koartykulacyjnymi
poszczególnych fonemów w róznych kontekstach.



Czytanie izolowanych fraz-

przykladem tego typu fraz moga być przypadki gdy zalezy nam

na bardziej naturalnej niz w izolowanych slowach wypowiedzi



Czytanie fragmentów tekstu- dotyczy czytania kilku zdan powiazanych semantycznie.
Podejscie to wpływa korzystnie na naturalnosc mowy. Zdania moga pochodzic z ksiazki lub
gazety i moga posiadac szczególna strukture fonetyczna lub syntaktyczna.



Mowa quasi spontaniczna- slownictwo, syntaktyka i wypowiadanie jest kontrolowane. Baza
jest generalnie

tworzona dla celów komercyjnych. Typowym przykladem jest czytanie wyrazen

alfanumerycznych,

pozostawiajace mówcy zupelna dowolnosc sposobu wypowiedzi. Ma to

miejsce w przypadku numerów telefonicznych: czasem czytanych jako sekwencja pojedy
czych cyfr lub jako grupy cyfr.



Mowa spontaniczna dotyczaca okreslonego temat-

wypowiedź sprowokowana; Rózne

procedury sa wykorzystywane do "wymuszenia" dyskusji, jednakze przy pozostawieniu
mówcy mozliwosci wypowiedzi swobodnej i naturalnej.



Mowa wywolywana metoda " Czarnoksieznika z Krainy Oz"- Idea metody jest dosc prosta:
operator  (tzw.  "czarnoksieznik")  nasladuje  zachowanie  komputera  w  symulacji  rozmowy
czlowiek-komputer. Dla zachowania realizmu tej symulacji musza byc spelnione dwa warunki:
symulowany  system  powinien  miec  cechy  odpowiadajace  ludzkim  ograniczeniom  (np.  po
pytaniu czas odpowiedzi czlowieka jest inny niz komputera), po drugie zachowanie operatora
w  przypadku

niejasnych pytan lub bledów powinno zostac dokladnie okreslone dla

zagwarantowania porównywalnych warunków symulacji. Metoda ta byla wykorzystana przy
tworzeniu bazy ATIS.



Mowa spontaniczna -

Mówca ma dowolnosc w wyborze tematu rozmowy i slownictwa w celu

uzyskania najbardziej naturalnej wypowiedzi. W celu unikniecia wplywu emocjonalnego
warunków nagran na mówce, czesto nagrania prowadzi sie podczas przerw relaksacyjnych w
nagraniach. W innych przypadkach

mówca proszony jest o przypomnienie sobie sytuacji z

przeszlosci lub o rozmowe z bliskimi lub znajomymi osobami.

Akustyczne bazy danych:



Babel-

Projekt jest wspólnym Europejskim przedsiewzieciem pod patronatem fundacji

Copernicus  w  sklad  którego  wchodza  osrodki  naukowe  z  europy  zachodniej  i  srodkowej.
Celem  projektu  jest  stworzenie  wielojezycznej  bazy  danych  dla  pieciu  (najbardziej
rozpowszechnionych)  jezyków  srodkowoeuropejskich:  bulgarskiego,  estonskiego,  polskiego,
rumunskiego i wegierskiego.



Speech  DAT-  Jako  platforme  nagrywajaca  wykorzystano  komputer  Pentium  II  z  systemem
operacyjnym Windows 98, wyposazony w karte dzwiekowa, duzy dysk twardy oraz karte ISDN
AVM A1 z oprogramowaniem ADA (Automatic Database Acquisition). Sygnaly sa nagrywane
z  czestotliwoscia  próbkowania  8kHz  na  8  bitach  kwantyzacji  i  zapisywane  jako  pliki  bez
naglówka  w  standardzie  a-law.  Do  kazdego  pliku  z  sygnalem  dolaczany  jest  plik  opisowy  w
formacie  SAM,  zawierajacy  informacje  o  sygnale,  warunkach  i  czasie

nagrania, mówcy oraz

tresci wypowiedzi. Zapis fonetyczny przeprowadzany jest zg dnie ze standardem SAMPA
(Speech Assesment Methods Phonetic Alphabet).

Proces weryfikacji jakosciowej bazy przebiegal w dwóch etapach:
Weryfikacja subiektywna- wszystkie sesje nagraniowe

zostały przesluchane i ocenione

prze

z sluchaczy kontrolerów. Sesje niepelne lub niskiej jakosci kierowano do ponownego

nagrania lub odrzucano.
Weryfikacja obiektywna -material akustyczny poddano ocenie obiektywnej w oparciu o trzy
podstawowe wspólczynniki sygnalu: wartosc wspólczynnika przesterowania, sredniej wartosci
próbek oraz stosunku sygnal/szum.