Rezumat teza - Facultatea de Electronica, Telecomunicatii si ...

Investeşte în oameni!
FONDUL SOCIAL EUROPEAN
Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007 – 2013
FACULTATEA DE ELECTRONICĂ TELECOMUNICAŢII ŞI
TEHNOLOGIA INFORMAŢIEI
ing. Adriana Cornelia STAN
TEZA DE DOCTORAT
ROMANIAN HMM-BASED TEXT-TO-SPEECH SYNTHESIS
WITH INTERACTIVE INTONATION OPTIMISATION
SINTEZA TEXT-VORBIRE ÎN LIMBA ROMÂNĂ BAZATĂ PE MODELE
MARKOV ŞI OPTIMIZAREA INTERACTIVĂ A INTONAŢIEI
- REZUMAT -
Comisia de evaluare a tezei de doctorat:
Conducător ştiinţific,
Prof.dr.ing. Mircea GIURGIU
PREŞEDINTE: - Prof.dr.ing. Dorin PETREUŞ - prodecan al Facultaţii de Electronică,
Telecomunicaţii şi Tehnologia Informaţiei,
Universitatea Tehnică din Cluj-Napoca;
MEMBRI: - Prof.dr.ing. Mircea GIURGIU- conducător ştiinţific,
Universitatea Tehnică din Cluj-Napoca;
- Prof.dr.ing. Corneliu BURILEANU - referent,
Universitatea Politehnica Bucureşti;
- Prof.dr.ing. Horia-Nicolai TEODORESCU, m.c. A.R - referent,
Universitatea Tehnică “Gh.Asachi” Iaşi;
- Prof.dr.ing. Aurel VLAICU - referent,
Universitatea Tehnică din Cluj-Napoca
_______________________________________________2011________________________________________________

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Cuprins
1 Introducere 1
1.1 Motivat¸ia tezei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Obiectivele tezei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Structura tezei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 Aspecte teoretice ale sintezei vorbirii 3
2.1 Sinteza text-vorbire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 Metode de sinteză a vorbirii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2.1 Sinteza bazată pe reguli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2.2 Sinteza bazată pe corpus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.3 Sisteme de sinteză text-vorbire pentru limba română . . . . . . . . . . . . . . . . . . . 5
3 Dezvoltarea resurselor necesare pentru un sistem de sinteză parametrică în limba
română 6
3.1 Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2 Resurse de text . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2.1 Corpusul de text . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2.2 Transcrierea fonetică . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2.3 Pozit¸ionarea accentului . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.2.4 Silabificare folosind principiul Maximal Onset . . . . . . . . . . . . . . . . . . . 7
3.2.5 Adnotarea părt¸ii de vorbire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3.2.6 Lexiconul . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3.3 Resurse de vorbire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3.3.1 Select¸ia textului pentru înregistrări . . . . . . . . . . . . . . . . . . . . . . . . . 8
3.3.2 Propozit¸ii semantic impredictibile . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.3.3 Înregistrări la frecvent¸e de e¸santionare mari . . . . . . . . . . . . . . . . . . . . 10
3.3.4 Segmentarea ¸si adnotarea datelor . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.3.5 Corpusul de vorbire Romanian Speech Synthesis (RSS) . . . . . . . . . . . . . 11
3.3.6 Statistici ale textului înregistrat în corpusul RSS . . . . . . . . . . . . . . . . . 11
4 Un sistem de sinteză parametrică pentru limba română bazat pe modele Markov
¸si frecvent¸e de e¸santionare mari 14
4.1 Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4.2 Crearea unui sistem de sinteză bazat pe modele Markov la frecvent¸e de e¸santionare mari 14
4.2.1 Preprocesarea datelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4.2.2 Configurarea parametrilor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
4.3 Evaluare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
4.3.1 Experiment 1 – Test de ascultare . . . . . . . . . . . . . . . . . . . . . . . . . . 16
4.3.2 Experiment 2 – Demonstrat¸ie interactivă online . . . . . . . . . . . . . . . . . . 18
4.3.3 Experiment 3 – Adaptare la corpusul de vorbire cu opere literare . . . . . . . . 18
5 O metodă de modelare a intonat¸iei independentă de limbă 20
5.1 Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
5.1.1 Problemele modelării F0 în sistemele de sinteză text-vorbire . . . . . . . . . . . 20
5.1.2 Modele de intonat¸ie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
5.2 Parametrizarea F0 folosind transformata cosinus discretă . . . . . . . . . . . . . . . . 21
5.2.1 Transformata cosinus discretă . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
5.2.2 Metoda propusă . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
i

Adriana Cornelia STAN
5.2.3 Preprocesarea corpusului audio . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
5.2.4 Select¸ia atributelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
5.3 Evaluare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
5.3.1 Experiment 1 – Antrenarea arborilor de clasificare ¸si regresie . . . . . . . . . . 23
5.3.2 Experiment 2 – Predict¸ia coeficient¸ilor DCT folosind algoritmul de regresie aditivă 24
5.3.3 Experiment 3 – Test de ascultare . . . . . . . . . . . . . . . . . . . . . . . . . . 24
6 Optimizarea conturului F0 cu feedback interactiv al utilizatorilor non-expert¸i 26
6.1 Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
6.2 Optimizarea interactivă a intonat¸iei folosind CMA-ES . . . . . . . . . . . . . . . . . . 26
6.2.1 Cercetări conexe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
6.2.2 Parametrizarea DCT a conturului frecvent¸ei fundamentale la nivel de propozit¸ie 27
6.2.3 Solut¸ia propusă . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
6.3 Evaluare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
6.3.1 Experiment 1 - Deviat¸ia standard init¸ială a populat¸iei . . . . . . . . . . . . . . 28
6.3.2 Experiment 2 - Dimensiunea populat¸iei . . . . . . . . . . . . . . . . . . . . . . 29
6.3.3 Experiment 3 - Expansiunea dinamică a frecvent¸ei fundamentale . . . . . . . . 30
6.3.4 Experiment 4 - Test de ascultare . . . . . . . . . . . . . . . . . . . . . . . . . . 30
7 Discut¸ii ¸si dezvoltări ulterioare 32
7.1 Dezvoltarea resurselor pentru un sistem de sinteză parametrică în limba română . . . 32
7.2 Un sistem de sinteză parametrică pentru limba română bazat pe modele Markov ¸si
frecvent¸e de e¸santionare mari . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
7.3 O metodă de modelare a intonat¸iei independentă de limbă . . . . . . . . . . . . . . . . 33
7.4 Optimizarea conturului F0 cu feedback interactiv al utilizatorilor non-expert¸i . . . . . 33
Contribut¸iile tezei 34
Lista publicat¸iilor 38
Selected Bibliography 38
ii

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
1 Introducere
1.1 Motivat¸ia tezei
Sinteza vorbirii a devenit o tehnologie importantă în contextul interact¸iunii om-ma¸sină. Cu toate că
este un domeniu intens studiat, dependent¸a de limbă face ca acesta să fie greu accesibilă pentru marea
majoritate a limbilor. Dacă pentru engleză, franceză, spaniolă sau germană de exemplu, spectrul
de posibilităt¸i variază de la sisteme open-source configurabile de către utilizator, până la sisteme
comerciale, proprietare, de înaltă calitate, acesta nu este cazul ¸si pentru limba română. Lipsa resurselor
disponibile în mod gratuit ingreunează dezvoltarea de către cercetători a unor sisteme de sinteză
complete sau a unor noi metode de îmbunătăt¸ire a calităt¸ii vocilor sintetizate. Sistemele de sinteză
disponibile pentru limba română sunt în principal sisteme comerciale sau bazate pe tehnologii depă¸site,
cum ar fi sinteza formantică sau concatenarea difonemelor.
O altă problemă ce se află în atent¸ia cercetătorilor este îmbunătăt¸irea prozodiei vorbirii sintetizate.
Rezultatele principalelor sisteme de sinteză au un contur intonat¸ional plat, monoton ¸si neatractiv.
Această problemă este rezolvată de obicei prin utilizarea metodelor de modelare a conturului
frecvent¸ei fundamentale ¸si controlul parametrilor în mod determinist sau statistic. Majoritatea tehnicilor
de parametrizare sau modelare se bazează pe un corpus extins de vorbire ¸si adnotarea manuală
a intonat¸iei. Alte solut¸ii sunt dependente de limbă ¸si implică tipare de accent sau frazare. Adaptarea
acestor solut¸ii la limbi cu resurse limitate este greu de realizat.
1.2 Obiectivele tezei
Având în vedere contextul prezentat anterior, principalul obiectiv al tezei este dezvoltarea unui sistem
de sinteză text-vorbire pentru limba română, utilizând tehnologia de ultimă oră. Sistemul trebuie de
asemenea să permită adaptarea intonat¸iei. Astfel că obiectivele tezei pot fi separate în patru direct¸ii
majore, după cum urmează:
Obiectivul 1: Crearea unui corpus de vorbire de înaltă calitate în limba română ¸si a unui
lexicon text asociat, care să permită antrenarea statistică a modelelor Markov,
dar care să poată fi utilizat în paralel ¸si în cadrul altor aplicat¸ii bazate pe voce
în limba română.
Motivat¸ie: Nu există corpusuri de vorbire în limba română ce pot fi utilizate
în antrenarea statistică a modelelor Markov.
Obiectivul 2: Crearea unui sistem de sinteză text-vorbire în limba română folosind tehnologii
de ultimă oră, în principal sinteza parametrică bazată pe modele Markov.
Motivat¸ie: Sistemele de sinteză text-vorbire pentru limba română folosesc fie
sinteza formantică sau cea concatenativă. Aceste metode de sinteză întâmpină
dificultăt¸i în momentul în care se dore¸ste îmbunătăt¸irea naturalet¸ii sau a expresivităt¸ii
vorbirii sintetizate.
Obiectivul 3: Dezvoltarea unei tehnici noi de modelare a frecvent¸ei fundamentale, ce poate
fi u¸sor aplicată în controlul intonat¸iei independent de limbă.
Motivat¸ie: Tehnicile de modelare a frecvent¸ei fundamentale existente necesită
studii lingvistice extinse ¸si nu permit aplicarea lor independent de limbă.
Obiectivul 4: Dezvoltarea unei metode de optimizare interactivă a intonat¸iei pentru vorbirea
sintetizată.
Motivat¸ie: Chiar ¸si în sisteme de sinteză de calitate înaltă, expresivitatea
vorbirii nu poate fi controlată de către utilizatorii non-expert¸i.
1

Adriana Cornelia STAN
1.3 Structura tezei
Teza este organizată în 7 capitole, după cum urmează:
Capitolul 1 define¸ste motivat¸ia ¸si obiectivele tezei ¸si prezintă de asemenea organizarea acesteia.
Capitolul 2 oferă o privire de ansamblu asupra metodelor de sinteză text-vorbire cu avantajele
¸si dezavantajele aferente. O listă a sistemelor de sinteză disponibile pentru limba română este de
asemenea prezentată. Not¸iunile teoretice specifice sunt introduse în teză la capitolele corespunzătoare.
Capitolul 3 prezintă modul de pregătire a resurselor necesare pentru un sistem de sinteză parametrică
în limba română. Capitolul descrie uneltele ¸si procedurile de dezvoltare atât a resurselor text,
cât ¸si a celor de vorbire. În cadrul resurselor text sunt prezentate următoarele aspecte: selectarea
corpusului de text ¸si preprocesarea lui, transcrierea fonetică, pozit¸ionarea accentului, silabificarea ¸si
adnotarea părt¸ii de vorbire a cuvintelor. Resursele de vorbire includ înregistrarea unui corpus de voce
extins ¸si de calitate înaltă (aprox. 4 ore) cu select¸ia textului de înregistrat ¸si segmentarea la nivel de
frază. Două elemente importante ale resurselor de vorbire le reprezintă o listă de propozit¸ii semantic
impredictibile utilizate în evaluarea vorbirii sintetizate ¸si pregătirea unui corpus de voce diponibil
online în mod gratuit (Romanian Speech Synthesis (RSS) corpus), ce include înregistrările ¸si o serie
de alte informat¸ii adit¸ionale: precum etichete HTS, pozit¸ionarea accentului pentru textul înregistrat
sau exemple de vorbire sintetizată folosind RSS.
Capitolul 4 prezintă dezvoltarea unui sistem de sinteză text-vorbire bazat pe modele Markov
ascunse (HMM - Hidden Markov Model) pentru limba română pornind de la resursele prezentate
în capitolul 3. Aspecte teoretice ale modelelor Markov ¸si ale sistemului HTS (HMM-based Speech
Synthesis System) sunt de asemenea prezentate. Pregătirea datelor necesare HTS este descrisă sub
formă de adnotare a textului, crearea întrebărilor utilizate de arborii de decizie ¸si segmentarea ¸si
adnotarea corpusului de antrenare a modelelor Markov. Pe lângă elementul de noutate adus de
sistemul HTS pentru limba română, capitolul introduce ¸si o evaluarea a unor parametri de configurare
ai sistemului. Rezultatele obt¸inute sunt evaluate apoi în cadrul unui test de ascultare (en. listening
test) cu 3 sect¸iuni: naturalet¸e, similaritate cu vorbitorul original ¸si inteligibilitate.
Capitolul 5 descrie o abordare nouă a parametrizării F0 folosind transformata cosinus discretă
(DCT - Discrete Cosine Transform). Capitolul începe prin analizarea unor tehnici comune de modelare
a F0 ¸si potent¸iala lor aplicare într-un sistem ce nu utilizează informat¸ie adit¸ională, cu except¸ia celei
prezente în text ¸si fără informat¸ie fonologică complexă. DCT a fost aleasă datorită simplităt¸ii, a
independent¸ei de limbă, a capacităt¸ii înalte de modelare chiar ¸si cu un număr redus de caracteristici
¸si de asemenea a transformatei inverse directe, utile în capitolul 6. Un model superpozit¸ional folosind
DCT este propus ¸si evaluat în contextul atât a modelării cât ¸si a predict¸iei conturului F0.
Capitolul 6 utilizează rezultatele din capitolul 5 pentru a defini o metodă interactivă de optimizare
folosind strategii evolutive. Metoda folose¸ste coeficient¸ii DCT la nivel de propozit¸ie ai conturului F0
în cadrul unui algoritm CMA-ES (Covariance Matrix Adaptation - Evolution Strategy). Elemente
de bază ale teoriei calculului evolutiv sunt prezentate, cu accent pe strategiile evolutive ¸si în special
CMA-ES. Evaluarea scenariului de aplicare a metodei este apoi realizată. Aceasta include analiza
deviat¸iei standard init¸iale a populat¸iei, numărul de indivizi per generat¸ie ¸si expansiunea dinamică a
conturului F0. Rezultatele de naturalet¸e ¸si expresivitate din cadrul unui test de ascultare sunt apoi
analizate.
2
Capitolul 7 prezintă contribut¸iile majore ale tezei, concluziile ¸si dezvoltările ulterioare.

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
2 Aspecte teoretice ale sintezei vorbirii
2.1 Sinteza text-vorbire
Sinteza text-vorbire (TTS - Text-to-speech) este o metodă de a obt¸ine vorbire similară celei umane
pornind de la un text dat. Fig. 2.1 prezintă blocurile de bază ale unui sistem TTS. Procesul poate fi
mai u¸sor înt¸eles dacă este realizată o paralelă cu învăt¸area unei limbi noi. Pornind de la un text într-o
limbă necunoscută, primul pas este de a determina segmentele de text ce trebuie preprocesate pentru
o citire corectă, precum numere, abrevieri, neologisme etc. Apoi, fiecare literă trebuie transpusă într-o
realizare acustică sau fonem. Corespondent¸a directă nu este suficientă, deoarece factori contextuali
influent¸ează sunetul redat pentru o anumită literă. Având această succesiune corectă de foneme,
acestea pot fi concatenate în silabe, cuvinte, propozit¸ii ¸s.a.m.d. Frazarea, durata ¸si o intonat¸ie simplă
sunt apoi determinate. Iar în cele din urmă procesul fiziologic de producere a vorbirii este realizat,
prin articularea mecanică a sunetelor. Dacă o persoană are un nivel mai avansat de cunoa¸stere a unei
limbi, emfaza ¸si prozodia pot fi reproduse mult mai corect, chiar similar cu un vorbitor nativ.
PROCESARE TEXT
‐ Normalizare text
‐ Transcriere fonetică
‐ Analiză sintactică
‐ Segmentare
‐ Analiză semantică
‐ Analiză prozodică, etc.
SINTEZA VORBIRII
‐ Selecţia parametrilor sau
a segmentelor acustice
‐ Control prozodic
‐ Concatenare sau
modelarea parametrilor
‐ Netezire
‐ Sinteza vorbirii
Intrare Text Ieşire audio
Figura 2.1: Diagrama bloc a unui sistem de sinteză text-vorbire
În mod similar, sistemele de sinteză text-vorbire au evoluat de la simpla reproducere a sunetelor
individuale prin tuburi de lemn, la sintetizoare de ultimă generat¸ie ce utilizează analize semantice
avansate ¸si care pot reda vorbire expresivă de calitate înaltă. Întregul sistem este de obicei segmentat
în două mari componente: procesarea textului ¸si sinteza vorbirii. Fiecare dintre acestea implică metode
de analiză ¸si sinteză complexe ¸si întâmpină probleme specifice.
Obiectivele unui sistem TTS potrivit [Taylor, 2009] sunt de a transmite corect mesajul către
ascultător în termeni de inteligibilitate ¸si naturalet¸e, ¸si de a fi capabil să sintetizeze orice text
de intrare. Aceasta înseamnă că procesorul de text trebuie să fie capabil să transforme orice text de
intrare într-o secvent¸ă de etichete ¸si că sintetizorul are capacitatea de a reda vorbire calitativă oricare
ar fi secvent¸a de etichete de intrare.
Necesitatea unui sistem de sinteză poate fi accentuată prin aplicat¸iile acestuia. Scopul init¸ial al unui
TTS era de a facilita accesul persoanelor cu handicap de vedere la informat¸ii ce nu sunt disponibile
în alfabetul Braille. Odată cu aparit¸ia dispozitivelor de stocare analogice ¸si digitale, sistemele de
sinteză au fost utilizate în din ce în ce mai multe aplicat¸ii. Prin concatenarea segmentelor de vorbire
preînregistrate, sistemele puteau reda un număr limitat de combinat¸ii dintre segmente. Acest tip
de sintetizor este utilizat în sistemele de răspuns automat pentru informat¸ii cu client¸ii, sisteme GPS
sau ATM. TTS mai avansate sunt utilizate în aplicat¸ii de dialog inteligent sau în combinat¸ie cu
recunoa¸sterea automată a vorbirii, în aplicat¸ii de traducere voce-voce.
2.2 Metode de sinteză a vorbirii
Producerea vorbirii este un proces complex ce implică un număr mare de resurse computat¸ionale ¸si
de memorie. Independent de sarcina ¸si mai complexă de purtare a unui dialog, chiar ¸si citirea cu voce
tare a unui text implică antrenare ¸si procesare din partea vorbitorului. De-a lungul anilor au fost
3

Adriana Cornelia STAN
propuse mai multe metode de sinteză. Primul sintetizor electronic a fost VODER (Voice Operation
DEmonstratoR) creat de Homer Dudley la Bell Laboratories în 1939 [Dudley, 1940]. VODER era
capabil să producă doar două sunete de bază: un ton generat de către o valvă radio pentru sunetele
sonore ¸si un zgomot alb produs de descărcarea unui tub de gaz pentru sunetele nesonore. Sunetele
de bază erau apoi trecute printr-o serie de filtre ¸si amplificatoare ce le combinau ¸si modulau pentru a
produce vocale ¸si consoane. Pentru a produce vorbire era nevoie de o persoană care să opereze un set
de pedale ¸si tastiere.
Pornind de la metoda principală de generare a semnalului vocal, sintetizoarele pot fi clasificate
în sintetizoare bazate pe reguli ¸si sintetizoare bazate pe corpus. În cadrul sintetizoarelor
bazate pe reguli nu se utilizează segmente de vorbire preînregistrate, fiecare sunet fiind definit de un
set fix de parametri. Metodele bazate pe corpus folosesc fie segmente întregi de vorbire înregistrată,
fie o analiză directă a corpusului de vorbire, fiind astfel direct dependente de acesta. Cea de-a doua
metodă nu este considerată o metodă pură de sinteză, cu toate că este cea mai des folosită. Astfel că
[Taylor, 2009] define¸ste sinteza vorbirii prin redarea unei secvent¸e de vorbire dintr-o resursă în care
aceasta nu a mai fost rostită.
2.2.1 Sinteza bazată pe reguli
Sinteza formantică
Sinteza formantică define¸ste un set de reguli privind modificarea frecvent¸ei fundamentale, a formant¸ilor
¸si a altor parametri de la un sunet la altul [Huang et al., 2001]. Este bazată pe modelul sursăfiltru
de producere a vorbirii. În sinteza formantică frecvent¸ele de rezonant¸ă ale formant¸ilor sunt
reprezentate de un număr de filtre ce au ca intrare un tren de impulsuri pentru segmentele sonore ¸si
zgomot alb pentru segmentele nesonore. Cel mai reprezentativ model de sinteză formantică este cel
descris de [Klatt, 1980], ce a devenit un produs comercial denumit MITalk [Allen et al., 1987].
Prozodia în sinteza formantică poate fi realizată prin modificarea frecvent¸elor de rezonant¸ă sau a
parametrilor filtrelor. Din păcate, aceasta implică un studiu extins al efectelor prozodice asupra F0
sau a formant¸ilor. În [Wolf, 1981] anumite reguli de control a prozodiei sunt definite, dar rezultatele
lor nu pot fi generalizate, datorită caracteristicilor particulare ale analizei ¸si sintezei parametrilor.
Sinteza articulatorie
Sinteza articulatorie are potent¸ialul de a deveni una dintre cele mai bune metode de sinteză.
Utilizează modele mecanice ¸si acustice de producere a vorbirii [Benesty et al., 2007]. Efectele fiziologice
sunt modelate, precum mi¸scarea limbii, a buzelor, a mandibulei sau dinamica tractului vocal ¸si a
glottisului. Studii de biomecanică, aerodinamică ¸si acustică sunt implicate în proces.
Prozodia nu este deocamdată o problemă datorită stadiului incipient în care se află această metodă.
2.2.2 Sinteza bazată pe corpus
Sinteza concatenativă
În cadrul acestei metode, o propozit¸ie vocală este sintetizată prin concatenarea unor segmente de
vorbire naturală preînregistrate. Segmentele sunt stocate într-o bază de date ¸si sunt indexate prin
cont¸inut fonetic ¸si markeri prozodici. Segmentele pot fi alcătuite din propozit¸ii întregi, cuvinte, silabe,
difoneme sau chiar foneme. În funct¸ie de tipul de segment stocat în baza de date, sinteza concatenativă
este fie cu inventar de dimensiune fixă – segmentele au aceea¸si dimensiune, fie cu select¸ia unităt¸ilor
acustice – segmentele au lungimi variabile, iar sistemul decide segmentul optim pentru concatenare.
Prozodia în cadrul sintezei concatenative era obt¸inută init¸ial prin utilizarea unor corpusuri de
vorbire extinse (zeci de ore de înregistrări) ce includeau diferite realizări prozodice ale aceluia¸si segment
vocal. Ulterior, odată cu aparit¸ia algoritmului PSOLA (Pitch Synchronous Overlap and Add)
[Moulines and Charpentier, 1990] ¸si a altor tehnici avansate, prozodia poate fi controlată pentru fiecare
segment în parte, cu riscul unei pierderi de naturalet¸e. Cu toate acestea, cele mai bune rezultate sunt
încă obt¸inute folosind corpusuri extinse.
4

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Sinteza parametrică statistică
Sinteza parametrică bazată pe corpus implică utilizarea unui corpus de vorbire preînregistrat din
care extrage un set specific de parametri. Astfel că sinteza vorbirii devine o analiză statistică a corpusului
de vorbire. Parametri sunt grupat¸i în funct¸ie de context sau caracteristici prozodice. Cea
mai importantă tehnică parametrică este cea bazată pe modele Markov ascunse (HMM), un concept
împrumutat din recunoa¸sterea automată a vorbirii. O dată cu introducerea sistemului HTS (H Triple
S - HMM-based Speech Synthesis System) [Zen et al., 2007b], această metodă a devenit alegerea speciali¸stilor
din domeniul sintezei de voce. În HTS, vorbirea este modelată cu 3 stări pentru fiecare fonem.
Arbori de decizie sunt utilizat¸i pentru gruparea contextuală a vectorilor de caracteristici. Caracteristicile
contextuale includ elemente fonetice, accentuale ¸si sintactice. Pornind de la o secvent¸ă de foneme
t¸intă se determină o secvent¸ă de stări HMM corespunzătoare folosind algoritmul ML (Maximum likelihood).
Problemele de supra-netezire a secvent¸ei spectrale sunt rezolvate cu ajutorul principiului
GV (Global Variance) [Toda and Tokuda, 2007], care maximizează variat¸ia dinamică a parametrilor
vorbirii.
Prozodia în HTS este obt¸inută prin modificarea arborilor de decizie la nivel de F0 sau a secvent¸ei
de stări generate în etapa de sinteză. Deoarece este o metodă parametrică bazată pe principiul ML,
modificarea conturului F0 poate fi realizată fără a afecta caracteristicile spectrale ¸si astfel este relativ
u¸sor să se testeze noi contururi F0 pentru aceea¸si propozit¸ie, fără a afecta naturalet¸ea vorbirii sintetice.
2.3 Sisteme de sinteză text-vorbire pentru limba română
Sistemele de sinteză text-vorbire pentru limba română nu sunt atât de numeroase. Cu except¸ia
câtorva sisteme comerciale, calitatea sintezei este relativ slabă. În continuare sunt enumerate sistemele
disponibile pentru limba română. Se poate observa că metodele de sinteză utilizate în sistemele pentru
cercetare folosesc tehnologii depă¸site.
• Ivona - Carmen www.ivona.com - select¸ia unităt¸ilor acustice - comercial
• Nuance -Simona www.nuance.com - select¸ia unităt¸ilor acustice - comercial
• Loquendo - Ioana www.loquendo.com - select¸ia unităt¸ilor acustice - comercial
• AT&T Bell Labs - concatenare de difoneme, alofoni dependent¸i de context sau chiar trifoneme
• MBROLA http://tcts.fpms.ac.be/synthesis/mbrola.html, [Dutoit et al., 1996] - concatenare
de difoneme cu algoritm propriu de control al intonat¸iei ¸si a duratei
• Romanian Formant Synthesis [Jitcă et al., 2002] - sinteză formantică, cu o serie de metode
de control a prozodiei [Jitcă et al., 2008], [Apopei and Jitcă 2005] or [Apopei and Jitcă 2007]
• RomVox [Ferencz, 1997] - sinteză parametrică bazată pe LPC - permite modificarea manuală
a unor parametri prozodici
• RomSyn [Giurgiu and Peev, 2006] - concatenare de difoneme
• LIGHTVOX [Buza, 2010] - concatenare de difoneme
• BRVox [Bodo, 2009] - concatenare de difoneme cu atribuirea unor tipare prozodice simple bazate
pe cercetările lui [Hirst and Cristo, 1998]
• Baum - Ancutza http://www.baum.ro/ - concatenare de difoneme - comercial
• Phobos TTS http://www.phobos.ro/demos/tts/index.html - bazat pe MBROLA
• eSpeak http://espeak.sourceforge.net/ - sinteză formantică
• LingvoSoft Talking Dictionary http://www.lingvosoft.com/ - indisponibil pentru testare
5

Adriana Cornelia STAN
3 Dezvoltarea resurselor necesare pentru un sistem de sinteză parametrică
în limba română
3.1 Introducere
Orice sistem de sinteză text-vorbire necesită achizit¸ia preliminară a unor resurse dependente de limbă
pentru etapele de antrenare ¸si dezvoltare atât a procesorului de text, cât ¸si a sintezei vorbirii. Resursele
sunt esent¸iale pentru înt¸elegerea fenomenelor fonologice particulare ¸si conduc la o calitate crescută a
sistemului rezultat.
În contextul disponibilităt¸ii resurselor, limba română este considerată ca fiind cu o limbă cu resurse
limitate. O serie de grupuri de cercetare ¸si-au concentrat eforturile pentru a crea uneltele ¸si resursele
necesare pentru studiul limbii române. Din păcate, de cele mai multe ori, aceste elemente nu sunt
vizibile, standardizate sau publice.
Pentru promovarea cercetării tehnologiei de voce în limba română, în special a sintezei vorbirii,
este necesară îmbunătăt¸irea infrastructurii existente, prin includerea unor baze de date extinse ¸si a
modulelor de procesare de text. Această teză oferă un set de resurse publice promovate pe internet
¸si demonstrat¸iile aferente validării resurselor. Acestea nu sunt însă optimale, dar după cum vor arăta
rezultatele, pot fi utilizate cu succes pentru un sistem de sinteză parametrică bazată pe modele Markov.
3.2 Resurse de text
Elementele descrise în sect¸iunile următoare cuprind uneltele, resursele ¸si preprocesarea datelor ce
conduc la un sistem de adnotare în format HTS utilizat în sistemul de sinteză. În scopul acestui
studiu, un nou procesor de text a fost dezvoltat, folosind Cereproc Development Frameword (CDF)
[Aylett and Pidcock, 2007]. Datele dependente de limbă au fost colectate, iar modele probabilistice au
fost antrenate; procesorul de text crează etichete în format HTS ce cont¸in 53 de caracteristici specifice
[Zen et al., 2007a].
3.2.1 Corpusul de text
Pentru crearea procesorului de text al unui TTS, primul pas îl constituie achizit¸ia unui corpus de text
extins folosit pentru antrenarea componentelor individuale. În perioada august-septembrie 2009, 4506
articole de ziar cu peste 1.700.000 de cuvinte au fost colectate din ziarul ”Adevărul” online.
Datorită faptului că autorii articolelor au folosit modalităt¸i diferite de redactare ¸si tag-uri HTML
în text, a fost nevoie de o preprocesare a articolelor. Aceasta a inclus normalizarea diacriticelor1 ,
ortografiere corectă ¸si excluderea tag-urilor încorporate pentru link-uri ¸si video. Rezultatul a fost o
colect¸ie de articole scurte cu o medie de 15 rânduri pe articol.
Din întreg corpusul de text, cele mai frecvente 65.000 de cuvinte au fost selectate. Acestea
reprezintă lexiconul, ce a fost ulterior transcris fonetic ¸si s-a inserat pozit¸ionarea accentului pentru
fiecare cuvânt. Cele 65.000 de cuvinte au fost verificate cu ajutorul bazei de date DEX online
[DEX online-webpage, 2011]. Aceasta înseamnă că toate cuvintele există în limba română, au o transcriere
ortografică corectă ¸si că nu există nume proprii sau neologisme în lexicon. 65.000 de cuvinte
reprezintă 4% din totalul cuvintelor existente în baza de date DEX.
3.2.2 Transcrierea fonetică
Inventarul fonetic general al limbii române este alcătuit din 7 vocale, vocala scurtă i, 4 semivocale
¸si 20 de consoane. Lingvi¸stii însă extind acest set de foneme prin alofoni ¸si pronunt¸ii except¸ionale
[Giurgiu and Peev, 2006].
Un avantaj important al utilizării HTS este că prin utilizarea grupării contextelor se pot determina
clase de foneme corespondente alofonilor, eliminând astfel necesitatea unui vocabular fonetic extins.
Aceasta duce la motivarea alegerii pentru experimente a unui set de numai 32 de foneme. Tabelul 3.1
6
1 Pentru limba romănă există două standarde de scriere a literelor ¸s ¸si t¸, unul cu virgulă ¸si unul cu cedilla

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Tabel 3.1: Setul de foneme utilizat în transcrierea fonetică, în notat¸ie SAMPA.
vocale a @ 1 e i o u i 0
semivocale e X j o X w
nazale m n
plosive b d g k p t
africate ts tS dZ
fricative f v s z S Z h
tril r
aproximant l
lini¸ste/pauză ‘sil’ ‘pau’
prezintă setul utilizat în notat¸ie SAMPA 2 , un set minimal suficient pentru necesităt¸ile sistemului TTS
dezvoltat.
Limba română este în principal o limbă fonetică cu reguli literă-sunet relativ simple ¸si directe.
Cu toate acestea, există o serie de execept¸ii ce apar mai ales în secvent¸e de vocale, precum diftongi
sau triftongi. Astfel că a fost aplicată o metodă u¸sor supervizată de transcriere fonetică, după cum
urmează: din întreg corpusul de text au fost selectate cele mai frecvente 65.000 de cuvinte. Reguli
init¸iale simple de transcriere fonetică au fost redactate în fomat Festival de către un vorbitor nativ.
Pe baza acestor reguli, întreg lexiconul a fost transcris. Un set de 1000 de cuvinte aleatoare au fost
verificate manual. Folosind apoi algoritmi de clasificare ¸si regresie (CART) [Breiman et al., 1984]
regulile au fost reînvăt¸ate, iar lexiconul transcris din nou. Acuratet¸ea modelului obt¸inut este de
aprox. 87%, măsurată prin cross-validare. Un lexicon adit¸ional a fost pregă tit pentru a fi utilizat
pentru neologisme ¸si nume proprii, a căror transcriere fonetică este greu de prezis din forma ortografică.
Acest al doilea lexicon este verificat mai întâi ¸si doar apoi sunt aplicate regulile de transcriere fonetică.
Exemple de transcriere fonetică obt¸inute sunt următoarele:
3.2.3 Pozit¸ionarea accentului
inedite i n e d i t e
george dz e o@ r dz e
excursie e k s k u r s i e
foarte f o@ a r t e
În limba română accentul în cuvânt cade de cele mai multe ori pe penultima silabă a unui cuvânt
prozodic3 . Chiar dacă există un astfel de tipar de accent, orice formă morfologică derivată va modifica
această regulă aproximativ aleator [Chitoran, 2002].
Din fericire, baza de date SQL a Dict¸ionarului Explicativ Român (DEX:http://dexonline.ro/)
cont¸ine pozit¸ionarea accentului pentru toate intrările sale. Pe baza acestei informat¸ii direct din DEX,
localizarea accentului pentru cele 65.000 de cuvinte din lexicon a fost stabilită. În sistemul TTS,
acela¸si algoritm u¸sor supervizat ca ¸si pentru transcrierea fonetică a fost utilizat pentru pozit¸ionarea
accentului.
3.2.4 Silabificare folosind principiul Maximal Onset
Există 7 reguli de silabificare pentru limba română care se aplică formei ortografice a cuvintelor. Dar
acestea pot fi afectate de morfologie, precum cuvinte compuse sau legate cu cratimă.
CDF utilizează pentru silabificare principiul Maximal Onset (MOP). Acest pricipiu prevede că
majoritatea consoanelor intervocalice sunt atribuite maximal începutului unei silabe (en. onset) mai
2 Speech Assessment Methods Phonetic Alphabet
3 Cu except¸ia inflexiunilor ¸si a vocalelor inflexionale
7

Adriana Cornelia STAN
degrabă decât finalului acesteia (en. coda), în conformitate cu condit¸ii universale ¸si dependente de
limbă. MOP a fost evaluat pentru majoritatea limbilor europene ¸si obt¸ine o acuratet¸e medie de peste
70%.
MOP nu a fost aplicat anterior pentru limba română. Pentru a utiliza acest principiu, grupurile
consonantice de onset ¸si vocalele nucleice au fost definite. O evaluare part¸ială a fost realizată cu 500
de cuvinte aleatoare silabificate manual. S-a obt¸inut o acuratet¸e medie de 75%.
Una dintre except¸iile majore apare în grupurile vocală-semivocală-vocală, în care atât grupul
vocală-semivocală cât ¸si cel semivocală-vocală pot fi diftongi. De exemplu cuvântul caiet cont¸ine
grupurile vocalice a-i ¸si i-e, ambele putând fi diftongi. MOP va silabifica acest cuvânt cai-et, spre
deosebire de versiunea corectă ca-iet.
O altă except¸ie este dată de cuvintele compuse, unde silabificarea este bazată pe descompunere
morfologică ¸si nu pe baza regulilor standard. Astfel că nici MOP nu poate silabifica în mod corect
aceste cuvinte.
3.2.5 Adnotarea părt¸ii de vorbire
Adnotarea părt¸ii de vorbire (en.Part-of-speech tagging (POS)) este utilizată în principal pentru dezambiguarea
cuvintelor, frazare sau accentuarea unor cuvinte în TTS. Pentru limba română, lucrările
[Tufis et al., 2008], [Frunză et al., 2005] ¸si [Calacean and Nivre, 2009] descriu rezultatele preliminare
ale cercetării lor, însă resursele utilizate nu sunt disponibile. Există însă, un soft online bazat pe
modele Markov [Sabou et al., 2008]. Cercetarea nu a fost publicată nicăieri, însă autorii raportează
într-un document intern o acuratet¸e de aprox. 70%.
Folosind această unealtă, întreg corpusul a fost segmentat la nivel de propozit¸iei ¸si adnotat cu
partea de vorbire. Nu au fost realizate evaluări suplimentare ¸si astfel s-au folosit doar două categorii
de parte de vorbire: cuvinte funct¸ionale – includ substantive, verbe, adjective ¸si anumite adverbe
– ¸si cuvinte de cont¸inut – restul cuvintelor.
3.2.6 Lexiconul
Pe baza resurselor de text create, transcrierea fonetică ¸si pozit¸ionarea accentului pentru cele mai
frecvente 65,000 de cuvinte din corpusul de text au fost adunate în cadrul unui a¸sa numit lexicon.
Un exemplu de intrare din lexicon este următoarea:
abandoneze a0 b a0 n d o0 n e1 z e0
Toate vocalele ¸si semivocalele au un marker de accent atrbuit. ”1” marchează accentul, iar ”0”
lipsa acestuia. Poate să existe un singur accent per cuvânt.
3.3 Resurse de vorbire
Ca ¸si resursele de text, resursele de vorbire pentru limba română sunt put¸ine. Există o serie de
corpusuri de vorbire limitate, precum [Teodorescu et al., 2010] – o colect¸ie redusă de sunete ale limbii
române (vocale, consoane, diftongi ¸si triftongi) ¸si câteva propozit¸ii cu diferite emot¸ii ¸si diferit¸i vorbitori.
În [Kabir and Giurgiu, 2010] dezvoltarea unui corpus de limba română de tipul GRID este prezentat.
Alte corpusuri reduse de vorbire mai sunt prezentate în [Giurgiu and Peev, 2006], [Bodo, 2009] ¸si
[Ferencz, 1997]. Toate bazele de date au fost construite pentru un scop precis ¸si nu pot fi aplicate în
mod optim în cadrul altor sisteme.
3.3.1 Select¸ia textului pentru înregistrări
Ideea de bază a corpusului de vorbire este de a putea fi utilizat în mai multe scenarii, de la recunoa¸sterea
automată a vorbirii, la sinteza prin concatenare de difoneme sau select¸ia unităt¸ilor ¸si evident pentru
un sistem de sinteză parametrică bazat pe modele Markov. Una dintre principalele cerint¸e ale unui
sistem concatenativ bazat pe difoneme este acoperirea difonemelor 4 . Această cerint¸ă a fost obt¸inută
8
4 Corpusul de vorbire trebuie să cont¸ină toate combinat¸iile posibile de foneme ale unei limbi.

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
prin înregistrarea unui set de propozit¸ii ce cont¸in mai multe aparit¸ii ale aceluia¸si difonem ¸si dacă e
posibil toate difonemele unei limbi. Select¸ia frazelor pentru limba română a fost realizată cu ajutorul
CDF. Numărul de difoneme utilizat este de 731, pe baza aparit¸iei difonemului în cel put¸in 10 cuvinte
ale bazei de date DEX online. Fiecare difonem a trebuit să apară în cel put¸in 3 contexte (începutul,
mijlocul ¸si sfâr¸situl cuvântului), iar fiecare context apare de 3 ori. CDF utilizează un algoritm greedy
pentru select¸ia celor mai bune fraze. Aceasta înseamnă ca propozit¸ia să cont¸ină un număr maxim de
difoneme. Din păcate, algoritmul nu a reu¸sit să selecteze toate difonemele datorită corpusului de text
limitat. Cu toate acestea, un set de 1000 de fraze au fost select¸ionate.
Un avantaj important al sistemului HTS este posibilitatea de a crea o vorbire apropiată de cea
naturală folosind un set de date limitat, fără a utiliza metode de preprocesare sau select¸ie. Pentru
a testa această ipoteză, un set de 1500 de fraze aleatoare au fost selectate din corpusul de text cu
articole de ziar. Corpusul este împărt¸iti în 3 subseturi: rnd1 , rnd2 ¸si rnd3 , fiecare cont¸inând în
medie 500 de fraze.
Init¸ial, corpusurile de vorbire pentru procesarea de voce erau alcătuite din opere literare, datorită
disponibilităt¸ii ¸si a modului de utilizare a limbii. Pentru a se conforma cu aceste cerint¸e, înregistrările
cont¸in două basme culte: ”Povestea lui Stan Păt¸itul” ¸si ”Ivan Turbincă” de Ion Creangă.
Alegerea a fost făcută ¸si datorită prozodiei cu care sunt citite de obicei aceste texte. Fiecare dintre
cele două basme sunt segmentate în fraze ¸si citite individual. S-au obt¸inut astfel 407 fraze pentru
Povestea lui Stan Păt¸itul ¸si 297 pentru Ivan Turbincă.
Propozit¸iile prezentate anterior, aleatoare, pentru acoperirea difonemelor ¸si cele două basme culte,
reprezintă setul de antrenare al sistemului de sinteză. Din motive de testare, trei seturi adit¸ionale de
fraze au fost dezvoltate. Acestea includ 210 propozit¸ii aleatoare din articole de ziar, 110 propozit¸ii
aleatoare din opere literare ¸si 216 propozit¸ii semantic impredictibile. Propozit¸iile semantic impredictibile
(en. Semantically Unpredictable Sentence - SUS) sunt descrise în sect¸iunea următoare ¸si
reprezintă un element important al evaluării sistemelor TTS.
3.3.2 Propozit¸ii semantic impredictibile
Propozit¸iile semantic impredictibile (SUS) au fost introduse ca ¸si un element obligatoriu în partea de
evaluare a inteligibilităt¸ii sistemelor TTS [Benoit et al., 1996]. Ideea din spatele lor este că ascultătorul
nu ar trebui să facă preuspuneri privind cuvintele auzite pe baza contextului, sau a semanticii frazei.
De exemplu, dacă s-ar spune Iarba este verde, chiar dacă ascultătorul nu înt¸elege complet cuvântul
verde, poate să presupună cu o probabilitate mare că ultimul cuvânt este verde.
Pe baza ipotezelor anterioare, o propozit¸ie SUS este o propozit¸ie corectă din punct de vedere
gramatical, dar fără sens semantic. De exemplu: Piatra ascultă garajul.
Pentru a crea astfel de propozit¸ii există o serie de indicat¸ii în [Benoit et al., 1996]. Primul pas
este de a determina un set de tipare semantice ce vor fi utilizate. Tiparele selectate pentru limba
română sunt prezentate în Tabelul 3.2, iar categoriile reprezintă: Sbst - substantiv; SbstM - substantiv
masculin; SbstF - substantiv feminin; VbIntranz - verb intranzitiv; VbTranz - verb tranzitiv; Prep -
prepozit¸ie; Conj - conjunct¸ie ¸si WhWd - adverb interogativ, (cum, când, unde, cât).
Cuvintele din categorii sunt selectate pentru a minimiza lungimea propozit¸iei. Acest lucru este
important datorită faptului că memoria ascultătorului nu trebuia ¸si ea evaluată. S-a arătat că o medie
de 5 cuvinte/propozit¸ie este suficientă în contextul unui test de ascultare. Lungimea propozit¸iei este
dată ¸si de numărul de silabe cont¸inute, astfel că este necesară minimizarea ¸si a numărului de silabe
cont¸inut. Cuvintele din propozit¸ii nu sunt repetate în cadrul setului dezvoltat. Exemple de propozit¸ii
SUS sunt următoarele:
Pierde paiul sau poporul.
Cât prescrie rucsacul bobul acru?
Cum lipe¸ste căminul ciclul bun?
Cortul descurcă ¸sahul care usucă.
9

Adriana Cornelia STAN
Tabel 3.2: Tiparele semantice pentru SUS pentru limba română. Ultima coloană reprezintă numărul
de silabe deja existente în propozit¸ie.
Cuvânt1 Cuvânt2 Cuvânt3 Cuvânt4 Cuvânt5 Semn de Nr. de
punctuat¸ie silabe
{Sbst} {VbIntranz} {Prep} {SbstM} {AdjM} . 0
{Sbst} {VbIntranz} {Prep} {SbstF} {AdjF} . 0
{SbstM} {AdjM} {VbTranz} {Sbst} - . 0
{SbstF} {AdjF} {VbTranz} {Sbst} - . 0
{VbTranz} {Sbst} {Conj} {Sbst} - . 0
{WhWd} {VbTranz} {Sbst} {SbstM} {AdjM} ? 0
{WhWd} {VbTranz} {Sbst} {SbstM} {AdjM} ? 0
{Sbst} {VbTranz} {Sbst} care {VbTranz} . 2
3.3.3 Înregistrări la frecvent¸e de e¸santionare mari
Înregistrările textului au fost realizate într-o cameră hemianecoică 5 la Universitatea din Edinburgh,
Centre for Speech Technology Research. Deoarece efectul microfonului asupra caracteristicilor vocii
HTS nu este cunoscut încă, trei microfoane de calitate înaltă au fost utilizate: Neumann u89i,
Sennheiser MKH 800 ¸si DPA 4035. Frecvent¸a de e¸santionare a înregistrărilor este de 96kHz, cu
24 bit¸i per e¸santion, ¸si apoi sube¸santionate la 48kHz. Această metodă de suprae¸santionare este utilizată
pentru reducerea zgomotului. Suprae¸santionarea cu un factor de 4 relativ la frecvent¸a Nyquist
(24kHz) ¸si apoi sube¸santionarea la 48 kHz duce la o îmbunătăt¸iere a raportului semnal zgomot cu
un factor de 4. Pentru înregistrări, sube¸santionare ¸si conversia ratei de bit s-a folosit software-ul
profesional Pro Tools HD.
Au fost realizate 8 sesiuni de înregistrare de-a lungul unei luni, cu aproximativ 500 de fraze per
sesiune. La începutul fiecărei sesiuni, vorbitorul a ascultat un segment din înregistrarea anterioară
pentru a utiliza o calitate a vocii ¸si o intonat¸ie similară. Prozodia utilizată pentru seturile aleator
¸si de acoperire a difonemelor este una relativ plată, iar pentru basmele culte, una dinamică similară
tipului de intonat¸ie narativ, ceea ce înseamnă că acest subset are o deviat¸ie standard a F 0 mai mare
decât celălalte subseturi.
3.3.4 Segmentarea ¸si adnotarea datelor
După realizarea înregistrărilor, acestea au fost segmentate la nivel de propozit¸ie. Toate cele 4 ore de
înregistrări, atât din setul de antrenare, cât ¸si din cel de testare au fost adnotate manual la nivel de
frază ¸si segmentate utilizând Wavesurfer6 . Unele dintre fraze au fost eliminate datorită unor distorsiuni
sau pronunt¸ii incorecte.
Setul de antrenare rezultat cont¸ine 983fraze pentru acoperirea difonemelor, cu o durată totală de
53 de minute, 1493 fraze aleatoare cu o durată de 104 minute ¸si basmele culte segmentate în 704 de
fraze de durată 67 de minute. Setul de testare este mai mic comparativ, cu o durată de 28 de minute.
Cont¸ine 210 fraze din articole de ziar cu o durată de 13 minute, 110 fraze aleatoare din opere literare
– 8 minute ¸si 216 propozit¸ii semantic impredictibile de 7 minute.
Tabelul 3.3 prezintă numărul total de difoneme ¸si quinfoneme din setul de antrenare. Difonemele
sunt utilizate de obicei în sisteme concatenative de sinteză, iar quinfonemele în sistemele bazate pe
modele Markov. Din coloana Difoneme/frază se poate observa că subsetul pentru acoperirea difonemelor
este mai bine construit decât cel aleator din punct de vedere al numărului de difoneme
disctincte per frază. În coloana Quinfoneme/frază însă setul de acoperire a difonemelor are rezultate
mai slabe. Aceasta indică faptul că select¸ia textului pentru sistemul HTS trebuie să fie diferită de cea
pentru sisteme de concatenare a unităt¸ilor acustice.
10
5 peret¸i ¸si tavan anecoic, podea part¸ial anecoică
6 http://www.speech.kth.se/wavesurfer/

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Tabel 3.3: Acoperirea fonetică a fiecărui subset din corpusul de antrenare.
Subset Fraze Durata [min] Difoneme Difoneme/ Quinfon. Quinfon./
frază frază
Aleator 1493 104 662 0.44 41285 27.5
Difoneme 983 53 706 0.71 26385 26.3
Basme culte 704 67 646 0.65 29484 29.4
3.3.5 Corpusul de vorbire Romanian Speech Synthesis (RSS)
Resursele de text ¸si vorbire prezentate până acum alcătuiesc structura unui corpus de vorbire denumit
Romanian Speech Synthesis (RSS). Acesta poate fi obt¸inut de la adresa http://www.romaniantts.
com/new/rssdb/rssdb.html ¸si include înregistrările setului de antrenare ¸si testare, transcrierea lor
fonetică ¸si ortografică, etichetele HTS corespondente, pozit¸ionarea accentului ¸si exemple de semnal
vocal sintetizat cu sistemul TTS dezvoltat în cadrul acestei teze. Etichetele HTS pentru setul de
antrenare cont¸in alinierea temporală a fonemelor, iar cele din setul de testare nu.
3.3.6 Statistici ale textului înregistrat în corpusul RSS
Pentru a analiza elementele textuale prezente în RSS, anumite statistici au fost realizate pe subseturile
aleator ¸si difonem [Stan and Giurgiu, 2010]. Acestea includ: cele mai frecvente silabe, cele mai
frecvente difoneme, frecvent¸a fonemelor ¸si în contextul HTS, cele mai frecvente quinfoneme.
Cele mai frecvente silabe
Folosind etichetele HTS pentru subseturile cu fraze aleatoare din articole de ziar ¸si cel pentru
acoperirea difonemelor, s-au stabilit cele mai frecvente silabe. De¸si nu există studii care să determine
influent¸a silabificării corecte asupra rezultatelor sistemului HTS, această informat¸ie este utilizată pentru
crearea arborilor de decizie. Tabelul 3.4 prezintă cele mai frecvente 20 de silabe ¸si frecvent¸ele lor
relative, precum ¸si accentul lor. Există un total de 2920 de silabe diferite în subseturile RSS utilizate,
ce însumează peste 48.000 de silabe. Rezultatele statistice sunt în corespondent¸ă cu rezultatele din
[Buza, 2010] pentru un corpus de text extins.
Tabel 3.4: Cele mai frecvente 20 de silabe ¸si frecvent¸ele relative în corpusul de vorbire selectat.
Coloana Accent marchează accentul silabei (0-neaccentuat, 1-accentuat).
Silaba Accent Frecvent¸a[%] Silaba Accent Frecvent¸a [%])
a 0 3.02 ne 0 0.88
te 0 2.36 nu 1 0.83
de 1 2.13 tă 0 0.78
a 1 1.69 ca 1 0.76
re 0 1.55 ri 0 0.75
le 0 1.32 de 0 0.72
e 0 1.2 ce 0 0.7
¸si 1 1.19 u 0 0.67
la 1 1.03 să 1 0.67
Frecvent¸a fonemelor
Având în vedere important¸a fonemelor în sistemul HTS, frecvent¸a lor relativă în cele două subseturi
a fost calculată ¸si este prezentată în Tabelul 3.5. Se poate observa că fonemele cu cea mai
mică frecvent¸ă sunt fricativele zh ¸si dz ¸si africativul h. Acestea au determinat anumite probleme de
naturalet¸e în vorbirea sintetică. Astfel că s-ar putea extinde într-o primă fază corpusul RSS pentru a
include mai multe exemple ale acestor foneme.
11

Adriana Cornelia STAN
Tabel 3.5: Frecvent¸ele fonemelor în corpusul de vorbire selectatat.
Fonem Frecvent¸a[%] Fonem Frecvent¸a[%]
e 10.64 ch 1.58
a 10.33 a@ 1.49
i 7.09 v 1.38
r 6.78 sh 1.28
t 6.67 f 1.26
n 6.35 ij 1.14
u 5.58 ts 1.08
l 4.67 b 1.02
s 4.12 z 0.92
o 4.05 e@ 0.86
k 3.74 w 0.73
m 3.39 g 0.69
p 3.18 o@ 0.47
@ 3.13 zh 0.31
d 3.10 dz 0.28
j 2.41 h 0.13
Tabel 3.6: Cele mai frecvente 20 de difoneme ¸si frecvent¸ele relative în corpusul de vorbire selectat.
Cele mai frecvente difoneme
Difonem Frecvent¸a [%] Difonem Frecvent¸a[%])
r-e 1.47 n-t 1
d-e 1.32 e-s 1
t-e 1.28 u-n 0.96
a-r 1.28 r-i 0.94
a-t 1.17 e-n 0.94
i-n 1.16 o-r 0.89
a@-n 1.1 t-r 0.86
s-t 1.06 l-e 0.83
u-l 1.02 l-a 0.82
e-r 1.02 ch-e 0.82
Difonemele au fost principalele segmente utilizate pentru sinteza concatenativă, înainte de select¸ia
unităt¸ilor. Important¸a lor este încă recunoscută în metodele curente datorită efectelor de corelat¸ie
dintre două foneme succesive. Tabelul 3.6 prezintă cele mai frecvente 20 de difoneme din subseturile
selectate ¸si frecvent¸ele lor relative. Inventarul difonemelor din limba română include 731 de difoneme
distincte. Numărul total de difoneme din subseturile aleator ¸si difonem este de peste 120.000.
Cele mai frecvente quinfoneme
În cadrul sintezei bazate pe modele Markov arborii de decizie sunt construit¸i pe baza unor caracteristici
lingvistice, iar cea mai importantă este contextul fonemului 7 Această informat¸ie este cunoscută ca
¸si quinfonem 8 . Este importantă în construct¸ia unui corpus de vorbire pentru HTS, analiza acoperirii
quinfonemelor. Acesta este însă un obiectiv imposibil, deoarece chiar ¸si pentru cele 32 de foneme
7 Fonemul de dinaintea fonemului anterior, fonemul anterior, fonemul curent, fonemul următor ¸si fonemul de după
fonemul următor.
8 Există 5 foneme ce determină contextul fonemului
12

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Tabel 3.7: Cele mai frecvente 20 de quinfoneme ¸si frecvent¸ele relative în corpusul de vorbire selectat.
Quinfonem Frecvent¸a[%] Quinfonem Frecvent¸a[%]
j-e-s-t-e 0.187 o@-a-m-e-n 0.048
e-n-t-r-u 0.182 a-w-f-o-s 0.047
p-e-n-t-r 0.177 w-f-o-s-t 0.047
a-ch-e-s-t 0.109 r-i-l-o-r 0.045
a-f-o-s-t 0.093 e-z-e-ch-e 0.044
o@-a-r-t-e 0.073 t-u-l-u-j 0.042
f-o@-a-r-t 0.071 t-a-t-e-a 0.041
p-r-e-z-e 0.066 t-r-e-b-u 0.041
u-r-i-l-e 0.056 a@-n-ch-e-p 0.039
e-k-a-r-e 0.055 s-p-u-n-e 0.038
utilizate pentru limba română, numărul de foneme posibile ar fi de peste 270.000.
În subseturile selectate există aproximativ 57.000 de quinfoneme diferite cu un număr total de
110.000 de aparit¸ii, ceea ce înseamnă că există o acoperire de aproximativ 25% cu o medie de aparit¸ie
de 2. Tabelul 3.7 prezintă cele mai frecvente 20 de quinfoneme ¸si frecvent¸ele lor relative.
13

Adriana Cornelia STAN
4 Un sistem de sinteză parametrică pentru limba română bazat pe
modele Markov ¸si frecvent¸e de e¸santionare mari
4.1 Introducere
Sinteza parametrică statistică bazată pe modele Markov [Zen et al., 2009] a fost intens studiată ¸si a
devenit astfel o metodă importantă pentru sistemele de sinteză text-vorbire. Sistemul HTS (HMMbased
Speech Synthesis System) [Zen et al., 2007a] este principalul cadru soft ce permite dezvoltarea
aplicat¸iilor de sinteză parametrică pentru noi limbi. HTS are abilitatea de a genera vorbire sintetizată
aproape naturală, iar în ultimii ani, anumite sisteme bazate pe HMM au atins performant¸e comparabile
cu ale sistemelor de sinteză cu select¸ia unităt¸ilor de ultimă generat¸ie [Karaiskos et al., 2008] în
ceea ce prive¸ste naturalet¸ea ¸si inteligibilitatea. Cu toate acestea, o problemă rămâne similaritatea
cu vorbitorul original [Yamagishi et al., 2008b]. Motive posibile pentru similaritatea redusă sunt utilizarea
vocoder-ului ¸si configurarea parametrilor HTS, precum frecvent¸a de e¸santionare sau metoda de
analiză. Aceste probleme sunt revizuite în cadrul acestui capitol pentru a determina dacă parametri
actuali de configurare sunt satisfăcători în special pentru similaritatea cu vorbitorul original.
Corpusul RSS este de asemenea evaluat pentru a determina setul optim de date de antrenare
pentru o vorbire sintetizată de calitate. Se testează astfel o serie de combinat¸ii ale subseturilor din
RSS pentru a antrena modelele Markov. Sect¸iunea 4.3 raportează rezultatele unui test de ascultare
de tip Blizzard Challenge [Karaiskos et al., 2008] pentru evaluarea sintezei pe bază de HMM folosind
frecvent¸e de e¸santionare mari, precum ¸si a unui sistem minimal bazat pe select¸ia unităt¸ilor acustice.
Rezultatele sugerează că o frecvent¸ă de e¸santionare mai mare are un efect substant¸ial asupra sintezei
HTS.
4.2 Crearea unui sistem de sinteză bazat pe modele Markov la frecvent¸e de
e¸santionare mari
S-a utilizat un sistem de sinteză bazat pe modele Markov recent, descris în [Zen et al., 2007b]. Acesta
utilizează un set de modele Markov semi-ascunse (HSMM) [Zen et al., 2007c] cu distribut¸ie multispat¸ială
(MSD) [Tokuda et al., 2002] dependente de context ¸si de limbă [Shinoda and Watanabe, 2000]
ce modelează trei tipuri de parametri necesari pentru vocoderul STRAIGHT [Kawahara et al., 1999]
cu excitat¸ie mixtă. O dată ce etichetele dependente de context ¸si de limbă sunt definite de procesorul
de text, sistemul este practic independent de limbă ¸si poate fi utilizat direct asupra datelor. Frecvent¸a
de e¸santionare afectează însă metoda de extragere a caracteristicilor ¸si în mod indirect antrenarea
modelelor HMM prin ordinul de analiză a caracteristicilor spectrale.
În continuare sunt prezentate metodele de preprocesare a datelor necesare HTS ¸si de asemenea
metoda de configurare a parametrilor acestuia.
4.2.1 Preprocesarea datelor
Cerint¸ele HTS pentru adnotarea textului
Deoarece scopul acestei teze este de a studia sinteza vorbirii ¸si nu neapărat procesarea textului, un
procesor de text minimal a fost creat pentru limba română folosind Cereproc Development Framework
[Aylett and Pidcock, 2007]. Principala utilitate a acestui procesor de text este de a crea etichete în
format HTS pornind de la textul în formă brută. Nu s-a utilizat normalizarea textului, iar regulile de
transcriere fonetică sunt simplificate. Resursele text prezentate în capitolul 3 reprezintă baza procesorului
de text. CDF este un software comercial, astfel că anumite aspecte intrinseci ale implementării
nu sunt făcute publice.
Din setul complet de caracteristici necesare HTS, o parte au fost lăsate deoparte sau au o formă
redusă datorită lipsei cuno¸stint¸elor sau a resurselor disponibile.
Întrebări din arborii de decizie pentru limba română
Modelele HMM sunt grupate folosind arbori de decizie binari. Nodurile arborilor sunt definite
de contexte semnificative pentru fonemul curent ¸si influent¸ează clasificarea din etapa de antrenare.
14

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Toate caracteristicile din etichetele HTS sunt utilizate în arborele de decizie final, însă influent¸a lor
este ponderată în funct¸ie de construct¸ia arborelui de decizie. Anumite caracteristici contextuale sunt
dependente de limbă, precum contextul fonetic, iar restul sunt caracteristici independente de limbă
¸si reprezintă de exemplu numărul de silabe dinaintea silabei curente sau numărul de cuvinte din
propozit¸ie. Pentru caracteristicile fonetice au fost scrise întrebările corespunzătoare pentru limba
română. Mai jos sunt prezentate o serie de întrebări definite pentru sistemul HTS în limba română ¸si
care sunt construite folosind modelul Unilex pentru engleză:
QS ”LL-Trill” {r˜* }
QS ”LL-Approximant” {l ˜* }
QS ”LL-BilabialNasal” {m˜*}
QS ”L-m” m˜*
QS ”L-n” n˜*
QS ”C-Nasal” *-m+*,*-n+*
QS ”C-Plosive” *-p+*,*-t+*,*-k+*,*-b+*,*-d+*,*-g+*
QS ”R-Front nearback vowel” *+iw=*,*+ew=*,*+we=*,*+jew=*
QS ”R-Front nearfront vowel” *+ij=*,*+ej=*,*+je=*,*+jej=*,*+jew=*
QS ”RR-o@” *=o@:*
Se poate observa că gradul de detaliere a informat¸iei din întrebări este relativ ridicat. Pe lângă categoriile
vocală/consoană, fiecare fonem este descris ¸si prin calitatea sunetului. Doar pentru contextul
fonetic au fost scrise 712 întrebări, 178 distincte pentru fiecare pozit¸ie din quinfonem.
Cerint¸ele HTS pentru corpusul de vorbire
Principala cerint¸ă a HTS este ca setul de date de antrenare să fie adnotat în format HTS, iar ca
aceste etichete să cont¸ină alinierea temporală la nivel de fonem. Având la dispozit¸ie procesorul de
text deja dezvoltat, întreg corpusul RSS de antrenare a fost adnotat. Toate cuvintele din propozit¸iile
înregistrate au fost verificate în lexicon pentru a avea o transcriere fonetică corectă. Alinierea temporală
a fost realizată în mod recursiv folosind rezultatele unor antrenări preliminare ale sistemului
HTS. Alinierea temporală init¸ială a fost obt¸inută prin simpla divizare a duratei frazei la numărul de
foneme cont¸inut.
4.2.2 Configurarea parametrilor
Pentru a stabili sistemul de bază utilizat în evaluările ulterioare diferit¸ii parametri configurabili ai
HTS au fost ajustat¸i init¸ial.
Dintr-o evaluare init¸ială de tipul analiză prin sinteză folosind 5 propozit¸ii urmată de o evaluare
euristică s-a stabilit metoda de analiză cepstrală ¸si ordinul cepstral. S-au analizat metodele cepstrum
pe scară mel ¸si cepstrum generalizat pe scară mel (MGC) [Tokuda et al., 1994] la ordinele 50, 55, 60,
65 ¸si 70 folosind scalele de frecvent¸ă Bark ¸si ERB cu date e¸santionate la 48kHz. Rezultatele au indicat
utilizarea MGC cu un ordin de 60 pe o scală Bark. Acela¸si proces a fost repetat ¸si pentru datele
e¸santionate la 32kHz ¸si s-a ales MGC cu ordinul 44 pe o scală Bark.
O serie de antrenări preliminare au fost apoi realizate pentru a determina setul de date optim. Un
total de 20 de sisteme au rezultat prin combinarea seturilor din RSS în grupuri de 500, 1000, 1500,
2500 ¸si 3500 de fraze. Din teste de ascultare informale s-a determinat că setul de date cu basme culte
duce la scăderea calităt¸ii sistemului rezultat, astfel că aceste set a fost lăsat deoparte.
Scala de transfomare logF0 generalizată [Yamagishi and King, 2010] a fost validată. Estimatorul
ML pentru această transformată obt¸inut din valorile F0 ale datelor de antrenare din RSS este de
0.333, calculat folosind metoda de optimizare descrisă în [Yamagishi and King, 2010].
Arborii de decizie pentru unităt¸ile non-vorbire (pauză ¸si lini¸ste) au fost separat¸i folosind întrebarea
rădăcină C − sil, pentru a nu avea un singur arbore comun.
In experimentele raportate în acest capitol, doar înregistrările realizate cu microfonul Sennheiser
15

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
A
Înregistrări originale, vorbire naturală la 48 kHz
B Sistem cu select¸ia unităt¸ilor la 16 kHz, folosind 3500 de fraze
C Sistem cu select¸ia unităt¸ilor la 32 kHz, folosind 3500 de fraze
D Sistem cu select¸ia unităt¸ilor la 48 kHz, folosind 3500 de fraze
E Sistem bazat pe HMM la 48 kHz, folosind 500 de fraze de antrenare
F Sistem bazat pe HMM la 48 kHz, folosind 1500 de fraze de antrenare
G Sistem bazat pe HMM la 16 kHz, folosind 2500 de fraze de antrenare
H Sistem bazat pe HMM la 32 kHz, folosind 2500 de fraze de antrenare
I Sistem bazat pe HMM la 48 kHz, folosind 2500 de fraze de antrenare
Prin compararea sistemelor B, C ¸si D cu E, F, G, H ¸si I, se poate observa efectul metodei de sinteză.
Prin compararea sistemelor B, C, D sau G, H, I, se analizează efectul frecvent¸ei de e¸santionare asupra
metodei de sinteză. Compararea sistemelor E, F, I duce la evaluarea dimensiunii datelor de antrenare
pentru modelele Markov.
În sect¸iunea de similaritate cu vorbitorul original, după ce ascultătorii au ascultat până la 4
înregistrări naturale, le-a fost prezentată vorbire sintetizată de cele 9 sisteme ¸si au fost rugat¸i să
noteze similaritatea cu vorbitorul original pe o scară de la [1-Sună ca ¸si o persoană diferită] la [5-Sună
ca aceea¸si persoană]. Pentru evaluarea naturalet¸ii ascultătorii au notat vorbirea sintetică pe o scară
de la [1-Complet nenatural] la [5-Complet natural]. În sect¸iunea de inteligibilitate ascultătorii au
trebuit să transcrie ortografic rostirile sintetizate ale propozit¸iilor SUS. Erorile de tehnoredactare sau
de ortografiere nu au fost luate în considerare.
Similaritate cu vorbitorul original – coloana din stânga a Fig. 4.1 arată rezultatele sect¸iunii de
similaritate cu vorbitorul original. Se poate observa o separare clară între vocea originală (sistemul
A), vocile HMM (sistemele E, F, G, H ¸si I) ¸si vocile bazate pe select¸ia unităt¸ilor (sistemele
B, C ¸si D). Se poate observa de asemenea ¸si o influent¸ă clară a frecvent¸ei de e¸santionare, însă
îmbunătăt¸irile sunt limitate la 32kHz. Influent¸a dimensiunii datelor de antrenare determină
diferent¸e între sistemele F ¸si I, dar nu ¸si între sistemele E ¸si F. Pentru a reproduce o similaritate
bună nu au fost de ajuns nici 500 ¸si nici 1500 de fraze de antrenare a modelelor, deoarece
dimensiunea caracteristicilor este foarte mare ca urmare a ordinului cepstral selectat.
Cu toate că se a¸stepta ca select¸ia unităt¸ilor să aibă o similaritate mai bună decât sistemele HMM,
rezultatele sunt contradictorii. Acest lucru poate fi explicat ¸si prin proiectarea corpusului de
voce: în corpus doar 1000 de fraze au fost selectate pentru acoperirea difonemelor, iar restul de
2500 reprezintă 1500 de fraze aleatoare din articole de ziar ¸si 1000 de fraze din opere literare.
Chiar dacă ambele tipuri de fraze sunt combinate, rămân lipsă 16 difoneme, iar 79 de difoneme
au mai put¸in de 3 aparit¸ii în corpus. Sinteza bazată pe select¸ia unităt¸ilor este mai sensibilă la
lipsă acoperirii fonetice în comparat¸ie cu cea bazată pe modele Markov [Yamagishi et al., 2008a].
Naturalet¸ea – tendint¸e similare cu cele de la similaritate pot fi observate, cu except¸ia faptului că
frecvent¸a de e¸santionare nu pare să aibă vreun efect. Utilizarea unei frecvent¸e de e¸santionare
mai mari nu a îmbunătăt¸it naturalet¸ea. În ceea ce prive¸ste datele de antrenare, există câteva
fluctuat¸ii, cu toate că dimensiunea cea mai mare de date determină cea mai bună naturalet¸e
pentru ambele metode de sinteză.
Inteligibilitatea – din păcate se pare că există un efect de limitare a inteligibilităt¸ii. Valorile absolute
ale ratei de eroare de cuvânt (WER - word error rate) sunt în general mici: ambele metode de
sinteză au inteligibilitate bună. Cu toate că sistemele D ¸si F au o rată de eroare mai mare, nu
există diferent¸e statistice între oricare două perechi de sistem. Pentru a confirma acest lucru,
17

Adriana Cornelia STAN
s-a realizat un test suplimentar care a cont¸inut o serie de perechi de paronime, iar rezultatele
au fost similare. Lipsa diferent¸elor semnificative se datorează în mare parte datorită regulilor
relativ simple de transcriere fonetică a limbii române. Atât pentru SUS cât ¸si pentru paronime,
atât vorbirea naturală cât ¸si cea sintetică sunt u¸sor de transcris ¸si duc la WER apropiate de
zero. Acest rezultat sugerează că este necesară dezvoltarea unor metode de evaluarea mai bune
pentru inteligibilitatea sistemelor în limbi similare cu româna.
Mediul de ascultare – pentru a descoperi dacă mediul în care s-au ascultat rostirile influent¸ează
rezultate, s-a efectuat un test ANOVA. Testul ANOVA la un nivel de semnificat¸ie de 1% a arătat
că doar sistemul C (select¸ia unităt¸ilor la 32kHz, folosind 3500 de fraze) este afectat de mediul
de ascultare. Subiect¸ii care au ascultat în cabinele speciale au notat mai slab sistemul C în
sect¸iunea de similaritate.
Sumarul testului de ascultare
Corpusul RSS este probabil mai bine adaptat sintezei bazate pe HMM decât pentru cea cu select¸ia
unităt¸ilor. Toate sistemele de sinteză construite folosind acest corpus au o inteligibilitate bună. Cu
toate acestea, o evaluare mai bună a inteligibilităt¸ii sistemului în limbi cu reguli simple de transcriere
foneticăprecum română, ar trebui proiectată.
Frecvent¸a de e¸santionare este un factor important pentru similaritatea cu vorbitorul original. Mai
exact, sube¸santionarea vorbirii la 32kHz nu afectează rezultatele, însă sube¸santionarea la 16kHz degradează
similaritatea cu vorbitorul. Utilizarea unor frecvent¸e de e¸santionare mari însă nu aduc
îmbunătăt¸iri ale naturalet¸ei sau inteligibilităt¸ii vorbirii sintetizate.
Rezultate sunt în concordant¸ă cu cercetările existente: [Fant, 2005] ment¸ionează că aproape toată
informat¸ia lingvistică din vorbire este stocată în banda de 0-8 kHz. Aceasta înseamnă că o frecvent¸ă de
e¸santionare de 16kHz este suficientă pentru a transmite informat¸ia lingvistică. Rezultatele au arătat
de asemenea că utilizarea unor frecvent¸e de peste 16kHz nu au îmbunătăt¸it inteligibilitatea. Pe de altă
parte, un articol de referint¸ă legat de frecvent¸a de e¸santionare [Muraoka et al., 1978] a raportat că o
frecvent¸ă de tăiere mai mică de 15kHz poate afecta calitatea semnalului vocal. Aceasta înseamnă că
frecvent¸a de e¸santionare ar trebui să fie mai mare de 30kHz. De fapt, rezultatele arată că similaritatea
cu vorbitorul original la 16kHz este scăzută. Se poate concluziona astfel că naturalet¸ea ¸si inteligibilitatea
necesită transmiterea doar a informat¸iei lingvistice, ce poate fi obt¸inută ¸si la 16kHz frecvent¸ă de
e¸santionare, pe când similaritatea cu vorbitorul original este afectată de calitatea semnalului audio,
necesitând astfel frecvent¸e de tăiere mai mari.
4.3.2 Experiment 2 – Demonstrat¸ie interactivă online
Un sistem TTS necesită o evaluare intensivă a vorbirii rezultate pentru a obt¸ine un feedback de la
un grup mai mare de persoane care îl utilizează. Sistemul de sinteză HTS pentru limba română este
astfel disponibil online la www.romaniantts.com sub forma unei demonstrat¸ii interactive. Prezent¸a
sa a fost promovată folosind o serie de forumuri de specialitate.
În plus fat¸ă de demonstrat¸ie, pagina web cont¸ine ¸si exemple de vorbire sintetizată sub forma
primelor trei capitole ale operei ”Moara cu noroc” de Ioan Slavici 9 10 cu transcriere ortografică sincronizată
în fi¸sierul mp3.
4.3.3 Experiment 3 – Adaptare la corpusul de vorbire cu opere literare
Unul dintre cele mai importante aspecte ale unui sistem de sinteză parametrică este posibilitatea
de adaptare a modelelor la un corpus de voce nou. [Yamagishi, 2006] descrie o metodă eficientă de
adaptare folosind Maximum Likelihood Linear Regression (MLLR) [Leggetter and Woodland, 1995] ¸si
Structural Maximum A Posteriori Linear Regression (SMAPLR) [Shiohan et al., 2002]. HTS a dedicat
o întreagă sect¸iune adaptării la noi vorbitori cu minim de date de antrenare, pornind de la modele
18
9 http://romaniantts.com/moaraCuNoroc/chapter1-2.mp3
10 http://romaniantts.com/moaraCuNoroc/chapter3.mp3

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
HMM deja antrenate. Este raportat faptul că pentru voci HTS construite independent de vorbitor,
sunt suficiente doar 5 minute de vorbire pentru a realiza adaptarea.
În contextul sistemului dezvoltat, un interes deosebit îl reprezintă adaptarea celui mai bun sistem 11
la setul de antrenare cu opere literare eliminat din datele de antrenare. Ideea a fost de a îmbunătăt¸i
modelele de intonat¸ie cu noi date de antrenare, deoarece setul cu basme culte are un domeniul de valori
F0 mai dinamic. Cele 67 de minute ale setului cu basme culte este arhisuficient pentru adaptare, mai
ales fiindcă sunt citite de acela¸si vorbitor.
După adaptare au putut fi observate modificări ale contururilor F0. Acestea sunt sust¸inute ¸si de un
test de ascultare. 15 fraze au fost sintetizate cu sistemul HTS de bază ¸si cu cel adaptat. Ascultătorii au
fost rugat¸i să specifice care dintre cele două rostiri este mai expresivă în fiecare pereche. Ascultătorii nu
au fost expert¸i în procesarea semnalului vocal ¸si astfel li s-a părut relativ dificilă sesizarea diferent¸elor
subtile.
Rezultatele au arătat o preferint¸ă de 55% pentru vocea adaptată, 35% pentru vocea HTS originală
¸si 10% nici o preferint¸ă. Rezultatele nu sunt astfel concluzive ¸si ar trebui testate mai amplu. Cu toate
acestea reprezintă o metodă rapidă de îmbunătăt¸ire a intonat¸iei sistemelor parametrice de sinteză.
Fig. 4.2 prezintă contururile generate de sistemul HTS original ¸si de către cel adaptat. Se poate
observa că sect¸iunea de mijloc a conturului este modificată ¸si la fel ¸si durata propozit¸iei.
Frequency[Hz]
300
250
200
150
100
50
0
No adaptation
Adapted to fairytale corpus
0.2 0.4 0.6 0.8 1 1.2 1.4
Time[s]
Figura 4.2: Comparat¸ie între contururile F0 generate de sistemul HTS de bază ¸si de cel adaptat la
corpusul de vorbire cu basme culte
11 HTS, 2500 de fraze de antrenare, 48kHz frecvent¸a de e¸santionare
19

Adriana Cornelia STAN
5 O metodă de modelare a intonat¸iei independentă de limbă
5.1 Introducere
Rezultatele de sistemelor de sinteză sunt de cele mai multe ori orientate mai mult către inteligibilitate
¸si mai put¸in către expresivitate. În special pentru limbile cu resurse limitate, expresivitatea este greu
de obt¸inut. Pentru a optimiza vorbirea expresivă se utilizează tehnici de modelare a F0 ce utilizează
adnotări manuale sau semi-automate ale vorbirii ¸si care sunt predispuse la erori. Alte tehnici utilizează
caracteristici fonologice dependente de limbă.
În contextul resurselor limitate pentru limba română este importantă dezvoltarea unei metode
independentă de limbă ce nu utilizează adnotări suplimentare ale textului sau ale vorbirii. Acest
capitol introduce o astfel de metodă sub forma parametrizării DCT a nivelelor de propozit¸ie ¸si silabă
ale conturului F0. Studii recente au demonstrat că pe baza metodelor independente de limbă se poate
obt¸ine o analiză mai bună a efectelor intonat¸iei, iar clasificarea contururilor poate fi realizată pe baza
unor evenimente abstracte, altele decât accent, frazare sau ritm.
5.1.1 Problemele modelării F0 în sistemele de sinteză text-vorbire
Modelarea F0 reprezintă corelat¸ia dintre intonat¸ia vorbirii ¸si evenimentele din conturul frecvent¸ei fundamentale.
Dar în momentul proiectării unui model intonat¸ional universal, apar o serie de probleme,
după cum urmează:
Variabilitatea inter-limbă - Limbile se bazează pe o evolut¸ie într-un areal limitat ¸si rezultatul
interact¸iunii umane ¸si a mimetismului. Tiparele intonat¸ionale sau prozodice sunt rezultatul
interact¸iunii sociale ¸si au caracteristici specifice în cadrul unei limbi sau a unei familii de limbi.
Variabilitatea inter-vorbitor - Vorbitorii aceleaia¸si limbi pot uneori să-¸si exprime emot¸iile folosind
intonat¸ii diferite determinate de dialect sau de educat¸ia socială.
Variabilitatea intra-vorbitor - În condit¸iile unei situat¸ii conversat¸ionale, stare emot¸ională a vorbitorului
variază de la o situat¸ie la alta ¸si de asemeanea în timp.
Intrarea sistemului de sinteză - Textul este singurul element aflat la intrarea unui sistem TTS,
fără alte informat¸ii adit¸ionale. Sistemul este astfel fort¸at să estimeze pe baza unor reguli deterministe
sau statistice, un output prozodic probabil. La momentul actual, acest output este
direct dependent de corpusul de vorbire utilizat pentru antrenarea sistemului.
Aspectul semantic al vorbirii - Vorbirea nu este rezultatul doar a înlănt¸uirii unor cuvinte în cadrul
unei propozit¸ii. Ea cont¸ine de asemenea înt¸elesul sau semantica propozit¸iei. Diferite cuvinte
cont¸in deja un anumit grad de emot¸ie implicit (de ex. furie în cuvântul ură), astfel că reproducerea
lor este influent¸ată de emot¸ia de bază.
Solut¸ii posibile ale acestor probleme sunt cele enumerate mai jos. Ele au fost deja aplicate în
sistemele de sinteză pentru a îmbunătăt¸i expresivitatea sistemului.
• utilizarea punctuat¸iei ca ¸si o evaluare simplistă a intonat¸iei. Virgula, punctul, semnele de exclamare
sau întrebare oferă indici rudimentari referitor la tiparul intonat¸ional;
• utilizarea adnotării prozodice manuale a textului folosind de exemplu tag-uri XML 12 pentru a
controla de exemplu valoarea frecvent¸ei fundamentale sau a duratei unor segmente vocale;
• utilizarea unor analize semantice pentru determinarea emfazei în rostire;
12 SSML - Speech Synthesis Markup Language este un limbaj de adnotare XML folosit în VoiceXML pentru controlul
anumitor aspecte prozodice ale vorbirii sintetizate
20

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
5.1.2 Modele de intonat¸ie
Problemele evident¸iate în sect¸iunea anterioară ar putea fi rezolvate dacă s-ar determina o metodă de
modelare a F0 universală. Există un număr mare de modele propuse pornind de la aspecte fonologice
ale limbii până la simple parametrizări ale frecvent¸ei fundamentale ca o simplă curbă continuă.
În Tabelul 5.1 este prezentată o comparat¸ie dintre cele mai importante metode de modelare a
intonat¸iei în funct¸ie de modelul utilizat, tipul (fonologic, acustic sau fonetic), caracterul reprezentării
F0 (ton sau forme F0 ¸si dinamica) ¸si numărul de nivele de parametrizare (superpozit¸ional sau liniar).
Tabel 5.1: O comparat¸ie între cele mai cunoscute metode de modelare a F0
Model
Tilt Scop Descrierea evenimentelor F0
Tip Acustic
Reprezentarea F0 Formă
Nivel Liniar
ToBI Scop Teorie a modului în care intonat¸ia
apare în comunicarea interumană
Tip Fonologic
Reprezentarea F0 Ton
Nivel Liniar
INTSINT Scop Un echivalent al IPA pentru intonat¸ie
Tip Fonetic
Reprezentarea F0 Formă
Nivel Liniar
Fujisaki Scop Reproducerea efectivă a articulării
Tip Acustic
Reprezentarea F0 Formă
Nivel Superpozitional
5.2 Parametrizarea F0 folosind transformata cosinus discretă
5.2.1 Transformata cosinus discretă
Transformata cosinus discretă este o transformată ce parametrizează o secvent¸ă de puncte discrete cu
ajutorul unei sume de funct¸ii cosinus ce oscilează la frecvent¸e diferite ¸si de fază zero. Cea mai cunoscută
forma a transformatei este DCT-II. Coeficient¸ii se calculează cu ajutorul Ec.1, iar transformata inversă
cu ajutorul Ec.2.
N−1
C(u) = α(u) f(x)cos
f(x) =
N−1
u=0
x=0
În ambele ecuat¸ii α(u) este definit ca:
5.2.2 Metoda propusă
π(2x + 1)u
2N
, u = 0, 1, 2, ..., N − 1 (1)
π(2x + 1)u
α(u)C(u)cos
, x = 0, 1, 2, ..., N − 1 (2)
2N
α(u) =
1/N , u = 0
sqrt(2/N) , u = 0
[Latorre and Akamine, 2008], [Qian et al., 2009], [Teutenberg et al., 2008] ¸si [Wu et al., 2008] au prezentat
în lucrările lor argumentele ¸si rezultatele parametrizării conturului F0 folosind DCT. Aceste metode
(3)
21

Adriana Cornelia STAN
se bazează pe principiul superpozit¸ional al intonat¸iei. Pornind de la aceste studii, o nouă metodă de
parametrizare folosind DCT este propusă [Stan and Giurgiu, 2011]. În cadrul metodei se utilizează
nivelul de silabă ¸si propozit¸ie. Noutatea rezidă în modul de parametrizare a nivelului de silabă ¸si
anume prin scăderea IDCT a nivelului de propozit¸ie din conturul original F0. Cu alte cuvinte, silaba
este considerată ca având un efect aditiv peste nivelul propozit¸iei ¸si nu ca ¸si o valoare absolută. Pe
de altă parte, în [Qian et al., 2009] autorii ment¸ionează utilizarea doar a segmentelor vocale pentru
parametrizare, însă nu este clar modul în care sunt evaluat¸i coeficient¸ii DCT doar ale acestor segmente.
Din acest motiv metoda propusă utilizează o interpolare liniară a segmentelor nesonore din
rostiri. Numărul de coeficient¸i DCT utilizat¸i este de 8 la nivel de propozit¸ie ¸si de 7 la nivel de silabă.
Alegerea este bazată pe o evaluare preliminară a erorii introduse de limitarea numărului de coeficient¸i
DCT. Pentru nivelul de propozit¸ie, s-au folosit 8 coeficient¸i deoarece DCT0 reprezintă media curbei
¸si este dependent de vorbitor.
Pa¸sii metodei propuse sunt următorii:
(1) Extragerea contururilor F0 din întreg corpusul audio
(2) interpolarea liniară a segmentelor nesonore
(3) Segmentare la nivel de propozit¸ie
(4) Extragerea primilor 8 coeficient¸i DCT din conturul F0 la nivel de propozit¸ie
(5) Scăderea IDCT a conturului la nivel de propozit¸ie din conturul original
(6) Segmentare la nivel de silabă
(7) Extragerea primilor 7 coeficient¸i DCT din conturul F0 la nivel de silabă
(8) Extragerea caracteristicilor adit¸ionale
(9) Antrenarea arborilor de clasificare ¸si regresie
(10) Predict¸ia coeficient¸ilor DCT pe baza celui mai bun algoritm determinat în pasul anterior
(11) Compararea contururilor F0 prezise cu cele generate de sistemul de sinteză de bază
(12) Sinteza vorbirii folosind contururile F0 prezise ¸si evaluarea subiectivă a rezultatului
5.2.3 Preprocesarea corpusului audio
Pentru a estima coeficient¸ii DCT ai conturului F0 folosind arbori de clasificare ¸si regresie, este nevoie
de un set de date de antrenare. A fost selectat în acest scop subsetul rnd1 al RSS, ce cont¸ine 500
de fraze aleatoare din articole de ziar. Au fost folosite de asemenea etichetele HTS corespondente.
Segmentarea la nivel de propozit¸ie ¸si propozit¸ie a fost realizată pe baza acestor etichete.
După segmentare au fost obt¸inute un număr de 730 de propozit¸ii ¸si 13029 de silabe. Pentru
evaluare, 10 fraze au fost lăsate deoparte. Acestea cont¸in 16 propozit¸ii ¸si 301 silabe. Coeficient¸ii
DCT au fost extra¸si folosind scripturi Python. Alături de coeficient¸i au fost selectate ¸si o serie de
caracteristici prezente în etichetele HTS ¸si care sunt direct legate de propozit¸ii sau silabe. Împreună
cu acestea s-au obt¸inut un vector de 20 de parametri la nivel de propozit¸ie ¸si de 40 de parametri
la nivel de silabă, incluzând astfel ¸si coeficient¸ii DCT.
5.2.4 Select¸ia atributelor
Numărul de caracteristici existente în etichetele HTS este relativ mare, astfel că folosind capabilităt¸ile
Weka 13 , s-a optat pentru un algoritm de select¸ie a atributelor semnificative în vederea reducerii complexităt¸ii
metodei. Algoritmul selectat este unul de tip greedy stepwise without backtracking. Algoritmii
greedy stepwise pot să se deplaseze atât înainte cât ¸si înapoi în spat¸iul de căutare pentru a selecta
cea mai bună caracteristică pe baza cross-validării. O evaluare ulterioară a estimat pierderea de
performant¸ă prin limitarea numărului de caracteristici utilizat, fat¸ă de setul complet.
Pentru o implementare corectă a metodei bazată pe DCT, a fost nevoie de o analiză statistică
preliminară a coeficient¸ilor DCT din subsetul ales (Tabel 5.3 ¸si 5.4). S-a evaluat de asemenea ¸si
durata medie a contururilor F0 pentru cele două nivele alese (Tabel 5.2).
22
13 http://www.cs.waikato.ac.nz/ml/weka/

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Tabel 5.2: Statistici ale duratei propozit¸iilor ¸si silabelor din subsetul rnd1.
Medie Dev. std. Min Max
Silabă 0.150 0.068 0.025 0.763
Propozit¸ie 1.694 3.161 0.319 8.265
Tabel 5.3: Statistici ale coeficient¸ilor DCT la nivel de propozit¸ie. 730 de coeficient¸i au fost analizat¸i
¸si corespund numărului de propozit¸ii din rnd1
Coeficient DCT Medie Dev. std. Min. Max.
DCT0 4690.300 1318.300 1511.162 7762.336
DCT1 331.750 185.850 -366.800 1046.777
DCT2 -95.087 197.470 -961.830 526.653
DCT3 168.270 161.030 -314.262 652.300
DCT4 -57.100 151.600 -787.123 446.700
DCT5 94.427 130.15 0 -298.882 552.150
DCT6 -22.312 123.020 -501.100 409.565
DCT7 67.095 110.370 -335.890 390.000
Tabel 5.4: Statistici ale coeficient¸ilor DCT la nivel de silabă. 13029 de coeficient¸i au fost analizat¸i ¸si
corespund numărului de silabe din rnd1
5.3 Evaluare
Coeficient DCT Medie Dev. std. Min. Max.
DCT0 33.82 82.21 -365.68 433.13
DCT1 18.18 50.31 -528.90 566.26
DCT2 -99.45 34.84 -555.98 357.08
DCT3 58.54 25.63 -284.07 401.15
DCT4 -74.09 19.14 -349.23 201.05
DCT5 1.93 15.01 -225.75 317.72
DCT6 -0.04 12.96 -235.32 202.99
5.3.1 Experiment 1 – Antrenarea arborilor de clasificare ¸si regresie
Folosind caracteristicile prezentate în sect¸iunile 5.2.3 ¸si 5.2.4 au fost construite fi¸sierele Attribute-
Relation File Format (ARFF) necesare pentru antrenarea arborilor de decizie. ARFF este compatibil
Weka ¸si este un format u¸sor de creat ¸si citit.
Un prim pas în antrenare se referă la determinarea celui mai bun algoritm de antrenare ¸si predict¸ie
pentru setul de date utilizat. A fost realizată astfel o select¸ie pe baza vitezei ¸si a eficient¸ei dintre
algoritmii prezentat¸i în [Witten and Frank, 2005]. Această select¸ie include: regresia liniară, reguli
M5 ¸si regresia aditivă.
Fiecare dintre ace¸sti algoritmi a fost evaluat atât la nivel de propozit¸ie, cât ¸si de silabă. Pentru
a estima corectitudinea select¸iei atributelor descrisă anterior, rezultatele obt¸inute cu setul redus de
caracteristici au fost analizate. Pentru fiecare coeficient în parte a fost construit câte un arbore
de decizie. S-a observat că setul redus are performant¸e similare cu cel complet. Pe baza analizei
23

Adriana Cornelia STAN
rezultatelor s-a determinat că algoritmul de regresie aditivă este cel mai potrivit pentru estimarea
coeficient¸ilor atât la nivel de propozit¸ie cât ¸si de silabă. Datorită diferent¸elor mici dintre setul complet
¸si cel redus de caracteristici ¸si pentru a reduce complexitatea metodei, s-a folosit doar setul redus în
etapa de predict¸ie.
Tabel 5.5: Rezultatele predict¸iei coeficient¸ilor DCT folosind regresia aditivă. Coloanele tabelului
reprezintă: [1] Coeficientul de corelat¸ie, [2] Eroarea medie absolută, [3] Eroarea medie pătratică, [4]
Eroarea medie relativă[%], [5] Eroarea medie pătratică relativă[%].
Coeficient DCT [1] [2] [3] [4] [5]
Propozit¸ie DCT0 0.99 108.99 133.89 8.54 9.29
DCT1 0.57 104.64 119.99 105.10 92.78
DCT2 0.64 114.48 141.04 93.14 80.71
DCT3 0.59 78.77 97.60 71.63 75.76
DCT4 0.59 81.83 96.40 78.90 72.59
DCT5 0.52 61.79 86.01 75.74 89.91
DCT6 0.63 43.04 53.32 88.98 83.99
DCT7 0.72 46.80 71.69 61.89 72.72
Silabă DCT0 0.66 38.12 49.57 74.36 76.60
DCT1 0.45 24.26 36.13 87.96 93.79
DCT2 0.28 20.16 29.88 94.26 96.86
DCT3 0.36 13.03 19.58 94.90 94.78
DCT4 0.14 10.02 15.24 104.08 104.78
DCT5 0.15 18.73 15.04 100.00 100.20
DCT6 0.15 7.54 13.06 100.74 100.73
5.3.2 Experiment 2 – Predict¸ia coeficient¸ilor DCT folosind algoritmul de regresie aditivă
Întreaga preprocesare ¸si antrenare a fost realizată în vederea pregătirii unui model de predict¸ie a
coeficient¸ilor DCT folosind doar caracteristicile disponibile în etichetele HTS, chiar mai mult decât
atât, setul redus de atribute. Coeficient¸ii DCT au fost extra¸si din conturul F0 interpolat liniar al
subsetului rnd1 al corpusului RSS la nivel de propozit¸ie ¸si silabă. Arbori de clasificare ¸si regresie
au fost antrenat¸i pentru fiecare coeficient individual. Folosind cel mai bun algoritm determinat, s-a
realizat estimarea coeficient¸ilor DCT pentru cele 10 fraze de test. Tabelul 5.5 prezintă eroarea de
estimare pentru fiecare dintre cei 15 coeficient¸i. Se poate observa că odată cu cre¸sterea ordinului
coeficientului, cre¸ste ¸si eroarea. Aceasta se datorează deviat¸iei standard mai mari ¸si a unui factor de
corelat¸ie mai scăzut între caracteristicile utilizate ¸si coeficient¸i.
5.3.3 Experiment 3 – Test de ascultare
Un experiment secundar a fost realizat pentru a determina eroarea perceptibilă a estimării conturului
F0. Acesta a implicat sinteza frazelor de test pe de o parte contururile F0 generate de sistemul HTS
¸si pe de altă parte conturul estimat cu CART. Fig. 5.1 prezintă o comparat¸ie a acestor contururi.
Chiar dacă se poate observa u¸sor că variat¸iile mari ale conturului F0 nu pot fi estimate corect de
către coeficient¸ii prezi¸si, valoarea medie a erorii conturului F0 este de 15Hz, valoare comparabilă cu
cea obt¸inută de [Latorre and Akamine, 2008] sau [Sun, 2002], 13Hz pentru nivelul de silabă ¸si 8Hz la
nivelul de propozit¸ie. Eroarea mai mare la nivel de silabă sust¸ine ideea introducerii unui nivel separat
la nivel de fonem ca ¸si dezvoltare ulterioară.
Un test de ascultare a fost de asemenea realizat. 10 ascultători au comparat 20 de perechi de
rostiri alcătuite din sinteza de voce cu conturul generat de HTS ¸si cel prezis pe baza coeficient¸ilor
DCT. Ascultătorii au trebuit să noteze pe o scară de la [1-Nici o diferent¸ă] la [5-Complet diferite]
24

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
gradul de similaritate dintre cele două rostiri. Scorul mediu MOS a fost de 2,5, ceea ce înseamnă că
nu au fost determinate diferent¸e semnificative între cele două sisteme ¸si astfel metoda de estimare
poate fi utilizată cu succes pornind doar de la date textuale.
Figura 5.1: Contururile F0 original ¸si prezis - propozit¸ia: Băimăreanul ură¸ste lipsa de punctualitate
¸si făt¸ărnicia.
25

Adriana Cornelia STAN
6 Optimizarea conturului F0 cu feedback interactiv al utilizatorilor
non-expert¸i
6.1 Introducere
În ultimul deceniu sistemele de sinteză text-vorbire au evoluat până în punctul în care în anumite
scenarii, ascultătorii non-expert¸i nu pot face diferent¸a dintre vocea naturală ¸si cea sintetică cu o
acuratet¸e de 100%. O problemă rămâne însă în momentul în care se dore¸ste obt¸inerea unei voci
naturale expresive. Datorită subiectivităt¸ii exprimării emot¸iilor în vorbire, oamenii nu pot să distingă
obiectiv dacă un sistem este mai expresiv decât altul. Se identifică astfel următoarele probleme ale
sistemelor de sinteză de ultimă generat¸ie care limitează expresivitatea vorbirii sintetizate:
Problema #1: Unele dintre cele mai bune sisteme TTS beneficiază de pe urma achizit¸iei anterioare
a unui corpus de voce extins, iar în anumite cazuri de pe urma adnotării manuale sau a unor
reguli intonat¸ionale. Din păcate acest ucru implică resurse ¸si eforturi sprorite ce nu sunt disponibile
pentru majoritatea limbilor.
Problema #2: Cele mai multe sisteme TTS actuale oferă utilizatorilor un singur rezultat ce nu
poate modificat ¸si care în anumite cazuri nu cont¸ine emfaza sau expresivitatea dorită de utilizator.
Problema #3: Dacă rezultatele unui sistem pot fi îmbunătăt¸ite, aceasta implică de cele mai
multe ori intervent¸ia unei persoane specializate ¸si necesită reconstruct¸ia întregului sistem de sinteză.
Problema #4: Recent au fost publicate o serie de studii legate de evaluarea obiectivă a vorbirii
sintetice, însă în cele din urmă utilizatorul final este cel care poate evalua rezultatele într-un mod pur
subiectiv.
6.2 Optimizarea interactivă a intonat¸iei folosind CMA-ES
Problemele prezentate la începutul acestui capitol sunt part¸ial rezolvate prin metoda prezentată în
continuare [Stan et al., 2011a]. Metoda este următoarea: având dat rezultatul unui sintetizor de voce,
utilizatorul poate opta pentru o îmbunătăt¸ire a intonat¸iei acestuia. Sistemul evaluează apoi conturul
init¸ial al F0 ¸si crează un număr mic de variante ale rostirii propozit¸iei. Considerând că utilizatorul
selectează în mod subiectiv cel mai bun individ al fiecărui set, următoarea generat¸ie este construită
pe baza acestei alegeri. Dialogul se opre¸ste în momentul în care utilizatorul consideră un individ
al unei generat¸ii satisfăcător. Solut¸ia aleasă pentru parametrizarea frecvent¸ei fundamentale este cea
bazată pe transformata cosinus discretă, iar pentru partea interactivă, algoritmul Covariance Matrix
Adaptation-Evolution Strategy (CMA-ES).
Această metodă este utilă pentru cazul în care un utilizator non-expert dore¸ste să modifice rezultatul
sistemului de sinteză în funct¸ie de preferint¸ele sale. De asemenea limbile cu resurse limitate pot
beneficia de pe urma acesteia, nefiind necesară achizit¸ia unui corpus extins de voce. Îmbunătăt¸irile
prozodice selectate de utilizator pot oferi un feedback pe termen lung pentru dezvoltatori sau pot duce
la un sistem de sinteză adaptiv.
6.2.1 Cercetări conexe
Un studiu al algoritmilor genetici aplicat¸i pentru sinteza vorbirii emot¸ionale este prezentat în cercetă
rile lui [Lv et al., 2009]. Autorii utilizează adnotarea XML a prozodiei în cadrul Microsoft Speech
SDK ¸si încearcă să convertească o vorbire neutră la una dintre cele 6 emot¸ii de bază: bucurie, furie,
frică, dezgust ¸si surprindere. Tag-urile XML ale vorbirii sintetizate reprezintă genomul. Ascultătorii
sunt rugat¸i să selecteze dintre 10 variante de rostire la fiecare generat¸ie ¸si să se oprească în momentul
în care consideră emot¸ia uneia dintre rostiri similară cu cea dorită. Rezultatele sunt apoi comparate
cu cele ale unui sistem emot¸ional expert. Adaptarea prozodiei este realizată la nivel de cuvânt ¸si nu
de frază sau propozit¸ie.
Pe baza documentării nu au fost identificate studii care să aplice strategii evolutive pentru optimizarea
prozodiei vorbirii sintetizate.
26

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Frequency[Hz]
250
200
150
100
50
0
Synthesiser output pitch
Phrase level pitch
High level pitch information
0 0.2 0.4 0.6 0.8
Time[s]
1 1.2 1.4 1.6
Figura 6.1: Un exemplu de descompunere a conturului F0 în nivel de propozit¸ie ¸si informat¸ie
intonat¸ională de nivel înalt. Conturul la nivel de propozit¸ie este bazat pe transformata DCT inversă
a coeficient¸ilor DCT1-DCT7 – propozit¸ia ”Ce mai faci?”.
6.2.2 Parametrizarea DCT a conturului frecvent¸ei fundamentale la nivel de propozit¸ie
Metoda propusă adresează problema modelării intonat¸iei la nivel de propozit¸ie. Pornind de la un
contur intonat¸ional plat, un contur mai dinamic ¸si mai expresiv este derivat. Astfel că, se consideră
că nivelul de propozit¸ie este reprezentat de transformata cosinus discretă inversă a coeficient¸ilor
DCT1 până la DCT7 ai F0. Această presupunere este sust¸inută ¸si de rezultatele prezentate în
[Teutenberg et al., 2008] ¸si cele din capitolul anterior. DCT0 reprezintă media curbei, iar în acest
caz este dependentă de vorbitor. Folosind DCT0 în codarea genomului ar modifica în mod nedorit
frecvent¸a fundamentală a vorbitorului, lucru nedorit de altfel, accentul fiind asupra tendint¸ei globale a
intonat¸iei la nivel de propozit¸ie. Nivelul propozit¸iei este apoi scăzut din conturul global, iar rezultatul
este ret¸inut ¸si referit ca fiind informat¸ie intonat¸ională de nivel înalt. Fig. 6.1 prezintă un exemplu de
contur F0 alături de conturul la nivel de propozit¸ie ¸si informat¸ia intonat¸ională de nivel înalt. Se poate
observa că la nivel de propozit¸ie conturul reprezintă tendinta intonat¸ională a segmentelor sonore, iar
informat¸ia de nivel înalt are un contur relativ plat, cu variat¸ii date de nivelele de cuvânt, silabă sau
fonem.
Deoarece DCT nu poate parametriza variat¸iile mari cu un număr redus de coeficient¸i, segmentele
nesonore ale conturului F0 sau fost interpolate folosind o funct¸ie cubică. În cadrul pasului interactiv,
transformata DCT inversă este aplicată asupra indivizilor generat¸i, după care se adaugă informat¸ia
de nivel înalt, iar apoi se resintetizează folosind noul contur obt¸inut.
6.2.3 Solut¸ia propusă
Combinând potent¸ialul parametrizării DCT cu cel al strategiilor evolutive, o solut¸ie interactivă pentru
optimizarea intonat¸iei este introdusă. Aceasta nu necesită nici o analiză sau cuno¸stint¸ă anterioară de
procesare a semnalului vocal. Pentru aceasta, trebuie rezolvate trei probleme: 1 generarea unor variante
ale semnalului vocal din care utilizatorul să poată să aleagă, 2 minimizarea efortului utilizatorului
¸si 3 aplicarea feedback-ului utillizatorului pentru îmbunătăt¸irea intonat¸iei.
Prima problemă este solut¸ionată prin utilizarea CMA-ES pentru a genera diferite rostiri ale aceleaia¸si
propozit¸ie, conform unei distribut¸ii normale în jurul rezultatului sistemului de sinteză HTS
pentru limba română [Stan et al., 2011b]. Genomul este codat folosind un vector cu 7 gene, unde
fiecare genă stochează valoarea unui coeficient DCT, de la DCT 1 la DCT7. Se porne¸ste de la un
vector medie init¸ial m ce cont¸ine coeficient¸ii DCT ai conturului F0 la nivel de propozit¸ie generat de
sistemul HTS ¸si o matrice de covariant¸ă init¸ială C = I ∈ R 7×7 .
În pasul următor, utilizatorul trebuie să evalueze indivizii generat¸i. Dacă dimensiunea populat¸iei
este prea mare, utilizatorul poate obosi înainte de a ajunge la un individ satisfăcător sau ar putea
să nu sesizeze diferent¸e semnificative între indivizi. Pe de altă parte, dacă dimensiunea populat¸iei
este prea mică ¸si spat¸iul de căutare nu este explorat corect, un individ potrivit poate să nu fie găsit.
CMA-ES este cunoscut datorită convergent¸ei rapide chiar ¸si cu populat¸ii de dimensiune redusă fat¸ă
de alt¸i algoritmi evolutivi, dar nu a fost aplicată anterior pentru solut¸ionarea problemelor interactive.
27

Adriana Cornelia STAN
STOP DA
Vorbire sintetizată
Rezultat
satisfăcător
?
NU
Evaluează F0 şi extrage
coeficienţi DCT
Generează individ iniţial
Feedback utilizator
(fitness subiectiv)
Mostre de vorbire
IDCT şi resinteză
Generează o nouă
populaţie
Stochează
coeficienţii DCT ai
celui mai bun
individ
Continuă?
Figura 6.2: Diagrama bloc a metodei propuse pentru optimizarea interactivă a intonat¸iei.
Pe de altă parte, algoritmii genetici interactivi (IGA) au fost studiat¸i intensiv, dar nu converg la fel
de rapid ca ¸si CMA-ES pentru probleme neliniare non-convexe. Convergent¸a rapidă înseamnă mai
put¸ine evaluări din parea utilizatorului, deci un efort redus.
Pentru versiunea interactivă a CMA-ES s-a utilizat o funct¸ie fitness de tipul campionat cu elimiare
simplă. În acest caz, indivizii sunt împerecheat¸i aleator ¸si joacă un joc per pereche. Pierzătorii sunt
automat eliminat¸i din campionat. Procesul se repetă până ce se obt¸ine un singur campion. Valoarea
funct¸iei fitness a fiecărui individ este egală cu numărul de jocuri jucate. Fiecare pereche de indivizi este
prezentată utilizatorilor sub forma a două rostiri sintetizate. Datorită evaluării subiective, alegerea
celui mai bun individ depinde în totalitate de utilizator.
Valoarea funct¸iei fitness este utilizată apoi de CMA-ES pentru a actualiza vectorul medie m,
matricea de covariant¸ă C ¸si deviat¸ia standard σ. O nouă populat¸ie de indivizi este generată pe baza
valorilor actualizate, iar procesul se repetă. Diagrama bloc a metodei propuse este prezentată în Fig.
6.2.
6.3 Evaluare
Rezultatele prezentate în continuare sunt axate pe stabilirea scenariului corect de aplicare a solut¸iei
interactive ¸si u¸surint¸a în utilizare la partea de utilizator non-expert.
6.3.1 Experiment 1 - Deviat¸ia standard init¸ială a populat¸iei
Pentru a stabili deviat¸ia stadard init¸ială a populat¸iei s-a realizat mai întâi un studiu statistic prezentat
¸si în capitolul 5. Acesta include analiza coefiecient¸ilor DCT ai subsetului rnd1 din RSS. Numărul de
propozit¸ie din acest subset este de 730 cu o durată medie de 1.7 secunde. Intonat¸ia este relativ plată,
declarativă. DCT0 a fost inclus pentru o viziune generală, deoarece reprezintă media conturului F0
¸si este dependent de vorbitor. Acest coeficient nu este utilizat în estimarea conturului la nivel de
propozit¸ie. Mediile ¸si deviat¸iile standard ale coeficient¸ilor sunt prezentate în Tabelul 6.1 ¸si cont¸in ¸si
valorile corespondente ale F0 în Hz. Din Tabelul 6.1 se poate observa că DCT0 este un indicator bun
al frecvent¸ei fundamentale a vorbitorului, cu o valoare medie de 254Hz.
DCT1 are cea mai importantă influent¸ă asupra conturului F0 după DCT0. Valoarea medie a
coeficientului DCT este de 331,75 cu o deviat¸iei standard de 185,85 ¸si o variat¸ie maximă a F0 dată
de +1 std. dev. (331.75+185.85 = 517.6) de aprox. 40Hz. Una dintre problemele abordata în cadrul
acestei teze este expansiunea domeniului frecvent¸ei fundamentale. Aceasta înseamnă că pornind de la
28
DA
NU

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Tabel 6.1: Mediile ¸si deviat¸iile standard ale coeficient¸ilor DCT la nivel de propozit¸ie din subsetul rnd1
al RSS ¸si valorile corespondente ale F0 date în Hz pentru o durată medie de 1.7 secunde.
Coeficient Medie Medie F0 Deviat¸ie Deviat¸ia
[Hz] standard F0 maximă [Hz]
- 1 std dev +1 std dev
DCT0 4690.300 251-257 1318.300 179-186 322-329
DCT1 331.750 ± 4 185.850 ±12 ±40
DCT2 -95.087 ±7 197.470 ±22 ±7
DCT3 168.270 ±12 161.030 ±0.55 ±25
DCT4 -57.100 ±4 151.600 ±16 ±7
DCT5 94.427 ±7 130.150 ±2 ±17
DCT6 -22.312 ±1 123.020 ±11 ±7
DCT7 67.095 ±5 110.370 ±3 ±13
Frequency[Hz]
Frequency[Hz]
400
350
300
250
200
150
100
50
0
0 0.2 0.4 0.6 0.8 1 1.2 1.4
Time[s]
400
350
300
250
200
150
100
50
3rd generation; std. dev. = 150
3rd generation; std. dev. = 350
OriginalF0
Individual 1
Individual 2
Individual 3
Individual 4
OriginalF0
Individual 1
Individual 2
Individual 3
Individual 4
0
0 0.2 0.4 0.6 0.8 1 1.2 1.4
Time[s]
Figura 6.3: Cea de-a treia generat¸ie a conturului F0 pentru o deviat¸ie standard init¸ială de 150 ¸si
respectiv 350. F0 original reprezintă conturul produs de sistemul de sinteză– propozit¸ia ”Ce mai
faci?”
deviat¸ia standard a unui corpus de vorbire cu intonat¸ie plată se dore¸ste depă¸sirea acestei valori pentru
generarea noilor rostiri, dar limitată superior de valoarea ce scade naturalet¸ea vorbirii sintetizate. În
Fig. 6.3 cea de-a treia generat¸ie de indivizi pentru o deviat¸ie standard init¸ială de 150, respectiv 350
este prezentată. Se poate observa pentru cazul cu 350 că individul 3 are valori F0 ce ating pragul
de 50Hz considerat nenatural pentru vorbire, iar pentru o deviat¸ie standard de 150, contururile nu
variază suficient. Având aceste rezultate, s-a selectat o deviat¸ie standard init¸ială de 250. Un aspect
important ce trebuie remarcat din Tabelul 6.1 este că tot¸i cei 7 coeficient¸i au aproximativ aceea¸si
deviat¸ie standard. Aceasta înseamnă că impunând o variat¸ie bazată pe DCT1, nu se depă¸sesc valorile
naturale pentru ceilalt¸i coeficient¸i.
6.3.2 Experiment 2 - Dimensiunea populat¸iei
Funct¸ia fitness de tip campionat cu eliminare simplă necesită feedback pentru n − 1 jocuri, unde n
este dimensiunea populat¸iei. Astfel că dimensiunea populat¸iei are o important¸ă deosebită în crearea
aplicat¸iei interactive. Au fost selectate un set de valori diferite pentru dimensiunea populat¸iei, iar
29

Adriana Cornelia STAN
rezultatele sunt prezentate în Fig. 6.4. Chiar dacă cu cât este mai mare numărul de indivizi cu
atât este mai mare numărul de rostiri din care utilizatorul poate alege, aceasta nu este neapărat
un lucru bun în contextul efortului depus de utilizator. Având însă doar 2 indivizi nu se pot oferi
opt¸iuni suficiente. Astfel că utilizarea a 4 indivizi per generat¸ie este sugerată ca ¸si un compromis între
variabilitatea rostirilor ¸si a efortului depus de utilizator.
Frequency[Hz]
Frequency[Hz]
Frequency[Hz]
400
350
300
250
200
150
100
50
0
0 0.2 0.4 0.6 0.8 1 1.2 1.4
Time[s]
Initial population, 4 individuals/generation
400
350
300
250
200
150
100
50
0
OriginalF0
Individual 1
Individual 2
Individual 3
Individual 4
0 0.2 0.4 0.6 0.8 1 1.2 1.4
Time[s]
Initial population, 8 individuals/generation
400
350
300
250
200
150
100
50
0
Initial population, 2 individuals/generation
OriginalF0
Individual 1
Individual 2
OriginalF0
Individual 1
Individual 2
Individual 3
Individual 4
Individual 5
Individual 6
Individual 7
Individual 8
0 0.2 0.4 0.6 0.8 1 1.2 1.4
Time[s]
Figura 6.4: Variat¸ia dimensiunii populat¸iei. F0 original reprezintă conturul generat de sistemul de
sinteză– propozit¸ia ”Ce mai faci?”
6.3.3 Experiment 3 - Expansiunea dinamică a frecvent¸ei fundamentale
O altă evaluare este analiza modificării conturului F0 de la o generat¸ie la alta. Fig. 6.5 prezintă variat¸ia
conturului propozit¸iei de la populat¸ia init¸ială la cea de-a treia. Se poate observa că pornind la un
contur relativ plat, la cea de-a treia generat¸ie dinamica F0 este mult extinsă, rezultând o variabiliate
mai mare a intonat¸iei inter ¸si intra generat¸ie.
6.3.4 Experiment 4 - Test de ascultare
Pentru a stabili naturalet¸ea indivizilor generat¸i ¸si expresivitatea îmbunătăt¸ită a câ¸stigătorilor fiecărei
generat¸ii, un test de ascultare minimal a fost realizat. În primă fază, un utilizator a fost rugat să
selecteze câ¸stigătorii din 4 generat¸ii pentru 10 propozit¸ii. Deviat¸ia standard init¸ială a fost de 250 ¸si
o dimensiune a populat¸iei de 4 indivizi. Apoi, 10 ascultători au acordat scoruri MOS pentru rostiri
în două categorii: Naturalet¸e – rostirile generate au fost comparate cu înregistrările originale pe o
scară de la [1-Nenatural] la [5-Natural]; tot¸i indivizii din cele 4 generat¸ii au fost evaluat¸i; Expresivitate
– câ¸stigătorii fiecărei generat¸ii au fost comparat¸i cu versiunea originală sintetizată. Ascultătorii au
trebuit să noteze rostirile pe o scară de la [1-Mai put¸in expresiv] la [5-Mai expresiv].
Rezultatele testului sunt prezentate în Fig. 6.6. În testul de naturalet¸e toate generat¸iile au
obt¸inut un scor MOS relativ mare, cu mici diferent¸e pentru generat¸ia a patra. Testul de expresivitate
a arătat că tot¸i câ¸stigătorii generat¸iilor au o expresivitate mai bună decât vorbirea sintetizată de
sistemul de bază HTS. Acest test preliminar concluzionează avantajele acestei metode: păstrând
naturalet¸ea vorbirii, expresivitatea este îmbunătăt¸ită. Exemple de rostiri generate de această metodă
pot fi ascultate la adresa http://www.romaniantts.com/nicso2011.
30

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Frequency[Hz]
Frequency[Hz]
100
80
60
40
20
0
-20
-40
100
80
60
40
20
0
-20
-40
Initial population
2nd generation
Original Contour
Individual 1
Individual 2
Individual 3
Individual 4
0 0.2 0.4 0.6 0.8 1 1.2 1.4
Time[s]
Original Contour
Individual 1
Individual 2
Individual 3
Individual 4
0 0.2 0.4 0.6 0.8 1 1.2 1.4
Time[s]
Frequency[Hz]
Frequency[Hz]
100
80
60
40
20
0
-20
-40
100
80
60
40
20
0
-20
-40
1st generation
0 0.2 0.4 0.6 0.8 1 1.2 1.4
Time[s]
3rd generation
Original Contour
Individual 1
Individual 2
Individual 3
Individual 4
Original Contour
Individual 1
Individual 2
Individual 3
Individual 4
0 0.2 0.4 0.6 0.8 1 1.2 1.4
Time[s]
Figura 6.5: Evolut¸ia conturului la nivel de propozit¸ie de-a lungul a trei generat¸ii pentru propozit¸ia
”Ce mai faci?”. F0 original reprezintă conturul produs de sintetizor.
2.5 3.0 3.5 4.0 4.5 5.0
●
●
N.G0 N.G1 N.G2 N.G3 E.W0 E.W1 E.W2 E.W3
Figura 6.6: Rezultatele testului de ascultare pentru sistemul de optimizare interactivă a intonat¸iei.
N-Gx reprezintă naturalet¸ea indivizilor din generat¸ii, iar E-Wx reprezintă rezultatele testului de expresivitate
pentru fiecăre câ¸stigător al unei generat¸ii.
●
31

Adriana Cornelia STAN
7 Discut¸ii ¸si dezvoltări ulterioare
7.1 Dezvoltarea resurselor pentru un sistem de sinteză parametrică în limba
română
Dezvoltarea resurselor pentru o limbă de sinteză nouă este o etapă importantă a oricărui sistem de
procesare a vorbirii. Analiza unor corpusuri de vorbire extinse oferă informat¸ii esent¸iale. Resursele de
text, precum ¸si cele de vorbire au fost introduse gradual în capitolul 3. Chiar dacă resursele acoperă
o varietate mare de aspecte, ele pot fi considerate doar un punct de pornire spre o sursă de informat¸ie
mai elaborată ¸si mai complexă.
Resursele de text includ un corpus de text cu articole de ziar, reguli simple de transcriere fonetică,
pozit¸ionarea accentului, silabificare ¸si adnotarea părt¸ii de vorbire. Resursele de text nu au reprezentat
elementul principal al acestei cercetări, astfel că fiecare element are identificată o problemă aferentă.
Corpusul de text cont¸ine aproximativ 4000 de articole scurte din ziar. Chiar dacă limbajul din massmedia
este considerat la ora actuală ca fiind o referint¸ă importantă pentru majoritatea vorbitorilor, nu
este neapărat o sursă optimă pentru studiile lingvistice. Operele literare ar trebui de asemenea incluse
în astfel de resurse. Regulile de transcrierea fonetică scrise în Festival includ doar un set minim ¸si nu
acoperă setul complet descris de foneticieni. Cu toate acestea, regulile implementate pot fi considerate
ca fiind suficiente prin analiza rezultatelor testului de inteligibilitate.
Pentru pozit¸ionarea accentului, o resursă importantă o reprezintă baza de date DEX online, însă nu
este practică utilizarea ei într-un procesor de text cu aplicat¸ii în timp real. Chiar dacă limba română
nu are reguli deterministe de pozitionare a accentului, accentul poate fi derivat folosind algoritmi de
inteligent¸a artificială. Evaluarea init¸ială a principiului MOP pentru silabificare este doar o analiză
preliminară, iar rezultatele sale nu pot fi considerate conclusive. O analiză extinsă în combinat¸ie cu
reguli standard de silabificare pentru limba română ar trebui realizată. Adnotare părt¸ii de vorbire a
fost de asemenea determinată dintr-o sursă externă ¸si nu poate fi astfel complet controlată.
Lexiconul dezvoltat include pozit¸ionarea accentului ¸si transcrierea fonetică. Extinderi ale sale
implică adăugarea unor informat¸ii adit¸ionale, cum ar fi silabificarea de exemplu.
Resursele de vorbire dezvoltate în contextul acestei teze reprezintă probabil una dintre cele mai importante
contribut¸ii , luând în considerare lipsa acestui tip de resurse pentru limba română. Proiectarea
corpusului de vorbire permite utilizarea sa în cadrul mai multor tipuri de aplicat¸ii de procesare de
voce, precum recunoa¸sterea automată a vorbirii, codarea semnalului vocal ¸si evident sinteza vorbirii.
Calitatea sa înaltă ¸si frecvent¸a de e¸santionare sunt de asemnea o caracteristică importantă. Includerea
atât a textului din articolele de ziar, cât ¸si a celor două basme culte fac RSS o resursă comprehensivă.
Întreg corpusul este disponibil în mod gratuit sub denumirea de Romanian Speech Synthesis (RSS).
O extindere posibilă a acestei resurse este în mod evident înregistrarea mai multor date.
7.2 Un sistem de sinteză parametrică pentru limba română bazat pe modele
Markov ¸si frecvent¸e de e¸santionare mari
După cum a fost arătat în capitolul 4, limba română nu dispune de resursele necesare cercetării sintezei
de vorbire. Sistemul HTS împreună cu resursele sunt o contribut¸ie importantă pentru domeniul de
cercetare. Capitolul 4 include pregătirea datelor de la procesarea de text la segmentarea semnalului
vocal ¸si adnotarea acestuia. O primă problemă a sistemului TTS este lipsa unui procesor de text
optimal, cu normalizarea completă a textului ¸si adnotarea părt¸ii de vorbire. Chiar dacă nu a fost
dovedit deocamdată, adnotarea corectă a părt¸ii de vorbire poate influent¸a rezultatele sintezei.
Rezultatele testelor de ascultare au arătat că resursele de voce, parametri de configurare ¸si frecvent¸a
de e¸santionare au fost select¸ionate în mod corespunzător. Evaluarea sistemului a inclus de asemenea
¸si evaluarea setului de date de antrenare. Este cunoscut faptul că în sinteza de voce, cu cât este
mai mare corpusul, cu atât este mai bună sinteza. Cu toate acestea, o dezvoltare interesantă ar
reprezenta-o select¸ia unui corpus de durată minimă cu ajutorul căruia să se obt¸ină rezultate similare
celor prezentate. Testul de ascultare a arătat pe de altă parte, că pentru limba română, propozit¸iile
32

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
semantic impredictibile generice nu determină diferent¸e semnificative între sisteme. Astfel că este
nevoie de dezvoltarea unei metode alternative pentru testarea inteligibilităt¸ii în limba română.
7.3 O metodă de modelare a intonat¸iei independentă de limbă
Capitolul 5 a prezentat o analiză a capacităt¸ii de evaluare ¸si parametrizare a transformatei DCT
pentru contururile F0. Metoda propusă face o demarcare clară între nivelul de propozit¸ie ¸si de silabă
ale frecvent¸ei fundamentale pentru parametrizare. Fiecare nivel este modelat individual folosind un
număr limitat de coeficient¸i DCT. Analiza statistică a coeficient¸ilor a arătat că odată cu cre¸sterea
ordinului coeficient¸ilor, deviat¸ia stadard relativă scade, ceea ce înseamnă o mai mică variabilitate. Se
poate astfel concluziona că prin extinderea numărului de coeficient¸i DCT, nu s-ar obt¸ine îmbunătăt¸iri
semnificative.
Fiecare coeficient DCT este prezis individual folosind algoritmi CART. Caracteristicile utilizate
pentru vectorul de antrenare sunt cele disponibile în formatul HTS, ceea ce înseamnă cu nu sunt
realizate procesări suplimentare. Algoritmii CART sunt metode rapide ¸si eficiente de estimare pentru
probleme de complexitate redusă. Rezultatele au arătat că performant¸ele pentru coeficient¸ii de ordin
înalt sunt reduse drastic. Aceasta înseamnă că este necesară analiza unor metode avansate de învăt¸are
automată, precum ret¸ele neuronale sau modele Markov. În acela¸si timp datorită estimării individuale
a coeficient¸ilor, anumite caracteristici corelate pot fi omise. Un mecanism de estimare comună ar
putea astfel duce la rezultate mai bune ale predict¸iei.
Select¸ia atributelor a oferit mijloacele de reducere a complexităt¸ii problemei, dar nu a determinat
o corespondent¸ă directă între coeficient¸ii DCT ¸si caracteristicile fonologice utilizate în vectorul de
antrenare ¸si predict¸ie. O analiză mai elaborată a acestei corespondent¸e este de asemenea importantă.
7.4 Optimizarea conturului F0 cu feedback interactiv al utilizatorilor non-expert¸i
Optimizarea conturului F0 independent de limbă este un aspect important al domeniului sintezei
vorbirii. Metoda ¸si sistemul prototip prezentate în capitolul 6 pot fi cu u¸surint¸ă adaptate oricărui
sistem de sinteză bazat pe modele Markov cu minim de modificări. Evaluările preliminare au propus
parametri de setare ai unui astfel de sistem ¸si au arătat că expansiunea dinamică poate fi obt¸inută
chiar ¸si cu un număr redus de indivizi pe populat¸ie.
Deoarece rezultatele obt¸inute în cadrul acestei analize preliminare au obt¸inut un grad ridicat de
variat¸ie intonat¸ională ¸si au minimizat efortul depus de utilizatori, se dore¸ste implementarea algoritmului
în cadrul demonstrat¸iei online a sistemului HTS pentru limba română. Aplicat¸ia ar permite pe
de altă parte ca utilizatorii să selecteze pentru procesul de optimizare întrega rostire, sau doar părt¸i
ale acesteia, de exemplu propozit¸ii, cuvinte sau doar silabe. Pentru o optimizare completă a prozodiei,
este necesară introducerea ¸si a duratei segmentelor vocale în cadrul aplicat¸iei interactive.
O deficient¸ă a solut¸iei prezentate este lipsa posibilităt¸ii manipulării individuale a fiecărui coeficient
DCT din genom, ce nu poate fi obt¸inută în contextul algoritmului evolutiv selectat. Cu toate acestea,
statisticile coeficient¸ilor au arătat că deviat¸ia standard medie este similară pentru tot¸i coeficient¸ii,
astfel că selectarea deviat¸iei standard init¸iale nu afectează coeficient¸ii de ordin înalt.
O dezvoltare interesantă ar fi un sistem de sinteză adaptiv, dependent de utilizator. Pe baza
opt¸iunilor anterioare al utilizatorului, sistemul ar putea să se adapteze unui anumit tip de realizare
prozodică.
33

Adriana Cornelia STAN
Contribut¸iile tezei
Principalele contribut¸ii ale tezei sunt organizate în capitolele 3, 4, 5 ¸si 6 ¸si pot fi rezumate după cum
urmează, alături de lucrările corespondente publicate:
1. Un lexicon de 65.000 de cuvinte transcrise fonetic ¸si cu pozit¸ionarea accentului
Lucrări publicate: [Stan et al., 2011c], [Stan and Giurgiu, 2010], [Stan, 2010]
Transcrierea fonetică ¸si pozit¸ionarea accentului sunt două aspecte importante ale modulelor de
procesare de text în sistemele de sinteză text-vorbire. Lexiconul de 65.000 de cuvinte reprezintă 4.7%
din totalul cuvintelor disponibile în baza de date DEX online. Transcrierea fonetică a fost realizată
folosind un set minim de foneme ale limbii române, fără a include alofoni ¸si pronunt¸ii speciale. Reguli
int¸iale simple de transcriere fonetică au fost create în Festival, iar altele au fost adăugate ulterior
manual în lexicon. Pozit¸ionarea accentului a fost preluată direct din baza de date DEX online.
Lexiconul reprezintă o resursă lingvistică importantă mai ales datorită dimensiunii ¸si a informat¸iei
cont¸inute. În cadrul documentării, nu au fost identificate alte resurse de acest gen disponibile în mod
gratuit. Corectitudinea informat¸iei a fost testată prin utilizarea acestui lexicon în partea de procesare
de text a sistemului de sinteză pentru limba română.
Contribut¸ia este sust¸inută de următoarele resurse adit¸ionale:
• Un corpus de text ce cont¸ine 4506 articole de ziar colectate în perioada august-septembrie 2009
de la ziarul online ”Adevărul”. Cont¸ine peste 1.700.000 de cuvinte, iar cele mai frecvente 65.000
sunt utilizate în lexicon;
• Un set minimal de reguli de transcriere fonetică pentru limba română scris în format Festival
pentru transcrierea fonetică init¸ială a lexiconului;
2. Corpusul de vorbire Romanian Speech Synthesis (RSS): o resursă de semnal vocal
de înaltă calitate cu aplicat¸ii variate
Lucrări publicate: [Stan et al., 2011c], [Stan and Giurgiu, 2010], [Stan, 2010]
Pornind de la cerint¸ele unui sintetizor de voce bazat pe modele Markov, a fost identificată necesitatea
unui corpus de vorbire extins. Corpusul Romanian Speech Synthesis are o durată totală de 4
ore ¸si cont¸ine următoarele informat¸ii:
• Fraze de antrenare - approx. 3.5 ore
– 1493 fraze aleatoare din articole de ziar
– 983 fraze pentru acoperirea difonemelor
– 704 fraze din opere literare - basmele culte ”Povestea lui Stan Păt¸itul” ¸si ”Ivan Turbincă”
de Ion Creangă
• Fraze de testare - approx. 0.5 ore
– 210 fraze aleatoare din articole de ziar
– 110 fraze aleatoare din opere literare
– 216 propozit¸ii semantic impredictibile
Înregistrările au fost realizate la o frecvent¸ă de e¸santionare de 96kHz, 24 bit¸i per e¸santion ¸si
apoi sube¸santionate la 48kHz folosind aparatură ¸si software profesional. Întregul corpus, alături de
transcrierea ortografică ¸si fonetică, etichetele HTS aliniate temporal ¸si pozit¸ionarea accentului sunt
disponibile în mod gratuit la www.romaniantts.com, ¸si reprezintă cel mai extins corpus de vorbire în
limba română.
34

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
Corpusul a fost testat prin utilizarea sa în partea de antrenare a modelelor pentru sintetizorul HTS
în limba română, ¸si de asemenea în cadrul unui sistem concatenativ simplu bazat pe select¸ia unităt¸ilor.
Propozit¸iile semantic impredictibile au fost evaluate în cadrul testului de ascultare, în sect¸iunea de
inteligibilitate. Propozit¸iile din operele literare au fost utilizate pentru adaptarea modelelor sistemului
init¸ial, pentru a obt¸ine o intonat¸ie mai dinamică a vorbirii sintetice. Analiza statistică a textului
înregistrat în cadrul corpusului a dovedit similarităt¸i cu distribut¸iile statistice ale limbii române.
Contribut¸ia este sust¸inută de următoarele resurse adit¸ionale:
• Dezvoltarea unui set de 216 propozit¸ii semantic impredictibile utilizate pentru evaluarea vorbirii
sintetizate. Este prima resursă de acest tip pentru limba română;
• Un procesor de text minimal ce permite crearea etichetelor HTS specifice.
3. Evaluarea parametrilor de configurare ai sistemului HTS
Lucrări publicate: [Stan et al., 2011c], [Stan, 2010]
Sinteza parametric-statistică bazată pe modele Markov a devenit cea mai importantă metodă de
sinteză a vorbirii. Sistemul HTS oferă un număr mare de posibilităt¸i de configurare a parametrilor
sistemului generic. Parametri evaluat¸i sunt următorii: scala de frecvent¸e, metoda de analiză spectrală,
ordinul cepstral, frecvent¸a de e¸santionare ¸si dimensiunea setului de date de antrenare. Primii trei
parametri au fost determinat¸i în mod euristic pe baza unei metode de analiză prin sinteză, iar ultimii
doi în cadrul testului de ascultare al sistemului HTS pentru limba română.
Rezultatele au arătat că:
• nu există diferent¸e perceptuale semnificative între scalele Bark ¸si ERB când se utilizează date
e¸santionate la 48kHz în cadrul vocoder-ului;
• scala de frecvent¸e logF0 generalizată a fost validată;
• MGC a avut performant¸e mai bune decât metoda de analiză cepstrum pe scară mel;
• ordinul de analiză cepstrală este dependent de frecvent¸a de e¸santionare;
• utilizarea unei frecvent¸e de e¸santionare de 48kHz cre¸ste calitatea vocii sintetizate, dar diferent¸ele
dintre 32kHz ¸si 48kHz nu sunt semnificative;
• un corpus de antrenare mai mare cre¸ste calitate vorbirii sintetizate.
4. Un sistem de sinteză pentru limba română bazat pe modele Markov
Lucrări publicate: [Stan et al., 2011c], [Stan, 2010]
Sistemul TTS dezvoltat utilizează cea mai nouă tehnologie disponibilă pentru sinteza vorbirii.
Folosind resursele de text ¸si voce dezvoltate anterior, precum ¸si parametri de configurare, au fost
antrenate un număr de 5 sisteme diferite. Ele diferă prin dimensiunea ¸si frecvent¸a de e¸santionare a
setului de date de antrenare.
Sistemele au fost evaluate de către 54 de ascultători, într-un test de ascultare de tipul Blizzard Challenge
cu 3 sect¸iuni: naturalet¸e, similaritate cu vorbitorul original ¸si inteligibilitate, prin comparat¸ie
printre altele ¸si cu înregistrările originale. Rezultatele testului au arătat o medie de 3.0 pe scară MOS
pentru toate sistemele HTS, ¸si un scor de 3.3 pentru cel mai bun sistem. Frecvent¸a de e¸santionare a
influent¸at direct similaritatea cu vobitorul original, dar nu la fel de mult ¸si naturalet¸ea. Dimensiunea
setului de date de antrenare a afectat ambele sect¸iuni. Rata de cuvinte eronate din sect¸iunea de
inteligibilitate pentru toate sistemele a fost sub 10%.
Toate sistemele HTS au avut performant¸e mai bune decât un sistem concatenativ simplu. Adit¸ional,
HTS are posibilitatea de adaptare la un corpus de vorbire cu o intonat¸ie mai dinamică, dovedit prin
adaptarea la setul de antrenare ce cont¸ine opere literare.
O demonstrat¸ie interactivă a sintetizorului HTS pentru limba română este disponibilă la www.
romaniantts.com.
Contribut¸ia este sust¸inută de următoarele elemente adit¸ionale:
35

Adriana Cornelia STAN
• Un set de 179 de întrebări de tip fonetic pentru arborii de decizie pentru grupare contextuală ai
sistemului HTS;
• Un procesor de text minimal ce utilizează Cereproc Development Framework pentru crearea
etichetelor în format HTS.
5. O metodă de modelare a frecvent¸ei fundamentale independentă de limbă, bazată
pe transformata cosinus discretă
Lucrări publicate: [Stan and Giurgiu, 2011], [Stan, 2011a]
Această contribut¸ie rezolvă problema independent¸ei de limbă pentru metodele de modelare a F0 în
sistemele de sinteză text-vorbire. Metoda aderă la principiul superpozit¸ional al frecvent¸ei fundamentale
prin modelarea contururilor la nivel de silabă ¸si propozit¸ie ¸si utilizează parametrizarea bazată pe
transformata cosinus discretă. Doar caracteristicile textuale existente în etichetele HTS sunt utilizate,
fără alte informat¸ii lingvistice adit¸ionale sau adnotări manuale. Coeficient¸ii DCT ai conturului F0
sunt utilizat¸i pentru modelarea ¸si predict¸ia frecvent¸ei fundamentale.
Predict¸ia F0 a fost realizată utilizând arbori de clasificare ¸si regresie antrenat¸i individual pentru
fiecare coeficient DCT. Rezultatele au determinat o eroare medie de 15Hz, valoare comparabilă cu alte
metode de modelare. De asemenea, testul de ascultare a arătat că utilizatorii nu consideră ca fiind
perceptibile diferent¸ele dintre conturul generat de sistemul HTS ¸si cel prezis pe baza coeficient¸ilor
DCT.
Contribut¸ia este sust¸inută de următoarele analize adit¸ionale:
• Evaluarea statistică a coeficient¸ilor DCT cont¸inut¸i în subsetul rnd1 ai corpusului RSS;
• Evaluarea predict¸iei coeficient¸ilor DCT folosind 3 algoritmi CART: reguli M5, regresie liniară ¸si
regresie aditivă;
• Evaluarea obiectivă ¸si subiectivă a conturului F0 estimat pe baza coeficient¸ilor DCT ¸si folosind
arbori de clasificare ¸si regresie.
6. O metodă de aplicare a CMA-ES interactiv în optimizarea intonat¸iei pentru sinteza
vorbirii
Lucrări publicate: [Stan et al., 2011a], [Stan, 2011b]
Metoda de optimizare interactivă a intonat¸iei rezolvă o problemă complexă legată de îmbunătăt¸irea
expresivităt¸ii vorbirii sintetizate, pe baza subiectivităt¸ii utilizatorilor non-expert¸i. Originalitatea
metodei constă în lipsa adnotării prozodice a textului sau a regulilor deterministe sau stilurilor de
vorbire predefinite. CMA-ES este aplicată interactiv asupra coeficient¸ilor DCT ai conturului F0 la
nivel de frază generat de sistemul HTS pentru limba română.
Principalii parametri ai CMA-ES interactiv sunt evaluat¸i ¸si includ:
• deviat¸ia standard init¸ială a populat¸iei utilizată pentru controlul naturalet¸ii vorbirii rezultate,
prin limitarea domeniului de valori al F0;
• dimensiunea populat¸iei utilizată pentru a reduce efortul utilizatorilor, dar în acela¸si timp pentru
generarea unui număr suficient de rostiri diferite din care utilizatorul să poată alege;
• expansiunea dinamică a frecvent¸ei fundamentale de-a lungul unui numă r de generat¸ii succesive
pentru a determina evolut¸ia conturului F0 în funct¸ie de opt¸iunile utilizatorului.
Ace¸sti parametri sunt de asemenea evaluat¸i în cadrul unui sistem prototip de optimizare a intonat¸iei.
Această metodă este ¸si o primă aplicare a unui algoritm CMA-ES în mod interactiv.
36

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
7. Un sistem prototip de optimizare interactivă a intonat¸iei folosind CMA-ES ¸si
parametrizarea DCT a conturului F0
Lucrări publicate: [Stan et al., 2011a], [Stan, 2011b]
Metoda propusă pentru optimizarea interactivă a intonat¸iei a fost implementată în cadrul unui
sistem prototip. Sistemul este independent de limbă ¸si utilizează sistemul HTS pentru limba română,
precum ¸si parametri CMA-ES determinat¸i anterior. Având la dispozit¸ie vorbirea generată de sistemul
HTS, utilizatorul poate opta pentru o îmbunătăt¸ire a intonat¸iei acesteia. Sunt astfel generate 4 noi
rostiri diferite ale frazei init¸iale pornind de la conturul F0 original ¸si sunt prezentate utilizatorilor
pentru evaluare într-o manieră de tip campionat. Pornind de la câ¸stigătorul ales al unei generat¸ii,
următorii 4 indivizi sunt generat¸i.
Rezultatele sistemului prototip au fost evaluate în cadrul unui test de ascultare ce a inclus naturalet¸ea
¸si expresivitatea noilor indivizi. Naturalet¸ea a fost evaluată cu scor MOS mediu de 3.1, iar tot¸i indivizii
noi au fost considerat¸i ca fiind mai expresivi decât cel original. Ceea ce înseamnă că sistemul prototip
este capabil să păstreze naturalet¸ea vorbirii, dar în acela¸si timp să-i îmbunătăt¸ească expresivitatea.
Contribut¸iile tezei pot fi incluse în schema generală de procesare a unui sistem de sinteză bazat pe
modele Markov conform Fig. 7.1 .
Configurarea
parametrilor HTS
3
SISTEM TTS
INTRARE TEXT
Procesare text
Estimarea şi
generarea
parametrilor
Sinteza vorbirii
VORBIRE SINTETIZATĂ
Îmbunătăţiri ale
vorbirii sintetizate
VORBIRE SINTETIZATĂ
ÎMBUNĂTĂŢITĂ
1
Lexicon de 65.000
de cuvinte
4
5 6 7
HMM
models
2
Sistem HTS în limba
română
Corpus
RSS
Optimizarea interactivă
a intonaţiei
Figura 7.1: Aplicarea contribut¸iilor tezei în schema generală de procesare a unui sistem de sinteză
text-vorbire bazat pe modele Markov (contribut¸iile sunt marcate cu numere de la 1 la 7)
37

Adriana Cornelia STAN
Lista publicat¸iilor
În jurnale ISI:
1. Adriana STAN, Junichi YAMAGISHI, Simon KING, Matthew AYLETT, The Romanian
speech synthesis (RSS) corpus: Building a high quality HMM-based speech synthesis system using
a high sampling rate, Speech Communication, vol 53, pg. 442-450, 2011.
Volume ale conferint¸elor:
1. Adriana STAN, Florin-Claudiu POP, Marcel CREMENE, Mircea GIURGIU, Denis PALLEZ,
Interactive Intonation Optimisation Using CMA-ES and DCT Parametrisation of the F0 Contour
for Speech Synthesis, In Proceedings of the 5 th Workshop on Nature Inspired Cooperative
Strategies for Optimisation, in series Studies in Computational Intelligence, vol. 387, Springer,
2011.
2. Adriana STAN, Mircea GIURGIU, A Superpositional Model Applied to F0 Parametrisation
using DCT for Text-to-Speech Synthesis, In Proceedings of the 6 th Conference on Speech Technology
and Human-Computer Dialogue, doi: 10.1109/SPED.2011.5940734, Bra¸sov, România,
18-21 Mai 2011,
3. Adriana STAN, Mircea GIURGIU, Romanian language statistics and resources for text-tospeech
systems, In Proceedings of the 9 th Edition of the International Symposium on Electronics
and Telecommunications, pg. 381-384, Timi¸soara, România, 11-12 Noiembrie 2010.
4. Adriana STAN, Linear Interpolation of Spectrotemporal Excitation Pattern Representations
for Automatic Speech Recognition in the Presence of Noise, In Proceedings of the 5 th Conference
on Speech Technology and Human-Computer Dialogue, pg. 199-206, Constant¸a, România, 18-21
Iunie 2009.
Rapoarte ¸stiint¸ifice
1. Adriana STAN, Raport de cercetare ¸stiint¸ifică 1: Elaborarea ¸si dezvoltarea unui sistem de sinteză
text-vorbire în limba românăbazat pe modele Markov, independent de elementele de prozodie
aferente textului, mai 2010
2. Adriana STAN, Raport de cercetare ¸stiint¸ifică 2: Elaborarea ¸si dezvoltarea unor metode deterministe
de analiză ¸si control a prozodiei în limba română, ianuarie 2011
3. Adriana STAN, Raport de cercetare ¸stiint¸ifică 3: Elaborarea ¸si dezvoltarea unor metode probabilistice
de analiză ¸si control a prozodiei în limba română, aprilie 2011
Bibliografie selectivă
[Allen et al., 1987] Allen, J., Hunnicut, S., and Klatt, D. (1987). From Text to Speech: the MITalk
System. Cambridge University Press.
[Apopei and Jitcă 2005] Apopei, V. and Jitcă D. (2005). Romanian Intonational Annotation Based
on Tone Sequence Mode. In Proceedings of SASM 2005.
[Apopei and Jitcă 2007] Apopei, V. and Jitcă D. (2007). Module for F0 Contour Generation Using
as Input a Text Structured by Prosodic Information. In Proceedings of SPED 2007.
[Aylett and Pidcock, 2007] Aylett, M. and Pidcock, C. (2007). The CereVoice characterful speech
synthesiser SDK. In Proceedings of AISB 2007, pages 174–178, Newcastle, U.K.
[Benesty et al., 2007] Benesty, J., Sondhi, M. M., and Huang, Y. A. (2007). Springer Handbook of
Speech Processing. Springer-Verlag New York, Inc., Secaucus, NJ, USA.
38

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
[Benoit et al., 1996] Benoit, C., Grice, M., and Hazan, V. (1996). The SUS test: A method for the
assessment of text-to-speech synthesis intelligibility using Semantically Unpredictable Sentences.
Speech Communication, 18(4):381–392.
[Bodo, 2009] Bodo, A. Z. (2009). Contribut¸ii la sinteza vorbirii în limba română. PhD thesis, Technical
University of Cluj-Napoca.
[Breiman et al., 1984] Breiman, L., Friedman, J., Olshen, R., and Stone, C. (1984). Classification and
Regression Trees. Wadsworth and Brooks, Monterey, CA.
[Buza, 2010] Buza, O. (2010). Contribut¸ii la analiza ¸si sinteza vorbirii din text pentru limba română.
PhD thesis, Technical University of Cluj-Napoca.
[Calacean and Nivre, 2009] Calacean, M. and Nivre, J. (2009). A Data-Driven Dependency Parser
for Romanian. In Proceedings of the Seventh International Workshop on Treebanks and Linguistic
Theories., pages 65–76.
[Chitoran, 2002] Chitoran, I. (2002). The phonology and morphology of Romanian diphtongization.
Probus.
[DEX online-webpage, 2011] DEX online-webpage (2011). http://dexonline.ro/download/
dex-database.sql.gz.
[Dudley, 1940] Dudley, H. (1940). The Carrier Nature of Speech. The Bell System Technical Journal.
[Dutoit et al., 1996] Dutoit, T., Pagel, V., Pierret, N., Bataille, F., and der Vrecken, O. V. (1996). The
MBROLA project: Towards a set of high quality speech synthesizers free of use for non commercial
purposes. In Proc. ICSLP ’96, volume 3, pages 1393–1396, Philadelphia, PA.
[Fant, 2005] Fant, G. (2005). Speech Acoustics and Phonetics: Selected Writings, chapter Speech
Perception, pages 199–220. Springer Netherlands.
[Ferencz, 1997] Ferencz, A. (1997). Contribut¸ii la dezvoltarea sintezei text-vorbire pentru limba
română. PhD thesis, Technical University of Cluj-Napoca.
[Frunză et al., 2005] Frunză O., Inkpen, D., and Nadeau, D. (2005). A text processing tool for the
Romanian language. In Proceedings of EuroLAN 2005: Workshop on Cross-Language Knowledge
Induction.
[Giurgiu and Peev, 2006] Giurgiu, M. and Peev, L. (2006). Sinteza din text a semnalului vocal. Risoprint.
[Hirst and Cristo, 1998] Hirst, D. and Cristo, A. D. (1998). Intonation Systems: a survey of twenty
languages. Cambridge University Press.
[Huang et al., 2001] Huang, X., Acero, A., and Hon, H. (2001). Spoken Language Processing: A Guide
to Theory, Algorithm, and System Development. Prentice Hall.
[Jitcă et al., 2002] Jitcă D., Apopei, V., and Grigora¸s F. (2002). Text-to-Speech System for Romanian
Language based on Formantic Synthesis. In European Conference on Intelligent Technologies.
[Jitcă et al., 2008] Jitcă D., Apopei, V., and Jitcă M. (2008). A description language at the accentual
unit level for Romanian intonation. In In Proceedings ”LangTech2008”.
[Kabir and Giurgiu, 2010] Kabir, A. and Giurgiu, M. (2010). A Romanian Corpus for Speech Perception
and Automatic Speech Recognition. In Recent Researches in Communications, Automation,
Signal Processing, Nanotechnology, Astronomy and Nuclear Physics.
[Karaiskos et al., 2008] Karaiskos, V., King, S., Clark, R. A. J., and Mayo, C. (2008). The Blizzard
Challenge 2008. In Proceedings of Blizzard Challenge Workshop, Brisbane, Australia.
[Kawahara et al., 1999] Kawahara, H., Masuda-Katsuse, I., and Cheveigné, A. (1999). Restructuring
speech representations using a pitch-adaptive time-frequency smoothing and an instantaneousfrequency-based
F0 extraction: possible role of a repetitive structure in sounds. Speech Communication,
27:187–207.
[Klatt, 1980] Klatt, D. H. (1980). Software for a cascade/parallel formant synthesizer. Journal of The
Acoustical Society of America, 67.
[Latorre and Akamine, 2008] Latorre, J. and Akamine, M. (2008). Multilevel Parametric-Base F0
39

Adriana Cornelia STAN
Model for Speech Synthesis. In Proceedings of Interspeech.
[Leggetter and Woodland, 1995] Leggetter, C. and Woodland, P. (1995). Maximum likelihood linear
regression for speaker adaptation of continuous density hidden Markov models. 9:171.
[Lv et al., 2009] Lv, S., Wang, S., and Wang, X. (2009). Emotional speech synthesis by XML file
using interactive genetic algorithms. In Proceedings of GEC Summit, pages 907–910.
[Moulines and Charpentier, 1990] Moulines, E. and Charpentier, F. (1990). Pitch-synchronous waveform
processing techniques for text-to-speech synthesis using diphones. Speech Communication,
9(5-6):453–468.
[Muraoka et al., 1978] Muraoka, T., Yamada, Y., and Yamazaki, M. (1978). Sampling-frequency
considerations in digital audio. J. Audio Eng. Soc, 26(4):252–256.
[Qian et al., 2009] Qian, Y., Wu, Z., and Soong, F. (2009). Improved Prosody Generation by Maximizing
Joint Likelihood of State and Longer Units. In Proceedings of ICASSP.
[Sabou et al., 2008] Sabou, O., Borza, P., and Tatar, D. (2008). POS Tagger for Romanian Language.
http://www.cs.ubbcluj.ro/~dtatar/nlp/WebTagger/WebTagger.htm.
[Shinoda and Watanabe, 2000] Shinoda, K. and Watanabe, T. (2000). MDL-based context-dependent
subword modeling for speech recognition. J. Acoust. Soc. Japan (E), 21:79–86.
[Shiohan et al., 2002] Shiohan, O., Myrvoll, T., and Lee, C. (2002). Structural maximum a posteriori
linear regression for fast hmm adaptation. 16:5–24.
[Stan, 2010] Stan, A. (2010). Raport de cercetare ¸stiint¸ifică 1: Elaborarea ¸si dezvoltarea unui sistem
de sinteză text-vorbire în limba română bazat pe modele Markov, independent de elementele de
prozodie aferente textului.
[Stan, 2011a] Stan, A. (2011a). Raport de cercetare ¸stiint¸ifică 2: Elaborarea ¸si dezvoltarea unor
metode deterministe de analiză ¸si control a prozodiei în limba română.
[Stan, 2011b] Stan, A. (2011b). Raport de cercetare ¸stiint¸ifică 3: Elaborarea ¸si dezvoltarea unor
metode probabilistice de analiză ¸si control a prozodiei în limba română.
[Stan and Giurgiu, 2010] Stan, A. and Giurgiu, M. (2010). Romanian language statistics and resources
for text-to-speech systems. In Proceedings of the 9 th Edition of the International Symposium on
Electronics and Telecommunications, Timi¸soara, România.
[Stan and Giurgiu, 2011] Stan, A. and Giurgiu, M. (2011). A Superpositional Model Applied to F0
Parametrisation using DCT for Text-to-Speech Synthesis. In Proceedings of the 6 th Conference on
Speech Technology and Human-Computer Dialogue, Bra¸sov, Romania.
[Stan et al., 2011a] Stan, A., Pop, F.-C., Cremene, M., Giurgiu, M., and Pallez, D. (2011a). Interactive
Intonation Optimisation Using CMA-ES and DCT Parametrisation of the F0 Contour for
Speech Synthesis. In Proceedings of the 5 th Workshop on Nature Inspired Cooperative Strategies for
Optimisation, volume 387 of Studies in Computational Intelligence. Springer.
[Stan et al., 2011b] Stan, A., Yamagishi, J., King, S., and Aylett, M. (2011b). The Romanian speech
synthesis (RSS) corpus: Building a high quality HMM-based speech synthesis system using a high
sampling rate. Speech Communication, 53(3):442 – 450.
[Stan et al., 2011c] Stan, A., Yamagishi, J., King, S., and Aylett, M. (2011c). The Romanian speech
synthesis (RSS) corpus: Building a high quality HMM-based speech synthesis system using a high
sampling rate. Speech Communication, 53(3):442 – 450.
[Sun, 2002] Sun, X. (2002). F0 generation for speech synthesis using a multi-tier approach. In Proceedings
of ICSLP.
[Taylor, 2009] Taylor, P. (2009). Text-to-Speech Synthesis. Cambridge University Press.
[Teodorescu et al., 2010] Teodorescu, H.-N., Pistol, L., Feraru, M., Zbancioc, M., and Trandabat, D.
(2010). Sounds of the Romanian Language Corpus. http://www.etc.tuiasi.ro/sibm/romanian_
spoken_language/index.htm.
[Teutenberg et al., 2008] Teutenberg, J., Wilson, C., and Riddle, P. (2008). Modelling and Synthesising
F0 Contours with the Discrete Cosine Transform. In Proceedings of ICASSP.
40

Sinteza text-vorbire în limba română bazată pe modele Markov ¸si optimizarea interactivă a intonat¸iei
[Toda and Tokuda, 2007] Toda, T. and Tokuda, K. (2007). A speech parameter generation algorithm
considering global variance for HMM-based speech synthesis. IEICE Trans. Inf. & Syst., E90-
D(5):816–824.
[Tokuda et al., 1994] Tokuda, K., Kobayashi, T., Masuko, T., and Imai, S. (1994). Mel-generalized
cepstral analysis – a unified approach to speech spectral estimation. In Proc. ICSLP-94, pages
1043–1046, Yokohama, Japan.
[Tokuda et al., 2002] Tokuda, K., Masuko, T., Miyazaki, N., and Kobayashi, T. (2002). Multi-space
probability distribution HMM. IEICE Trans. Inf. & Syst., E85-D(3):455–464.
[Tufis et al., 2008] Tufis, D., Irimia, E., Ion, R., and Ceausu, A. (2008). Unsupervised lexical acquisition
for part of speech tagging. In LREC. European Language Resources Association.
[Witten and Frank, 2005] Witten, I. H. and Frank, E. (2005). Data Mining: Practical Machine Learning
Tools and Techniques. Morgan Kaufmann Series in Data Management Sys. Morgan Kaufmann,
second edition.
[Wolf, 1981] Wolf, H. (1981). Control of prosodic parameters for a formant synthesizer based on
diphone concatenation. In IEEE International Conference Acoustics, Speech, and Signal Processing,
page 106.
[Wu et al., 2008] Wu, Z., Qian, Y., Soong, F., and Zhang, B. (2008). Modeling and Generating Tone
Contour with phrase Intonation for Mandarin Chinese Speech. In Proceedings of ISCSLP.
[Yamagishi, 2006] Yamagishi, J. (2006). Average-Voice-Based Speech Synthesis. PhD thesis, Tokyo
Institute of Technology, Tokyo.
[Yamagishi and King, 2010] Yamagishi, J. and King, S. (2010). Simple methods for improving speakersimilarity
of HMM-based speech synthesis. In Proc. ICASSP 2010, pages 4610–4613, Dallas, TX.
[Yamagishi et al., 2008a] Yamagishi, J., Ling, Z., and King, S. (2008a). Robustness of HMM-based
speech synthesis. In Proc. Interspeech 2008, pages 581–584, Brisbane, Australia.
[Yamagishi et al., 2008b] Yamagishi, J., Zen, H., Wu, Y.-J., Toda, T., and Tokuda, K. (2008b). The
HTS-2008 system: Yet another evaluation of the speaker-adaptive HMM-based speech synthesis
system in the 2008 Blizzard Challenge. In Proc. Blizzard Challenge 2008, Brisbane, Australia.
[Zen et al., 2007a] Zen, H., Nose, T., Yamagishi, J., Sako, S., and Tokuda, K. (2007a). The HMMbased
speech synthesis system (HTS) version 2.0. In Proceedings of the Sixth ISCA Workshop on
Speech Synthesis, pages 294–299.
[Zen et al., 2007b] Zen, H., Toda, T., Nakamura, M., and Tokuda, K. (2007b). Details of Nitech
HMM-based speech synthesis system for the Blizzard Challenge 2005. IEICE Trans. Inf. & Syst.,
E90-D(1):325–333.
[Zen et al., 2009] Zen, H., Tokuda, K., and Black, A. W. (2009). Statistical parametric speech synthesis.
Speech Communication, 51(11):1039–1064.
[Zen et al., 2007c] Zen, H., Tokuda, K., Masuko, T., Kobayashi, T., and Kitamura, T. (2007c). A hidden
semi-Markov model-based speech synthesis system. IEICE Trans. Inf. & Syst., E90-D(5):825–
834.
41