Sprachliche Mensch-Maschine-Kommunikation

380 22. Künstliche Neuronale Netze
u
a
l
h
Abb. 22.5. Typische Folge aktivster Neuronen für das finnische Wort ” humppila“
Eingabe in das Netz liefert, und darüber hinaus über die Definition der
Netzwerkgewichte.
Das erstmals in [?] [?] für die Spracherkennung verwendete TDNN
ist in Abb. 22.6 dargestellt. Das Netz wurde verwendet um die isoliert
gesprochenen Phoneme b, d, und g zu erkennen. Das Sprachsignal wurde
zu 15 Vektoren (ein Vektor alle 10ms) zu je 16 Mel-Spektralkoeffizienten
verarbeitet. Als Eingabeschicht wird ein Feld von 3 × 16 Neuronen als 30ms
breites Fenster über die Aufnahme ” geschoben“. Über der Eingabeschicht
ist die Verdeckte Schicht mit 8 Neuronen. Zwischen der Eingabe- und der
verdeckten Schicht befinden sich drei verschiedene 16x8 große Gewichtematrizen.
Jede enthält die Gewichte für eine andere Zeittaktverschiebung
(Time Delay). Die Eingabe in ein Neuron der verdeckten Schicht in Abb.
22.7 abgebildet. Für jedes Eingabeneuron ui gibt es n Zeitverzögerungen
mit eigener Gewichtung. Diese Gewichtungen sind so angeordnet, daß die
Gewichte für verschiedene Neuronen der verdeckten Schicht mit gleicher
Zeitverzögerung miteinander gekoppelt sind.
Die TDNNs haben eine zufriedenstellende Leistung bei der Erkennung
isoliert gesprochener Phoneme. Für kontinuierliche Sprache sind sie jedoch
nicht geeignet. Dafür wurden sie in [?] zu so genannten Multi-State Time
Delay Neural Nets (MS-TDNNs) weiterentwickelt. Die MS-TDNNs sind eine
Mischung zwischen Konnektionistischen Ansätzen und Hidden Markov Modellen.
Dabei wird von den HMMs die Idee der Zustände, Zustandsübergänge
und des Dekodierungsproblems übernommen, von den neuronalen Netzen
werde die diskriminative Art des Trainings und die ” feed-forward“-basierte
Art der Berechnung der Emissionswahrscheinlichkeiten übernommen.
Bis zur Ebene der Phonemschicht sind TDNNs und MS-TDNNs gleich.
Beide implementieren eine Phonemschicht, bei der jedem zu erkennenden
p
m
i