Sprachliche Mensch-Maschine-Kommunikation

458 28. Der moderne Vortragsraum
KLASSE-30 = { ASTHMA TUBERCULOSIS DIABETES POLIO PNEUMONIA
DIARRHEA CHOLERA RAPHAEL ALCOHOLISM HEPATITIS MALARIA OBESITY
MEASLES DEHYDRATION SCHIZOPHRENIA INGENUITY NAUSEA ADVIL
MALNUTRITION ALLERGIES VALIUM UNTREATED MELANOMA HERPES
ACETAMINOPHEN DYSENTERY ULCER SYPHILIS OSTEOPOROSIS COLDS
LONGEVITY VOMITING PEROXIDE FLASHBACKS LIGGETT MENINGITIS ALS
DIZZINESS TREMORS INFLUENZA SOYBEANS INDIGESTION DIPHTHERIA
INSOMNIA NUMBNESS BULIMIA DEMENTIA LUPUS SIRHAN MENOPAUSAL
AFFECTIONS PIMPLES MAIM MARKIE CHLAMYDIA POLYGAMY }
Abb. 28.7. Beispiel für eine Wortklasse im Sprachmodell von [RS01]
Sei v ein Wort das in das Sprachmodell eingefügt werden soll, und sei
Φ(w) der Index der Klasse in die das Nicht-OOV-Wort w gehört. Für jede
Klasse c ∈ Z wird Φv c (w) definiert als:
Φ v ⎧
⎨Φ(w)
w ∈ V
c(w) = c w = v
⎩
Φ(UNK) sonst
(28.3)
p(w|Φ v ⎧
⎪⎨
p(OOVc|c) · p(v|OOVc) w = v
c (w)) =
⎪⎩ #(w)
#(Instanzen in c)
w ∈ V
(28.4)
wobei
p(OOVc|c) =
und
p(v|OOVc) =
#(OOV-Instanzen in c)
#(alle Instanzen in c)
1
#(verschiedene OOV Wörter in c)
(28.5)
(28.6)
ist annähernd die Wahrscheinlichkeit dafür das Wort v unter den OOV-
Wörtern in c ist, unter der Annahme daß alle Wörter darin gleichverteilt
sind.
Ĉv = argmax c∈Z
wobei H = Φ v c(w1), . . . Φ v c(wj−1)
j p(wj|Φ v c (wj)) · p(Φ v c (wj)|H)
(28.7)
Hier steht wj für das j-te Wort eines Textes der aus der Konkatenation
aus dem Internet heruntergeladener Dokumente, die v enthalten, besteht
Während in Gl. 28.7, H im allgemeinen die gesamte Historie des Wortes wj