Sprachliche Mensch-Maschine-Kommunikation

tf(w, Di) =
#w in Di
|Di|
16.7 Adaption von Sprachmodellen 283
(16.27)
Der Wert tf(w, Di) ist also die Anzahl der Vorkommen von w im
Dokument Di dividiert durch die Größe von Di.
n
idf(w) = log(
) (16.28)
#Dj mit Dj enthält w
Ist w ein Artikel, der in nahezu jedem Dokument sehr oft vorkommt,
dann ist zwar tf(w, Di) relativ groß – zumindest größer als für die meisten
anderen Wörter – aber idf(w) ist nahezu null, da #Dj mit Dj enthält ≈ n.
Somit ist tfidf(w, Di) = tf(w, Di) · idf(w) ≈ 0. Wörter, die in sehr wenigen
Dokumenten vorkommen haben einen relativ hohen idf-Wert.
Bei einem vorgegebenen Vokabular V läßt sich ein Dokument H thematisch
durch einen k-dimensionale Vektor T(H) beschreiben:
T(H) = (tfidf(w1, H), tfidf(w2, H), . . . tfidf(wk, H)) (16.29)
Die tfidf-Distanz zweier Dokumente H1 und H2 läßt sich nun durch
Vergleich von T(H1) und T(H2). Hier kann im einfachsten Fall (für
kleine Vokabulare und große Dokumentemengen) eine Euklidische Distanz
verwendet werden, und für stabilere Resultate einen Korrelationsabstand wie
j=1
k
(tfidf(wj, H1) · tfidf(wj, H2))
j=1
δ(H1, H2) = 1 −
⎛
k
⎝
tfidf 2 ⎞ ⎛
k
(wj, H1) ⎠ ⎝ tfidf 2 ⎞ (16.30)
(wj, H2) ⎠
In Gl. 16.30 ist δ(H1, H2) = 0 wenn H1 = H2, und δ(H1, H2) = 1, wenn
die Menge der Wörter in H1 und die Menger der Wörter in H2 disjunkt
sind. Aus mathematischer Sicht gilt auch: 1 − δ(H1, H2) ist der Cosinus
des Winkels zwischen den Vektoren T(H1) und T(H2) im R k . Aus dem
Bereich des Information-Retrieval und Data-Mining sind zahlreiche weitere
vergleichbare Distanz- und Ähnlichkeitsmaße bekannt.
Die Adaption eines Standard Sprachmodells λ S auf das aktuelle Thema
kann nun wie folgt durchgeführt werden. Die beste verfügbare Beschreibung
j=1