NB-BibliothecaNova 0414nett

sammen under en kode vil gi høy score, mens ord som fordeler seg jevnt over
kodespekteret vil gi lav score.
Logikken bak PMI prøve å fange inn egenskapene til visualiseringen i figur
1. Det er fire størrelser som inngår når vi tar for oss et ord og en kode i en
samling:
1. Størrelsen på hele samlingen (T)
2. Antall forekomster O for det aktuelle ordet i hele samlingen
3. D, som er det totale antall ord i tekstene som er klassifisert med det
aktuelle DDK-nummeret.
4. Antallet ganger ordet forekommer i tekster med koden, OD, som utgjør
samforekomsten mellom kode og ord.
Den relative frekvensen for et gitt ord blir O/T, og den predikerte samforekomsten
av ordet med DDK, blir da P = D*O/T, altså at ordet er jevnt
fordelt over delgruppene av materialet. Det betyr at om et ord har en relativ
frekvens på 0,005 % (smør ligger litt i underkant) i materialet, og koden
forekommer 200 000 ganger, kan man forvente at ordet skulle forekomme
200000*0.00005 = 10 ganger under den klassifikasjonen. Målet for hvor
nært ordet henger sammen med klassifikasjonskoden fås ved å dividere den
faktiske forekomsten OD på den forventede, OD/P. PMI for frekvensdata
defineres gjennom å ta logaritmen av den ratioen: PMI = log(DO/P). Den
størrelsen kan benyttes til å sammenligne ord innenfor en gitt klassifikasjonskode,
i tillegg til å finne beste klassifikasjon for et gitt ord.
Statistiske mål vil ikke uten videre plukke ut gode semantiske ord, ord som er
relatert til emnet, da det kan være forskjellige grunner til at ord klumper seg
rundt en spesifikk DDK. Det kan være idiosynkratiske skrivemåter for en forfatter,
og et ord kan brukes sjelden. Et ord kan tilhøre en lite brukt skriftnorm som
for eksempel former innenfor radikalt bokmål (e.g. flertallsformene morfemene
vs. morfema). Selv om slike ord kan fungere som markører for klassifikasjonen
trenger de ikke ha de semantiske egenskapene man er ute etter.
Innholdsordene bør ha en viss utbredelse innenfor koden. For å unngå at
lavfrekvente ord dominerer, vektes PMI med et mål på spredningen av ordet.
Vår kandidat er å vekte PMI med kvadratroten av frekvensen til samvariasjonen.
Mens PMI måler hvor sterkt ordet er knyttet til klassifikasjonskoden vil
kvadratroten av frekvensen gi et mål på spredningen, samtidig som høyfrekvente
ord ikke får så stor vekt. For å hindre at spesielt særegne ord blander
68