NB-BibliothecaNova 0414nett

Statistikken gir et mål på variasjon i materialet. Ikke alle ord er likt fordelt
på de forskjellige DDK-numre. De ordene som er typiske for en klassifikasjonskode
antas å klumpe seg sammen under denne, og muligens også
grupperes under forskjellige klassifikasjonskoder i varierende grad. For
innholdsord er det viktig å ta med et slikt mål da ren frekvenstelling (relativ
eller absolutt) ikke duger. Høyfrekvente ord som og, en og på 5 er jevnt fordelt
over kategorier, og kan derfor neppe sies å være assosiert med en eller annen
kategori: de tilhører alle grupper. De topp femti ordene i norsk er gjerne de
samme på tvers av klassifikasjonskoder.
Det kan likevel være interessant å se på variasjonen i høyfrekvente ord, da
den innbyrdes fordelingen mellom dem kan være bærer av informasjon.
Enkelte grupper kan ha mer enn andre. Det er en forskjell i ratioen mellom
preposisjonen i og konjunksjonen og på tvers av klassifikasjonskodene 6 .
Ser vi på frekvensfordelingen (relativ frekvens) av ordet smør i figur 1, er det
to klare topper, en for DDK 641 (mat og drikke) og en for DDK 336 (offentlige
finanser). Visuelt er det lett å se hvilke klassifikasjoner smør tilhører.
Figur 1 Relativ frekvens for smør over DDK
Et kvantitativt mål for den type distribusjon får vi i såkalt PMI (Pointwise
Mutual Information, ett av flere mål på samvariasjon) 7 for DDK og
innholdsordet. I korthet beregnes PMI for frekvensdata ved å se på den
predikerte samforekomsten med den faktiske, slik at ord som klumper seg
5 Også kjent som stoppord i søkemotorer.
6 I snitt er det 1.3 ganger så mange og som i med et standardavvik på 0.3. Flere
frekvenslister innenfor forskjellige DDK har over dobbelt så mange og som i, noe som er
over 2 ganger standardavviket.
7 Kenneth Ward Church og Patrick Hanks (1990). «Word association norms, mutual
information, and lexicography”. Computational Linguistics 16 (1): 22–29.
67