Miniprojekt 1: Felrättande koder och modellering av data

TNA005 VT 2008
Michael Hörnquist 21 januari 2008
Miniprojekt 1:
Felrättande koder och modellering av data
I den här uppgiften studerar vi en metod för att koda budskap så att man kan upptäcka och
korrigera fel som uppstår under överföringen. Målet är att hitta en matematisk beskrivning av hur
pass effektiv den metod vi utvecklar är.
Eftersom avsnitten om koder saknar direkt stöd i kurslitteraturen kommer den delen av den här
texten att bli betydligt längre än för andra miniprojekt. Trots det är den tämligen ytlig, och
den student som önskar se mer hänvisas till referenslistan. Avsnitten om modellering av data är
betydligt kortare, eftersom ni där hittar det mesta i Jönsson.
Lite om Z 2 och moduloräkning
I en binär värld har vi endast två siffror, nämligen 0 (noll) och 1 (ett). 1 Låt oss nu ändra de
aritmetiska lagarna för addition och multiplikation till att uppfylla
+ 0 1
0 0 1
1 1 0
· 0 1
0 0 0
1 0 1
Det ser lite egendomligt ut att ”1 + 1 = 0”, men det behöver inte vara märkvärdigare än att man
”börjar om” efter ett, pss som klockan börjar om efter kl 12. Klockan räknas modulo 12, och här
räknar vi modulo 2. 2 Vår mängd av tal, {0, 1}, utrustade med ovanstående räkneregler, kallas för
mängden heltal modulo 2 och betecknas Z 2 . 3
Om vi önskar kan vi skapa vektorer där elementen hämtas från mängden Z 2 , exempelvis består
mängden Z 3 2 av vektorerna
⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞
⎝ 0 0⎠ , ⎝ 0 0⎠ , ⎝ 0 1⎠ , ⎝ 0 1⎠ , ⎝ 1 0⎠ , ⎝ 1 0⎠ , ⎝ 1 1⎠ och ⎝ 1 1⎠ ,
0 1 0 1 0 1 0 1
och vi använder samma räkneregler som för Z 2 . En skalärprodukt blir t.ex.
⎛ ⎞ ⎛ ⎞
⎝ 1 0⎠ · ⎝ 1 1⎠ = 1 · 1 + 0 · 1 + 1 · 0 = 1 + 0 + 1 = 0.
1 1
1 Skilj på siffror och tal! Ni förutsätts inte vara bekanta med hur man kodar tal i basen två, utan det räcker att
ni inser att det borde gå att göra.
2 De som har läst digitalteknik har måhända vant sig vid att associera tecknet ”+” med den logiska operation
OR. Här står ”+” istället för XOR.
3 Matematiskt kallas en mängd som är sluten under en räkneoperation (t.ex. addition), samt har enhetselement,
invers och uppfyller associativa lagen, för en grupp. Vi kommer inte gå in närmare på det här.
1

Felupptäckande koder
Grunden för felupptäckande koder är redundans, dvs att koden innehåller mer information än vad
som skulle behövas om inga fel kunde uppstå. Om vi skall skicka en binär sträng, bestående av
ettor och nollor, så skulle vi få en felupptäckande kod genom att skicka varje tecken två gånger.
Alltså, ’10010’ skulle skickas som ’ 10010
10010 ’. Förvisso skulle fel upptäckas av mottagaren, men det
förefaller inte vara ett helt optimalt utnyttjande av resurserna.
Ett mycket enkelt sätt att upptäcka enstaka fel är att använda en s.k. paritetsbit. Om vi tänker
oss att det är bokstäver vi vill skicka är det naturligt att använda grupper om fem bitar 4 och då
blir paritetsbiten en sjätte bit vi lägger till så att antalet ettor blir ett jämt tal. Notera att det
förutsätter att vi tänker oss bitarna ordnade i block och därmed kallas det också för en blockkod.
Om vi låter ’A’ vara 1, ’B’ två, osv, till ’Ö’ 29, och sedan omvandlar till binärt kommer ’M’ att
kodas som ’01101’ (=13). Eftersom det är tre ettor i denna sträng, låter vi den sjätte biten också
vara en etta så antalet blir jämt. Koden för ’M’ blir då ’011011’. Vid avkodning börjar vi med att
räkna bitar, och om endast ett fel har uppstått visar det sig direkt när vi räknar ettor att vi inte
kan lita på det vi tar emot.
Två uppenbara problem är dock att vi inte kan upptäcka om två fel har uppstått (eller överhuvud
taget ett jämt antal), och vi har heller ingen aning om vilket tecken det var som avsändaren önskade
skicka. Klart dock att det vi har är vida bättre än ingenting.
Felrättande koder
Också för felrättande koder är grunden redundans. Om vi skickar mer information än vad som
krävs vid garanterat felfri överföring, så kan vi inte bara upptäcka utan också korrigera fel som
uppstår på vägen. Enklast tänkbara felrättande kod skulle vara att upprepa varje bit tre gånger,
så att (10010) skickas som
⎛ ⎞
10010
⎝10010⎠ .
10010
Förvisso kan enstaka fel båda upptäckas och korrigeras med denna kod, men den är fruktansvärt
ineffektiv.
Det är ett mycket stort forskningsområde att undersöka hur man ordnar goda felrättande koder.
Den teoretiska grunden lades på 1940-talet av Shannon, Hamming, m.fl., men det finns fortfarande
mycket att göra. Den matematiska teori som kommer till användning omfattar bl.a. abstrakt algebra
med Galoisteori och diskreta strukturer. Vi skall dock inte gå längre här än att vi klarar oss med
en grundkurs i linjär algebra.
Hammingkoder
En viktig standardkod är den s.k. Hammingkoden, som kan användas för att konstruera koder som
upptäcker och rättar fel i enskilda bitar i ett block. Idag används den mer sällan i tillämpningar,
men kan ändå komma till nytta för att illustrera viktiga principer inom kodningsteorin.
4 eftersom vi har 29 bokstäver i alfabetet och 2 4 < 29 ≤ 2 5
2

Antag nu att vi har en vektor x ∈ Z 4 2 som vi vill koda till en kodvektor så att vi får möjlighet
att upptäcka och rätta enstaka fel som kan ha uppstått under överföringen. Det visar sig att vi
kan klara det redan med tre paritetskontroller, svarande mot tre paritetsbitar som vi får lägga till
för att erhålla kodvektorn. Om vi väljer vår generatormatris, som genererar kodvektorn c, genom
att använda så många parvis linjärt oberoende vektorer i Z 3 2 som möjligt, kan vi lyckas med detta.
Tag exempelvis matrisen
⎛
A = ⎝ 1 1 0 1 ⎞
1 0 1 1⎠ .
0 1 1 1
Dess kolonner är parvis linjärt oberoende, och även oberoende mot enhetsbasen. Det senare är
väsentligt, då vi önskar att de 4 översta elementen i kodvektorn c skall utgöras av vektorn x.
Forma nu generatormatrisen G enligt
G =
( )
E4
, dvs G =
A
⎛ ⎞
1 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
.
⎜1 1 0 1
⎟
⎝1 0 1 1⎠
0 1 1 1
En kodvektor c formas nu enligt
c = Gx.
Om vi vill skicka x = (0111) t (motsvarande talet ”7”), så får vi alltså kodvektorn
c = G(0111) t = (0111001) t .
De tre paritetskontrollerna kan nu skrivas P c = 0, med matrisen P = (AE 3 ), kallad paritetskontrollmatrisen,
dvs
⎛ ⎞
c 1
⎛
⎞
c 2
⎛ ⎞
1 1 0 1 1 0 0
c 3
0
⎝1 0 1 1 0 1 0⎠
c 4
= ⎝0⎠ .
0 1 1 1 0 0 1
⎜c 5
⎟ 0
⎝c 6
⎠
c 7
Om vår kodade sjua skulle råka bli förvrängd under överföringen till c ′ = (0101001) t , så får vi
P c ′ = (011) t . Uppenbart har ett fel uppstått, men vi kan också se att paritetskontrollen gav
upphov till en vektor som även återfinns som matrisen P s (eller, likvärdigt, matrisen As) tredje
kolonn. Då kan vi dra slutsatsen att det är den tredje komponenten i kodvektorn som är förvrängd,
och den urspungliga information som skickades var (0111).
Ovanstående förefaller nästan magiskt. Låt oss därför formulera följande sats (formuleringen är
tagen ur Poole):
Sats:
Om G = ( )
E k
A är en generatormatris och P = (BEn−k ) är en paritetskontrollmatris, så hör P
ihop med G om och endast om A = B. Motsvarande binära (n, k)-kod är enkelfelrättande om och
endast om kolonnerna i P är parvis linjärt oberoende.
Bevis:
Låt P och G vara som i förutsättningarna för satsen.
3

Antag först att de är paritetskontrollmatris och generatormatris för samma binära (n, k)-kod. För
alla x ∈ Z k 2 gäller då P Gx = 0. Det innebär att
( )
Ek
Bx + Ax = (B + A)x = (BE n−k ) x = P Gx = 0.
A
Eftersom vi räknar modulo 2, så följer att Ax = Bx. Genom att nu välja x = e i (enhetsbasen) för
i = 1, · · · , k får vi att B = A.
Antag sedan att B = A. För ett godtyckligt x ∈ Z k 2 gäller då
( )
Ek
P Gx = (AE n−k ) x = (A + A)x = 0,
A
eftersom A + A alltid måste vara nollmatrisen.
Återstår att visa att koden är enkelfelrättande. Låt x ∈ Z k 2 vara meddelandet, som kodas till
c = Gx ∈ Z n 2 . Antag att vid överföringen uppstår ett fel i komponent i, varvid kodordet blir
c ′ = c + e i . Vid avkodningen får vi
P c ′ = P (c + e i ) = P c + P e i = 0 + p i = p i ,
där p i är kolonn i i matrisen P . Eftersom kolonnerna i P är parvis linjärt oberoende är inga av
dem lika, och ingen är nollvektorn. Alltså kan vi identifiera vilken bit som har blivit förvrängd vid
överföringen. VSB.
Koder som konstrueras på detta sätt kallas för (n, k) Hammingkoder. I exemplet ovan har vi alltså
en (7, 4) Hammingkod. Allmänt gäller för optimala Hammingskoder att n = 2 n−k − 1, dvs alla
kombinationer av n och k är inte möjliga (i och för sig kan vi alltid konstruera ex.vis en (9, 5)-kod
(dvs fyra paritetsbitar till block med fem bitar), men det blir då ett mindre optimalt utnyttjande
av den begränsade överföringskapaciteten). Speciellt om vi önskar koda text så krävs minst sex
bitar (29 bokstäver och 10 siffror är ett minimum). Dessvärre finns tydligen ingen Hammingkod
med k = 6, så man måste öka antalet bitar. Vilka är de minsta värden på n och k som duger?
Finns det andra sätt att lösa det här problemet?
Modellering av data
Grundfrågan här är hur man utifrån mätdata kan skatta parametrar, givet att vi vet eller kan gissa
något samband där parametrarna ingår och vi kan mäta övriga storheter. Matematiskt handlar det
om att vi löser ekvationssystem där vi har fler ekvationer än obekanta, och där ingen exakt lösning
finnes. Praktiskt får vi skilja på på fallet när vi känner funktionsformen från den underliggande
verkligheten och exempelvis fysikaliska samband, och fallet när vi endast har datamängden i sig
utan någon förklaringsmodell.
Känd förklaringsmodell
Betrakta exempelvis hur man mätt strömmen I genom en resistor och samtidigt mätt spänningsfallet
U över resistorn ihop med en okänd spänningskälla. Enligt Ohms lag vet vi att kvoten mellan
spänning och ström för en resistor är konstant, och vi kallar det för resistorns resistans. Om vi
antar att resistorns resistans är R och den okända spänningskällan har en spänning V 0 , så måste 5
5 ”Måste” är här ett starkt ord. Givetvis är det en modell vi framställer, och i det här fallet försummar vi
spänningskällans inre resistans, att Ohms lag inte är exakt, strömmen genom voltmetern, för att bara nämna några
förbehåll. Allmänt gäller att graden av exakthet i modellen måste svara mot vilket användningsområde man tänker
sig för den.
4

varje talpar (U, I) vi mäter uppfylla U = V 0 + RI. Med exakt två mätningar på (U, I) får vi då
väldefinierade värden på R och V 0 . Men om vi gör ytterligare en mätning får vi tre ekvationer
som antagligen inte alla kan vara sanna samtidigt. Alltså handlar det här om att bestämma det
värde på parametrarna som ger upphov till ”minsta felet”. Givetvis bör man fortfarande ge akt på
kurvformen för att se att man inte gör något uppenbart orimligt (i det här fallet att anpassa en
rät linje till mätdata), men det är sällan där problemet ligger.
Okänd förklaringsmodell
När vi inte är bekanta med vilken form av ekvation som kan beskriva uppmätta data har vi ett
knepigare fall. Här måste vi istället använda oss av allmän kunskap om hur olika funktionskurvor
ser ut för att pröva oss fram. Genom att logaritmera den ena eller bägge axlarna kan vi i enklare
fall se om vi bör använda exponential- eller potensfunktioner för att modellera data. Andra sätt
kan vara att plotta kvoten av y- och x-värdena längs y-axeln och behålla x-värdena längs x-axeln,
o.s.v. Variationsmöjligheterna är oändliga.
Praktiskt måste man också på något sätt avgöra när en ekvation är ”tillräckligt bra”. Det är en
fråga för matematisk statistik och faller utanför ramen för den här kursen, varför vi enbart kommer
att plotta ekvationerna och med ögat avgöra om det ser rimligt ut. På engelska kallas detta ofta
”Chi by eye” och är något som proffs starkt avråder från. Inte dessto mindre är det mycket vanligt
förekommande bland såväl ingenjörer som vetenskapare.
Matematisk behandling
Från kursen i linjär algebra antas ni förtrogna med minstakvadratproblem och med normalekvationerna
för att lösa sådana. Minns dock att det enbart handlade om linjära system (ibland efter
förprocessande av data, såsom logaritmering). Kort gick det ut på att om man önskar ”lösa” x i
det överbestämda systemet
Ax = b,
så kan man tolka det som att finna det x som minimerar |Ax − b|. Matrisen A kallas ofta designmatrisen
och beskrivs mer ingående i Jönsson. En exakt omformulering av minimeringsproblemet
ovan är normalekvationerna
A t Ax = A t b,
som ofta visar sig ha en väldefinierad lösning.
Men. . .
I praktiska problem visar sig dessa normalekvationer otrevligt ofta ha mycket dåliga numeriska
egenskaper. De är störkänsliga såtillvida att små fel i indata i A kan ge stora fel i x. Man talar om
att konditionstalet för matrisen A t A är stort (se Jönsson kap. 8.7). I MatLab tar dock den inbyggda
ekvationslösaren hand om eventuella dåliga konditionstal hos A t A och väljer en tillräckligt bra
metod för att inte numeriska instabiliteter skall uppstå. 6
Sammanfattning: Lös normalt inte normalekvationerna, åtminstone inte för stora problem. Använd
istället MatLabs inbyggda ekvationslösare, eller konsultera en lärobok i numeriska metoder.
6 En annan mer stabil lösning, som inte bygger på MatLab, är att faktorisera matrisen A i en s.k. singulärvärdesuppdelning
A = UΣV t (se Baravdish).
5

Uppgift
Du har just påbörjat ditt första jobb som civilingenjör, och får till uppgift att avrapportera till
företagets ledningsgrupp hur pass effektiv Hammingkodning är. Ledningen är primärt intresserad
av resultatet, men kräver att det är dokumenterat i god vetenskaplig ordning.
Ni skall ta fram funktionssamband som visar hur effektiv Hammingkoden är och illustrera dessa
med grafer. Välj själva den Hammingkod ni anser vara mest intressant att studera, och motivera
valet. På x-axeln skall anges brusnivå för överföringskanalen och på y-axeln hur stor andel av de
överförda tecknen som fortfarande är felaktiga även efter rättning enligt Hamming. 7 Intervallet på
x-axeln anpassas rimligen till den del som kan vara intressant i sammanhanget. Även andra grafer
kan visa sig vara fördelaktiga att inkludera, t.ex. hur stor andel fel som uppstår utan rättning.
De approximativa funktionssamband ni tar fram för de aktuella graferna skall vara baserade på
minstakvadratanpassingar.
Redovisning
Ni skall redovisa arbetet på max två A4-sidor, samt muntligt, enligt kursinformationen. Rapporten
utformas i enlighet med den lathund som finns på kurshemsidan. Vid presentationen skall
ni föreställa er att ni står inför företagsledningen och redovisar vad ni kommit fram till. Till oppositionen
blir ni dock studenter igen.
Referenser
Baravdish Linjär algebra, TNA002, G. Baravdish, kompendium utgivet av ITN, Linköpings universitet
2007. [Främst kapitel 14.]
Jönsson MATLAB-beräkningar inom teknik och naturvetenskap, andra utgåvan, P. Jönsson, Studentlitteratur,
Lund 2006. [Främst kapitel 12.1 – 12.5.]
Poole Linear algebra, D. Poole, Brooks/Cole, 2003. [Tidigare kurslitteratur i kursen i linjär algebra;
innehåller några (bra) sidor om Hammingkoder samt en hel del om Z 2 .]
7 Med brusnivå avses sannolikheten att en bit byter värde under överföringen. Praktiskt kan man låta en slumptalsgenerator
alstra lika många tal som överföringen har bitar. Dessa tal skall vara likformigt fördelade mellan noll
och ett, och om värdet understiger brusnivån byter man tecken på motsvarande bit. För enkelhets skull kan ni här
använda det något orealistiska antagandet att bruset, dvs slumptalen, är oberoende av varandra.
6