Automatische detectie van verkeersborden. - Departement ...

HOGESCHOOL GENT
Academiejaar 2003 – 2004 Departement Industriële Wetenschappen
BME - CTL
Schoonmeersstraat 52 - 9000 Gent
Automatische detectie van
verkeersborden
Eindwerk voorgedragen tot het behalen van het diploma van
INDUSTRIEEL INGENIEUR IN ELEKTROMECHANICA OPTIE AUTOMATISERING door :
Francis DECRAEMER, Jelle PROOT
Promotor Hogeschool : Prof. ir. dr. Peter Veelaert
1

Woord vooraf
Onze dank gaat uit naar prof. dr. ir. Peter Veelaert, die ons heeft bijgestaan bij de realisatie
van ons eindwerk. Zijn technische kennis en vele raadgevingen hebben ons op de goede
weg gezet.
Ook aan onze ouders die ons de mogelijkheid hebben gegeven om verder te studeren en ons
te steunen in de keuzes die we hebben gemaakt, een woord van dank.
We danken ook iedereen die ons gesteund heeft tijdens onze studies voor industrieel
ingenieur: de professoren en assistenten die ons zeer veel technische kennis hebben
bijgebracht.
Francis Decraemer, Jelle Proot
Gent, mei 2004
2

Abstract
Doelstelling voor ons onderzoek is het vinden van een oplossing die verkeersborden
automatisch kan detecteren. Het herkenningssysteem dat we hiervoor ontwikkelden,
kunnen we in twee grote delen opsplitsen. In het eerste deel lokaliseren we het
verkeersbord op een globaal beeld/foto door middel van verschillende algoritmes. We
maken gebruik van twee eigenschappen van verkeersborden: de specifieke kleur en de
vorm.
In het tweede deel classificeren we de verkeersborden via een neuraal net. We gaan na of
de lokalisatie van het verkeersbord goed is verlopen en bepalen vervolgens welk type
verkeersbord er op de foto staat.
We hebben het herkenningssysteem op een driehonderdtal beelden getest en in 73% van de
gevallen waren de resultaten perfect.
3

Woord vooraf
Abstract
Inhoudstafel
Inleiding 7
Hoofdstuk 1: Kleurfilter 10
RGB-kleurmodel 10
HSV-kleurmodel 11
HSV-kleurfilter 12
a. Principe 13
b. Implementatie 13
c. Voorbeelden 14
d. Conclusie 15
Roodfilter 16
a. Principe 16
b. Implementatie 17
c. Voorbeelden 18
d. Conclusie 19
Blauwfilter 19
a. Principe 19
b. Implementatie 20
c. Voorbeelden 20
d. Conclusie 22
Witfilter 22
a. Principe 22
b. Voorbeelden 24
Zwartfilter 25
a. Principe 25
b. Voorbeelden 26
Hoofdstuk 2: Edge detectie 27
Algemeen 27
Sobel 27
Canny 29
Canny of Sobel 31
Morfologische bewerkingen 31
a. ‘skel’ 31
b. ‘bwareaopen’ 32
c. ‘clean’ 32
d. ‘fill’ 32
Voorbeelden 33
Conclusie 41
4

Hoofdstuk 3: Cirkeldetectie 42
Wat is een goede cirkel? 42
Random 44
Problemen 44
Oplossingen 44
Extraheren van de cirkel 45
Voorbeelden 46
Conclusie 49
Hoofdstuk 4: Lijndetectie 50
Algemeen 50
Wat zijn poolcoördinaten? 50
Ransac 51
Radon 51
Keuze 52
Problemen 52
Oplossing 53
Hoofdstuk 5: Driehoekdetectie 54
Wat is een driehoek? 54
Implementatie 54
Bepalen van de snijpunten 57
Problemen 57
Oplossingen 58
Extraheren van de driehoek 59
Voorbeelden 59
Conclusie 69
Hoofdstuk 6: Rechthoekdetectie 70
Wat is een rechthoek? 70
Implementatie 70
Problemen 71
Oplossingen 71
Extraheren 71
Voorbeeld 72
Hoofdstuk 7: Classificatie van verkeersborden 73
Wat is een neuraal net? 73
Driehoeken 75
a. Wat is een Fourier transformatie? 75
b. Implementatie 76
Cirkels 77
a. Algemeen 78
b. Implementatie 79
Voorbeelden 80
Conclusie 81
5

Hoofdstuk 8: Testen van het herkenningssysteem 82
Gaussian Noise 82
Wazig maken van het beeld 84
Allerlei bewerkingen 85
Rotaties 88
a. Cirkelvormige verkeersborden 88
b. Driehoekige verkeersborden 89
Conclusie 90
Hoofdstuk 9: Conclusie 91
Opbouw van het volledige herkenningssysteem 91
Voorbeelden 92
Conclusie 97
Appendix A: Thumbnails 98
Appendix B: Code van het herkenningssysteem 107
Literatuurlijst 143
6

Inleiding
De originele bedoeling van ons eindwerk bestond erin via een camera in een auto
verkeersborden langs de kant van de weg te detecteren en te classificeren. Hoewel er over
de jaren heen al veel onderzoek werd gedaan om zo’n systeem te ontwikkelen, is er nog
geen in de praktijk toepasbare oplossing voorgesteld.
Het eerste systeem werd al in 1984 in Japan ontwikkeld. Bedoeling was een computer
visiesysteem te realiseren dat detectie van objecten buitenshuis mogelijk moest maken.
Begin de jaren ‘90 hebben verschillende onderzoeksgroepen verdere research gedaan om
een herkenningsysteem te maken. Hun focus was gericht op verkeersborden.
Zo werden twee systemen ontwikkeld die het mogelijk maakten randen (edges) te
herkennen en kleuren af te zonderen. Voor de classificatie werd gebruikt gemaakt van een
neuraal net [1].
Een van de wellicht betere systemen voor het herkennen van verkeersborden werd in Israël
gebouwd, waar een groot onderzoek rond dit thema werd opgezet. Voor de classificatie van
verkeersborden werd gebruik gemaakt van een support vector machine, een type van een
neuraal net [2].
Ons eindwerk is de eerste fase van een project dat over verschillende jaren zal lopen. Het
doel van het project is in hardware een herkenningssysteem te maken dat real time
verkeersborden kan herkennen en classificeren.
Wij startten ons onderzoek met het gebruiken van LabVIEW teneinde onze beelden in real
time te verwerken. Maar de verwerkingsmogelijkheden van LabVIEW zijn te beperkt en
noodzaakten ons op MATLAB over te schakelen.
We hebben ons toegelegd op het verwerken van digitale foto’s die langs de Belgische
wegen genomen zijn.
Op die foto’s, beelden genoemd, voeren we allerlei bewerkingen uit. Eerst proberen we
zoveel mogelijk de rode en blauwe vlakken uit ons beeld te filteren. Daarna zoeken we naar
de randen. Wanneer we die randen hebben gevonden, zoeken we naar geometrische
figuren, die kunnen voldoen aan de eisen die de Belgische regering aan een verkeersbord
oplegt. Die geometrische figuren – rechthoek, cirkel of driehoek – extraheren we uit ons
beeld zodat we een nieuw beeld verkrijgen waar alleen nog maar het vermoedelijke
verkeersbord op aanwezig is.
De laatste stap in het proces is de classificatie van de verkeersborden. Aangezien het
helemaal niet zeker is dat het geëxtraheerde beeld een verkeersbord is, bestaat de eerste
stap bij de classificatie erin na te gaan of we al dan niet met een verkeersbord te maken
hebben. Is het een verkeersbord, dan gaan we nog een stap verder en onderzoeken we om
welk type het gaat. We zijn in staat verschillende types verkeersborden te classificeren:
gebodsborden, verbodsborden en gevarendriehoeken.
Stel dat we een driehoek als gevarendriehoek classificeren, dan weten we niet precies
welke gevarendriehoek het is, enkel dat het over een gevarendriehoek gaat. Voor de
gebodsborden en verbodsborden is dat net zo.
7

Toch wilden we er in slagen enkele borden volledig te classificeren. We hebben ons
gefocust op de borden B06 en C02. B06 is het verleen voorrang bord: een driehoek met de
top naar beneden, een rode band en enkel wit tussen de band. C02 is het eenrichtingsweg
bord. Een rode cirkel met een witte streep. Die twee borden kunnen we herkennen.
Wanneer we een digitale foto in ons programma inladen, geeft het met 73% zekerheid
correct de informatie weer die op het beeld staat.
De tijd die het volledige herkenningssysteem nodig heeft, hangt af van de hoeveelheid ruis
op het beeld en van de computersnelheid. Bij weinig ruis ligt de tijd rond de 40 à 50
seconden. Als er veel ruis aanwezig is, stijgt de tijd naar een 3-tal minuten. De gemiddelde
tijd bedraagt 1 minuut en 34 seconden.
8

Beeld filteren met
rood filter
Hoofdstuk 1
Randen zoeken op
het beeld
Hoofdstuk 2
Lijnen zoeken op
het beeld
Hoofdstuk 4
Driehoek zoeken
via de gevonden
lijnen
Hoofdstuk 5
Stroomdiagram herkenningssysteem
Rechthoeken
zoeken via de
gevonden lijnen
Hoofdstuk 6
Classificatie van de Driehoek
RoodFilter
toepassen
Fourier analyse
Neuraal net
Perceptron
Hoofdstuk 7
Inlezen Beeld
Inleiding
Cirkels zoeken
Hoofdstuk 3
Classificatie van de Cirkel
Kleuren bepalen
van de cirkel
Neuraal net
Perceptron
Beeld filteren met
blauw filter
Hoofdstuk 1
Randen zoeken op
het beeld
Hoofdstuk 2
Hoofdstuk 7
9

Hoofdstuk 1: Kleurfilter
In dit hoofdstuk zullen we het belang aantonen van het ‘filteren’ van een foto. Met
filteren bedoelen we: zoveel mogelijk achtergrondinformatie uit het beeld
verwijderen, zonder de eventuele verkeersborden op de foto te beschadigen. Bij een
perfect gefilterd beeld zouden we alleen maar een wit verkeersbord op een zwarte
achtergrond mogen zien. Dat werkt natuurlijk niet perfect, er blijft altijd ‘ruis’ op het
beeld aanwezig. Met ruis bedoelen we dat er na het filteren nog informatie van de
achtergrond op het beeld is te zien.
Er zijn verschillende methodes, die we ook hebben uitgetest, om een beeld te filteren.
Elke methode heeft zijn voordelen en beperkingen, maar heeft wel tot het
uiteindelijke resultaat bijgedragen.
We hebben ervaren dat het in het geval van verkeersborden onmogelijk is om een
beeld te filteren zonder rekening te houden met de kleur. Daarom zullen we eerst wat
dieper ingaan op RGB en HSV, twee zeer bekende methodes om kleuren weer te
geven. Vervolgens bespreken we de methodes die tot het uiteindelijke resultaat
hebben geleid.
RGB-kleurenmodel
RGB, de afkorting van Rood, Groen en Blauw, is een kleurenschema dat standaard wordt
gebruikt voor de kleurweergave in videosystemen, filmapparatuur en computerschermen.
RGB vertegenwoordigt alle kleuren die door de combinatie van rood, groen en blauw
kunnen ontstaan.
De beelden of foto’s in RGB zien er uit als een driedimensionale matrix. De matrix bestaat
uit 3 lagen, die Rood, Groen en Blauw voorstellen. Elk van die lagen bevat een aantal rijen
en kolommen. Als er bijvoorbeeld wordt gezegd: “de foto is 480 op 640”, dan wil dat
zeggen dat er 3 tabellen op elkaar liggen met een grootte van 480 rijen en 640 kolommen.
Elke positie heeft een waarde die dan wordt samengeteld om de exacte kleur te berekenen.
Die waarden zijn meestal 8-bit zodat er een waarde tussen 0 en 255 kan worden gegeven.
Het is uiteraard mogelijk om dat uit te breiden naar bijvoorbeeld 16 bits of meer. Maar hoe
hoger het aantal bits wordt, hoe meer geheugen dat zal vragen voor de verwerking.
Standaard wordt er met 8 bits gewerkt. Het aantal kleuren dat zo kan worden gevormd, is:
256*256*256 = 16.777.216.
De verhouding van de kleuren ten opzichte van elkaar kan het best worden aangetoond aan
de hand van een kubus. In figuur 1 is de kubus weergegeven.
Figuur 1 – Weergave verhouding kleuren t.o.v. elkaar (RGB)
10

De kleuren hebben hier een maximale waarde van 1, maar dat kan gemakkelijk worden
omgezet naar 255. De 6 vlakken van de kubus stellen alle kleuren voor die tussen de 8
hoekpunten liggen.
In figuur 2 zien we ook de kleuren die geen extreme waarden bezitten.
Figuur 2 – Weergave kleurenpalet RGB
Het RGB-model is het meest gebruikte kleurenschema voor het bekijken van en werken
met digitale beelden op een scherm.
HSV-kleurenmodel
Het HSV-model is een veel gebruikt model om kleuren te definiëren. Net zoals bij het
RGB-kleurenmodel hebben we hier een driedimensionele matrix, zodat we er niet verder
op in zullen gaan. HSV, Hue, Saturation en Value zijn hier de drie waarden waarmee we
kleuren definiëren.
Hue, de kleurtint, heeft waarden van 0° tot 360°. De kleuren die voor ons belangrijk
zijn: rood (0°) en blauw (240°) kunnen we hier gemakkelijk terugvinden. In
MATLAB zijn die waarden tussen 0 en 1 gelegen.
Saturation, verzadiging, heeft waarden tussen 0 en 1 (ook in MATLAB). Is die
waarde 1, dan heb je de zuivere kleur. Naarmate we 0 naderen, krijgen we meer en
meer grijs in onze kleur. Wanneer het S-vlak volledig 0 is, zien we geen verschil
meer tussen rood en blauw.
Value, brightness of kleursterkte, heeft waarden tussen 0 tot 1 (ook in MATLAB).
Als de waarde dichter bij 1 komt, wordt de kleur lichter.
De onderlinge relatie van de drie vlakken is visueel voorgesteld in figuur 3 en figuur 4.
11

Figuur 3 – Kleurencirkel toont relatie tussen Hue, Saturation en Value (HSV)
Figuur 3, de kleurencirkel, geeft de relatie weer van de 3 afzonderlijke vlakken.
Een andere, veel gebruikte, manier om het HSV-kleurvlak visueel voor te stellen zien we in
Figuur 4. Het geeft een conisch beeld. De Hue-waarde is de cirkel, wat verklaart waarom
de Hue-waarde tussen 0° en 360° ligt. De Saturatie-waarde ligt van het middelpunt tot aan
de rand van de cirkel. De Value-waarde wordt bepaald door de lengte ten opzichte van het
onderste punt van de kegel.
Als de Value-waarde 0 nadert, kunnen we duidelijk zien dat de andere 2 vlakken nog
weinig invloed op de kleur hebben.
Figuur 4 – Conische weergave van relatie tussen Hue, Saturation en Value (HSV)
HSV-kleurfilter
De eerste filter die we geprogrammeerd hebben, werd niet weerhouden in ons uiteindelijke
herkenningssysteem. Toch willen we hem van naderbij voorstellen omdat de filter in
bepaalde omstandigheden bijna perfect werkt.
Bij de eerste filter hebben we geprobeerd rode en blauwe verkeersborden tegelijkertijd te
herkennen. Later zijn we van dat principe afgestapt omdat de resultaten niet voldoende
waren voor de eisen die we aan een kleurfilter stellen. De eerste filter is gebaseerd op het
12

HSV-kleurenvlak. Aangezien het beeld dat we uit de camera ontvangen in RGB is, moeten
we het beeld eerst naar het HSV-vlak converteren.
a) Principe
Verkeersborden hebben bijna altijd heldere kleuren. Als we dat naar het HSV-vlak
vertalen, wil dat zeggen dat de waarden in het Saturation- en Value-vlak vrij hoog zijn.
Wanneer we die twee vlakken optellen, verkrijgen we meestal een waarde die boven de 1,2
ligt. We tellen dan nog het Hue-vlak bij de verkregen waarde op. Proefondervindelijk
hebben we vastgesteld dat verkeersborden in bijna alle gevallen een samengetelde waarde
hebben die groter is dan 1,6. Dat is de basis van onze eerste filter.
De tabellen hebben we opgesteld aan de hand van de foto’s die we gebruiken om het
programma te testen. Die foto’s staan ook op de bijgeleverde cd en ook op Appendix A.
Tabel 1 geeft de HSV-waarden van verschillende verkeersborden, zowel rode als blauwe,
weer.
De kolom ‘Totaal’ is de som van de waarden van de eerste 3 kolommen. Teneinde de
getallen te kunnen optellen, zetten we ze op schaal tussen 0 en 1. De Totaal kolom is van
hoog naar laag gesorteerd.
Uit Tabel 1 kunnen we duidelijk afleiden dat de totale HSV-waarde in 29 van de 40
gevallen (72,5%) boven de 1,6 uitkomt.
BLAUWWAARDEN ROODWAARDEN
H, in ° S, in % V, in % Totaal H, in ° S, in % V, in % Totaal
202 100 96 2,521111 351 59 99 2,555
197 95 99 2,487222 355 99 49 2,466111
195 94 99 2,471666 342 70 54 2,19
185 85 100 2,363888 357 68 51 2,181666
207 86 91 2,345 347 54 62 2,123888
189 82 100 2,345 20 99 100 2,045555
198 93 59 2,07 350 59 45 2,012222
203 94 53 2,033888 354 48 33 1,793333
220 83 55 1,991111 8 91 82 1,752222
210 84 55 1,973333 1 77 90 1,672777
206 81 57 1,952222 1 64 99 1,632777
210 80 53 1,913333 15 70 85 1,591666
208 80 51 1,887777 6 79 77 1,576666
222 90 36 1,876666 0 85 71 1,56
219 64 62 1,868333 11 50 100 1,530555
209 84 44 1,860555 6 56 81 1,386666
222 73 50 1,846666 12 36 99 1,383333
217 79 32 1,712777 4 66 49 1,161111
231 68 22 1,541666 1 70 32 1,022777
222 15 69 1,456666 1 61 33 0,942777
Tabel 1 – HSV-waarden van verschillende verkeersborden (rood en blauw)
b) Implementatie
De filter is zo opgebouwd dat hij de waarde van elke pixel van de originele foto overloopt.
Wanneer de opgetelde HSV-waarde van de pixel meer dan 1,6 bedraagt, krijgt de pixel op
die plaats waarde 1. Is de waarde kleiner, dan wordt de waarde voor die pixel 0. De
omzetting van de pixelwaarde doen we enkel op het H-vlak.
13

We creëren zo een binair beeld: 1 is wit en 0 is zwart. Dat doen we om twee redenen:
zichtbaarheid en snelheid.
De zichtbaarheid is van minder belang. In onderstaande voorbeelden zien we duidelijk
welke pixels een waarde boven de 1,6 hebben.
Een belangrijker voordeel is de snelheid. Als we zelf een binair beeld aanmaken, hoeven
we immers geen MATLAB-functie op te roepen om dat te doen. Het programma werkt
sneller wanneer de waarden van de pixels uit zo weinig mogelijk bits bestaan. Door zelf het
binair beeld aan te maken werden de 8 bits/pixel nu 1 bit/pixel. Zo bereiken we het
minimumaantal bits per pixel.
Dat betekent dat in 72,5% van de gevallen het verkeersbord niet door de filter wordt
verwijderd, wat een foutenpercentage van 27,5% geeft. Het verkeersbord wordt, zoals we
afleiden uit de Tabel 1, meestal verwijderd wanneer de roodwaarde erg laag is. Tabel 1
toont ook aan dat dit een zeer geschikte filter voor de blauwwaarden is. Er zijn slechts 2
gevallen die uit de boot vallen. Dat wil zeggen dat voor 90% de filter uitstekend werkt voor
blauwe verkeersborden.
c) Voorbeelden
Voorbeeld 1
Beeld 1 – Origineel beeld Beeld 2 – Beeld na HSV-kleurfilter
Beeld 1 is genomen op een zonnige dag met een mooie blauwe lucht. Er is dus nog vrij veel
wit op Beeld 2 te zien. Of de juiste figuren zullen worden gevonden, is nog maar de vraag.
14

Voorbeeld 2
Beeld 3 – Origineel beeld Beeld 4 – Beeld na HSV-kleurfilter
Voor voorbeeld 2 werd het beeld bij valavond genomen (Beeld 3). We zien duidelijk dat
de filter bijna perfect werkt om de blauwe en rode borden uit het beeld te isoleren (Beeld
4). Zelfs enkele van de zeer kleine verkeersborden op de achtergrond worden door de filter
gevonden. Er is ook weinig ruis op de achtergrond zodat Beeld 4 een perfect begin zou zijn
om cirkels en driehoeken te detecteren.
Voorbeeld 3
Beeld 5 – Origineel beeld Beeld 6 – Beeld na HSV-kleurfilter
Beeld 5 en Beeld 6 tonen aan dat het geen problemen zal opleveren om de driehoek in
Beeld 5 te vinden.
d) Conclusie
Een pluspunt van deze methode is dat we met één filteractie zowel blauw als rood filteren.
Daar tegenover staat dat deze filtermethode onvoldoende betrouwbaar is.
15

Bij pakweg een mooie, zonnige dag liggen de Saturation- en Value-waarden van de
omgeving vrij hoog. Het gevolg is dat er veel ruis op het beeld achterblijft. Denk ook aan
een blauwe lucht die door de filter wordt gedetecteerd en in een wit vlak wordt omgezet.
Is het een bewolkte dag of loopt het tegen valavond, dan kan de filter ook problemen
opleveren. De Saturation- en Value-waarden van het verkeersbord zullen dan zo sterk
gedaald zijn dat er wellicht weinig waarden boven de 1,6 uitkomen.
Goede resultaten krijgen we bij een reflecterend verkeersbord tegen een donkere omgeving.
Door de weerkaatsing zal de pixelwaarde van het verkeersbord namelijk ver boven de 1,6
liggen. De donkere omgeving zal vooral waarden bevatten lager dan 1,6. Het
foutenpercentage neemt dan snel af.
Dus bij verkeersborden die door lichten worden beschenen en zodoende reflecteren, krijgen
we zeer goede resultaten. Bij dergelijke omstandigheden werken andere filtermethodes dan
weer minder goed. Toch hebben we er niet voor gekozen deze filter verder te gebruiken
omdat de hierna volgende methodes over het algemeen beter scoren.
Roodfilter
Deze filter zal alleen de rode verkeersborden uit het beeld herkennen. Hij zal natuurlijk ook
het rood dat op de achtergrond aanwezig is detecteren. Dit is de filter die we in ons
uiteindelijke programma gebruiken. Met deze filter behaalden we bij zo’n 75% van de
foto’s perfecte resultaten.
Zoals bij de HSV-kleurfilter creëren we een binair beeld. De rode waarden worden in wit
omgezet.
a) Principe
Na onderzoek op de rode kleur in verkeersborden, onder allerlei omstandigheden, is
gebleken dat we dat vrij goed konden omlijnen. Zoals Tabel 2 aangeeft, liggen alle
waarden tussen 340 en 360 of tussen 0 en 20. Als we dat naar MATLAB vertalen, krijgen
we de waarden 0,944 en 1 of 0 en 0,055. Die waarden komen weinig op de achtergrond
voor. Toch was het resultaat nog niet bevredigend genoeg, zodat we verder zijn blijven
zoeken om de filter te perfectioneren.
Als we dan ook nog eens het S-vlak van dichterbij bekijken, zien we dat er maar drie
waarden onder 50 zitten. We hebben dan ook die parameter in de voorwaarde gestopt. De
S-parameter is van groot belang om rood uit de achtergrond weg te filteren.
Verkeersborden zijn reflecterend en zullen dan ook altijd een bepaalde hoeveelheid licht
reflecteren. Bij bomen of rode huizen is die kans veel kleiner. Maar zoals we in Voorbeeld
1 waarnemen, kunnen we natuurlijk nooit met 100% zekerheid voorspellen dat die
parameter de omgeving volledig zal negeren. We kunnen die parameter ook niet verhogen,
want dan is de kans te groot dat we ook ons verkeersbord niet meer detecteren.
16

H, in ° S, in % V, in % H, in ° S, in % V, in %
359 86 98 343 82 42
358 87 61 342 70 54
358 82 62 342 69 37
357 68 51 340 47 90
357 58 100 20 99 100
356 74 92 18 81 100
356 58 31 15 76 93
356 90 68 14 83 100
355 89 98 14 79 100
355 81 27 12 36 99
355 99 49 11 65 100
355 81 38 10 100 44
354 66 98 9 73 96
354 48 33 8 85 99
352 78 94 8 91 82
352 93 60 6 56 81
352 57 91 6 79 77
351 59 99 5 96 78
350 59 45 4 66 49
350 94 53 4 100 77
349 74 48 1 64 99
349 90 55 1 77 90
347 54 62 1 70 32
347 75 43 1 61 33
345 78 26 1 71 29
344 69 39 1 93 38
344 58 49 0 85 71
343 58 61 0 83 80
Tabel 2 – HSV-waarden voor rode verkeersborden
b) Implementatie
Het programma werkt ongeveer analoog zoals bij de HSV-kleurfilter beschreven staat. We
bekijken alle pixels apart en voldoen ze aan de twee voorwaarden zoals hierboven
beschreven, dan zetten we die positie op 1. Voldoen ze er niet aan, dan zetten we die
positie op 0. Zo krijgen we een binair beeld waar de witte velden het rood voorstellen.
17

c) Voorbeelden
Voorbeeld 1
Beeld 7 – Origineel beeld Beeld 8 – Beeld na roodfilter
In dit voorbeeld zien we duidelijk waar de meeste problemen kunnen voorkomen met een
filter die zich op de rode kleur concentreert. Aan de rechterkant van Beeld 7 staat een rood
huis dat door de filter wordt gedetecteerd. Bij Beeld 8 zien we duidelijk de contouren van
het huis. Bij de verdere verwerking kan dat problemen opleveren: er zullen meerdere
virtuele driehoeken en cirkels worden gevonden in de muur, wat een vertraging van het
programma zal veroorzaken.
Voorbeeld 2
Beeld 3 – Origineel beeld Beeld 9 – Beeld na roodfilter
Beeld 3 is hetzelfde als bij de HSV-kleurfilter. We zien duidelijk het verschil tussen Beeld
4 (bij HSV-kleurfilter) en dit Beeld 9. De blauwe verkeersborden komen totaal niet terug in
Beeld 9. Alle rode driehoeken, inclusief de zeer kleine borden worden nu wel duidelijk
gevonden, wat in Beeld 4 niet het geval was.
18

Voorbeeld 3
Beeld 10 – Origineel beeld Beeld 11 – Beeld na roodfilter
Bij Beeld 10 zien we duidelijk dat wanneer er geen rode omgevingsinvloeden zijn en het
verkeersbord groot is, de filter de perfectie benaderd.
d) Conclusie
Deze methode geeft zeer bevredigende resultaten in bijna alle weersomstandigheden. Er
kunnen natuurlijk ook problemen voorkomen wanneer de verkeersborden verwaarloosd
zijn en er bijvoorbeeld mos op groeit of er een grote deuk in zit. Die deuk geeft dan een
schaduw, wat voor de filter zwart is, en zal dan niet als een stuk van het verkeersbord
worden gedetecteerd.
Deze filter gebruiken we in ons uiteindelijke programma en geeft in 75% van de gevallen
een bevredigend resultaat.
Blauwfilter
Omdat we de rode borden apart detecteren, is het noodzakelijk dat ook voor de blauwe
verkeersborden te doen. De blauwfilter werkt op dezelfde manier als de roodfilter en haalt
ook zeer goede resultaten.
a) Principe
Tabel 3 bevat de waarden van HSV voor de blauwe verkeersborden. De foto’s die we
gebruiken om de tabel op te stellen zijn in allerlei weersomstandigheden genomen. We
hebben er ook op gelet om de verschillende schakeringen van blauw te testen.
De waarden liggen in 100% van de gevallen tussen de 185 en de 240. Als we dat naar
MATLAB-waarden omzetten, verkrijgen we 0,514 en 0,667.
We kiezen hier voor 100% omdat de kleuren in de omgeving zelden tussen de
vooropgestelde waarden liggen.
Verder hebben we ook nog een restrictie op het S-vlak doorgevoerd. De waarde moet
boven de 0,5 liggen. In ons geval wil dat zeggen dat twee borden hier niet aan de
voorwaarden voldoen.
19

H, in ° S, in % V, in % H, in ° S, in % V, in %
240 54 26 209 84 44
231 68 22 207 86 91
224 95 45 206 81 57
222 15 69 206 91 80
222 73 50 203 94 53
222 90 36 202 100 96
220 83 55 198 93 59
219 64 62 197 95 99
217 79 32 195 94 99
216 36 66 189 82 100
210 84 55 185 85 100
210 80 53
Tabel 3 – HSV-waarden voor blauwe verkeersborden
b) Implementatie
We gaan niet verder op de implementatie in, want die is dezelfde als bij de roodfilter. We
hoeven enkel de voorwaarden aan te passen.
c) Voorbeelden
Voorbeeld 1:
Beeld 3 – Origineel beeld Beeld 12 – Beeld na blauwfilter
We bekijken het filterresultaat (Beeld 12) van het bekende Beeld 3 en stellen vast dat het
rode bord niet meer wordt gedetecteerd. Ook de blauwe borden worden door de felle
verlichting niet erg goed gedetecteerd. We merken eveneens dat de kleine verkeersborden,
linksonder op de foto, volledig wit worden weergegeven. De grote borden zullen echter
probleemloos worden gedetecteerd.
20

Voorbeeld 2
Beeld 13 – Origineel beeld Beeld 14 – Beeld na blauwfilter
Beeld 13 en Beeld 14 illustreren een perfect gedetecteerd bord.
Voorbeeld 3
Beeld 15 – Origineel beeld Beeld 16– Beeld na blauwfilter
Ook hier zien we dat alle blauwe borden, hoe klein ook, perfect worden gedetecteerd.
21

Voorbeeld 4
Beeld 17 – Origineel beeld Beeld 18 – Beeld na blauwfilter
Speciale aandacht hadden we ook voor de invloed van een blauwe lucht op de detectie.
Beeld 17 heeft zo’n lucht. We hebben kunnen vaststellen dat de filter daar geen problemen
mee heeft.
d) Conclusie
De filter werkt zeer goed onder alle omstandigheden. Dit is dan ook de filter die we in ons
uiteindelijke programma gebruiken. We hebben ons hoofdprogramma in twee delen
opgesplitst. Eerst filteren we het originele beeld met de roodfilter en zoeken we naar de
rode verkeersborden, vervolgens herhalen we hetzelfde proces met de blauwfilter.
De blauwfilter werkt zeer goed in 81% van de geteste gevallen.
Witfilter
De witfilter gebruiken we enkel bij de classificatie van verkeersborden (zie hoofdstuk 7:
classificatie). We gebruiken het daar niet in de term van filteren, maar we tellen de pixels
die voldoen aan de eisen om wit te zijn teneinde meer informatie over de binnenkant van
het verkeersbord te verkrijgen. We zullen kort bespreken hoe we de witte vlakken in ons
beeld terugvinden. Daarna bekijken we nog enkele voorbeelden.
a) Principe
Voor de classificatie van de borden is het belangrijk dat we de witte kleur kunnen
terugvinden. Bij het zoeken naar wit kunnen we geen gebruik maken van het Hue-vlak
zoals we hiervoor wel hebben gedaan, dus drong een andere oplossing zich op: het RGBkleurschema.
Tabel 4 bestaat uit de R-, G- en B-waarden van verkeersborden die wit bevatten. Daarmee
bedoelen we binnen de rode of blauwe rand. De kolom ‘Gemiddeld’ bevat de gemiddelde
waarden van de eerste drie kolommen. De laatste kolom is het Saturation-vlak van HSV.
We hebben verschillende verkeersborden getest en Tabel 4 toont enkele verkregen
22

waarden. De geteste verkeersborden bevinden zich op de bijgeleverde cd en ook op
Appendix A.
Als we Tabel 4 van naderbij bekijken, kunnen we vaststellen dat de waarden voor de aparte
vlakken, R, G en B, zeer dicht bij elkaar liggen. In eerste instantie kijken we of de
gemiddelde waarde hoger is dan 100. Voor de geregistreerde waarden, weergegeven in
Tabel 4 is dat altijd zo, met een enkele verwaarloosbare uitzondering.
De volgende stap bestaat erin de gemiddelde waarde naast de aparte RGB-waarden te
leggen. De afzonderlijke RGB-waarden mogen niet meer dan 10 verschillen met de
gemiddelde waarde. Uit Tabel 4 kunnen we afleiden dat dit in 90% (29 van de 32) van de
resultaten zo is.
De laatste voorwaarde die we stellen, is dat de Saturation-waarde kleiner moet zijn dan 15.
Dat is niet zo in twee resultaten van Tabel 4, maar bij één van die twee werd ook de eerste
voorwaarde niet vervuld.
De resultaten in Tabel 4 geven 5 beelden van de 32 die niet aan de voorwaarden voldoen,
wat neerkomt op een positief resultaat waarbij wit wordt gevonden van 87,5%.
R G B Gemiddeld S
100 104 115 106 31
182 188 184 185 27
185 194 191 190 19
240 240 242 241 19
127 143 156 142 15
233 234 226 231 13
190 188 191 190 12
162 161 156 160 11
166 169 178 171 8
151 151 143 148 7
139 136 131 135 7
204 201 192 199 7
254 253 248 252 7
243 239 236 239 6
255 255 255 255 6
255 255 253 254 6
100 107 117 108 6
127 123 120 123 6
128 137 136 134 5
255 254 253 254 5
107 111 114 111 5
251 255 255 254 5
117 119 114 117 5
111 116 112 113 5
86 92 82 87 4
165 163 164 164 4
220 230 231 227 4
159 157 162 159 4
144 154 163 154 3
248 248 248 248 3
152 186 221 186 3
248 247 245 247 3
165 167 153 162 3
247 247 247 247 2
247 247 247 247 2
23

103 124 141 123 2
102 107 110 106 1
220 226 226 224 1
131 141 133 135 1
114 120 116 117 1
120 125 121 122 1
109 114 108 110 1
255 255 255 255 0
255 255 255 255 0
255 254 255 255 0
128 129 123 127 0
159 154 150 154 0
Tabel 4 – Witwaarden in het RGB- en S-vlak
b) Voorbeelden
We tonen hier enkele voorbeelden die we op geëxtraheerde beelden toepassen. We nemen
niet de originele foto’s omdat we deze filter in ons programma enkel op geëxtraheerde
beelden gebruiken. Hoe we beelden precies uit ons beeld extraheren, verklaren we in de
komende hoofdstukken.
Voorbeeld 1
Beeld 19 – Geëxtraheerd beeld Beeld 20 – Na toepassing witfilter
We zien in voorbeeld 1 dat enkel de witte vlakken wit blijven. De rest wordt zwart.
Voorbeeld 2
Beeld 21 – Geëxtraheerd beeld Beeld 22 – Na toepassing witfilter
Voorbeeld 2 toont ook duidelijk aan dat alleen de witte vlakken nog wit zijn.
24

Zwartfilter
Net als bij de witfilter hebben we deze filter alleen nodig voor de classificatie van de
verkeersborden. Hoe we deze filter toepassen, bespreken we in het hoofdstuk classificatie.
Wij gaan dieper in op hoe we zwarte vlakken in ons beeld terugvinden. Daarna bekijken we
nog enkele voorbeelden.
a) Principe
In tegenstelling tot de vorige filters veranderen we de kleur die we zoeken niet in wit, maar
in zwart. Dat doen we enkel om het zo visueel mogelijk te maken.
Net zoals bij de witfilter gebruiken we het RGB-kleurschema.
We hebben opnieuw een tabel gemaakt (Tabel 5) van verschillende zwarte waarden die we
in het verkeersbord zijn tegengekomen. De verkeersborden waarop we hebben getest,
bevinden zich op de bijgevoegde cd en ook op Appendix A.
In Tabel 5 kunnen we makkelijk vaststellen dat bijna alle waarden van de drie aparte
vlakken lager zijn dan 100. Dat is dan ook de eerste voorwaarde die we stellen. Er is slechts
één resultaat dat niet aan deze voorwaarde beantwoordt.
In tegenstelling tot de witfilter kunnen we deze waarden niet met de gemiddelde waarde
vergelijken. Te veel zwarte stukken zouden wit worden en bijgevolg zouden we te veel
informatie verliezen.
Toch kunnen we nog een restrictie op het S-vlak invoeren. Zoals Tabel 5 aantoont, zijn er
slecht twee borden waarvan de S-waarde boven de 50 ligt.
Wanneer we beide beperkingen doorvoeren, verliezen we volgens Tabel 5 bij twee van de
21 resultaten informatie over het aanwezig zijn van zwart in een verkeersbord. Dat wil
zeggen dat we in 90% de juiste vlakken zwart maken
R G B S
32 36 39 56
0 4 0 48
19 21 18 46
91 94 87 43
59 25 31 38
60 51 56 36
100 107 136 26
15 17 16 25
84 82 85 25
33 29 17 18
58 58 68 15
82 87 83 15
44 43 48 14
12 14 9 12
25 26 46 12
43 56 75 11
56 55 61 10
45 24 12 10
18 24 24 7
36 32 33 6
0 2 8 4 Tabel 5 – Zwartwaarden in het RGB- en S-vlak
25

) Voorbeelden
Voorbeeld 1
Beeld 23 – Geëxtraheerd beeld Beeld 24 – Na toepassing zwartfilter
In voorbeeld 1 zien we duidelijk dat alleen de vrachtwagen in het midden van het beeld nog
zwart is. De rest is wit gemaakt door de zwartfilter.
Voorbeeld 2
Beeld 25 – Geëxtraheerd beeld Beeld 26 – Na toepassing zwartfilter
In dit tweede voorbeeld zien we ook duidelijk dat er nog weinig zwarte vlakken
overblijven. De pijl in het midden van het verkeersbord is zeer duidelijk zichtbaar.
26

Hoofdstuk 2: Edge detectie
Edge detectie is de tweede stap in ons detectieproces waarbij we de randen van ons
verkeersbord willen herkennen. Hiervoor bestaan verschillende methodes, denk aan
Prewitt, Robert, Sobel, Canny, enz. Na uitvoerige tests zijn we tot de conclusie
gekomen dat Sobel en Canny de twee meest geschikte methodes zijn voor onze
toepassing.
Beide methodes hebben we nog dieper onderzocht en tegenover elkaar geplaatst
teneinde een gefundeerde beste keuze te kunnen maken.
Algemeen
Het eerste wat we ons moeten afvragen is: wat is een rand? Een rand is in feite niets anders
dan een verandering van kleur of intensiteit tussen twee vlakken. Het menselijk oog is zeer
bedreven in het herkennen van randen en figuren, zo bedreven dat er nog niemand in
geslaagd is te begrijpen hoe we dat doen. Er bestaan twee hoofdredenen waarom de mens
zo goed randen kan zien. Ten eerste is er het stereoscopisch beeld [3]. We hebben twee
ogen, waardoor we een goed dieptezicht verkrijgen en gemakkelijk afstanden kunnen
inschatten bij driedimensionale beelden. Ten tweede, we hebben ook de kwaliteit om
randen te zien die er niet zijn. Als een rond verkeersbord bijvoorbeeld maar voor de helft te
zien is omdat er een boom voor staat, zullen wij aan die ene helft genoeg hebben om te
weten dat het om een cirkel gaat.
Voor de computer is dat een zeer delicaat probleem. De computer heeft geen
stereoscopisch beeld, alles is één matrix en de technologie staat nog niet zo ver dat de
computer al vergevorderde conclusies kan trekken. De bestaande edge detectoren hebben
een wiskundige basis en werken voor de meeste toepassingen naar behoren. Na een eerste
onderzoek hebben we besloten dat Sobel en Canny voor onze toepassing de meest
aangewezen keuze is. We bespreken ze hierna beknopt.
Sobel
Sobel is een vrij eenvoudige, maar zeer goed werkende randdetector. Hij wordt in vele
toepassingen gebruikt.
Sobel gebruikt twee convolutiekernen, die identiek zijn, maar 90° gedraaid zijn ten
opzichte van elkaar. Figuur 1 toont de kernen.
Figuur 1 – Voorstelling convolutiekernen bij Sobel
27

Gx zal de verticale contrasten detecteren, Gy de horizontale. De kernen worden over het
beeld geschoven en bekijken pixel per pixel. Aan de hand van deze twee kernen creëren we
een gradiënt vector: g.
De waarde g is de magnitude van de gradiënt. g wordt in de meest gevallen berekend uit de
absolute waarden van Gx en Gy. Die bewerking is veel sneller dan de vierkantswortel te
nemen van beide kwadraten. g is meestal het enige resultaat dat de gebruiker te zien krijgt.
Het belang van θ is de oriëntatie van de kleurverandering. Wanneer θ = 0 wil dat zeggen
dat het maximale contrast (zwart naar wit) van links naar rechts over het beeld loopt. Alle
andere contrasten hebben een hoek die tegen wijzerzin is gedefinieerd.
De Sobel edge detector werkt zeer goed, maar er zijn ook nadelen aan het gebruik van
Sobel verbonden.
In MATLAB heeft de Sobel edge detector enkele parameters die we zelf kunnen instellen.
De belangrijkste is de threshold. Randen die niet groter zijn dan de threshold, de gradiënt is
niet groot genoeg, worden genegeerd en niet als rand gedetecteerd. Als we de threshold niet
parametriseren, wordt die door MATLAB zelf gekozen.
De richting van het zoeken naar randen, horizontaal of verticaal, kan ook worden gekozen.
Die parameter hebben we niet ingevuld want de defaultwaarde is beide richtingen, wat
nodig is voor onze toepassing.
De thresholdwaarde hebben we experimenteel vastgelegd. De waarden kunnen tussen 0 en
1 liggen. Na enkele oppervlakkige testen hebben we vastgesteld dat de defaultwaarde, 0,1
en 0,05 voor onze toepassing de beste resultaten gaven.
In Tabel 1 vergelijken we de drie eerder genoemde waarden met elkaar. We hebben de
grafieken opgesteld aan de hand van de foto’s waar we ons herkenningssysteem op getest
hebben. Die foto’s staan op de bijgeleverde cd en ook op Appendix A.
Alle drie de waarden hadden bevredigende resultaten, maar om het systeem te
optimaliseren hebben we ze grondig met elkaar vergeleken. Alleen de beste waarden
hebben we onthouden en weergegeven in de tabel. Met de beste waarde bedoelen we de
waarde waar het verkeersbord het best zichtbaar is en waar er het minst ruis op het
verkregen beeld aanwezig is. De verschillen zijn soms minimaal.
Wanneer we de threshold parameter op 0,1 instellen is dat in 90% van de geteste gevallen
voor Sobel de beste waarde. Het spreekt voor zich dat we die waarde kiezen.
default 0.1 0.05
6% 90% 4%
Tabel 1 – Vergelijken van de thresholdwaarde voor Sobel.
28

Sobel is zeer gevoelig voor ruis in het beeld. Alle ruis wordt door Sobel als een rand
herkend zodat we vele randen detecteren die voor onze toepassing overbodig zijn. Wij
werken altijd met beelden die onderhevig zijn aan ruis zodat dit een groot probleem kan
vormen.
Canny
De Canny edge detector staat bekend als de meest optimale onder de edge detectors. Hij
werd ontworpen door John Canny die vond dat de bestaande randdetectoren niet goed
genoeg waren voor de eisen die hij stelde. Zijn edge detector voldoet aan drie criteria.
Het eerste criterium is voor de hand liggend: zo weinig mogelijk fouten maken, slechts een
rand detecteren wanneer er een is.
Volgens het tweede criterium moeten de randpunten goed worden gevonden, wat neerkomt
op een minimale afstand tussen de gedetecteerde rand met de Canny detector en de
werkelijke rand.
Het derde criterium stelt dat er alleen een rand mag worden gedetecteerd wanneer er een
alleenstaande rand is. Met alleenstaande rand bedoelen we een rand die niet omgeven is
door andere randen.
De Canny edge detectie bestaat uit 6 stappen. We zullen de stappen overlopen om een beter
inzicht te krijgen hoe Canny precies werkt.
Stap 1
In de eerste stap wordt er zoveel mogelijk ruis van het originele beeld verwijderd
door een masker over het beeld te laten lopen. Het masker is een Gaussian filter, die
wordt bepaald door de parameter σ. De werking van dit masker is vergelijkbaar met
de werking van de twee convolutiekernen van Sobel. Figuur 2 geeft een voorbeeld
van zo’n Gaussian filter die werd berekend met σ=1,4. Als we de parameter
aanpassen, zal dzt een andere Gauss matrix tot gevolg hebben.
Hoe groter de breedte van het masker, hoe minder gevoelig de Gaussian detector is
voor ruis.
Figuur 2 – Gaussian convolutiekernen
29

Stap 2 en 3
Deze stappen zijn dezelfde als bij Sobel. Dezelfde convolutiekernen worden
gebruikt en dezelfde berekeningen worden gemaakt. De magnitude en θ worden
berekend.
Stap 4
De θ waarde aanpassen tot een waarde waar we goed mee kunnen werken. Een
pixel omgeven door andere pixels kan maar vier richtingen hebben: 0°, 45°, 90° en
135°. Nu gaan we kijken bij welke van die vier hoeken de originele θ waarde ligt
om die dan gelijk te stellen aan een van de vier vooropgestelde waarden.
Stap 5
In de vijfde stap onderdrukken we alle randen die niet aan de eisen voldoen. Anders
gezegd, we stellen ze gelijk aan 0.
Stap 6
In de laatste stap proberen we aan de hand van twee thresholdwaarden het beeld te
verbeteren. Wanneer de waarde van de gradiënt boven T2 komt, de grootste
thresholdwaarde, wordt dat als een rand gezien. De detector loopt nu verder over het
beeld en zal alles als een rand detecteren totdat de gradiëntwaarde beneden T1
komt. Om een lijn te vormen, hebben we dus een waarde nodig die boven T2 komt
om te starten. De rand loopt door tot we een waarde beneden T1 bekomen. Zo komt
het dat een lijn die bij Sobel uit puntjes bestaat een volle lijn wordt bij Canny.
Dat zijn de 6 stappen die de Canny edge detector gebruikt, wat heel wat uitgebreider is dan
bij Sobel.
Er zijn drie parameters die we in MATLAB kunnen instellen: σ en de twee thresholds. De
sigmawaarde laten we op 1 staan, dat had de beste resultaten tijdens de tests. De T1-waarde
wordt door MATLAB op 0,4 gekozen, wat tijdens de tests zeer goede resultaten opleverde.
De T2-waarde kiezen we zelf. In Tabel 2 kunnen we de resultaten van een uitgebreide test
zien.
Eerst bepaalden we na een oppervlakkige test de waarden waarbij 0,9, 0,95 en 0,99 de beste
resultaten gaven. Vervolgens hadden we nood aan een dieper onderzoek om de allerbeste
waarde te vinden teneinde de meest perfecte waarde voor onze toepassing te bepalen. De
criteria waarop we testen, zijn dezelfde als bij Sobel: zichtbaarheid van het verkeersbord en
de hoeveelheid ruis die nog op de foto overblijft.
0.9 0.95 0.99
10% 16% 74%
Tabel 2 – Vergelijken van de thresholdwaarde voor Canny
Onze uiteindelijke keuze is op 0,95 gevallen. Dat kan misschien verassend lijken, want
0,95 is in 16% van de gevallen de beste keuze, maar het verschil tussen 0,95 en 0,99 was
minimaal. Bij 0,99 hadden we minder ruis, maar het verkeersbord werd soms minder goed
gedetecteerd. We verkiezen de zekerheid om geen informatie te verliezen boven iets
minder ruis in ons beeld.
30

Canny of Sobel
De keuze tussen Canny of Sobel hebben we niet alleen op de theoretische achtergrond van
beide methodes gebaseerd. Theoretisch zou de keuze op Canny vallen. Canny heeft een
veel betere ruisonderdrukking door eerst het beeld ‘gladder’ te maken. De bewerkingen die
na de randherkenning komen, zijn ook meer uitgewerkt.
We hebben dat uitgebreid getest omdat we 100% zekerheid willen over de juiste keuze. De
keuze van filter en edge detectie is immers cruciaal voor het verdere verloop van ons
herkenningssysteem.
Tabel 3 toont de vergelijking tussen Sobel en Canny. Beide beelden worden op basis van
de eerder vermelde eisen vergeleken. We gebruiken voor beide methodes de parameters die
we verkregen hebben.
Canny Sobel
74% 26%
Tabel 3 – Vergelijking tussen Canny en Sobel
Uit Tabel 3 blijkt dat Canny de beste resultaten biedt voor 74% van de onderzochte
beelden. Er is veel minder ruis aanwezig op het beeld, maar soms vinden we het bord
minder goed terug. We hebben ons in het begin dan ook op de Canny edgde detector
gebaseerd.
Morfologische bewerkingen
Ondanks de theoretische onderbouw en de positieve praktische testen waaruit Canny als
beste keuze naar voren kwam, zijn we verschillende problemen met Canny tegengekomen.
Zo verloren de geometrische figuren soms iets te veel informatie. Bij Sobel ondervonden
we dat probleem niet. Ook bij randdetectie van driehoekige verkeersborden kwamen we
dezelfde problemen tegen: soms verdween een volledige lijn van de driehoek.
Daarom waren we genoodzaakt terug te grijpen naar Sobel. Natuurlijk moesten we een
oplossing vinden voor de ruis die bij Sobel nog aanwezig was. Een voor de hand liggende
oplossing is de ruis onderdrukken na de randdetectie. De toolbox van MATLAB biedt een
groot aantal mogelijkheden om morfologische bewerkingen uit te voeren op het beeld. Dat
zijn bewerkingen die het beeld op pixelniveau aanpassen.
Uit de vele mogelijkheden hebben we experimenteel vastgesteld welke combinatie van
bewerkingen naar onze mening de beste resultaten oplevert. Hierna bespreken we de
weerhouden morfologische bewerkingen.
a) ‘skel’
Deze operatie verwijdert pixels die aan de grens van een object liggen. Een object is
een groep van pixels die samenhoren, bijvoorbeeld een lijn, een cirkel. Skel zorgt
ervoor dat het object niet kan uiteenvallen. Voor onze toepassing is het belangrijk
dat de objecten een geheel blijven vormen.
Het voordeel is dat de randen minder ruis bevatten en dat er globaal gezien minder
pixels op het beeld staan. Het is belangrijk het aantal pixels te verminderen met het
oog op het vinden van geometrische figuren in onze volgende stappen.
31

) ‘bwareaopen’
Dit is een zeer belangrijke functie. Deze functie verwijdert objecten die minder dan
een bepaald aantal pixels bevatten. Het aantal pixels is een parameter die we zelf
kunnen kiezen. Wij hebben dat op 50 gezet. Vijftig pixels gaf volgens ons de beste
resultaten. Uiteraard hebben we uitvoerig onderzoek gedaan naar dat aantal.
Dankzij deze functie worden een groot aantal pixels verwijderd die niets met
verkeersborden te maken hebben. De verkeersborden die wij in het verdere
programma kunnen detecteren, moeten groter zijn dan 50 pixels. Immers, wanneer
het bord te klein is, kunnen we er in een verder stadium onvoldoende gegevens uit
distilleren om tot de uiteindelijke classificatie te komen.
c) ‘clean’
Deze functie verwijdert pixels die alleen staan. Figuur 4 geeft een voorbeeld. De 1
zal na afloop een 0 geworden zijn. Een 1 pixel is wit, een 0 zwart. De witte pixels
hebben we later nodig om de geometrische figuren te zoeken.
0 0 0 0 0 0
0 1 0 0 0 0
0 0 0 0 0 0
Figuur 4 – Voorbeeld ‘clean’
Deze functie is belangrijk omdat er geregeld alleenstaande pixels opduiken. Zoals
eerder vermeld is het de bedoeling zoveel mogelijk niet relevante pixels uit ons
beeld te verwijderen.
d) ‘fill’
Deze functie maakt van een 0 pixel die omgeven is door een 1 pixel een 1. Figuur 5
illustreert dat.
1 1 1 1 1 1
1 0 1 1 1 1
1 1 1 1 1 1
Figuur 5 – Voorbeeld ‘fill’
Deze bewerking lijkt eerder vreemd omdat we een 1 pixel toevoegen. We doen deze
operatie omdat wanneer een 0 pixel door een 1 omgeven is, dat meestal in een rand
is. Dan hebben we een pixel meer in de rand en zo kunnen we later makkelijker
lijnen vinden, maar daarover meer in de volgende hoofdstukken.
Na deze bewerkingen verkrijgen we zeer goede resultaten met Sobel. Aan de hand
van enkele voorbeelden zullen we dieper op de verschillen tussen beide ingaan en
de definitieve keuze voorstellen.
32

Voorbeelden
Voorbeeld 1
Beeld 1 – Origineel beeld
Beeld 1 is het originele beeld. Daarop passen we de roodfilter toe. Daarna zien we de vier
keuzes die we hebben: Sobel, Canny of een van beide met de hierboven opgesomde
morfologische operaties.
Beeld 2 – Edge detectie met Sobel (threshold = 0,1)
Op Beeld 2 hebben we alleen Sobel (threshold = 0,1) toegepast. De twee verkeersborden
zijn vrij goed te onderscheiden, maar er is wel wat ruis op het beeld aanwezig. Het
33

driehoekige verkeersbord bestaat niet uit lijnen, maar wel uit afzonderlijke groepjes pixels
die kleine cirkels vormen. Dat zal later voor problemen zorgen.
Beeld 3 – Edge detectie met Canny
Op Beeld 3 hebben we Canny toegepast. De driehoek is bijna volledig uit het beeld
verdwenen en de cirkel verliest ook een stuk. Het zal echter geen probleem opleveren om
de cirkel nog te herkennen. De ruis op het beeld is veel lager en zal daarom voor minder
problemen zorgen.
Beeld 4 – Edge detectie met Sobel en morfologische operaties
Op Beeld 4 hebben we Sobel toegepast met de hierboven opgesomde morfologische
operaties. De driehoek is bijna volledig verdwenen. We zien dat de cirkel beter gevormd is,
waardoor hij veel beter kan worden gedetecteerd. Als we goed kijken, stellen we vast dat er
34

iets minder ruis op het beeld is, in vergelijking met Canny, waardoor de detectie van de
figuren zal vereenvoudigen.
Beeld 5 – Edge detectie met Canny en morfologische operaties
Op Beeld 5 is Canny toegepast met de morfologische operaties. We stellen vast dat de filter
veel te veel pixels heeft verwijderd zodat zelfs de cirkel niet meer herkenbaar is.
Soms is het bijna onmogelijk alle verkeersborden in het beeld te behouden. Het is erg
jammer dat we de driehoek hier verliezen, maar we moeten een keuze maken. We zien dat
de driehoek in Beeld 2 niet gevormd is door lijnen, maar door kleine segmenten die geen
lijn vormen. Dat is dan ook de reden waarom we de driehoek in ons beeld verliezen.
Hoewel we een figuur niet vinden, blijven de morfologische bewerkingen noodzakelijk
omdat ze er in de meeste gevallen voor zorgen dat we de verkeersborden beter terugvinden.
35

Voorbeeld 2
Beeld 6 – Origineel beeld
Bij Beeld 6 voeren we dezelfde bewerkingen uit als in het voorgaande voorbeeld.
Beeld 7 – Edge detectie met Sobel filter
Op Beeld 7 is enkel de Sobel filter toegepast. Het verkeersbord is goed te zien, maar er is
erg veel ruis op het beeld aanwezig.
36

Beeld 8 – Edge detectie met Canny
Op Beeld 8 is Canny toegepast. De ruis is verdwenen, maar er ontbreekt ook een stuk van
de cirkel.
Beeld 9 – Edge detectie met Sobel en morfologische operaties
Op Beeld 9 hebben we Sobel en de morfologische operaties toegepast. De cirkel is
duidelijk en nog volledig rond. Dat levert meer pixels op die later beter kunnen worden
gedetecteerd. Er is ook bijna geen ruis op het beeld aanwezig.
37

Beeld 10 – Edge detectie met Canny en morfologische operaties
Op Beeld 10 zijn Canny en de morfologische operaties toegepast. Zoals in het voorgaande
geval blijft er bijna niets meer van ons beeld over.
De vorige vijf beelden tonen duidelijk aan dat Sobel, met morfologische operaties, net iets
beter werkt dan Canny.
Voorbeeld 3
Beeld 11 – Origineel beeld
38

Beeld 11 is de originele foto. Na de roodfilter zullen we dezelfde vier operaties uitvoeren
zoals bij de vorige twee voorbeelden.
Beeld 12 – Edge detectie met Sobel
Beeld 12 heeft enkel de Sobel operatie ondergaan. Zoals in de vorige voorbeelden is het
verkeersbord hier zeer goed te zien, maar is er redelijk veel ruis op het beeld aanwezig.
Beeld 13 – Edge detectie met Canny
Op Beeld 13 hebben we enkel Canny toegepast. We zien dat het bovenste gedeelte van het
verkeersbord bijna volledig verdwenen is. De buitenste driehoek zal zeer moeilijk worden
gedetecteerd. Er is wel bijna geen ruis meer aanwezig.
39

Beeld 14 – Edge detectie met Sobel en morfologische operaties
Op Beeld 14 hebben we Sobel en morfologische operaties uitgevoerd. We zien zeer
duidelijk dat er veel ruis is verdwenen. Het verkeersbord staat er volledig op zodat het geen
probleem zal zijn om het in een later stadium te detecteren.
Beeld 15 – Edge detectie met Canny en morfologische operaties
Beeld 15 heeft Canny en morfologische operatoren ondergaan. We zien dat er geen ruis
meer aanwezig is. De bovenste lijn van het verkeersbord is echter volledig verdwenen
zodat het onmogelijk is die te detecteren. De binnenste driehoek zal wel gedetecteerd
worden.
Voorbeeld 3 toont aan dat Sobel meer zekerheid biedt bij het vinden van het verkeersbord.
40

Conclusie
Wij hebben ervoor gekozen Sobel met de morfologische operatoren verder te gebruiken.
Het is de methode die het meeste zekerheid biedt om het verkeersbord na de edge detectie
nog te behouden.
Canny alleen zal sneller werken aangezien er minder bewerkingen moeten worden
uitgevoerd. Het nadeel is wel dat we soms een deel van het verkeersbord verliezen. Wij
verkiezen de zekerheid van Sobel boven de snelheid van Canny.
Als we Canny met de morfologische operaties toepassen, verliezen we de genoemde
snelheid en lopen we meer kans dat het verkeersbord onleesbaar wordt, met alle gevolgen
van dien voor het verdere verloop van het programma.
41

Hoofdstuk 3: Cirkeldetectie
Wanneer we alle mogelijke verkeersborden naast elkaar plaatsen, stellen we vast dat
de meest voorkomende borden cirkelvormig dan wel driehoekig zijn. Het komt er dus
op aan die vormen onmiddellijk te kunnen detecteren. In dit hoofdstuk gaan we
dieper in op de detectie van cirkels. De detectie van driehoeken en rechthoeken komt
in de volgende hoofdstukken aan bod.
De detectie van de vorm is een eerste stap voor het herkennen van verkeersborden.
Daarbij moeten we er wel rekening mee houden dat we bij onderzoek van ons beeld
naar de vorm, niet weten op welke coördinaten de – in dit geval – cirkel zich bevindt.
Bovendien is de opnamehoek steeds verschillend waardoor de cirkel niet perfect
wiskundig is.
Hoe we bepalen wanneer een cirkel als cirkelvormig verkeersbord mag worden
weerhouden, en op welke problemen we tijdens deze definiëring hebben gestoten,
leggen we hierna verder uit. Tot slot verklaren we hoe we de borden uit het beeld
extraheren en tonen we nog enkele voorbeelden.
Wat is een goede cirkel?
Wiskundig gezien kan je door drie punten die niet collineair zijn een cirkel bepalen.
Gebruik makend van de formules en na het oplossen van het stelsel:
(x1-a)² + (y1-b)² = R²
(x2-a)² + (y2-b)² = R²
(x3-a)² + (y3-b)² = R²
krijgen we middelpunt (a,b) en straal R.
Zoals aangehaald zijn er geen perfect wiskundige cirkels in ons beeld aanwezig. Immers,
bij het klassieke wiskundige model liggen alle punten op exact dezelfde afstand van het
middelpunt en vormt de omtrek een gesloten geheel. Wanneer we tijdens het rijden een
opname maken, bekijken we de cirkel onder een wisselende hoek. Daarenboven is de hoek
van het bord ten opzichte van de rijweg zelden gelijk.
Het verkeersbord op ons beeld zal dus niet altijd aan het wiskundige model voldoen.
Andere moeilijkheden zijn verkeersborden die gedeukt kunnen zijn of gedeeltelijk
verscholen achter takken en bladeren of een andere situatie waardoor het verkeersbord niet
perfect zichtbaar is. Wanneer we bij een dergelijk bord de rand detecteren, zal een stuk uit
de cirkel ontbreken.
Ook zien we na het toepassen van de kleurfilter en de edge detector dat we geen perfect
ronde cirkel vinden, maar een cirkel waarvan de rand is gekarteld. Die karteling, beter
gekend onder de naam ‘aliasing’, komt doordat we met een digitaal beeld werken en dat is
een tweedimensionale tabel. In die tabel kunnen we natuurlijk nooit perfect een cirkel
tekenen. Hoe groter onze tabel, hoe meer cellen hij bevat en hoe beter we een cirkel kunnen
maken. Maar hij zal nooit perfect zijn. De volgende Figuur 1 illustreert dat.
42

30
25
Figuur 1 – Voorbeeld aliasing
Hoe kunnen we die problemen oplossen?
Een oplossing bestaat erin twee extra parameters te hanteren: de marge en het aantal pixels
die op onze cirkel liggen.
Door de marge in te voeren, kunnen we bepalen hoeveel een pixel van de ideale cirkel mag
afwijken opdat hij toch nog in rekening wordt gebracht. Hoe groter we dus de marge
nemen hoe meer cirkels we kunnen vinden, al zullen ze eerder op ellipsen lijken. Toch
moeten we oppassen de marge niet te groot te nemen, want dan brengen we misschien ook
pixels in rekening die helemaal niet bij de cirkel behoren. Dat zien we in Figuur 2. De
zwarte cirkel is de cirkel die we willen detecteren. De twee rode cirkels duiden de marge
aan. Alle pixels die tussen die twee cirkels liggen, behoren volgens onze definitie tot de
cirkel. De blauwe ellips toont aan dat er tussen de marges ook een ellips kan worden
gevonden. Dat is een groot voordeel, want als we onder een bepaalde hoek een foto van een
cirkel nemen, zal die cirkel op een ellips lijken. De situatie is in Figuur 2 uitvergroot
weergegeven.
Figuur 2 – De marge
Het komt er dus op aan een goede marge te kiezen zodat we niet alleen het verkeersbord
kunnen vinden, maar ook zo weinig mogelijk andere cirkels detecteren. Die andere cirkels
treffen we aan in de ruis die na het toepassen van de kleurfilter en edge detectie eventueel
nog op ons beeld aanwezig is.
43

Het tellen van het aantal pixels en het vergelijken met een vooraf ingestelde waarde laten
ons toe een cirkel te bepalen die niet gesloten is.
We kunnen dus perfect een cirkel terugvinden waaruit er pakweg een kwart ontbreekt.
Zolang het aantal pixels maar aan onze voorwaarde voldoet. Het nadeel van deze
benadering is dat we een halve cirkel ruis ook terug zullen vinden zolang er maar genoeg
pixels op liggen.
We beschouwen elke cirkel in ons beeld waar we minstens x aantal pixels op vinden,
rekening houdend met de marge, als goede cirkel.
Random
Zoals we weten is een beeld uit pixels opgebouwd. Wij maken van ons RGB-beeld een
binair beeld via de eerder besproken kleurfilter (zie hoofdstuk 1). We bespreken hierna de
werking van het herkenningssysteem, dat gebruik maakt van het gecreëerde binaire beeld.
We nemen drie willekeurige pixels in ons beeld en gaan na of ze collineair zijn. Wanneer
dat niet zo is, bepalen we het middelpunt en de straal en tellen vervolgens hoeveel pixels er
op dezelfde afstand van het middelpunt liggen, rekening houdend met de marge. Wanneer
het aantal pixels groot genoeg is, definiëren we de figuur als een cirkel, slaan middelpunt
en straal op in een tabel en verwijderen vervolgens al die pixels uit ons beeld. Zo
voorkomen we dat we tweemaal dezelfde cirkel zouden vinden.
Vervolgens onderzoeken we of er nog pixels in ons beeld aanwezig zijn. Zo ja, herhalen we
het programma. Het spreekt voor zich dat we het aantal herhalingen zullen beperken, want
er zullen waarschijnlijk altijd pixels in ons beeld aanwezig blijven die niet bij een cirkel
horen. We stellen dus vooraf in hoeveel keer het programma moet worden herhaald, dus
eigenlijk hoeveel keer we ons beeld moeten scannen om een cirkel te vinden.
Aangezien we random drie pixels uit ons beeld nemen en hebben vastgelegd hoeveel keer
we naar een cirkel zullen zoeken, behoort het tot de mogelijkheden dat we nooit bij de
juiste cirkel terechtkomen. Zeker bij beelden met veel ruis is het risico dat we niet de juiste
cirkel vinden zeer reël.
Een mogelijke, hoewel gedeeltelijke oplossing voor dit probleem is het aantal herhalingen
te verhogen, wat natuurlijk ten koste is van de snelheid van het herkenningssysteem. We
hebben het aantal herhalingen op tien vastgelegd, waardoor we tien cirkels kunnen vinden.
Onderzoek heeft uitgewezen dat dit meestal voldoende is.
Problemen
Met het vinden van de goede cirkels is de kous nog niet af. Er zijn nog een aantal
problemen waarmee we kampen. Zo vinden we bijvoorbeeld meerdere cirkels ineen, een
cirkel die volledig omsloten is door een andere cirkel – zeker bij een rond verkeersbord is
dat vaak het geval –, de cirkel is veel te klein of veel te groot, een gedeelte van de cirkel
bevindt zich buiten ons beeld en we detecteren cirkels in de ruis.
Oplossingen
Cirkels binnen andere cirkels is een probleem dat we kunnen oplossen. We overlopen de
tabel en vergelijken middelpunt en straal met elkaar. Daarvoor gaan we als volgt te werk:
44

we nemen middelpunt en straal van beide cirkels en trekken eerst de straal af van het
middelpunt, dit zowel in de x-richting als in de y-richting. Wanneer het resultaat van die
aftrekking bij de kleinste cirkel in beide richtingen het grootst is, gaan we middelpunt en
straal in beide richtingen optellen. Wanneer het resultaat van deze optelling bij de kleinste
cirkel het kleinst is in beide richtingen dan ligt de cirkel volledig binnen de andere. Enkel
de grootste cirkel wordt onthouden en de binnenste cirkel wordt uit de tabel verwijderd. We
bespreken dat verder aan de hand van Voorbeeld 1.
Onderzoek op te kleine of te grote cirkels heeft geen nut. In het geval van te kleine cirkels
bevat de inhoud van de cirkel te weinig informatie om mee verder te werken. Bij te grote
cirkels hebben we twee redenen om er geen rekening mee te houden.
Ten eerste, wanneer we de cirkel in rekening nemen, verliezen we enorm veel andere
cirkels omdat ze binnen de grote cirkel liggen (zie vorig punt). Wellicht ligt ons
verkeersbord binnen die grote cirkel, wat de classificatie van ons bord sterk bemoeilijkt dan
wel onmogelijk maakt
Ten tweede hebben we het verkeersbord waarschijnlijk al eerder gedetecteerd. Stel, we
rijden door een straat en nemen om de seconde een foto van het straatbeeld, dan zullen we
hetzelfde verkeersbord meerdere keren hebben gefotografeerd. Van zeer veraf tot zeer
dichtbij. Wanneer we dus zeer dichtbij zijn, hebben we het verkeersbord groot in beeld, en
zal het niet meer worden onderzocht. Dat is geen probleem aangezien we het verkeersbord
al hebben onderzocht op een van de vorige foto’s die van verder zijn genomen. Dus daarom
wensen we de zeer grote verkeersborden niet meer te onderzoeken.
Met een cirkel die gedeeltelijk buiten het beeld valt, kunnen we niets aanvangen aangezien
er in dat geval te veel informatie verloren is gegaan. Bovendien zijn de meeste van die
cirkels onderdeel van ruis op ons beeld. Cirkels die gedeeltelijk buiten ons beeld liggen
zullen we dus verwaarlozen. Dat doen we door te testen via middelpunt en straal of de
cirkel volledig binnen het beeld valt. Wanneer dat niet zo blijkt te zijn, slaan we die cirkel
niet in onze tabel op.
Aan het probleem van cirkels die gevonden zijn door ruis op ons beeld is weinig te doen.
De beste manier om dat te verhelpen is een zo goed mogelijke filter te maken waardoor we
met weinig ruis worden geconfronteerd. Dat is een probleem dat al eerder werd besproken.
Hoe dan ook, wanneer we ondanks onze filter toch een cirkel vinden als gevolg van de ruis,
zullen we via een ander programma moeten uitmaken of het al dan niet een verkeersbord is.
Hierover meer in hoofdstuk 7.
Extraheren van de cirkel
Als de gevonden cirkels eenmaal zijn vastgelegd, willen we ze uit ons beeld extraheren,
anders gezegd uit ons beeld te knippen. Zo beperken we de informatie die we in het
originele beeld terugvinden. Pas na extractie zullen we kijken of het vermoedelijke
verkeersbord al dan niet een verkeersbord is.
Het extraheren van cirkels is binnen MATLAB een probleem omdat het onmogelijk is
een tabel aan te maken die de vorm van een cirkel heeft. Elke rij moet even veel kolommen
bevatten als de vorige. Daarom zijn we genoodzaakt in plaats van de cirkel, een omhullend
vierkant uit te knippen.
45

Om het vierkant uit te knippen hebben we de linkerbovenhoek en de hoek rechts onder
nodig. Met die twee punten zijn we in staat het omhullende vierkant in de originele foto te
vinden. We nemen natuurlijk een kleine speling voor het vierkant, dat we iets groter
uitknippen dan in werkelijkheid nodig is.
De coördinaten van de linkerbovenhoek verkrijgen we door de x- en y-coördinaat van het
middelpunt te verminderen met de straal. Voor de hoek rechts onder tellen we de straal bij
het middelpunt op. De functie geeft ons dan een stuk van het originele beeld terug, dat we
opslaan in de tabel ‘Cirkel’. Die tabel bevat dus fragmenten van het originele beeld.
Voorbeelden
Voorbeeld 1
Beeld 1- Origineel beeld
Beeld 2 – Geëxtraheerd beeld buitenste cirkel Beeld 3 – Geëxtraheerd beeld
binnenste cirkel
In het eerste voorbeeld zien we een cirkel en een driehoek. Zonder rekening te houden met
het verwijderen van de binnenste cirkel verkrijgen we Beeld 2 en Beeld 3. We kunnen
duidelijk zien dat Beeld 3 de binnenste cirkel voorstelt. Zoals eerder vermeld negeren we
de binnenste cirkel zodat Beeld 3 uit de tabel wordt verwijderd en dus niet meer in het
uiteindelijke resultaat voorkomt. Het is duidelijk dat als we Beeld 3 verwijderen, we geen
enkele informatie over het verkeersbord verliezen omdat Beeld 2 alle informatie van Beeld
3 in zich draagt. Dat is meteen ook de reden waarom we cirkels verwijderen die volledig
omsloten zijn door een andere cirkel.
De driehoek wordt genegeerd door het programma. In hoofdstuk 5 bekijken we dit
voorbeeld nog eens om na te gaan wat de driehoekdetectie met Beeld 1 doet.
46

Voorbeeld 2
Beeld 4 – Origineel Beeld Beeld 5 – Uitgeknipt beeld
In het tweede voorbeeld zoeken we naar cirkels die een verkeersbord kunnen zijn. Wanneer
we de rode filter gebruiken, vinden we geen enkele cirkel terug. Wanneer we de blauwe
kleur afzonderen, vinden we Beeld 5 terug.
Voorbeeld 3
Beeld 6 – Origineel beeld Beeld 7 en 8 – Uitgeknipte beelden
In voorbeeld 3 hebben we zowel de rood- als de blauwfilter gebruikt. We zien aan Beeld 7
en Beeld 8 dat we de correcte cirkels terugvinden.
47

Voorbeeld 4
Beeld 9 – Origineel beeld Beeld 10 – Uitgeknipt Beeld
Beeld 9 is vanuit de auto genomen. Door de voorruit is de foto een klein beetje wazig
geworden, maar zoals we met Beeld 10 kunnen vaststellen, creëert dat geen probleem voor
het programma. Hoe ver we kunnen gaan in het wazig maken van foto’s wordt in hoofdstuk
8 besproken.
Voorbeeld 5
Beeld 11 – Origineel beeld Beeld 12 en 13 – Uitgeknipte beelden
In Beeld 11 gaan we na hoe het programma reageert als we twee cirkels boven elkaar
hebben. Beeld 12 en Beeld 13 tonen aan dat we in die situatie geen enkel probleem
ondervinden. Beide verkeersborden worden perfect teruggevonden. Er worden geen cirkels
gedetecteerd die geen verkeersbord voorstellen.
48

Conclusie
Uit de voorbeelden kunnen we opmaken dat het cirkeldetectie programma zeer goed werkt.
In 78% van de gevallen verkrijgen we erg goede resultaten. Een goed resultaat wil zeggen
dat we een minimaal aantal cirkels terugvinden, waarvan het verkeersbord zelf ook
gevonden wordt. De random factor zorgt soms nog voor problemen. We krijgen niet altijd
dezelfde resultaten. Het is mogelijk dat in sommige gevallen het verkeersbord wordt
teruggevonden en wanneer we dezelfde foto nog eens onderzoeken, we een ander resultaat
krijgen. Dat is dan ook het grootste nadeel van de random factor.
Het vinden van cirkels geeft ons goede resultaten en het is nu aan de classificatie om uit te
maken of de gevonden cirkel al dan niet een verkeersbord is.
49

Hoofdstuk 4: Lijndetectie
Voordat we driehoekige of rechthoekige verkeersborden kunnen detecteren, moeten
we in eerste instantie de lijnen uit het beeld kunnen halen. Daarvoor bestaan
verschillende methodes die we in dit hoofdstuk van naderbij bekijken. Daarnaast
moeten we ook nog het probleem oplossen van lijnen waaruit een stuk ontbreekt als
gevolg van pakweg een boom die gedeeltelijk voor een verkeersbord staat. Hoe we dat
oplossen, beschrijven we eveneens in dit hoofdstuk.
Algemeen
Er zijn twee veel gebruikte methodes om lijnen in een beeld te vinden: de Ransac-methode
en de Radon-methode, die een MATLAB functie is. Het principe van de Radon-methode is
hetzelfde als die van de gekende Hough-methode, maar de werkwijze is verschillend. We
zullen Ransac en Radon van dichterbij bekijken en uitvoerig testen.
We hebben de lijnen in poolcoördinaten gedefinieerd omdat de Radon-methode daar
gebruik van maakt.
We spreken ook over lijnen, we kennen dus geen begin- en eindpunt en geen
lijnsegmenten. Dat is bewust gedaan omdat een lijnsegment moeilijk te bepalen valt.
Immers, waar begint en eindigt het lijnsegment?
Als we het beeld bekijken dat we na de edge detectie krijgen, zien we dat er soms een stuk
van de lijn ontbreekt. Dat kan bijvoorbeeld het gevolg zijn van een boom die voor een stuk
van het verkeersbord staat. Hoe moeten we dat opvangen? Het is erg moeilijk om een
herkenningssysteem te maken dat kan uitmaken of de lijnsegmenten al dan niet bij het
verkeersbord horen. Als we gebruik maken van lijnen, trekken we de lijn in feite virtueel
door over ons volledige beeld. Het niet kennen van het begin- en eindpunt zal een groot
voordeel betekenen. Dat zullen we verder zien.
Wat zijn poolcoördinaten?
Zoals gezegd wordt een lijn voorgesteld in poolcoördinaten door een hoek θ en een afstand,
zoals we in Figuur 1 kunnen zien. De afstand en hoek worden bepaald door de lijn die we
willen definiëren. We trekken een lijn die loodrecht staat op onze te definiërende lijn, naar
de oorsprong. De hoek die deze getrokken lijn met de pool-as maakt, is de hoek θ. De
afstand die we nodig hebben, is de lengte van de getrokken lijn.
Figuur 1 – Poolcoördinaten van een lijn
50

Zo zal een horizontale lijn een hoek van 90° hebben en zal een verticale lijn een hoek van
0° hebben. De interessante hoeken voor ons zijn die van een gelijkzijdige driehoek. Daarop
wordt in het volgende hoofdstuk driehoekdetectie dieper ingegaan.
In een driehoek hebben we drie lijnen: een horizontale, een lijn onder een hoek van 120°
(zoals ongeveer in Figuur 1) en een lijn onder een hoek van 30°. De hoeken van die lijnen
worden voorgesteld in poolcoördinaten door respectievelijk 90°, 30° en 150°.
Ransac
Ransac gaat uit van het wiskundige principe dat we altijd een lijn kunnen berekenen als we
twee punten hebben. De Ransac-methode werkt analoog aan de cirkeldetectie methode, zie
hoofdstuk 3. We maken opnieuw gebruik van een marge en we tellen het aantal pixels die
op onze lijn aanwezig zijn. We spreken van een lijn als er 25 pixels op liggen.
We nemen daarbij twee willekeurige pixels uit ons beeld en berekenen de poolcoördinaten
van de lijn. Daarna kijken we naar alle andere pixels uit ons beeld en berekenen we of ze
op onze lijn liggen, rekening houdend met de marge. De pixels die op deze lijn liggen,
worden geteld. Wanneer het aantal groter is dan 25 spreken we van een lijn en worden alle
pixels op de lijn uit ons beeld verwijderd, zodat het niet mogelijk is tweemaal dezelfde lijn
te vinden. Als er na het verwijderen nog pixels op ons beeld aanwezig zijn, wordt de
Ransac-functie herhaald. Die herhaling is niet oneindig, maar hangt af van een vooraf
ingesteld getal. Dat getal bepaalt tevens hoeveel lijnen we op ons beeld willen vinden. Dat
is natuurlijk een grote tekortkoming van Ransac, want het is onmogelijk op voorhand te
weten hoeveel lijnen er aanwezig zullen zijn.
Radon
Het beeld dat we bij Radon zullen gebruiken, is binair. Het is een zwart-wit beeld waarop
alle pixels met waarde 0 zwart voorstellen en alle pixels met waarde 1 wit voorstellen. Een
lijn zal dus getekend worden in het wit met een zwarte achtergrond.
De Radon methode gaat helemaal anders te werk dan de Ransac-methode. Radon houdt
helemaal geen rekening met het wiskundige principe dat Ransac toepast, maar werkt met
projecties. We leggen een orthogonaal assenstelsel midden in ons beeld en verdelen de x-as
in allemaal kleine vakjes. Daarna projecteren we ons beeld op de x-as. Alle pixels vallen
als het ware naar beneden in een van de vakjes en de optelsom van alle 1-pixels wordt
gemaakt. Vervolgens kijken we naar de waarde die in elk vakje zit. Die waarde komt
overeen met het aantal pixels dat op de lijn ligt. Wanneer die waarde groter is dan 25
spreken we van een lijn.
Daarna verdraaien we ons assenstelsel 1° graad en projecteren opnieuw. We herhalen dat
tot we aan 179° komen. Wanneer we een lijn hebben gevonden, slaan we in een tabel de
hoek waaronder hij is gevonden en het vakje op. De plaats van het vakje is de loodrechte
afstand van de lijn tot de oorsprong.
51

Keuze
De keuze tussen Ransac en Radon is niet eenvoudig. Het is de keuze tussen snelheid en
precisie.
We zouden denken dat de Ransac-methode vrij snel werkt omdat ze pixels uit het beeld
verwijdert. Dat is ook zo, maar die snelheid is relatief. Wanneer we een klein aantal lijnen
willen vinden, werkt de Ransac-methode vrij snel. Logisch ook, want ze stopt sowieso na x
aantal herhalingen. Wanneer we het aantal lijnen dat we willen definiëren optrekken,
verloopt het programma al een stuk trager, maar daar tegenover staat dat het resultaat
nauwkeuriger is.
We zetten de nadelen aan de Ransac-methode op een rijtje:
Primo: we moeten voordien bepalen hoeveel lijnen we willen vinden waarmee we ook het
aantal zoekopdrachten vastleggen. Zoals al eerder vermeld, is dat niet eenvoudig aangezien
we niet op voorhand weten hoeveel lijnen er in het beeld aanwezig zullen zijn. Ook bepalen
we daarmee de snelheid van het programma.
Secundo: Ransac kiest zijn pixels willekeurig. Daarbij bestaat het risico dat als hij niet de
pixels kiest van een lijn, voordat hij gestopt is met zoeken, hij die lijn ook niet zal vinden.
Daar tegenover staat dat dit probleem bij Radon onbestaande is, aangezien hij het hele
beeld bekijkt en op elke graad naar lijnen zoekt. Juist daarom is Radon veel nauwkeuriger.
Teneinde de snelheid bij identieke nauwkeurigheid van beide methodes tegenover elkaar te
plaatsen, laten we Ransac 50 keer zoeken wanneer we weten dat Radon 50 lijnen heeft
gevonden. Het resultaat van die vergelijking is dat Ransac vier tot vijf keer trager is dan
Radon. Radon heeft natuurlijk het voordeel dat het een MATLAB-functie is waardoor het
in de praktijk sneller werkt. Dus, het grootste voordeel van de Ransac-methode – de
snelheid –vervalt hierbij en het grootste nadeel – op voorhand bepalen hoeveel lijnen hij
moet zoeken – blijft bestaan.
Onze keuze gaat uit naar Radon.
Problemen
Nu is het niet zo dat met de keuze van Radon alle problemen van de baan zijn. Zo vindt
Radon ook lijnen in de ruis en verdeelt hij lijnen over verschillende vakjes.
Aan het vinden van lijnen in de ruis kunnen we niet veel doen. Het enige wat helpt, is het
aantal pixels dat we vooropstellen om een lijn te vormen – we hadden dat aantal op 25
gesteld – op te trekken. Maar testen hebben uitgewezen dat 25 het maximum is om in 9%
van de gevonden lijnen voor driehoeken) de lijn van onze gevarendriehoek niet te
verliezen. Dus dat is geen oplossing. We moeten het probleem aanpakken bij het filteren
van ons beeld. Dat hebben we in de voorgaande hoofdstukken al besproken.
Om het probleem van de lijn die verdeeld is over verschillende vakjes beter te begrijpen,
nemen we een voorbeeld.
We weten dat een beeld uit een matrix bestaat. Als we dus een verticale lijn op het beeld
tekenen, verwachten we dat hij in één kolom van de matrix is getekend. Als we dan de
projectie nemen, verwachten we dat alle pixels van de lijn in hetzelfde vakje terecht zullen
komen. Dat is echter niet zo en wel om de volgende twee redenen:
• Het aantal vakjes bedraagt meer dan het aantal kolommen van onze beeldmatrix,
wat we eenvoudig kunnen verklaren doordat de x-as roteert van 0° tot 179°.
52

Wanneer we met het hele beeld rekening willen houden, moeten we zoeken naar de
uiterste punten van ons beeld, m.a.w. de hoekpunten van ons beeld. Dus de grootste
afstand is de afstand van de oorsprong tot aan de rechterbovenhoek. Die afstand
wordt in kleine vakjes onderverdeeld waardoor hun aantal groter is dan het aantal
kolommen. Wanneer we onze verticale lijn projecteren, zal hij over verschillende
vakjes verdeeld zijn.
• Een tweede reden waarom alle pixels van de lijn niet in hetzelfde vakje
terechtkomen, vloeit voort uit het feit dat een lijn dikker kan zijn dan één kolom en
zodoende na projectie over meerdere vakjes verdeeld is.
Oplossing
Dit probleem hebben we opgelost door de tabel die we weer van de Radon-methode krijgen
te raadplegen. Zoals we weten, zitten in die tabel de hoek θ en de afstand. We nemen nu
het eerste element uit de tabel, zowel de hoek als de afstand, en vergelijken die met de rest
van de tabel. Wanneer zowel de hoek als de afstand, rekening houdend met een kleine
speling, overeenkomen met het eerste element, nemen we dat uit de tabel. Als de volledige
tabel eenmaal is overlopen, verwerken we de elementen die overeenkwamen.
We nemen het gemiddelde van de hoek en van de afstand en bewaren die in een nieuwe
tabel. Als ze in de nieuwe tabel zijn opgeslagen, verwijderen we ze uit de oorspronkelijke
tabel en nemen opnieuw het eerste element. We herhalen het algoritme tot de tabel leeg is.
De nieuwe tabel bevat alle opgekuiste elementen en is de tabel waarmee we verder zullen
werken.
53

Hoofdstuk 5 : Driehoekdetectie
Om verkeersborden in een foto te kunnen vinden, is het noodzakelijk de geometrische
figuren te herkennen. In dit hoofdstuk gaan we dieper in op hoe we driehoeken
zoeken in ons beeld. We krijgen een tabel waarin alle lijnen staan die in ons beeld
gevonden zijn (zie vorig hoofdstuk). Via wiskundige bewerkingen zoeken we of die
lijnen een driehoek vormen. Vervolgens knippen we de gevonden driehoeken uit de
originele foto. We sluiten het hoofdstuk af met enkele voorbeelden.
Wat is een driehoek ?
Driehoekige verkeersborden zijn altijd gelijkzijdige driehoeken. Dat wil zeggen dat ze drie
gelijke hoeken van 60° hebben en dat de afstand tussen de hoekpunten gelijk is. Die
eigenschappen zullen we gebruiken in het zoeken naar de juiste driehoeken.
Implementatie
Omdat we op zoek zijn naar gelijkzijdige driehoeken zullen we enkel kijken naar de lijnen
die rond de 0°, 60° of 120° liggen. We maken drie tabellen aan en stoppen de coördinaten
van die lijnen erin. De namen van de tabellen zijn respectievelijk tabel0, tabel60 en
tabel120. We nemen een speling van 4° omdat in werkelijkheid de verkeersborden nooit
perfect recht staan.
De lijnen die we gebruiken hebben geen begin- of eindpunt, daarom is het noodzakelijk de
snijpunten te berekenen. Hoe we dat doen, bespreken we in ‘bepalen van de snijpunten’.
Figuur 1 toont de snijpunten die we berekenen. De punten liggen voor elke driehoek vast.
Daarbij is (a,b) steevast het punt rechts, (c,d) het meest linkse punt van de basis en (e,f)
altijd de top.
(e,f)
60° 120°
(c,d) (a,b)
Figuur 1 – Snijpunten die we berekenen
54

Uit tabel120 nemen we de eerste lijn. We berekenen het punt (a,b) met het eerste element
uit tabel0.
Vervolgens controleren we of de coördinaten van het snijpunt binnen ons beeld vallen.
Hebben we bijvoorbeeld een beeld van 480x640 pixels, dan mag de x-coördinaat niet
groter dan 640 en de y-coördinaat niet groter dan 480 zijn. Deze controle voeren we telkens
uit wanneer we een snijpunt berekenen.
Aangezien we enkel werken met driehoeken die volledig in ons beeld liggen, vormt deze
controle al een eerste indicatie of we met een goede dan wel slechte driehoek te maken
hebben. Zo detecteren we geen verkeersbord dat maar half op de foto staat.
Daarna berekenen we de punten (c,d) en (e,f). (c,d) is het snijpunt van de lijn onder een
hoek van 60° en de horizontale. (e,f) is de top van de driehoek. We hebben nu de drie
hoekpunten.
Van die hoekpunten berekenen we de onderlinge afstand en het gemiddelde. Als de drie
afstanden minder dan 5% van het gemiddelde afwijken en de gemiddelde afstand tussen de
50 en 300 pixels bedraagt, slaan we de driehoek in een nieuwe tabel op. In die tabel slaan
we alle driehoeken op die een vermoedelijk verkeersbord zijn.
Waarom die beperkingen? De beperking van maximaal 5% afwijking elimineert de niet
gelijkzijdige driehoeken. De beperking in afstand, tussen de 50 en 300 pixels, voorkomt dat
verkeersborden die te klein of te groot op het beeld staan voor verdere detectie worden
meegenomen.
Voor we de driehoeken opslaan wordt er eerst nog een translatie doorgevoerd. Door de
Radon-functie van hoofdstuk 4 ligt ons assenstelsel in het midden van het beeld. Om in het
verdere programma met een eenduidig assenstelsel te kunnen werken, transleren we het
middelpunt naar de hoek links boven. Dan slaan we de zes coördinaten en de gemiddelde
afstand van de gevonden driehoek op.
We hebben nu onze eerste driehoek verwerkt. Omdat er meestal meerdere lijnen in tabel0,
tabel60 en tabel120 zitten, is het noodzakelijk dat we de andere mogelijkheden ook
overlopen.
We gaan de punten (c,d) en (e,f) opnieuw berekenen. We nemen de volgende lijn uit
tabel60. Zo bekomen we (c,d) en (e,f) (zie Figuur 2) en vormen een nieuwe driehoek die
we opslaan wanneer hij aan alle eisen voldoet. We lopen nu de tabel60 volledig af om alle
geschikte driehoeken te vinden die gevormd worden met het eerste element uit tabel0 en
tabel120.
(e,f)
(c,d)
Figuur 2 – We nemen de volgende lijn uit tabel60
55

Als dat gebeurd is, nemen we het tweede element uit tabel0 en berekenen (a,b) opnieuw
met het eerste element uit tabel120. Met het eerste element uit tabel60 berekenen we (c,d)
opnieuw (zie Figuur 3).
(c,d) (a,b)
Figuur 3 – We nemen de volgende lijn uit tabel0
Nu overlopen we volledig tabel60 om alle driehoeken te zoeken die we kunnen vormen met
de tweede lijn uit tabel0 en de eerste lijn uit tabel120. We herhalen nu het procédé van
Figuur 2.
We overlopen tabel0 volledig en wanneer er geen elementen meer in tabel0 zijn, nemen we
de volgende lijn uit de tabel120 en berekenen het punt (a,b), met het eerste element uit
tabel0. (e,f) bepalen we met het eerste element uit tabel60 (zie Figuur 4).
(e,f)
(a,b)
Figuur 4 – We nemen de volgende lijn uit tabel120
Met die nieuwe lijn van tabel120 herhalen we de acties die we bij Figuur 3 ondernemen.
We overlopen zo elke combinatie van drie lijnen. Dat doen we omdat we zeker willen zijn
dat wanneer de edge detectie de drie juiste lijnen van het verkeersbord vindt, we met 100%
zekerheid kunnen zeggen dat als het verkeersbord aan de eisen voldoet, de coördinaten in
de tabel van potentiële verkeersborden terug te vinden is.
56

Bepalen van de snijpunten
We bepalen de snijpunten en zetten ze om naar cartesiaanse coördinaten. Daarvoor lossen
we dit stelsel op:
X1cosΘ1 + Y1sinΘ1 = R1
X2cosΘ2 + Y2sinΘ2 = R2
Daarbij is R de afstand uit onze tabel en Θ de hoek uit onze tabel. We lossen dit stelsel via
de methode van Gauss op.
Problemen
Door de strikt wiskundige manier van werken, hebben we enkele problemen gekend. Het
grootste probleem is het grote aantal driehoeken dat wordt gevonden. Hoe meer lijnen we
vinden, hoe meer driehoeken het programma zal berekenen. Het is geen uitzondering dat
het programma meer dan 1500 driehoeken vindt. Figuur 5 illustreert dat probleem. In
Figuur 5 zien we dat er 10 lijnen voldoen aan onze eisen om een juiste driehoek te vormen.
We zien met het blote oog dat er met die combinatie van lijnen erg veel gelijkzijdige
driehoeken kunnen worden gevormd. Als we dat met ons programma testen, verkrijgen we
dat er 3298 driehoeken een potentieel verkeersbord zijn.
Figuur 5 – Illustratie van de impact van het aantal lijnen op het aantal
driehoeken
Ondanks de eisen die we aan onze driehoeken stelden (zie hoger), werden we genoodzaakt
nog een programma te schrijven teneinde de overbodige driehoeken uit ons beeld te
verwijderen. De verwijdering van de driehoeken uit de tabel moet zeer omzichtig gebeuren
want alle driehoeken in de tabel zijn in feite een potentieel verkeersbord.
57

Oplossingen
We mogen alleen nog driehoeken verwijderen als we zeker zijn dat we geen informatie
verliezen. Daarom verwijderen we alle driehoeken die qua coördinaten en lengte van de
zijden sterk op elkaar lijken. We bekijken ook nog of de top dezelfde positie heeft ten
opzichte van de basis.
We nemen de eerste driehoek uit de tabel, dat is de referentiedriehoek, en overlopen alle
andere driehoeken. Eerst controleren we of het punt (a,b) van de referentiedriehoek
maximaal 30 pixels verschilt van het punt (a,b) van de volgende driehoek.
Vervolgens bekijken we of de gemiddelde afstand tussen de hoekpunten van beide
driehoeken niet meer 30% verschilt. Ten slotte controleren we de top. We gaan na of de top
in beide gevallen boven of onder de basis ligt. Figuur 6 verduidelijkt dat. Driehoek 1 is de
referentiedriehoek. We zien duidelijk dat de top van Driehoek 3 een andere positie heeft ten
opzichte van de horizontale dan Driehoek 1 en Driehoek 2. Daarom is het onmogelijk
Driehoek 3 uit te tabel te verwijderen als we die met Driehoek 1 vergelijken. Als Driehoek
2 aan alle vooropgestelde eisen voldoet zal ze worden verwijderd uit de tabel.
Figuur 6 – Ligging van de top ten opzichte van de horizontale
Wanneer aan alle bovenstaande eisen voldaan is, slaan we de driehoek met de grootste
gemiddelde afstand op, de andere wissen we.
We willen het aantal driehoeken verminderen, maar het is zeker niet de bedoeling om
informatie te verliezen. De informatie in de kleinere driehoek zullen we zeker in de grote
terugvinden. We kunnen Driehoek 3 onmogelijk verwijderen omdat het een voorrangsbord
kan zijn, terwijl Driehoek 1 een gevarendriehoek voorstelt.
We herhalen dit programmafragment tweemaal omdat we proefondervindelijk hebben
vastgesteld dat dit nodig is om goede resultaten te bereiken.
Voor Figuur 5 verkrijgen we, na de eerste keer dit programmafragment te laten lopen, 58
geldige driehoeken. Na de tweede keer zijn het er nog 44.
58

Extraheren van de driehoek
Nu proberen we de gevonden driehoeken uit het beeld te knippen. We bedoelen dat we de
gevonden driehoek uit ons beeld extraheren. Zo kunnen we de informatie die we in het
originele beeld terugvinden, beperken. Na het uitknippen zullen we dan kijken of het
vermoedelijke verkeersbord al dan niet een verkeersbord is.
Het extraheren van driehoeken is binnen MATLAB een probleem omdat het onmogelijk is
een tabel aan te maken die de vorm van een driehoek heeft. Elke rij moet even veel
kolommen bevatten als de vorige. Daarom zijn we genoodzaakt in plaats van de driehoek,
een omhullend vierkant uit te knippen.
Om het vierkant uit te knippen, hebben we de linkerbovenhoek en de hoek rechts onder
nodig. Met die twee punten zijn we in staat het omhullende vierkant in de originele foto te
vinden. We nemen natuurlijk een kleine speling voor het vierkant, dat we iets groter
uitknippen dan in werkelijkheid nodig is.
We verkrijgen die punten door de grootste en kleinste waarden van de hoekpunten van de
driehoek te zoeken. De functie geeft ons dan een stuk van het originele beeld terug die we
opslaan in de tabel ‘driehoek’. Die tabel bevat dus fragmenten van het originele beeld.
Voorbeelden
Voorbeeld 1
Beeld 1 – Origineel beeld
Beeld 1 is het originele beeld. We zullen proberen het verkeersbord uit de figuur te
knippen. We hernemen hetzelfde beeld als in hoofdstuk 2: edge detectie. In dit voorbeeld
zullen we alle belangrijke stappen vanaf de originele foto tot aan de uitgeknipte driehoek
bekijken.
59

Beeld 2 – Beeld na roodfilter
Op Beeld 2 is alleen maar de roodfilter toegepast. We zien zeer goed dat er bijna geen
achtergrond meer op de foto aanwezig is. Het verkeersbord zou dus eerder gemakkelijk te
detecteren moeten zijn.
Beeld 3 – Edge detectie (sobel; 0,1) op Beeld 2
Beeld 3 is het resultaat na edge detectie en de eerder besproken morfologische operaties.
De lijnen van het verkeersbord zijn zeer goed te zien en de ruis is minimaal.
De volgende stap is de detectie van lijnen. Dat werd in het hoofdstuk 4 besproken. Op dit
beeld vindt de lijndetectie 48 verschillende lijnen. In de eerste fase worden die lijnen in
drie tabellen weggeschreven. In Tabel 1 zien we de drie tabellen.
60

Lijnen van 120° Lijnen van 0° Lijnen van 60°
28 -17 86 -150 150 2
28 0 88 123 149 19
30 -14 88 -175 152 -1
30 4 88 -165
88 -157
90 108
90 -188
90 -182
92 -195
91 124
93 -201
93 107
Tabel 1 –
De drie tabellen van de lijndetectie
Van de 48 lijnen gebruiken we er maar 19. We berekenen alle lijnen omdat we
bijvoorbeeld voor de detectie van rechthoeken andere lijnen nodig hebben. Willen we een
achthoekig verkeersbord detecteren, dan kan de tabel van lijndetectie daar ook de basis
voor vormen.
We zien ook dat de grootte van de hoek telkens 90° verschilt met de echte waarde. Die
oorzaak werd in het hoofdstuk 4 over lijndetectie besproken.
Hier zien we heel duidelijk waarom we zo weinig mogelijk ruis in ons beeld wensen. We
hebben een foto die bijna perfect is en we vinden toch nog 19 lijnen die aan onze
voorwaarden voldoen.
De volgende stap in het programma bestaat erin te zoeken naar driehoeken in die lijnen. In
Figuur 5 hebben we kunnen merken dat er vele driehoeken te vinden zijn met een beperkt
aantal lijnen. In dit voorbeeld is het niet anders. We vinden 140 driehoeken in deze lijnen.
Tabel 2 toont een uittreksel van de driehoeken die voldoen aan de eisen die we stellen aan
een driehoek om een verkeersbord te kunnen zijn.
a b c d e f lengte
422 397 422 188 238 299 211
422 397 422 224 260 310 180
433 402 440 202 256 308 204
433 402 441 117 238 299 227
433 402 439 215 260 310 195
118 235 115 389 256 308 157
118 235 116 372 238 299 138
118 235 115 387 260 310 158
436 404 447 198 256 308 210
436 404 448 172 238 299 233
436 404 446 211 260 310 201
137 245 130 381 256 308 138
137 245 131 363 238 299 118
137 245 130 379 260 310 139
197 403 385 234 238 318 172
397 403 383 212 221 309 193
115 253 120 387 238 318 136
Tabel 2 – Uittreksel van de driehoeken die aan de definitie beantwoorden
61

Tabel 2 toont de punten (a,b),(c,d) ,(e,f) en de gemiddelde waarde van de lengte. Het is
duidelijk dat we onmogelijk met zo’n groot aantal driehoeken verder kunnen werken.
Daarom hebben we een functie geschreven om het aantal driehoeken te verminderen. De
moeilijkheid bestaat er hier natuurlijk in dat we het verkeersbord niet uit de tabel mogen
wissen. Na de verwijdering van driehoeken verkrijgen we een tabel met nog drie
vermoedelijke verkeersborden.
Tabel 3 geeft de 3 overgebleven driehoeken weer.
a b c d e f lengte
435 423 448 172 221 309 252
118 235 115 387 260 310 158
435 436 448 172 218 311 261
Tabel 3 – Overgebleven driehoeken na verwijdering
Nu we de vermoedelijke verkeersborden hebben gevonden, rest ons alleen nog om die uit
ons beeld te extraheren. Daarom is het nodig de minimum- en maximumwaarden van elke
driehoek te bepalen teneinde die mooi uit te knippen.
De uitgeknipte figuren worden dan in de tabel driehoek opgeslagen. Die tabel gebruiken we
dan voor de classificatie van de verkeersborden. Figuur 7 toont de tabel driehoek.
driehoek =
[248x272x3 uint8]
[166x173x3 uint8]
[251x285x3 uint8]
Figuur 7 – Tabel driehoek
In Figuur 7 zien we dat we niet meer met coördinaten, maar met een driedimensionale tabel
en uint8 werken. In die tabel zijn foto’s opgeslagen. Omdat die foto’s uit de originele foto
geknipt zijn, gaat het om RGB-beelden, dat is de reden waarom we een 3-dimensionale
matrix verkrijgen. Uint8 wil zeggen dat de RGB-beelden door een 8 bit woord worden
bepaald. Er zijn dus 256 kleurvariaties mogelijk in elk vlak van RGB.
De volgende drie figuren tonen de uitgeknipte beelden. We geven ze op ware grootte weer.
62

Beeld 4 Beeld 5
Beeld 6
Beeld 4 tot 6 : Extractie van origineel beeld
Beeld 5 is het verkeersbord dat zeer goed uit de originele foto geknipt is.
Beeld 4 en Beeld 6 zijn bijna identiek. Dat is de reden waarom we het programma om
driehoeken uit de tabel te verwijderen tweemaal uitvoeren. Er blijven altijd wel foto’s over
die te veel op elkaar lijken. Wanneer we het programma om driehoeken te verwijderen nog
eens de tabel laten overlopen, zou een van de twee foto’s zeker worden verwijderd. We
hebben ervoor geopteerd dat niet te doen. Proefondervindelijk hebben we vastgesteld dat na
twee keer alle dubbele driehoeken uit het beeld verdwenen zijn, op enkele uitzonderingen
na.
63

Voorbeeld 2
Beeld 7 – Origineel beeld
In dit voorbeeld hebben we twee verkeersborden boven elkaar. We gaan hier dieper op in
om na te gaan welke problemen dat kan vormen.
Beeld 8 – Beeld 7 na roodfilter en edge detectie
Beeld 9 Beeld 10 Beeld 11 Beeld 12
64

Beeld 13 Beeld 14
Beeld 9 tot Beeld 15 : Extractie van origineel beeld
Beeld 15
In hoofdstuk 3 zien we dat wanneer zich twee cirkelvormige verkeersborden boven elkaar
bevinden, we geen enkel probleem ondervinden om die twee cirkels perfect uit ons beeld te
extraheren. Bij driehoekige verkeersborden ondervinden we wel enkele problemen. In dit
voorbeeld gaan we er dieper op in waarom zich een probleem voordoet. We merken
duidelijk dat we te veel driehoeken vinden. De veelheid aan driehoeken komt omdat het
programma niet kan onderscheiden welke lijn bij welke driehoek hoort. Hij zal alle lijnen
combineren en zo driehoeken vormen.
We verduidelijken het probleem aan de hand van Figuur 8 tot Figuur 12. De lijnen die we
via hoofdstuk 4 vinden, hebben geen begin- of eindpunt. We passen dat toe op Beeld 8 en
tekenen die lijnen. De zwarte lijnen stellen het bovenste verkeersbord voor, de blauwe
lijnen het onderste verkeersbord.
In Beeld 9 en Beeld 10 zijn de verkeersborden perfect teruggevonden. In Figuur 8 zien we
dat Beeld 9 de gele driehoek en Beeld 10 de groene driehoek is.
65

Figuur 8 – Weergave van Beeld 9 en Beeld 10 in het lijnenspectrum
Beeld 11 en Beeld 12 vinden we door de horizontale lijn van het bovenste verkeersbord te
nemen. Dan vormen we een driehoek met een zwarte schuine zijde en een blauwe schuine
zijde, waarvan er telkens een zijde is die een hoek maakt van 60° met de horizontale en een
zijde die een hoek maakt van 120° met de horizontale. In Figuur 9 zien we welke
driehoeken we vinden. Beeld 11 en Beeld 12 zijn de weergave van de groene driehoeken in
ons originele beeld. Deze twee beelden hebben een gemiddelde afstand van respectievelijk
56 en 57 pixels, zodat ze nog net binnen de eisen liggen die we stellen.
Figuur 9 – Weergave van Beeld 11 en Beeld 12 in het lijnenspectrum
Beeld 13 en Beeld 14 zijn op dezelfde manier opgebouwd als Beeld 11 en Beeld 12. Ze
maken gebruik van de horizontale zijde van het onderste verkeersbord. De schuine zijdes
vinden we op een analoge manier als hierboven.
We zien duidelijk dat Beeld 13 met de gele vlakken overeenkomt. Beeld 14 komt overeen
met de grijze vlakken en de lichtgele driehoek.
66

Figuur 10 – Weergave van Beeld 13 en Beeld 14 in het lijnenspectrum
Beeld 15 is opgebouwd uit de twee schuine zijden van het bovenste bord en de horizontale
van het onderste bord. Dat zien we duidelijk in Figuur 11.
Figuur 11 – Weergave van Beeld 15 in het lijnenspectrum
Het is bijna onmogelijk om dat te verhinderen. Zoals de Figuren 8 tot 11 aantonen vinden
we perfect gelijkzijdige driehoeken die niet dicht genoeg bij elkaar liggen om als één
driehoek beschouwd te worden. Dat is dan ook het grootste nadeel om met volle lijnen te
werken. Het is nu aan de classificatie om alleen maar Beeld 9 en Beeld 10 als verkeersbord
aan te duiden.
In dit voorbeeld zien we ook dat het verkeersbord lichtjes schuin mag staan. In hoofdstuk 8
zullen we de maximale omstandigheden waaronder het programma nog correct werkt
bestuderen.
We gaan nog enkele voorbeelden bekijken, hoewel niet meer zo uitgebreid.
67

Voorbeeld 3
Beeld 17 –
Beeld 16 – Origineel beeld Extractie van origineel beeld
We zien hier dat het verkeersbord perfect uitgeknipt wordt door het programma.
Voorbeeld 4
Beeld 18 – Origineel beeld Beeld 19
Beeld 20 Beeld 21
Beeld 19 tot 21 : Extractie van origineel beeld
68

Dit is het voorbeeld dat we ook in hoofdstuk 3 gebruiken. We zien duidelijk aan Beeld 19
dat de driehoek perfect wordt uitgeknipt. We vinden wel nog Beeld 20 en Beeld 21 in de
ruis van de achtergrond. De oorzaak daarvan kunnen we bij het ronde verkeersbord zoeken.
Conclusie
We bestudeerden vier voorbeelden. We hebben dat op een groot aantal beelden uitgetest.
De vraag is nu: wat is een goed resultaat? In alle vier de voorbeelden vinden we het juiste
verkeersbord terug. Maar in drie gevallen zijn er meerdere driehoeken uitgeknipt. Het
vormt geen probleem om Beeld 4, Beeld 6, Beeld 20 en Beeld 21 (uit het eerste en vierde
voorbeeld) als ‘geen verkeersbord’ te classificeren. In voorbeeld 2 kan dat moeilijker
verlopen omdat er altijd een stuk verkeersbord opstaat.
Van de bovenstaande voorbeelden kunnen we zeggen dat het programma in drie van de
vier gevallen perfect werkt.
We zien ook dat de positie van de top van de driehoek ten opzichte van de horizontale geen
moeilijkheden veroorzaakt. We detecteren probleemloos gevaarborden en
voorrangsborden.
Als we alle tests die we hebben uitgevoerd – een 100-tal – samennemen, verkrijgen we
toch in 80% van de gevallen een goed resultaat. Met een goed resultaat bedoelen we dat we
het verkeersbord kunnen uitknippen met een minimum aan gevonden driehoeken die geen
verkeersbord voorstellen.
69

Hoofdstuk 6: Rechthoekdetectie
Het volgende programmafragment is niet opgenomen in ons uiteindelijke
herkenningssysteem. We hebben ons vooral toegelegd op het vinden van driehoeken
en cirkels. Toch vonden we het de moeite waard eens dieper in te gaan op de detectie
van rechthoeken. Er zijn namelijk veel rechthoekige verkeersborden die nuttige
informatie aan de bestuurder meedelen. De meeste van die borden bevatten echter een
informatieve mededeling en daarom hebben we besloten ze niet te classificeren.
In dit hoofdstuk gaan we dieper in op de vraag hoe we een rechthoek in het beeld
kunnen vinden.
Wat is een rechthoek?
Een rechthoek is wiskundig gezien een vierhoek die 4 hoeken heeft van 90° en de vier
zijden lopen twee aan twee evenwijdig met elkaar. Daarop hebben we ons gebaseerd om
een rechthoek in het beeld te vinden. We zullen enkele beperkingen aan de rechthoek
opleggen zodat we niet te veel vermoedelijke verkeersborden vinden, want dat is nu juist
een van de grootste problemen bij het detecteren van rechthoekige verkeersborden.
Implementatie
We werken verder met de tabel die we genereerden na het stap lijndetectie. In die tabel
staan alle lijnen die in ons beeld gevonden zijn. Omdat we rechte hoeken nodig hebben en
alle rechthoeken horizontaal liggen, slaan we alle lijnen op die bij 0° en 90° gevonden zijn.
We laten uiteraard een kleine speling van 4° toe. Bij 0° slaan we alle lijnen op van 176 tot
179 en van 0 tot 4. Voor 90° nemen we van 86° tot 94°. Die waarden slaan we in aparte
tabellen op.
Aan de hand van Figuur 1 bekijken we de rest van het programma.
Figuur 1 – Coördinaten van de hoekpunten van de rechthoek
Uit Figuur 1 leiden we af dat we met die horizontale en vier verticale lijnen een groot
aantal rechthoeken kunnen vinden.
70

Om de rechthoeken te vinden, gaan we als volgt te werk. We nemen de eerste lijn van de
horizontale tabel en de eerste lijn van de verticale tabel en berekenen het snijpunt van beide
lijnen. Zo verkrijgen we het punt (a,b). Coördinaat a stelt de rij voor en b de kolom waar
het snijpunt (a,b) te vinden is. Iedere keer als we een snijpunt berekenen, controleren we of
dat snijpunt wel binnen de grenzen van het beeld ligt.
Daarna nemen we de tweede lijn van de gevonden horizontale lijnen. We berekenen het
snijpunt met de eerste verticale. We verkrijgen het punt (c,d). We berekenen daarna de
snijpunten (e,f) en (g,h) met de tweede verticale.
Nu bekomen we de eerste rechthoek, op Figuur 1 in het grijs aangegeven. Voordat we die
in een tabel opslaan, testen we eerst of de lengte en breedte van de rechthoek aan de eisen
qua minimum- en maximumlengte voldoen.
De tweede rechthoek berekenen we met de tweede verticale en de eerste horizontale. Het
programma zal de hierboven opgesomde bewerkingen uitvoeren om de tweede rechthoek te
zoeken.
Problemen
We krijgen nog altijd zeer veel rechthoeken die niet aan de specificaties van een
rechthoekig verkeersbord voldoen. De specificaties van een rechthoekig verkeersbord zijn
ook zeer moeilijk te achterhalen omdat er zeer veel verschillende formaten zijn. Dat
bemoeilijkt het verminderen van het aantal gevonden rechthoeken.
Een ander groot probleem is de grote verscheidenheid in opschriften van rechthoekige
verkeersborden. Meestal gaat het om een waarschuwing. Enkele voorbeelden zijn:
oppassen voor ijzel – aangegeven door een sneeuwroos, brugdek, private parking, enz. Het
is erg moeilijk om al die verschillende boodschappen te identificeren.
Oplossingen
We hebben geen verdere oplossingen voor die problemen. Enkele eisen zijn aan het
programma toegevoegd, maar we hebben ze niet uitgebreid getest. Het hoofddoel was
immers om cirkels en driehoeken te detecteren en te classificeren.
Extraheren
Net zoals in de hoofdstukken over cirkels en driehoeken zullen we de gedetecteerde
rechthoeken in een tabel opslaan. We extraheren de rechthoeken uit de originele foto zodat
we alleen nog maar de gevonden rechthoek op de foto zien.
Ook bij een rechthoek moeten we het punt linksboven en rechtsonder berekenen. We
zoeken in de tabel naar de kleinste en grootste coördinaten die de hoekpunten hebben. Met
die coördinaten zijn we in staat de rechthoek mooi uit het beeld te knippen, zoals
onderstaand voorbeeld aantoont.
71

Voorbeeld
Voorbeeld 1
Figuur 2 – Origineel beeld Figuur 3 – Geëxtraheerd beeld
Figuur 2 is de originele foto. We gaan eerst het blauw filteren, dan edge detectie uitvoeren
en ten slotte de rechthoek zoeken en uitknippen. Het resultaat zien we in Figuur 3.
72

Hoofdstuk 7: Classificatie van de verkeersborden
In de voorgaande hoofdstukken hebben we besproken hoe we het verkeersbord in het
beeld lokaliseren. Als we het verkeersbord eenmaal hebben gevonden, willen we
natuurlijk weten over welk verkeersbord het gaat. We gaan ook na of de vorige
programma’s geen fouten hebben gemaakt. Een simpel voorbeeld van een fout is een
driehoek of cirkel die gevonden werd in de ruis waar er geen verkeersbord aanwezig
is.
In dit hoofdstuk zullen we gebruik maken van neurale netten, Fourier-analyse en
kleurenanalyse. Ad hoc hebben we enkele methodes gecreëerd om het verkeersbord te
classificeren. We gaan niet tot op het laagste niveau classificeren, maar nemen er
genoegen mee te weten of het al dan niet een gevarendriehoek, een verbods- of
gebodsbord betreft. We zullen dit hoofdstuk in twee delen opsplitsen, het eerste deel
handelt over driehoeken, het tweede deel gaat over cirkels.
Wat is een neuraal net?
Neurale netten zijn ontworpen om het menselijke brein na te bootsen. Een algoritme
reageert altijd op dezelfde manier en wordt niet uit zichzelf ‘intelligenter’. Ook de
computer heeft zijn beperkingen en kan maar één taak per keer uitvoeren. Wanneer we met
neurale netten werken, hebben we die beperkingen niet.
Een neuraal net bestaat uit neuronen zoals er ook in de hersenen aanwezig zijn. We hebben
een aantal invoervariabelen en een aantal uitvoervariabelen. Het aantal invoervariabelen
hangt af van het probleem dat we willen oplossen. Het aantal uitvoervariabelen is gelijk aan
het aantal neuronen.
We zullen verder gebruik maken van een perceptron met hard-limit transferfunctie (zie
Figuur 1). Dat is het eenvoudigste voorbeeld van een neuraal net. Bij dit soort net kan de
uitvoer slechts een 1 of een 0 zijn. Met andere woorden, het net kan enkel ja of neen
antwoorden, wat natuurlijk al een beperking in gebruik van dat netwerk impliceert. Een
andere belangrijke beperking is dat de uitvoer lineair separeerbaar moet zijn.
Figuur 1: Voorstelling van een perceptron met hard-limit transferfunctie
73

De P’s staan voor het aantal invoervariabelen. W staat voor de weights of het gewicht en
kan voor elke invoer een andere waarde zijn. Hebben we bijvoorbeeld drie
invoervariabelen, dan kan de eerste invoervariabele een ander gewicht hebben dan de
tweede en/of de derde. De b staat voor bias.
Figuur 2: Voorstelling van de parameters W en b
Zoals we in Figuur 2 kunnen zien, hebben we twee vlakken. Het bovenste vlak (licht
gearceerd) staat hier voor de uitkomst 1 terwijl het onderste vlak (wit gedeelte) voor de
uitkomst 0 staat. Door de parameters W en b te wijzigen, kunnen we de plaats van de
vlakken veranderen en zal het netwerk dus een andere uitkomst geven. De lijn L staat altijd
loodrecht op de W-vector en kan door de bias b worden verschoven. Is de bias b gelijk aan
0 dan zal de lijn door de oorsprong lopen.
Hoe weten we nu in welk vlak onze set van invoervariabelen zal terechtkomen? Dat
gebeurt door een berekening die als volgt te werkt gaat. Elke invoervariabele wordt
vermenigvuldigd met zijn respectieve gewicht en daar wordt dan de bias bij opgeteld. Die
waarde wordt dan in ons netwerk naar de hard-limit transferfunctie doorgestuurd, waar de
verkregen waarde wordt vergeleken met een threshold. Is de waarde groter dan de
thresholdwaarde, dan is de uitvoer 1. Is de waarde kleiner, dan is de uitvoer 0.
Nu komt het er dus op aan de weights W en de bias b te kiezen zodat het netwerk de juiste
uitvoer geeft. Het grote voordeel van een neuraal net is dat we de keuze niet zelf hoeven te
maken, het netwerk doet dat voor ons via een trainingproces. We leggen een aantal, ook
wel set genoemd, invoervariabelen aan het netwerk en vertellen welke uitvoer er bij hoort.
Aan de hand van die set berekent het netwerk zijn weights en de bias. Wij leren het
netwerk dus hoe het zijn uitvoer moet bepalen. Als het net eenmaal is getraind, kunnen we
het netwerk simuleren en het vervolgens gebruiken om problemen op te lossen.
We kiezen ervoor met een perceptron te werken omdat we niet willen weten over welk
soort verkeersbord het precies gaat, maar enkel willen uitmaken of het al dan niet een
verkeersbord is. Een ja/neen antwoord volstaat daarbij.
74

Driehoeken
Nu komt het erop aan om te weten of de geëxtraheerde driehoek effectief een gevaren
driehoek is. Dit doen we door een set variabelen te definiëren die aan ons neuraal net
worden gelegd. Om die variabelen te bepalen maken we gebruik van de Fourniertransformatie.
Teneinde met een beter resultaat de Fournier-transformatie toe te passen hebben we
ervoor gekozen eerst te filteren met een roodfilter (zie hoofdstuk 1), zodat er enkel nog
maar rood in het beeld aanwezig is. Vervolgens voeren we een Fourier-transformatie uit.
Met een Fourier-transformatie kunnen we bepaalde periodiciteiten in het beeld bepalen,
zoals een ‘band’. Aangezien een gevarendriehoek uit drie ‘banden’ bestaat is dat een
handig hulpmiddel in ons verdere onderzoek.
a) Wat is een Fourier-transformatie?
Met een Fourier-transformatie ontbinden we het beeld in zijn sinus- en cosinuscomponenten,
zo stappen we over op het frequentie domein. Aangezien we met digitale
beelden werken, passen we de Discrete Fourier Transform (DFT) toe.
Daarvoor hebben we twee redenen:
• De in- en uitvoer van de DFT zijn beide discreet en dat maakt het geschikt
voor computermanipulaties.
• MATLAB beschikt over een snel algoritme om de DFT te berekenen,
gekend onder de naam Fast Fourier Transform (FFT).
We berekenen de FFT met volgende formule voor een M x N beeld:
F(p,q) is de DFT coëfficiënt van f(m,n). We interpreteren de formule als volgt: de waarde
van elk punt F(p,q) verkrijgen we door de sommatie te nemen van elke vermenigvuldiging
van het beeld met de overeenkomende basisfunctie.
De basisfuncties zijn sinus en cosinus met oplopende frequenties. Bijvoorbeeld: F(0,0) stelt
de DC-component voor, is niets anders dan de optelsom van f(m,n) en komt overeen met de
gemiddelde helderheid van het beeld. F(M-1,N-1) komt overeen met de hoogste frequentie.
Na de Fourier-transformatie verkrijgen we een beeld met complexe waarden die we in twee
beelden kunnen opdelen, ofwel in het reële en imaginaire deel ofwel in magnitude en fase.
We bekijken verder enkel de magnitude omdat dat stuk de meeste informatie bevat over
geometrische figuren die zich in het beeld bevinden [4].
Een band wordt na de transformatie opnieuw voorgesteld door een band die loodrecht op
de oorspronkelijke band staat (figuur 3.).
75

Figuur 3: Rechts voorstelling van een band, links voorstelling na Fourier-transformatie
Het midden van de linker figuur, het rood gekleurde gedeelte, stelt de DC-waarde voor.
Zoals eerder vermeld komt die overeen met F(0,0). Daar zit de grootste waarde, vandaar de
rode kleur. Hoe verder we van het middelpunt F(0,0) weggaan, hoe groter de frequentie
wordt.
Met dat in het achterhoofd zullen we een en ander uitbreiden om een verkeersbord via
Fourier-analyse te gaan bepalen.
b) Implementatie
Als we nu naar een verkeersbord kijken, zien we het volgende:
Beeld 1: Orgineel beeld Beeld 2: Na uitknippen driehoek en het
toepassen van roodfilter
Beeld 3: Na het toepassen van Fourier transformatie
76

Zoals we op Beeld 2 kunnen zien, zijn er duidelijk drie banden aanwezig. Na de Fouriertransformatie,
Beeld 3, zien we dat die drie banden duidelijk zichtbaar zijn. Zo wordt de
horizontale een verticale. De band onder een hoek van 30° in het oorspronkelijke beeld
wordt een band onder een hoek van 120°, en de band onder een hoek van 120° in het
oorspronkelijke beeld een band onder een hoek van 30°. Het komt er nu op aan de waarde
in die verschillende banden te bepalen.
Als we de waarde bepalen en die vergelijken met een Fourier-analyse van een cirkel, die
opnieuw een cirkel is na de transformatie, dan komen we tot de vaststelling dat deze
waarden niet veel verschillen met de waarden van een driehoek.
Hier zitten we met een probleem. We kunnen namelijk niet uitmaken of het om een
driehoek dan wel een cirkel gaat. Om dat probleem op te lossen, kijken we naar de waarde
die zich bevindt in een band op 50° en op 140° – daar moet een kleinere waarde aanwezig
zijn dan in de banden op 30° en 120° – en vergelijken dat opnieuw met de analyse van een
cirkel. Het grote probleem hier is dat de banden rond 30° en 120° uitgezaaid zijn, zoals we
ook een beetje kunnen zien op Beeld 3. Er is toch nog voldoende energie aanwezig in de
banden op 50° en 140°, waardoor we opnieuw niet kunnen uitmaken of het een cirkel of
een driehoek betreft.
Als we echter eerst de gemiddelde waarde berekenen in ons beeld en dan elke waarde in
het beeld gaan verminderen met het gemiddelde, krijgen we negatieve waarden voor
banden op 50° en 140° bij driehoeken.
Zo is het programma dan ook opgebouwd, we berekenen de gemiddelde waarde in het
beeld en verminderen elke waarde met het gemiddelde. Daarna berekenen we de waarde op
30° en 120° en op 50° en 140°. Zo krijgen we voor een driehoek waarden voor de banden
op 30° en 120° die rond 1 liggen. Voor de banden die zich op 50° en 140° bevinden,
verkrijgen we waarden die rond -1 liggen. Bij een cirkel zijn die waarden over het
algemeen allemaal negatief, op enkele uitzonderingen na waar de waarden van de cirkel
exact overeenkomen met die van een driehoek. Daarmee kunnen we eenduidig een
gevarendriehoek bepalen.
Om te weten hoe we een gevarendriehoek van een voorrangsdriehoek kunnen
onderscheiden, kijken we waar de top ligt. Ligt de top onder de basis, dan spreken we van
een voorrangsdriehoek. Ligt hij erboven, dan spreken we van een gevarendriehoek.
De eenvoud maakt het programma snel, maar we moeten er toch bij vermelden dat het een
grote beperking heeft. Zo kan het enkel bepalen of het al dan niet om een gevarendriehoek
gaat, maar niet precies welk type het is, met uitzondering van het voorrangsbord.
Cirkels
We bekijken hier de cirkels die we van het cirkelprogramma terugkrijgen (zie hoofdstuk 3
cirkeldetectie) en gaan na of het effectief om een cirkelvormig verkeersbord gaat. Bij
cirkels hebben we een keuze tussen gebods- en verbodsborden. We analyseren dat verder,
wat we bij driehoeken niet hebben gedaan, en hebben enkele verkeersborden eruit gehaald.
Zo kijken we hoe we een eenrichtingsbord en een geen toegang in beide richtingenbord,
met enkel een rode band en volledig wit vanbinnen, gaan bepalen. De andere
verkeersborden zetten we onder de noemer van ofwel gebodsbord ofwel verbodsbord.
77

a) Algemeen
Als we de Fourier transformatie toepassen op een cirkelvormige band, zien we dat het
opnieuw een cirkelcirkelvormige band is. Het is echter niet zo duidelijk als bij de
driehoeken. Hier hebben we enkele ongemakken. Zo kennen we na de transformatie de
straal van de cirkel niet. Wat met cirkels die volledig opgevuld zijn? Denk aan de
eenrichtingsborden en alle gebodsborden waar we na de transformatie niet meer met een
cirkelvormige band, maar met een volledige schijf overblijven.
We hebben uitvoerig getest op de ronde borden en hebben moeten concluderen dat deze
methode niet geschikt is om cirkelvormige verkeersborden te bepalen.
Een betere manier is gaan kijken naar de kleurverhoudingen binnen de cirkel. We
extraheren daarvoor de cirkel die gevonden werd via het cirkeldetectieprogramma (zie
hoodstuk 4: cirkeldetectie, met een marge uit het beeld. Daarmee bedoelen we dat we niet
enkel mooi de cirkel, maar in feite een stuk meer uitknippen. (Voorbeeld hieronder: Beeld
4 en Beeld 5).
Het opzettelijk te groot uitknippen zorgt ervoor dat als we op het uitgeknipte beeld
opnieuw naar cirkels zoeken, we die ook opnieuw zullen vinden. Knippen we zonder
marge uit, dan bestaat de kans dat we geen cirkel meer vinden omdat de cirkel grotendeels
samenvalt met de rand van het beeld. .
Binnen het verkeersbord zoeken we naar vier kleuren, met name rood, wit, blauw en zwart.
Om die kleuren te bepalen gebruiken we opnieuw de filters die zijn beschreven in
hoofdstuk 1. Het grote verschil is wel dat we nu niet filteren, maar de voorwaarde
gebruiken die de kleur bepaalt. Nu tellen we de pixels die aan de voorwaarde voldoen om
rood, blauw, wit of zwart te zijn.
Bij het bepalen van de invoervariabelen voor het neuraal net hebben we ervoor gekozen
niet alleen de vier kleuren die we binnen de cirkel vinden, mee te geven. Zo hebben we bij
een verbodsbord een rode band, waardoor we twee cirkels zullen vinden. We gaan het
aantal rode pixels tellen die zich in die band tussen de twee cirkels bevinden en het
percentage, berekend via de oppervlakte, ook meesturen. Bij eenrichtingsborden en
verbodsborden zullen die getallen gelijk zijn aan nul, aangezien we daar maar één cirkel
zullen vinden. Ook geven we nog de totale som mee van de vier kleuren die in de binnenste
cirkel gevonden zijn. Zo komen we aan zeven invoervariabelen: het aantal rode pixels
gevonden tussen de twee cirkels, het aantal rode, blauwe, zwarte en witte pixels gevonden
binnenin de cirkel, het percentage van de rode pixels gevonden in de band en het totaal van
de vier kleuren gevonden in de binnenste cirkel.
De keuze om voor alle ronde borden die zeven invoervariabelen te gebruiken, ligt hem in
het feit dat we op die manier maar één programma moeten maken om die kleuren te
bepalen en we in principe ook maar één net nodig hebben om dat te testen. We hebben
verschillende netten – perceptrons – , gemaakt voor de verschillende mogelijkheden die we
in de inleiding hebben aangehaald.
78

Beeld 4: Uitgeknipt verkeersbord zonder Beeld 5: Uitgeknipt verkeersbord met
marge marge
b) Implementatie
Voor eenrichtingsborden, zoals het bord op Beeld 4 en Beeld 5, zullen we maar één cirkel
terugvinden als we het cirkelprogramma laten lopen. We kijken nu naar de kleuren binnen
het verkeersbord, we kunnen dus spreken van een eenrichtingsbord als er voldoende rood
en een beetje wit in het beeld aanwezig is. Dat lijkt misschien maar vaag, maar het werkt in
71% van de gevallen correct.
Beeld 6: Geen toegang in beide richtingen
Bij het bord in Beeld 6 – geen toegang in beide richtingen – zoeken we naar twee cirkels op
ons beeld, met name de buitenste en de binnenste cirkel van de rode band. Als die eenmaal
gevonden zijn, kijken we naar het aantal rode pixels tussen de twee cirkels en bepalen we
de kleuren binnen de kleinste cirkel. Bij deze verkeersborden is duidelijk te zien dat er een
grote hoeveelheid wit binnen de kleinste cirkel moet aanwezig zijn en dat de band tussen de
twee cirkels volledig rood moet zijn. Toch is een kleine hoeveel rood in de binnenste cirkel
toegestaan, omdat de binnenste cirkel niet altijd exact wordt teruggevonden als gevolg van
de randomfactor die we bij de cirkeldetectie gebruiken.
Het classificeren van blauwe borden, de gebodsborden, en de rode borden, de
verbodsborden, gebeurt analoog zoals hierboven.
En toch komt het voor dat een bord waar niets abnormaals mee aan de hand is niet kan
worden geclassificeerd. Reden daarvoor vinden we bij een verkeerde kleur – doorgaans
zwart – die op het beeld aanwezig is doordat het beeld bij valavond werd genomen, of
79

doordat er pakweg een stikker op het bord hangt, het bord is verwaarloosd, enzovoort.
Daarom is het aan te bevelen deze methodes verder te ontwikkelen.
Voorbeelden
Bij deze voorbeelden beperken we ons tot de resultaten van het classificatie programma,
dus waar het neuraal net ‘ja’ antwoordde. Het extraheren van het originele beeld tonen we
hier niet meer.
Voorbeeld 1
Beeld 7: gebodsbord en een gevarendriehoek
Het classificatie programma geeft als uitkomst:
Er is een gebodsbord en een gevarendriehoek gevonden. Hier kunnen we duidelijk zien dat
het programma juist heeft geoordeeld.
Voorbeeld 2
Beeld 8: Geen toegang in beide richtingen Beeld 9: Verbodsbord
De uitkomst hier is geen toegang in beide richtingen. Dus, hoewel het bord niet perfect wit
is, wat zorgt voor zwart in het verkeersbord, is de beoordeling wel juist.
80

De vrijheid om borden die niet perfect wit zijn toch te laten herkennen, kan fouten in de
beoordeling genereren. Zo toont Beeld 9 duidelijk dat het geen bord betreft waarbij toegang
in beide richtingen verboden is en toch wordt het zo beoordeeld.
Voorbeeld 3
Beeld 10: Eenrichtingsbord
Dit beeld is vanuit een rijdende auto genomen. Het classificatieprogramma geeft als
uitkomst: er is een eenrichtingsbord op het beeld gevonden. De beoordeling is dus correct.
Conclusie
We hebben een eenduidige methode kunnen ontwikkelen die snel en heel efficiënt werkt
om gevarendriehoeken te herkennen. Ons neuraal net geeft in ongeveer 87% van de
gevallen een correct antwoord.
Bij cirkels ligt dat percentage lager omdat de methode enkel en alleen de
kleurverhoudingen binnenin de cirkel controleert. De resultaten zijn daardoor niet zo goed
als bij driehoeken, maar ze zijn wel geruststellend. Zo kunnen we bij cirkels in 76%van de
gevallen met zekerheid zeggen dat het net zijn werk goed heeft gedaan.
81

Hoofdstuk 8: Testen van het herkenningssysteem
Teneinde na te gaan in hoeverre ons herkenningssysteem bij beelden van zwakke
kwaliteit werkt, hebben we onze originele foto’s elektronisch bewerkt met ruis,
bepaalde visuele effecten en hebben we ze geroteerd. In dit hoofdstuk kijken we eerst
hoe ons systeem op ruis en visuele effecten reageert, vervolgens bepalen we onder
welke hoeken we de borden mogen roteren om ze alsnog te detecteren.
Gaussian Noise
Op ons originele beeld gaan we extra ruis toevoegen volgens de methode van Gauss. Die
methode zal de pixels van het originele beeld veranderen. Er wordt bij elke pixel een getal
bijgeteld dat random gekozen is. Daardoor zullen er kleurveranderingen in het beeld
ontstaan. Ons programma ondervindt veel problemen om verkeersborden te herkennen die
extra ruis bevatten door toepassing van de methode van Gauss. De problemen ontstaan
omdat we naar kleur zoeken en die kleuren zijn nu veranderd. We gaan er dieper op in aan
de hand van een voorbeeld.
Beeld 1 – Origineel beeld Beeld 2 – Na toevoeging van Gaussian ruis
We zien weinig verschil tussen Beeld 1 en Beeld 2. Er is ook maar weinig ruis toegevoegd,
maar dat is het maximum aan ruis dat we kunnen toevoegen. We gaan eens kijken wat er
gebeurt wanneer we de roodfilter op Beeld 1 en Beeld 2 toepassen.
82

Beeld 3 – Beeld 1 na roodfilter Beeld 4 – Beeld 2 na roodfilter
Hier merken we waar het probleem zich lokaliseert. Op Beeld 3 zien we dat het
verkeersbord een witte band heeft. Bij Beeld 4 is die band gebroken door de verkleurde
pixels. Zoals we kunnen zien op Beeld 5 en Beeld 6 zal de edge detectie daar grote
problemen mee hebben.
Beeld 5 – Beeld 3 na edge detectie Beeld 6 – Beeld 4 na edge detectie
Op Beeld 6 kunnen we zeer duidelijk zien waar het probleem ligt. De edge detectie vindt in
Beeld 5 maar enkele randen omdat we een witte band in ons beeld hebben. Die band zal in
het beste geval na edge detectie maar twee lijnen zijn. Een lijn wordt getrokken wanneer
het programma een kleurverandering opmerkt. Bij een volledig witte band is er geen
kleurverandering en zal de edge detectie beide uiterste randen slecht detecteren. Bij Beeld 6
zien we zeer veel randen. Dat komt door de niet homogene samenstelling van de rode band
van het verkeersbord. Er zijn te veel pixels die niet meer in het interval liggen om als rood
te worden aanvaard en daarom zijn er veel meer randen in het verkeersbord te vinden. Het
herkenningssysteem zal in Beeld 6 veel meer lijnen terugvinden.
Het herkenningssysteem vindt in Beeld 6 tweeëntwintig verschillende driehoeken,
waaronder het verkeersbord (zie Beeld 7). Er zijn ook drie cirkels in Beeld 6 gevonden, wat
niet verwonderlijk is gezien het grote aantal pixels dat we in Beeld 6 terugvinden.
Het feit dat ons programma niet zo goed werkt na het toevoegen van ruis is niet echt een
probleem. In werkelijkheid zullen namelijk nooit zo veel pixels tegelijkertijd van kleur
veranderen.
83

Beeld 7 – Geëxtraheerde driehoek na toevoeging van ruis via de Gauss methode
Wazig maken van het beeld
We kunnen het beeld op allerlei manieren wazig maken. Bij de voorbeelden hieronder
tonen we enkel het geëxtraheerde beeld. De originele foto’s zijn op de bijgeleverde cd te
vinden, onder directory Beelden hoofdstuk 8. De volgende beelden zijn in PhotoShop
bewerkt.
Beeld 8 - Gaussian blur Beeld 9 – Dust & Scratches
Beeld 10 – Motion Beeld 11 – Motion 90°
Aan de hand van deze vier voorbeelden zien we dat ondanks het vrij troebele beeld, we er
toch nog in slagen de verkeersborden uit de foto te halen. Een groot voordeel, want vertaald
naar opnames in de praktijk betekent dit dat de lens niet altijd perfect scherp of trilvrij moet
84

staan of onberispelijk proper hoeft te zijn. Op Beeld 10 en Beeld 11 hebben we Motion
toegepast. PhotoShop probeert het beeld zo veel mogelijk te laten lijken op een foto die
vanuit een bewegend object genomen is.
In Beeld 12 en 13 bekijken we een foto die vanuit een rijdende auto is genomen van op de
passagierszetel.
Beeld 12 – Origineel beeld vanuit een rijdende auto Beeld 13 – Geëxtraheerd beeld
Beeld 14 is onscherp door een trilling van het fototoestel, maar uit beeld 15 blijkt dat dit
weinig problemen oplevert voor de detectie. We zien ook dat er geen problemen zijn
wanneer er bijvoorbeeld enkele bladeren voor het bord hangen.
Beeld 14 – Origineel beeld, onscherp Beeld 15 – Geëxtraheerd beeld
Allerlei bewerkingen
Hierna publiceren we nog enkele geëxtraheerde beelden van bewerkte beelden. De
volledige beelden zijn op de cd te vinden onder de directory Beelden hoofdstuk 8. We
gaan niet verder in op wat er allemaal mogelijk is met andere vervormingen omdat dat in
werkelijkheid nooit zal voorkomen, en laten de beelden spreken voor zich.
85

Beeld 16 – Glass Beeld 17 – Watercolor
Beeld 18 – Mosaic Beeld 19 – Sponge
Beeld 20 – Pointilize Beeld 21 – 5 lights
86

Beeld 22 – Flashlight Beeld 23 – Bricks
Beeld 24 – Mosaic tiles Beeld 25 – Glowing edges
Beeld 26 – Tiles Beeld 27 – Underpainting
87

Rotaties
Zoals we in voorgaande hoofdstukken al hebben gezien, is het bijna onmogelijk om het
verkeersbord perfect vlak in beeld te brengen. We hebben meestal te maken met een hoek,
maar hoe groot mag die hoek zijn?
a) Cirkelvormige verkeersborden
Het probleem bij cirkelvormige verkeersborden is de vervorming van de cirkel wanneer die
niet perfect recht op het beeld staat. Die vervorming uit zich in het feit dat de cirkel
ellipsvormig wordt. De volgende voorbeelden tonen aan dat dit verschijnsel weinig
problemen oplevert.
Voorbeeld 1
Beeld 28 – Origineel beeld Beeld 29 – Geëxtraheerd beeld
In dit voorbeeld zien we dat het geen probleem vormt om een verkeersbord uit het beeld te
extraheren wanneer het meer op een ellips lijkt. Op Beeld 29 zien we hoe we dit
verkeersbord kunnen herkennen.
De rode cirkel is ongeveer de cirkel die het programma heeft gevonden. Er zijn dus genoeg
pixels op de rechterrand van het verkeersbord aanwezig die voldoen aan de eigenschap om
een cirkel te vormen. Daarom knipt het programma niet enkel het verkeersbord uit, ook aan
de meest elliptische zijde van het bord toont het nog een stuk van de omgeving.
In het volgende voorbeeld zien we hetzelfde effect.
88

Voorbeeld 2
Beeld 28 – Origineel beeld Beeld 29 – Geëxtraheerd beeld
In Beeld 29 zien we hetzelfde effect als in Voorbeeld 1 besproken, maar nu met de
elliptische zijde van het verkeersbord aan de rechterkant.
b) Driehoekige verkeersborden
Driehoekige verkeersborden kunnen we roteren ten opzichte van de horizontale as. We
gaan na welk effecten dit geeft op ons herkenninssysteem.
Voorbeeld
In het eerste voorbeeld kijken we wat er gebeurt wanneer we het verkeersbord
draaien ten opzichte van de horizontale. Daarvoor gebruiken we geen foto die we
zelf hebben genomen, maar een prent van een verkeersbord. Dat doen we om er
100% zeker van te zijn dat het verkeersbord zelf geen kleine hoekverdraaiing heeft
ten opzichte van de grond. We verkrijgen de rotatie door een functie in MATLAB
zodat we er ook zeker van zijn dat de hoek correct is.
Beeld 30 – Origineel beeld
89

Conclusie
Beeld 31 – Origineel 4° gedraaid Beeld 32 – Geëxtraheerd beeld
Op Beeld 32 zien we de maximale rotatie die mogelijk is voor een verkeersbord.
Dat is 4°. Wanneer we Beeld 30 5° draaien, vindt het programma geen enkele
driehoek die mogelijk een verkeersbord is.
Beeld 33 – Origineel 356° gedraaid Beeld 34 – Geëxtraheerd beeld
Beeld 34 bewijst dat we het verkeersbord ook 4° in wijzerzin mogen draaien.
In dit hoofdstuk hebben we de grenzen van het programma afgetast. Op sommige beelden
zijn de resultaten verbluffend, op andere beelden zijn de resultaten minder.
Zolang er niet veel aan de kleur verandert, behalen we zeer goede resultaten. Wanneer we,
zoals met de Gaussian blur, de kleur van de pixels wijzigen, verkrijgen we veel minder
goede resultaten. Dat is logisch, want de eerste stap die we ondernemen is het zoeken naar
kleur in het beeld.
De resultaten die we krijgen wanneer het beeld ‘bewogen’ is, zijn heel goed. In de praktijk
is dat erg nuttig, want als we bijvoorbeeld beelden krijgen van een camera in de auto
moeten we er rekening mee houden dat dit beeld niet altijd even scherp zal zijn.
De hoek waaronder cirkels kunnen worden genomen is zeer ruim. Hoewel de cirkels
hierdoor eerder ellipsvormig worden detecteert ons herkenningssysteem ze nog altijd. Bij
gedraaide borden zijn de toleranties dan weer heel wat kleiner. Een hoek van 4° in
positieve of negatieve zin is de maximale afwijking.
90

Hoofdstuk 9: Conclusie
In dit laatste hoofdstuk vatten we eerst nog eens samen hoe we ons
herkenningssysteem hebben opgebouwd, dus volgens welke stappen we te werk gaan
teneinde tot een behoorlijk resultaat te komen.
Vervolgens belichten we de resultaten van een complete detectierun. Daar waar we
voordien stap per stap het systeem hebben uitgetest laten we nu alle stappen ineens los
op de meest complexe beelden.
Het herkenningssysteem slaagt erin om in 73% van de onderzochte gevallen een
perfect resultaat te geven.
Opbouw van het volledige herkenningssysteem
Het herkenningssysteem is in twee grote delen opgebouwd, namelijk een rood gedeelte en
een blauw gedeelte. We weten dat we in de blauwe verkeersborden geen driehoeken
moeten zoeken omdat er geen blauwe verkeersdriehoeken bestaan. Daardoor is het blauwe
gedeelte minder uitgebreid dan het rode gedeelte. We filteren het originele beeld met de
blauwfilter, passen de edge detector toe en zoeken naar cirkels. De gevonden cirkels
onderzoeken we met het neuraal net, dat de classificatie bepaalt. De classificatie bij de
blauwe ronde borden is enkel een ja/neen antwoord.
Het rode gedeelte vraagt iets meer tijd omdat we hier ook nog de gevarendriehoeken in
rekening moeten brengen. Het begin verloopt analoog aan het blauwe gedeelte; we passen
de roodfilter en de edge detector toe. We zoeken nu naar cirkels en lijnen.
Bij de rode cirkels hebben we er twee borden uitgehaald die we kunnen classificeren, het
eenrichtingsbord en het geen toegang in beide richtingen bord. De andere borden vallen
onder de noemer verbodsbord. De classificatie zal hier dus een van die drie antwoorden
geven als het om een verkeersbord gaat.
De gevonden lijnen worden onderzocht om er driehoeken en rechthoeken mee te maken.
De gevonden driehoeken worden terug aan een neuraal net gelegd die de classificatie
bepaalt. Hier bepalen we gevarendriehoeken en de verleen voorrangsdriehoek.
De gevonden rechthoeken worden niet verder bekeken. Zij zijn niet in het volledige
herkenningssysteem opgenomen.
91

Voorbeelden
Voorbeeld 1
Beeld 1 – Origineel beeld
Wanneer we het volledige detectiesysteem op Beeld 1 uitvoeren, verkrijgen we in eerste
instantie volgende vermoedelijke verkeersborden.
Beeld 2 – Geëxtraheerd beeld Beeld 3 – Geëxtraheerd beeld
Beeld 4 – Geëxtraheerd beeld
92

We zien aan Beeld 2 en Beeld 4 dat de juiste figuren in het originele beeld worden
gevonden. Bij Beeld 3 zou je ook kunnen denken dat het beeld gevonden is door het
cirkeldetectiesysteem, maar dat is niet het geval. Wanneer we nagaan waarom we Beeld 3
vinden, merken we dat dit door het driehoekdetectiesysteem is. De reden daarvoor is vrij
simpel. We vinden twee lijnen die van het driehoekige verkeersbord komen. De horizontale
komt door de camera zelf. Op het originele beeld staat immers een datum in rood-oranje.
Die datum wordt als een lijn beschouwd.
Het classificatiesysteem vindt de volgende resultaten:
Beeld 2: er is een verleen voorrangsdriehoek op het beeld gevonden.
Beeld 3: er is een gevarendriehoek op het beeld gevonden.
Beeld 4: er is een gebodsbord op het beeld gevonden.
Het classificatiesysteem heeft hier een fout gemaakt en dat komt door het volgende:
Beeld 3 verkrijgen we zoals eerder vermeld door driehoekdetectie, dus zullen we verder
zoeken naar de ‘banden’ van de driehoeken (zie hoofdstuk 7). Er wordt geen onderzoek
meer gedaan naar cirkels op het geëxtraheerde beeld.
De cirkel zorgt hier toevallig voor dezelfde waarden als een driehoek, wat uitzonderlijk is,
en het neuraal net zegt ons dus dat er een driehoek gevonden is. Als er een driehoek wordt
gevonden, onderzoeken we nog of het een gevarendriehoek of verleen voorrangsdriehoek
betreft. In dit geval ligt de top boven de basis, vandaar dat de classificatie zegt dat het om
een gevarendriehoek gaat.
Voorbeeld 2
Beeld 5 – Origineel beeld Beeld 6 en Beeld 7 – Geëxtraheerde beelden
Dit tweede voorbeeld toont aan dat beide verkeersborden probleemloos door het
detectiesysteem worden gevonden.
Het classificatiesysteem vindt de volgende resultaten:
Beeld 6: er is een gebodsbord op het beeld gevonden.
Beeld 7: er is een verleen voorrangsdriehoek op het beeld gevonden.
De classificatie heeft het hier dus 100% bij het rechte eind. De twee geëxtraheerde beelden
werden perfect geclassificeerd.
93

Voorbeeld 3
Beeld 8 – Origineel beeld Beeld 9 en 10 – Geëxtraheerde beelden
In dit derde voorbeeld zien we dat het programma om de geometrische figuren te zoeken
perfect werkt. Er werd een blauw bord gevonden – Beeld 9 – en een rood bord – Beeld 10.
Er werd geen enkel vermoedelijk driehoekig verkeersbord gevonden.
Het classificatiesysteem vindt de volgende resultaten:
Beeld 9: er is een gebodsbord op het beeld gevonden.
Beeld 10: er is een eenrichtingsbord op het beeld gevonden.
De classificatie is hier perfect verlopen.
Voorbeeld 4
Uiteraard werken niet alle beelden zo goed als in de eerste drie voorbeelden. Met dit
voorbeeld willen we aantonen waar het grootste probleem van ons herkenningssysteem
zich bevindt.
Beeld 11 – Origineel beeld
Op Beeld 11 zien we vier ronde verkeersborden en één driehoekig bord. Wanneer we Beeld
11 met het herkenningssysteem testen, constateren we dat het systeem zeer veel rekentijd
nodig heeft. Na onderzoek naar de reden daarvan hebben we gevonden dat dit te wijten is
94

aan de driehoekdetectie. Er zijn in dit beeld veel te veel lijn teruggevonden. We kunnen dat
zien aan Beeld 12, het beeld dat we verkrijgen na de kleurfilter en de edge detectie.
Beeld 12 – Origineel beeld na roodfilter en edge detectie
We zien hier duidelijk dat het oranje bord voor de problemen zorgt. Het oranje bord heeft
Hue-waarden die rond 20 schommelen. Dat is de grens waarop wij ons rood detecteren. Dat
wil zeggen dat er heel veel kleurveranderingen in het oranje bord zitten, wat weer tot zeer
veel pixels en zeer veel lijnen zal lijden. De driehoekdetectie heeft het moeilijk met te veel
lijnen, want dan zal het veel vermoedelijke driehoeken vinden. De cirkeldetectie werkt ook
niet perfect wanneer er na de edge detectie erg veel witte pixels op het beeld staan. Er
worden twee rode en één blauw vermoedelijk verkeersbord gevonden, maar in geen enkel
geval werd er een verkeersbord getoond. Dat komt natuurlijk door de randomfactor van de
cirkeldetectie. Als er zoveel witte pixels op Beeld 12 staan, kunnen we ons makkelijk
inbeelden dat het zeer toevallig zou zijn mocht de randomfactor telkens drie pixels nemen
die op een van de verkeersborden liggen. Dat is meteen ook de grootste tekortkoming van
het herkenningssysteem. Als er na de edge detectie nog te veel pixels wit zijn, heeft het
herkenningssysteem bijna altijd moeilijkheden om de juiste figuren uit ons beeld te
extraheren. Dat komt door een teveel aan rode of blauwe voorwerpen die we in de
achtergrond vinden.
Als we de drie borden zelf uit ons beeld extraheren, zien we dat het herkenningssysteem er
geen moeite mee heeft om ze terug te vinden. We gaan er dieper op in aan de hand van
Beeld 13.
95

We vinden de volgende beelden terug:
Beeld 17 – Geëxtraheerd beeld
Beeld 13 – Extractie van Beeld 11
Beeld 14 en Beeld 15 en Beeld 16 – Geëxtraheerd beeld
Deze vier beelden vindt het herkenningssysteem terug. Wanneer we er dieper op ingaan
welk onderdeel van het systeem de beelden terugvindt, concluderen we dat de Beeld 14 tot
Beeld 16 door de roodfilter en de cirkeldetectie gevonden zijn. Beeld 17 werd gevonden
door de blauwfilter en de cirkeldetectie. De driehoekdetectie vindt geen enkele
vermoedelijke driehoek terug.
96

De classificatie vindt bij deze beelden :
Beeld 14,15,16: er is een geen toegang in beide richtingen bord op het beeld gevonden.
Beeld 17: er is een gebodsbord op het beeld gevonden.
Hier is de classificatie totaal verkeerd. Waarom de beelden 14 tot 16 verkeerd werden
geclassificeerd, ligt aan de training van het neuraal net op geen toegang in beide richtingen.
We hebben er namelijk voor gekozen dat we verkeersborden die bestaan uit een rode band
met volledig wit vanbinnen – het geen toegang in beide richtingen verkeersbord – ook
willen herkennen als ze vuil zijn. Daarmee bedoelen we dat er iets van zwart op het beeld
aanwezig mag zijn. In dit voorbeeld is er ook zwart in het beeld aanwezig, maar
overwegend toch wit. Daardoor heeft de classificatie verkeerd beoordeeld.
Op Beeld 17 werd er nog een cirkel gevonden door de witte letters die erop aanwezig zijn,
waardoor het neuraal net veel blauw en een weinig wit vindt. De beoordeling is daardoor
ook hier fout gelopen.
Conclusie
Het herkenningssysteem werkt niet perfect, er zijn nog tal van verbeteringen nodig om het
nog beter te laten werken. Wij hebben ervoor gekozen in ons beeld op twee verschillende
manieren naar geometrische figuren te zoeken. De random manier, zoals bij cirkels, en een
strikt wiskundige methode, zoals bij driehoeken en rechthoeken. Beide implementaties
hebben in feite hetzelfde probleem. Hoe meer pixels er na de edge detectie op het beeld
staan, hoe moeilijker het wordt om de juiste figuren terug te vinden.
We kunnen besluiten dat het herkenningssysteem in bijna alle weersomstandigheden vrij
goed werkt. Als resultaat kunnen we vaststellen dat het herkenningssysteem het in 73% van
de geteste gevallen bij het rechte eind had.
97

Appendix A
Thumbnails
98

100

101

102

103

104

105

106

Appendix B
Code herkenningssysteem
107

Deze appendix bevat alle code van het herkenningssysteem. We hebben telkens eerst de
hoofdfuncties geplaatst met eronder de subfuncties.
Hoofdprogramma
function
HoofdProgramma(filename,NetDriehoek,NetEenrichting,NetGeenToegangInBeideR
ichting,NetGebods,NetVerbods)
if nargin kolom & rij>640 & kolom>480 )
I=imresize(I,[640,480]);
end
if(kolom>rij & rij>480 & kolom>640)
I=imresize(I,[480,640]);
end
end
[rij,kolom,d]=size(I);
figure,imshow(I);
%eerst de rode dingen afwerken
im=RoodFilter(I,rij,kolom);
im=EdgeDetector(im);
[AantalGeenToegang,AantalEenrichting,AantalVerbodsBorden,agb]=CirkelProgr
amma(I,im,rij,kolom,'rood',NetEenrichting,NetGeenToegangInBeideRichting,N
etGebods,NetVerbods); %agb hebben we hier niet nodig
[AantalGevarenDriehoek,AantalVoorangsDriehoek]=DriehoekProgramma(I,im,rij
,kolom,NetDriehoek);
%de blauwe
im=BlauwFilter(I,rij,kolom);
im=EdgeDetector(im);
[agt,ae,avb,AantalGebodsBorden]=CirkelProgramma(I,im,rij,kolom,'blauw',Ne
tEenrichting,NetGeenToegangInBeideRichting,NetGebods,NetVerbods); %
agt,ae,avb zijn al aangemaakt bij rood
%eindresultaat
if (AantalGeenToegang>0)
disp ('er zijn' ), disp(AantalGeenToegang), disp('Geen toegangsborden
in beide richtingen in het beeld gevonden')
end
if (AantalEenrichting>0)
disp ('er zijn' ), disp(AantalEenrichting), disp('Eenrichtingsborden
in het beeld gevonden')
end
if (AantalVerbodsBorden>0)
disp ('er zijn' ), disp(AantalVerbodsBorden), disp('Verbodsborden in
het beeld gevonden')
108

end
if (AantalGebodsBorden>0)
disp ('er zijn' ), disp(AantalGebodsBorden), disp('Gebodsborden in
het beeld gevonden')
end
if (AantalGevarenDriehoek>0)
disp ('er zijn' ), disp(AantalGevarenDriehoek),
disp('Gevarendriehoeken in het beeld gevonden')
end
if (AantalVoorangsDriehoek>0)
disp('er zijn'),
disp(AantalVoorangsDriehoek),disp('Voorangansdriehoeken in het beeld
gevonden')
end
if(AantalGeenToegang==0 & AantalEenrichting==0 & AantalVerbodsBorden==0 &
AantalGebodsBorden==0 & AantalGevarenDriehoek==0 &
AantalVoorangsDriehoek==0)
disp('het programma heeft geen verkeersbord(en) in het beeld
gevonden')
end
109

RoodFilter
function [im]=RoodFilter(I,rij,kolom)
%Roodfilter maken adh gemiddelde waardes (afwijking +-10) en waardes op s
boven 0,5
im=rgb2hsv(I);
s=im(:,:,2);
h=im(:,:,1);
%for lussen die de gehele matrix zal overlopen en op rood of zwart zetten
for ho=1:rij
for br=1:kolom
if (h(ho,br)0.94) & s(ho,br)>0.5
h(ho,br)=1; %rood volledig wit maken
else
h(ho,br)=0; %niet-rood zwart maken
end
im=h;
end
end
110

BlauwFilter
function [im]=BlauwFilter(I,rij,kolom)
%Blauwfilter maken adh gemiddelde waardes (afwijking +-10) en waardes op
s vlak boven 0,5
im=rgb2hsv(I);
s=im(:,:,2);
h=im(:,:,1);
%for lussen die de gehele matrix zal overlopen en op blauw of zwart
zetten
for ho=1:rij
for br=1:kolom
if h(ho,br)0.514 & s(ho,br)>0.5
h(ho,br)=1; %blauw volledig wit maken
else
h(ho,br)=0; %niet-blauw zwart maken
end
end
end
im=h;
111

EdgeDetector
function [im]=EdgeDetector(im)
im=edge(im,'sobel',0.1);
im=bwmorph(im,'skel');
im=bwareaopen(im,50);
im=bwmorph(im,'clean');
im=bwmorph(im,'fill');
112

CirkelProgramma
function
[AantalGeenToegang,AantalEenrichting,AantalVerbodsBorden,AantalGebodsBord
en]=CirkelProgramma(I,im,rij,kolom,kleur,NetEenrichting,NetGeenToegangInB
eideRichting,NetGebods,NetVerbods)
ck=CirkelsDetectie(im,rij,kolom);
if ~(isempty(ck))
ck=CirkelFilter(ck);
if ~(isempty(ck))
cirkel=CirkelKnip(I,ck,rij,kolom);
else
cirkel=[];
end
end
ResGeenToegangBeideRichting=[];
ResEenrichting=[];
ResGebods=[];
ResVerbods=[];
if ~(isempty(cirkel))
for i=1:size(cirkel,1)
figure,imshow(cirkel{i,1});
c=imresize(cirkel{i,1},[100,100]);
if(strcmp(kleur,'rood'))
im=RoodFilter(c,100,100);
end
if(strcmp(kleur,'blauw'))
im=BlauwFilter(c,100,100);
end
im=edge(im,'sobel');
ck=CirkelsDetectie(im,100,100,50);
%ledige plaatsen in ck verwijderen
teller=20; %wanneer je het aantal cks verandert in
cksDetectie dan moet je dit ook aanpassen
z=1;
%De lege plaatsen in de doorgestuurde tabel verwijderen
while z

end
end
end
AantalGeenToegang=0;
if~(isempty(ResGeenToegangBeideRichting))
for k=1:size(ResGeenToegangBeideRichting,2)
if(ResGeenToegangBeideRichting(1,k)==1)
AantalGeenToegang=AantalGeenToegang+1;
end
end
end
AantalEenrichting=0;
if~(isempty(ResEenrichting))
for k=1:size(ResEenrichting,2)
if(ResEenrichting(1,k)==1)
AantalEenrichting=AantalEenrichting+1;
end
end
end
AantalGebodsBorden=0;
if~(isempty(ResGebods))
for k=1:size(ResGebods,2)
if(ResGebods(1,k)==1)
AantalGebodsBorden=AantalGebodsBorden+1;
end
end
end
AantalVerbodsBorden=0;
if~(isempty(ResVerbods))
for k=1:size(ResVerbods,2)
if(ResVerbods(1,k)==1)
AantalVerbodsBorden=AantalVerbodsBorden+1;
end
end
end
114

CirkelsDetectie
function [Ck] = CirkelsDetectie(I,rij,kolom,pix)
if nargin < 3, error('Not enough input arguments.'); end
if nargin == 3 pix=100; end
marge = 1;
aant_cirkels=20; %Er kunnen 10 cirkels bepaald worden
Ck = cell(aant_cirkels,1);
Coord = cell(aant_cirkels,1);
H = ones(size(I));
for i=1:aant_cirkels
[r,k] = find(I==1); %r en k zijn de coordinaten van de pixels
die 1 zijn
B = [r,k];
[B_rij,B_kol] = size(B);
min_aant = pix; %min aantal pixels die een cirkel moet
bevatten
aant = 0; %aantal gevonden pixels
max_aant = pix;
Ptn=[];
if ~(isempty(B))
for j=1:100
if aant

h3 = ceil(rand*aant);
x1 = Coord{i,1}(h1,1);
y1 = Coord{i,1}(h1,2);
x2 = Coord{i,1}(h2,1);
y2 = Coord{i,1}(h2,2);
x3 = Coord{i,1}(h3,1);
y3 = Coord{i,1}(h3,2);
end % while
end % if
%Wiskundige achtergrond van een cirkel
% punten mogen niet collineair zijn: x1*y2+x2*y3+x3*y1-x3*y2x2*y1-x1*y3==0
% Vgl ve cirkel
%
% (x1-a)² + (y1-b)² = R² |+1
% (x2-a)² + (y2-b)² = R² |-1 |+1
% (x3-a)² + (y3-b)² = R² |-1
%
% x1²-x2²-2a(x1-x2)+y1²-y2²-2b(y1-y2)=0
% x2²-x3²-2a(x2-x3)+y2²-y3²-2b(y2-y3)=0
%
% c1-c6: hulpvariabelen
c1 = 2*(x2-x1);
c2 = 2*(y2-y1);
c3 = y2*y2-y1*y1+x2*x2-x1*x1;
c4 = 2*(x3-x2);
c5 = 2*(y3-y2);
c6 = y3*y3-y2*y2+x3*x3-x2*x2;
% c1 is soms 0 als 2 gekozen ptn op dezelfde horizontale liggen
ym = ceil((c6-(c4*c3/c1))/(c5-(c4*c2/c1)));
xm = ceil((c3-(c2*ym))/c1);
straal = ceil(abs(sqrt((x1-xm)*(x1-xm) + (y1-ym)*(y1-ym))));
% (xm,ym) = middelpunt vd ck
% Bepalen van aantal ptn die op of in de buurt van cirkel liggen
adh vd afstand
% (Afstand tss 2 ptn (p1,p2))² = (x2-x1)² + (y2-y1)²
aant=0;
if(xm+straal0 & ym+straal0 &
15

if aant>max_aant
Ck{i,1} = [xm ym straal aant];
Ptn = Coord{i,1};
max_aant = aant;
end
% Ptn bevat de coordindaten van de punten die op de ck liggen
end % for j=1:100
end % isempty
if ~(isempty(Ptn))
[Ptn_rij,Ptn_kol] = size(Ptn);
for m=1:Ptn_rij
H(Ptn(m,1),Ptn(m,2))=0;
end
end
% punten vd gevonden ck op 0 zetten, opdat de ck geen 2de keer kan
gevonden worden
I = I & H;
% om uit te tekenen
%figure(3);
%imshow(H);
end % for i=1:aant_cirkels
117

CirkelFilter
function [ck]=CirkelFilter(ck)
%Overbodige cks uit de tabel verwijderen
teller=20; %wanneer je het aantal cks verandert in cksDetectie dan
moet je dit ook aanpassen
z=1;
%De lege plaatsen in de doorgestuurde tabel verwijderen
while z=2)
for i=1:teller % *0.9 : omdat je je ck 10% groter
wil maken moet je dit voor de onderste coordinaat verkleinen
j=i+1; % *1,1 : idem, maar je moet vergroten
while j ck{j,1}(1,3)+ck{j,1}(1,1)
& (ck{i,1}(1,1)-ck{i,1}(1,3))*0.9ck{j,1}(1,2)+ck{j,1}(1,3) &
(ck{i,1}(1,2)-ck{i,1}(1,3))*0.9 < ck{j,1}(1,2)-ck{j,1}(1,3)
end
ck(j)=[];
j=j-1;
teller=teller-1;
end
j=j+1;
end
end
%nu is de tabel overlopen van element 1 tot n
%nu ga ik de tabel omgekeerd overlopen en hetzelfde doen
%zo kan je ook de cks die een index lager hebben en toch binnen een ck
zitten met hogere index verwijderen
if (teller>=2)
while teller>1
j=teller-1;
while j>0
if (ck{teller,1}(1,3)+ck{teller,1}(1,1))*1.1 >
ck{j,1}(1,3)+ck{j,1}(1,1) & (ck{teller,1}(1,1)ck{teller,1}(1,3))*0.9ck{j,1}(1,2)+ck{j,1}(1,3) &
(ck{teller,1}(1,2)-ck{teller,1}(1,3))*0.9 < ck{j,1}(1,2)-ck{j,1}(1,3)
ck(j)=[];
teller=teller-1;
end
j=j-1;
end
teller=teller-1;
end
end
118

CirkelKnip
function [cirkel]=CirkelKnip(I,ck,rij,kolom)
%Maken rechthoek rond cirkel + uitknippen + op scherm tonen
marge=ceil((rij./100).*3.5);
[teller g]=size(ck);
for i=1:teller
xm=ck{i,1}(1,1); %middelpunt + straal cirkel
nemen
ym=ck{i,1}(1,2);
straal=ck{i,1}(1,3);
hulp=xm-straal-marge; % er een rechthoek van
maken
if hulprij x2=rij; end
y1=ym-straal-marge;
if y1kolom y2=kolom; end
cirkel{i,1}=Uitknippen(I,hulp,x2,y1,y2);
end
%Op het scherm tonen van de geknipte cirkels
%for i=1:teller
% figure(i);
% imshow(cirkel{i,1});
%end
119

Uitknippen
function [tab]=Uitknippen(I,x1,x2,y1,y2)
%Hier krijg je de linkerbovenhoek en de rechteronderhoek van een
rechthoek
%vervolgens wordt deze rechthoek uit de foto geknipt
tab=[];
for i=1:3
for R=x1:x2
for K=y1:y2
tab((R-x1+1),(K-y1+1),i)=I(R,K,i);
end
end
end
tab=uint8(round(tab-1)); %converteren naar unit8 formaat
120

KleurWaardesCirkel
function
[RoodCirkel,RoodBinnenCirkel,BlauwBinnenCirkel,ZwartBinnenCirkel,WitBinne
nCirkel,Percentage,TotaalBinnen]=KleurWaardesCirkel(ck,c)
RoodCirkel=0;
RoodBinnenCirkel=0;
WitBinnenCirkel=0;
ZwartBinnenCirkel=0;
BlauwBinnenCirkel=0;
Percentage=0;
im=rgb2hsv(c);
h=im(:,:,1);
s=im(:,:,2);
v=im(:,:,3);
r=c(:,:,1);
g=c(:,:,2);
b=c(:,:,3);
if(size(ck,1)>=2)
GrootsteStraal=ck{1,1}(1,3);
KleinsteStraal=GrootsteStraal;
PlaatsGrootste=1;
PlaatsKleinste=1;
for i=2:size(ck,1)
if(GrootsteStraal < ck{i,1}(1,3))
GrootsteStraal=ck{i,1}(1,3);
PlaatsGrootste=i;
end
if(KleinsteStraal > ck{i,1}(1,3))
KleinsteStraal=ck{i,1}(1,3);
PlaatsKleinste=i;
end
end
if(GrootsteStraal-KleinsteStraal < 4) %de stralen moeten minimum 4
pix van elkaar liggen
hulpck{1,1}=ck{PlaatsGrootste,1};
else
hulpck{1,1}=ck{PlaatsGrootste,1};
hulpck{2,1}=ck{PlaatsKleinste,1};
end
ck=hulpck;
end
if(size(ck,1)==1)
BinnensteStraal=ck{1,1}(1,3);
x=ck{1,1}(1,1);
y=ck{1,1}(1,2);
for i=1:100;
for j=1:100;
if (sqrt((i-x)^2+(j-y)^2)0.5)
RoodBinnenCirkel=RoodBinnenCirkel+1;
end
if (sqrt((i-x)^2+(j-y)^2)0.5)
BlauwBinnenCirkel=BlauwBinnenCirkel+1;
end
if ( sqrt((i-x)^2+(j-y)^2)

ZwartBinnenCirkel=ZwartBinnenCirkel+1;
end
gemiddelde=(double(r(i,j))+double(b(i,j))+double(g(i,j)))/3;
if (sqrt((i-x)^2+(j-y)^2)

end
GrootsteOpp=floor(BuitensteStraal^2*pi);
KleinsteOpp=floor(BinnensteStraal^2*pi);
Opp=GrootsteOpp-KleinsteOpp;
Percentage=ceil((100./Opp)*RoodCirkel);
TotaalBinnen=RoodBinnenCirkel+BlauwBinnenCirkel+ZwartBinnenCirkel+WitBinn
enCirkel;
123

MaakNetEenRichting
% In de tabel p_eenrichting staan de waarden die we terugkrijgen van het programma
% KleurWaardesCirkel. Hier staat in elke kolom de waarden van een cirkel. In de tabel tm
% staat telkens het resultaat of het al dan niet een cirkel is. Een 1 stelt een goede cirkel
% voor. De volgende netten die we maken voor cirkels zijn analoog gemaakt.
p_eenrichting =[
0 0 2271 0 0 0 0 0 965 0 0
3345 2450 42 2978 2440 3012 1000 1638 43 102 3465
0 0 0 0 0 0 2 0 0 0 0
89 18 0 227 201 0 980 1745 773 31 992
885 499 2072 178 683 0 800 28 2676 4146 855
0 0 92 0 0 0 0 0 59 0 0
4319 2967 2114 3383 3324 3125 3265 3411 3492 4279 5312];
t_eenrichting=[ 1 1 0 1 1 0 0 0 0 0 1] ;
NetEenrichting=newp([0 5000;0 5000;0 5000;0 5000;0 5000;0 101;0
10000],1);
NetEenrichting.trainParam.epochs=10000;
NetEenrichting=train(NetEenrichting,p_eenrichting,t_eenrichting);
124

MaakNetGebods
p_gebods =[
0 0 0 1 0 0 0 0 0 6 0 0 0 0
0 0 0 4 45 0 3 0 0 36 0 0 0 752
1773 924 1074 394 1012 1385 1419 515 822 537 131 461 2380 3068
0 602 39 2891 2221 4177 2085 2606 2320 194 26 1043 0 0
771 817 621 1656 182 136 103 98 402 295 455 1147 8 11
0 0 0 1 0 0 0 0 0 1 0 0 0 0
2544 2343 1734 4945 3460 5698 3610 3219 3544 1062 612 2651 2388 3831];
t_gebods=[1 1 1 0 0 0 0 0 0 1 1 0 1 0];
NetGebods=newp([0 5000;0 5000;0 5000;0 5000;0 5000;0 101;0 10000],1);
NetGebods.trainParam.epochs=10000;
NetGebods=train(NetGebods,p_gebods,t_gebods);
125

MaakNetGnTIBR
p_GeenToegang =[
2391 899 2680 2526 2084 973 1370 2277 2553 1651 940
77 13 58 63 88 2467 507 56 42 80 647
0 0 0 0 0 0 0 179 0 4 0
16 36 489 0 0 5 0 291 737 384 2
2566 2586 1888 3853 2808 733 713 44 2275 1856 3058
95 50 99 96 96 72 56 93 96 90 96
2659 2635 2435 3916 2896 3205 1220 570 3054 2324 3707];
t_GeenToegang=[1 1 1 1 1 0 0 0 0 0 1];
NetGeenToegangInBeideRichting=newp([0 5000;0 5000;0 5000;0 5000;0 5000;0
101;0 10000],1);
NetGeenToegangInBeideRichting.trainParam.epochs=10000;
NetGeenToegangInBeideRichting=train(NetGeenToegangInBeideRichting,p_GeenT
oegang,t_GeenToegang);
126

MaakNetVerbods
p_Verbods =[
745 2287 2554 2216 2599 0 2822 88 566
845 53 42 56 424 823 1405 1068 177
0 177 0 0 1692 3057 0 0 247
0 294 737 0 0 1 0 594 214
625 10 2274 2114 11 29 685 267 116
73 94 96 96 80 0 81 10 41
1470 534 3053 2170 2127 3910 2090 1929 754];
t_Verbods=[1 1 1 0 1 0 0 0 1];
NetVerbods=newp([0 5000;0 5000;0 5000;0 5000;0 5000;0 101;0 10000],1);
NetVerbods.trainParam.epochs=10000;
NetVerbods=train(NetVerbods,p_Verbods,t_Verbods);
127

DriehoekProgramma
function
[AantalGevarenDriehoek,AantalVoorangsDriehoek]=DriehoekProgramma(I,im,rij
,kolom,NetDriehoek)
driehoek=[];
h=[];
tabel=[];
tabel=LijnCoordinaten(im);
if ~(isempty(tabel))
h=DriehoekDetectie(tabel,rij,kolom);
end
if ~(isempty(h))
h=DriehoekFilter(h);
h=DriehoekFilter(h);
driehoek=DriehoekKnip(I,h,rij,kolom);
if~(isempty(driehoek))
resultaat=[];
for i=1:size(driehoek,1)
im=imresize(driehoek{i,1},[100,100]);
figure,imshow(im);
im=RoodFilter(im,100,100);
[En30,En150,En0,En50,En130]=BerekenEnergie(im);
p=[En30;En150;En0;En50;En130];
a=sim(NetDriehoek,p);
%resultaat=[resultaat a];
driehoek{i,3}=a;
end
end
end
AantalGevarenDriehoek=0;
AantalVoorangsDriehoek=0;
if~(isempty(driehoek))
for l=1:size(driehoek,1);
if(driehoek{l,3}==1)
top=driehoek{l,2}(1,5);
basis=driehoek{l,2}(1,1);
if (basis-top < 0)
AantalVoorangsDriehoek=AantalVoorangsDriehoek + 1;
else
AantalGevarenDriehoek=AantalGevarenDriehoek + 1;
end
end
end
end
128

LijnCoördinaten
function tabel=LijnCoordinaten(im)
%im=ingelezen foto
if nargin == 0
error('Not enough input arguments.');
end
pix=25; %aantal pixels die nodig zijn om een lijn te vormen
%tabel wordt aangemaakt met de coordinaten van de lijnen
tab = [];
for theta=0:179
[R,xp]=radon(im,theta);
hulp=find(R>pix);
hulp=hulp';
for i=hulp
tab=[tab;theta xp(i)]; %eerste kolom: hoek theta, tweede kolom:
loodrechte afstand tot de oorsprong (R)
end
end
%dubbelzinnige coordinaten worden uit de tabel verwijderd
aantal=size(tab,1);
tabel=[];
while(0

Rres=R;
else
hulpteller=hulpteller-1;
end
j=1:hulpteller;
tab(XY(j),:)=[]; %verwijderen van de
verwerkte lijnen
aantal=aantal-hulpteller;
tabel=[tabel;floor(Rtheta./hulpteller) floor(Rres./hulpteller)]; %de
opgekuiste tabel wordt aangemaakt
end
130

Gemeenschappelijk
function XY=Gemeenschappelijk(min,max,X,Y) %tabel maken
van gemeenschappelijke elementen van X en Y
XY=[];
teller=1; %teller die
de kleinste tabel overloopt
while(teller

DriehoekDetectie
function [hoekCoordinaten]=DriehoekDetectie(tabel,rij,kolom)
% hoekCoordinaten bevat de coordinaten van de driehoeken
% tabel meegeven waar de lijnen in poco vermeld staan(via LijnCoordinaten
wordt die tabel aangemaakt)
% rij en kolomgrootte van de foto meegeven (kan je opvragen via
[rij,kolom]=size() )
if nargin < 3
error('Not enough input arguments.');
end
%tabel wordt opgesplitst in 3 tabellen resp. voor 0°
30° 150°
hoek30=[]; %een gelijkzijdige driehoek heeft hoeken van 60°
hoek90=[]; %Deze tabel stelt 0° voor:in poco wordt de
horizontale voorgesteld door een hoek van 90°
hoek150=[];
hoekCoordinaten=[];
grensrij=rij./2;
grenskolom=kolom./2;
for i=tabel' %opvullen van de 3 hoek tabellen
if (25

gem=(af1+af2+af3)./3;
%gem=gemiddelde lengte tussen de 3 hoekpunten
speling=(gem./100).*5; %er mag een
speling van 5% aanwezig zijn tussen de gemiddelde afstand en de 3
onderlinge afstanden
if ( gem>50 & gem

BerekenHoekpunt
function [y,x]=BerekenHoekpunt(theta1,r1,theta2,r2)
%het uitrekenen van het snijpunt tussen 2 rechten, via methode van gauss
pie=pi./180;
y=((r1./(cos(pie*theta1)))-
(r2./(cos(pie*theta2))))./(((sin(pie*theta1))./(cos(pie*theta1)))-
((sin(pie*theta2))./(cos(pie*theta2))));
x=(r1./(cos(pie*theta1)))-(y.*(sin(pie*theta1)./cos(theta1*pie)));
134

DriehoekFilter
function [hoekCoordinaten]=DriehoekFilter(hoekC)
%De tabel met alle gevonden driehoeken wordt bekeken en de overbodige
driehoeken worden verwijderd
hoekCoordinaten=[]; %lege tabel die opgevuld wordt met de unieke
driehoeken
pos=0; %houdt de positie bij van hoekCoordinaten
while ~(isempty(hoekC))
hulp=[]; %hulptabel die bijhoudt welke elementen uit
hoekC verwijderd mogen worden
pos=pos+1;
hoekCoordinaten(pos,:)=hoekC(1,:);
hoekC(1,:)=[];
[tel g]=size(hoekC);
x1=hoekCoordinaten(pos,1);
y1=hoekCoordinaten(pos,2);
gem1=hoekCoordinaten(pos,7);
x3=hoekCoordinaten(pos,5);
y2=hoekCoordinaten(pos,4);
for i=1:tel
if x1-30=hoekC(i,1) & y1-30=hoekC(i,2) & floor(gem1*0.7)=hoekC(i,7) & sign(x1-x3)==sign(hoekC(i,1)-hoekC(i,5)) &
sign(y1-y2)==sign(hoekC(i,2)-hoekC(i,4))
% kijken of 1e punt van hoekCoordinaten binnen een interval van
+-10 ligt bij punt in hulp kijken of de gemiddelde
waardes in een 10% interval overeenkomen kijken of top zelfde pos
heeft tov 1e pt idem ander hoekpunt
if hoekCoordinaten(pos,7)

DriehoekKnip
function [driehoek]=DriehoekKnip(I,hoekCoordinaten,rij,kolom)
%De driehoeken van hoekCoordinaten worden uit het beeld geknipt dmv
Rechthoek
[i,j]=size(hoekCoordinaten);
for j=1:i %bepalen van de linkerbovenhoek en
rechteronderhoek die aan Rechthoek meegegeven moeten worden
klx=hoekCoordinaten(j,1); %klx=kleinste x waarde
grx=hoekCoordinaten(j,1); %grx=grootste x waarde
if klx>hoekCoordinaten(j,3) klx=hoekCoordinaten(j,3); end
if klx>hoekCoordinaten(j,5) klx=hoekCoordinaten(j,5); end
if grxhoekCoordinaten(j,6) kly=hoekCoordinaten(j,6); end
if gry

BerekenEnergie
function
[EnergieBand30,EnergieBand150,EnergieBand0,EnergieBand50,EnergieBand130]=
BerekenEnergie(im)
%im=imresize(im,[100,100]); % indien niet hoofdprogramma resized moet
het hier!
%level=graythresh(im); % we krijgen van roodfilter bw
%im=im2bw(im,level);
f=fft2(im);
[rij,kol]=size(f);
for i=1:rij % is noodzakelijk anders foutmelding bij het
berekenen van de log
for j=1:kol
if(f(i,j)==0)
f(i,j)=1;
end
end
end
f=log(abs(f));
f=fftshift(f);
x=mean(mean(f)); % berekening van de gemiddelde waarde
for i=1:100
for j=1:100
f(j,i)=f(j,i)-x; % aftrekking van de gemiddelde waarde
end
end
rij=rij./2;
kol=kol./2;
band30=0; teller30=0;
band150=0; teller150=0;
band0=0; teller0=300; % als hij geresized is op 100 100 anders moet je
dit herbereken
band50=0; teller50=0;
band130=0; teller130=0;
for i=-rij+1:rij
for j=-kol+1:kol
if(i~=0 & atan(j./i)> ((pi./180).*26) & atan(j./i)<
((pi./180).*34)) % berekening van de energie waarde rond de 30°
band30=band30+f(j+kol,i+rij);
teller30=teller30+1;
end
if(i~=0 & atan(j./i)-
((pi./180).*34)) % berekeking van de energie waarde rond de -30°
band150=band150+f(j+kol,i+rij);
teller150=teller150+1;
end
if(i>-2 & i ((pi./180).*46) & atan(j./i)<
((pi./180).*54)) % berekening van de energie waarde rond de 50°
band50=band50+f(j+kol,i+rij);
teller50=teller50+1;
end
137

if(i~=0 & atan(j./i)-
((pi./180).*54)) % berekeking van de energie waarde rond de -50°
band130=band130+f(j+kol,i+rij);
teller130=teller130+1;
end
end
end
EnergieBand30=floor(band30./teller30);
EnergieBand150=floor(band150./teller150);
EnergieBand0=floor(band0./teller0);
EnergieBand50=floor(band50./teller50);
EnergieBand130=floor(band130./teller130);
138

MaakNetDriehoek
% De waarden die we terug krijgen van BerekenEnergie zijn hier weergegeven in de tabel
% pm. Elke kolom staat voor de waarden van een driehoek die we hebben ingegeven. In de
% tabel tm staat het resultaat dat het net moet weergeven bij de invoer. Zo kunnen we zien
% dat de eerste kolom van pm een driehoek is want bij tm staat er een 1. Zo wordt het net
% getraind.
pm =[
];
0 0 -1 0 -1 0 -1 -1 0 0 0 0
0 0 -1 0 -1 0 -1 -1 0 0 0 0
90 145 147 133 111 98 128 128 119 128 90 9
-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1
-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1
tm =[1 1 0 1 0 1 0 0 1 1 1 0
];
NetDriehoek=newp([-2 1;-2 1;0 200;-2 1;-2 1],1);
NetDriehoek=train(NetDriehoek,pm,tm);
139

RechthoekDetectie
function rechthoek=RechthoekDetectie(tabel,rij,kolom)
%In deze functie zullen we uit tabel de rechthoeken in het beeld zoeken
hoek0=[]; %een rechthoek vind je op 0° en 90°
hoek90=[];
rechthoek=[];
grensrij=rij./2;
grenskolom=kolom./2;
for i=tabel' %opvullen van de 2 hoek tabellen, 5° speling
if (175

echthoek=[rechthoek;floor(a)+grensrij floor(b)+grenskolom
floor(c)+grensrij floor(d)+grenskolom floor(e)+grensrij
floor(f)+grenskolom floor(g)+grensrij floor(f)+grenskolom];
end
end
end
end
end
end
end
end
end
141

RechthoekKnip
function [rechthoeken]=RechthoekKnip(I,rechthoek);
rechthoeken=[];
for i=1:size(rechthoek,1)
grx=rechthoek(i,1);
klx=rechthoek(i,1);
if grxrechthoek(i,3) klx=rechthoek(i,3); end
if grxrechthoek(i,5) klx=rechthoek(i,5); end
if grxrechthoek(i,7) klx=rechthoek(i,7); end
gry=rechthoek(i,2);
kly=rechthoek(i,2);
if gryrechthoek(i,4) kly=rechthoek(i,4); end
if gryrechthoek(i,6) kly=rechthoek(i,6); end
if gryrechthoek(i,8) kly=rechthoek(i,8); end
rechthoeken{i,1}=Uitknippen(I,klx-10,grx+10,kly-10,gry+10);
end
%Op het scherm tonen van de geknipte rechthoek
teller=size(rechthoeken,1);
for i=1:teller
figure(i);
imshow(rechthoeken{i,1});
end
142

Literatuurlijst
[1] Road Sign Recognition groups in the world.
URL:http://euler.fd.cvut.cz/research/rs2/other.html [18 September 2003]
[2] Recognition of Road Signs using Support Vector Machine and Approximated Invariant
Method. URL: http://visl.technion.ac.il/projects/2000s04/ [18 September 2003]
[3] DESPOPULOS AGAMEMMON, SILBERNAGL STEFAN, Color atlas of Physiology,
4 th edition revised and enlarged, Stuttgarth, Thieme, 1991, hoofdstuk 11, p. 314-315
[4] Image Processing Learning Resources. URL: http://homepages.inf.ed.ac.uk/rbf/HIPR2
[18 September 2003]
BISHOP CHRISTOPHER M., Neural Networks for Pattern Recognition, New York,
Oxford University Press Inc., 1995
Road Sign Recognition by Single Positioning of Space-Variant Sensor Window.
URL:http://www.cipprs.org/vi2002/pdf/s4-5.pdf [18 September 2003]
Road Traffic Sign Detection and Classification.
URL:http://www.uc3m.es/uc3m/dpto/IN/dpin04/IE3tie97.pdf [18 September 2003]
Road Sign Recognition from a Moving Vehicle,URL:http://citeseer.ist.psu.edu/570294.html
[18 September 2003]
Road Sign Classification without Color Information.
URL:http://www.ph.tn.tudelft.nl/~pavel/files/asci2000.pdf [18 September 2003]
Road Sign classification using Laplace kernel classifier.
URL:http://www.ph.tn.tudelft.nl/~pavel/files/paclik99:SCIA.pdf [18 September 2003]
An Introduction to Edge Detection: the Sobel Edge Detector.
URL:http://www.generation5.org/content/2002/im01.asp [24 September 2003]
Canny Edge Detection Tutorial. URL: http://www.pages.drexel.edu/~weg22/can_tut.html
[24 September 2003]
The MatWorks Worldwide.
URL:http://www.mathworks.com/access/helpdesk/help/techdoc/matlab.shtml [5 Mei 2004]
Matlab, The Language of Technical Computing(6.1.0.450)[Computer Program].(18 Mei
2001).
National Instruments LabVIEW(7.0)[Computer Program].
Adobe Photoshop(7.0)[Computer Program].
143

144