Prof. Dr. rer. nat. habil. Paul Levi - am Institut für Mathematik und ...
Prof. Dr. rer. nat. habil. Paul Levi - am Institut für Mathematik und ...
Prof. Dr. rer. nat. habil. Paul Levi - am Institut für Mathematik und ...
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
Betreuer: Prufer: <strong>Prof</strong>.<strong>Dr</strong>.<strong>rer</strong>.<strong>nat</strong>.<strong>habil</strong>.<strong>Paul</strong><strong>Levi</strong> Dipl.-Inform.SusanneGerl<br />
begonnen<strong>am</strong>: 01.Dez1995 Dipl.-Inform.NorbertOswald<br />
CR-Klassikation: beendet<strong>am</strong>: I.2.10,I.4.8,I.2.9,I.3.3 31.Mai1996<br />
bewegenderObjekteauseiner mitdyn<strong>am</strong>ischerK<strong>am</strong>era RobusteExtraktionsich DiplomarbeitNr.1355<br />
aufgenommenenVideosequenz<br />
FakultatInformatik MarcEbner<br />
VerteilteHochstleistungsrechner <strong>Institut</strong>furParallele<strong>und</strong> Breitwiesenstrae20{22 UniversitatStuttgart D{70565Stuttgart
Zus<strong>am</strong>menfassung<br />
Dierenzbildzudetektieren,wurdegewahlt. vorgestellt.DieverschiedenenausderLiteraturbekanntenAnsatzezurExtraktionbewegter DerAnsatz,dieEigenbewegungderK<strong>am</strong>erazukompensieren<strong>und</strong>Veranderungendurchein wickelt.SchwingungenderK<strong>am</strong>era<strong>und</strong>ungenaueDatenzurBerechnungderEigenbewegung Objekte<strong>und</strong>zurDetektionvonVeranderungenauseinerVideosequenzwerdenbesprochen. werdentoleriert.DieMotivationzurExtraktionbewegterObjektewird<strong>am</strong>AnfangderArbeit IndervorliegendenArbeitwurdeeinrobusterAnsatz,bewegteObjektezuextrahieren,entumSchwingungenzueliminieren.DurchKorrelationmarkanterPunktewirdeinVerschie-<br />
derK<strong>am</strong>era<strong>und</strong>desFahrzeugeswirdvorgestellt.EinlinearesFehlermodellwurdeeingefuhrt, bungsvektorberechnet,derdiePradiktionverbessert.DasDierenzbildausderverbessertenzurK<strong>am</strong>er<strong>am</strong>odelliert.DieEntfernungzudenObjektpunktenwirddurchKorrelationmartusinformationenderK<strong>am</strong>era<strong>und</strong>desverwendetenFahrzeugesberechnet.DieModellierungderbekanntenTransformationsmatrixvorhergesagt.DieTransformationwirdausdenStakanterPunkteabgeschatzt.DasaktuelleBildwirdaufgr<strong>und</strong>desvorangegangenenBildes<strong>und</strong> DasbetrachteteBildwirdindervorliegendenArbeitalsFlachemitkonstanterEntfernung<br />
EigenbewegungwerdendurchdieAnwendungmorphologischerOperatoreneliminiert. PradiktiondesaktuellenBildes<strong>und</strong>destatsachlichenBildesliefertBildpunkte,andeneneine rungenwerdenzubewegtenObjektenzus<strong>am</strong>mengefat.EinezweiteLiteraturrecherchewurde Veranderungstattgef<strong>und</strong>enhat.VerbleibendeStorungenoderFehlerinderKompensationder betrieben,umnachgeeignetenVerfahrenzusuchen.DieVerfahrenwerdenbeschrieben<strong>und</strong> bewertet.AusdenvorgestelltenVerfahrenwurdeeinAlgorithmusentwickelt,Veranderungen desDierenzbildeszuObjektenzus<strong>am</strong>menzufassen.EswirdeineHeuristikeingefuhrt,um Bereiche,diedurchdieAnwendungmorphologischerOperationengetrenntwurden,zueinem Objektzus<strong>am</strong>menzufassen.ZwischenallenRegionendesvorangegangenen<strong>und</strong>desaktuellen Dierenzbildeswirdaufgr<strong>und</strong>desVergleichesderFlachenderRegioneneineKorrespondenz NunwirdwieaufeinerstationarenBildsequenzweitergearbeitet.DiedetektiertenVerande-<br />
hergestellt<strong>und</strong>derBewegungsvektorberechnet.SoergebensichneueBewegungshypothesen, richtig,dasheit,eswirdeineVeranderungimfolgendenDierenzbildandervermutetenStelle diemitdenaltenBewegungshypothesenkombiniertwerden.SinddieBewegungshypothesen gef<strong>und</strong>en,sowirddieHypothesevalidiert<strong>und</strong>esentstehteinbewegtesObjekt.Dieextrahier- Objektenzus<strong>am</strong>menzufassen. tenbewegtenObjektewerdendannebenfallseingesetzt,umBereichedesDierenzbildeszuGrenzbereichederImplementierungwerdenanhandeinigerVideosequenzenanalysiert.LaufzeitmessungenfurverschiedeneBildgroenwerdenebenfallsgegeben.Schlielichwirddie AusgabederImplementierungfureinigeVideosequenzenprasentiert. DieBenutzungdesentwickeltenProgr<strong>am</strong>ms<strong>und</strong>derBibliothekwirdbeschrieben.Die i
ministeriumsfurBildung<strong>und</strong>Wissenschaftgefordert.IchmochtederFriedrich-Naumann- Vorwort DievorliegendeArbeitwurdevonderFriedrich-Naumann-StiftungausMittelndesB<strong>und</strong>es- StiftungandieserStelleganzherzlichfurdiematerielle<strong>und</strong>vorallemfurihreideelleForderung danken,diesiemirubereinStipendiumzukommenlie.<br />
ii
1Einleitung Inhaltsverzeichnis<br />
2BewegteBilder 1.1Motivation:::::::::::::::::::::::::::::::::::::::1 1.2GangderArbeit:::::::::::::::::::::::::::::::::::2 2.1EntstehungdesBildes::::::::::::::::::::::::::::::::4 1<br />
2.2Bewegungsfeld:::::::::::::::::::::::::::::::::::::6 2.3OptischerFlu::::::::::::::::::::::::::::::::::::7 2.4DetektionvonVeranderungenimBild::::::::::::::::::::::::8 2.1.1PerspektivischeProjektion::::::::::::::::::::::::::4 2.1.2OrthogonaleProjektion::::::::::::::::::::::::::::5 2.4.1Dierenzbilder::::::::::::::::::::::::::::::::8 4<br />
2.5ExtraktionbewegterObjektefurtranslatorischeK<strong>am</strong>erabewegungen:::::::15 2.4.2BewegteKanten<strong>und</strong>Ecken:::::::::::::::::::::::::10 2.4.3RobusteDetektionvonVeranderungen:::::::::::::::::::12 2.4.4BeleuchtungsunabhangigeBewegungserkennung::::::::::::::13<br />
3Zus<strong>am</strong>menfassenvonRegionenzuObjekten 2.7BewertungderAnsatze::::::::::::::::::::::::::::::::18 2.6ExtraktionbewegterObjektefurrotatorischeK<strong>am</strong>erabewegungen::::::::17 3.1BestimmungdesstationarenHintergr<strong>und</strong>es:::::::::::::::::::::20 2.5.1Eigenbewegung-Polar-Transformation::::::::::::::::::::15<br />
3.2MorphologischeOperationen:::::::::::::::::::::::::::::20 2.5.2Komplex-logarithmischeTransformation::::::::::::::::::15<br />
3.3Kontrast-<strong>und</strong>geschwindigkeitsbasierterAnsatz::::::::::::::::::21 2.5.3Eigenbewegung-Komplex-LogarithmischeTransformation:::::::::17<br />
3.6GeometrischerAnsatz::::::::::::::::::::::::::::::::25 3.7Zus<strong>am</strong>menfassenvonRegionendurchPradiktionderObjektbewegung::::::28 3.5ZuordnungderRegionenzuBildern:::::::::::::::::::::::::24 3.4WahrscheinlichkeitsbasierterAnsatz:::::::::::::::::::::::::22 20<br />
4ExtraktionbewegterObjekte 3.8BewertungderAnsatze::::::::::::::::::::::::::::::::28 4.1KompensationderEigenbewegung::::::::::::::::::::::::::30 4.1.1PradiktionderBewegungdesstationarenHintergr<strong>und</strong>es::::::::::31 4.1.2Elimi<strong>nat</strong>ionvonOszillationenderK<strong>am</strong>era:::::::::::::::::33 iii<br />
30
INHALTSVERZEICHNIS 4.2DetektionvonVeranderungen::::::::::::::::::::::::::::38 4.4Zus<strong>am</strong>menfassennaherRegionen::::::::::::::::::::::::::39 4.3UnterdruckungvonverbleibendenUngenauigkeiteninderPradiktion::::::39 4.1.4KorrelationmarkanterPunkte::::::::::::::::::::::::37 4.1.3BerechnungderEntfernungzumHintergr<strong>und</strong>::::::::::::::::34 iv<br />
5DasProgr<strong>am</strong>mEMO-ExtractionofMovingObjects 4.5Zus<strong>am</strong>menfassenvonBereichenzuObjekten::::::::::::::::::::41 5.1EingesetzteHardware<strong>und</strong>Software:::::::::::::::::::::::::48 4.6ErzeugungeinesbewegtenObjektesmittelsHypothesen::::::::::::::44 5.5KalibrierungderK<strong>am</strong>era:::::::::::::::::::::::::::::::57 5.2ModellierungderK<strong>am</strong>era::::::::::::::::::::::::::::::49 5.3ModellierungdesRoboters::::::::::::::::::::::::::::::51 5.6ExtraktionbewegterObjekte::::::::::::::::::::::::::::57 5.4BewegungderK<strong>am</strong>era::::::::::::::::::::::::::::::::52 5.6.1Daten,dieauseinervorhergehendenIterationexistieren::::::::::59 48<br />
5.6.3PradiktionderObjektbewegung:::::::::::::::::::::::60 5.6.2BerechnungderTransformationsmatrix:::::::::::::::::::60 5.6.4KorrelationmarkanterPunkte::::::::::::::::::::::::61 5.6.5BerechnungdergeschatztenEntfernungzumHintergr<strong>und</strong>:::::::::62 5.6.6Fehlerkorrektur::::::::::::::::::::::::::::::::64 5.6.7DetektionvonVeranderungen::::::::::::::::::::::::64 5.6.8Konturbildung:::::::::::::::::::::::::::::::::65 5.6.9Zus<strong>am</strong>menfassennahebeieinanderliegenderKonturen:::::::::::65<br />
6Experimente<strong>und</strong>Ergebnisse 5.9GraphischeAusgabedesProgr<strong>am</strong>msEMO:::::::::::::::::::::75 5.7BenutzungderBibliothek:::::::::::::::::::::::::::::::68 5.8BenutzungdesProgr<strong>am</strong>ms::::::::::::::::::::::::::::::73 5.6.11ErzeugungeinerBewegungshypothese::::::::::::::::::::66 5.6.12AktualisierungderBewegungshypothesen<strong>und</strong>derbewegtenObjekte:::67 5.6.10BestimmungbewegterRegionen:::::::::::::::::::::::66<br />
6.1SchwingungenderK<strong>am</strong>era::::::::::::::::::::::::::::::78 6.2GenauigkeitderEntfernungsberechnung:::::::::::::::::::::::79 6.3SchnelligkeitderEntfernungsanpassung:::::::::::::::::::::::82 6.4EinuderPerspektive::::::::::::::::::::::::::::::::87 6.5EinugroerBewegungenderK<strong>am</strong>era:::::::::::::::::::::::87 6.7Ergebnisse:::::::::::::::::::::::::::::::::::::::91 6.6Zeitmessungen:::::::::::::::::::::::::::::::::::::90 78<br />
CAufbaudesProgr<strong>am</strong>ms BBildsequenzbetrachtungsprogr<strong>am</strong>m 7Zus<strong>am</strong>menfassung<strong>und</strong>Ausblick ADasEMO-Bildformat 96<br />
95 92 94
INHALTSVERZEICHNIS DVIEW-VisualisierungfurdieProgr<strong>am</strong>mentwicklung EVideosequenzen Literaturverzeichnis 107<br />
101 97v
Abbildungsverzeichnis 2.3Anges<strong>am</strong>meltes,absolutesDierenzbild,anges<strong>am</strong>meltes,positivesDierenzbild, 2.2OrthogonaleProjektioneinesein<strong>Dr</strong>ahtgerustesinderFormeinesWurfels.:::5 2.1PerspektivischeProjektioneinesein<strong>Dr</strong>ahtgerustesinderFormeinesWurfels.:5 2.4ZweitezeitlicheAbleitungeinesbewegtenRechtecks.:::::::::::::::11 2.5ExtraktioneinerbewegtenKantefurdeneindimensionalenFall.:::::::::11 2.6K<strong>am</strong>erabild,Eigenbewegung-Polar-TransformationdesK<strong>am</strong>erabildes<strong>und</strong>Eigen- anges<strong>am</strong>meltes,negativesDierenzbildfureinObjekt:::::::::::::::9<br />
3.2ZuordnungvonRegionen:::::::::::::::::::::::::::::::25 3.3BewegungunabhangigvonForm<strong>und</strong>OrientierungdesObjektes.:::::::::26 3.1VierObjektevoreinemHintergr<strong>und</strong>.::::::::::::::::::::::::22 2.7BaumhintereinemFenster::::::::::::::::::::::::::::::18 3.4BewegungabhangigvonForm<strong>und</strong>OrientierungdesObjektes.::::::::::27 3.5KonstruiertesBeispiel,beidemderAnsatzvonYal<strong>am</strong>anchilifalschlicherweise bewegung-Komplex-Logarithmische-TransformationdesK<strong>am</strong>erabildes.::::::164.5Zus<strong>am</strong>menfassenzweierRegionendesDierenzbildes,wenndiesedurchmor-<br />
4.3AbstandsfunktionfureineWand:::::::::::::::::::::::::::35 4.4AbstandsfunktionfureinenGang::::::::::::::::::::::::::36 4.1Translatorische<strong>und</strong>rotatorischeK<strong>am</strong>erabewegung:::::::::::::::::31 4.2TransformationdesK<strong>am</strong>erabildesbeieiner<strong>Dr</strong>ehbewegungumdieoptischeAchse,beieinerSchwenkbewegung<strong>und</strong>beieinerNickbewegungderK<strong>am</strong>era.::::33 Verbindungslinienzieht.:::::::::::::::::::::::::::::::27<br />
4.6DieHeuristikwirftdieFrageauf,obeinkleinerBereichzueinemgroenBereich 4.7GrenzbereichederHeuristikzumZus<strong>am</strong>menfassen<strong>am</strong>Beispielzweierquadra- 4.8ZweigetrennteRegionenentstehenauchdurchdieAnwendungmorphologischer phologischeOperationenbearbeitetwurden:::::::::::::::::::::40<br />
4.10ErzeugungneuerbewegterObjektemitHilfedervermutetenPositionderObjekte.44 hinzugefugtwerdensollodernicht.:::::::::::::::::::::::::41<br />
5.1DarstellungderStereo-K<strong>am</strong>eranachISO::::::::::::::::::::::50 4.9PradiktionderObjektbewegung:::::::::::::::::::::::::::43 4.11ErzeugungvermuteterbewegterObjekte.::::::::::::::::::::::46 tischerBereiche.::::::::::::::::::::::::::::::::::::42<br />
5.2PositionderKoordi<strong>nat</strong>ensystemederK<strong>am</strong>era:::::::::::::::::::50 5.3Koordi<strong>nat</strong>ensystemdesFahrzeuges:::::::::::::::::::::::::52 Operationen.::::::::::::::::::::::::::::::::::::::42<br />
vi
ABBILDUNGSVERZEICHNIS 5.7FensterdesProgr<strong>am</strong>msEMO.::::::::::::::::::::::::::::77 5.5DerAlgorithmuszurExtraktionbewegterObjekte:::::::::::::::::58 5.6KommunikationskanaledereinzelnenProzesse:::::::::::::::::::68 5.4BewegungdesFahrzeuges::::::::::::::::::::::::::::::55 vii<br />
6.4Geschatzte<strong>und</strong>dietatsachlicheEntfernungderK<strong>am</strong>erazumHintergr<strong>und</strong>.:::82 6.1VertikaleVerschiebungderPradiktiondesK<strong>am</strong>erabildes:::::::::::::79 6.3Bilder15bis29einerSequenz,beidersichdieK<strong>am</strong>eratranslatorischentlang 6.6Bilder15bis29einerSequenz,beidersichdieK<strong>am</strong>eratranslatorischentlang 6.5Bilder0bis14einerSequenz,beidersichdieK<strong>am</strong>eratranslatorischentlang 6.2Bilder0bis14einerSequenz,beidersichdieK<strong>am</strong>eratranslatorischentlang einerWandmitTiefendierenzbewegt.:::::::::::::::::::::::83 einerWandinkonstantemAbstandbewegt.::::::::::::::::::::81 einerWandmitTiefendierenzbewegt.:::::::::::::::::::::::84 einerWandinkonstantemAbstandbewegt.::::::::::::::::::::80<br />
6.8LetztesBildeinerSequenz,beiderdasFahrzeugaufeineWandmitKalibrie- 6.7Diegeschatzte<strong>und</strong>dietatsachlicheEntfernungderK<strong>am</strong>erazumHintergr<strong>und</strong><br />
6.11KompensationderEigenbewegungfurgroeK<strong>am</strong>erabewegungen.::::::::89 6.10ExtrahiertebewegteObjekteauseinerVideosequenzmitgroenTiefenunter- 6.9Geschatzte<strong>und</strong>dietatsachlicheEntfernungderK<strong>am</strong>erazumHintergr<strong>und</strong>bei einerSequenzmitTiefendierenz::::::::::::::::::::::::::85<br />
6.12GemittelteLaufzeiteinerIterationdesAlgorithmusesfurverschiedeneSkalierungsblatternzugefahrenist.:::::::::::::::::::::::::::::86 6.13ExtraktioneinesbewegtenObjektesbeirotatorischerK<strong>am</strong>erabewegung.:::::91 einerFahrtinRichtungeinerWand.:::::::::::::::::::::::::86 schieden.::::::::::::::::::::::::::::::::::::::::88rungsfaktoren.:::::::::::::::::::::::::::::::::::::90 E.1Sequenz1:::::::::::::::::::::::::::::::::::::::101 E.2Sequenz2:::::::::::::::::::::::::::::::::::::::102 E.3Sequenz3:::::::::::::::::::::::::::::::::::::::103 E.4Sequenz4:::::::::::::::::::::::::::::::::::::::104 E.5Sequenz5:::::::::::::::::::::::::::::::::::::::104 E.6Sequenz6:::::::::::::::::::::::::::::::::::::::105 E.7Sequenz7:::::::::::::::::::::::::::::::::::::::106 E.8Sequenz8:::::::::::::::::::::::::::::::::::::::106
Tabellenverzeichnis 5.2ListederKoordi<strong>nat</strong>ensysteme::::::::::::::::::::::::::::51 5.3Denavit-HartenbergPar<strong>am</strong>eterderK<strong>am</strong>era:::::::::::::::::::::51 5.1SpezikationderGelenkmotorenderStereo-K<strong>am</strong>era::::::::::::::::48 5.4KonstantePar<strong>am</strong>eterderK<strong>am</strong>era.::::::::::::::::::::::::::51 5.5PositionderK<strong>am</strong>erabasisimKoordi<strong>nat</strong>ensystemdesFahrzeuges.::::::::52<br />
viii
folgeihresAuftretenssortiert.SowerdenSymbole,dieinnerhalbdesselbenKontextesverwen Symbolverzeichnis DieindervorliegendenArbeitverwendetenSymbolesindimSymbolverzeichnisinderReihenschinenschriftgesetztsind,sindnichtimSymbolverzeichniseingetragen. Kapitel2 detwerden,nichtauseinandergerissen.Progr<strong>am</strong>mvariablen<strong>und</strong>Symbole,dieinSchreibma PO PB PU Pf PZ ObjektpunktmitKoordi<strong>nat</strong>en[X;Y;Z]T BildpunktmitKoordi<strong>nat</strong>en[x;y;f]T Koordi<strong>nat</strong>enursprungmitKoordi<strong>nat</strong>en[0;0;0]T PunktimZentrumderBildebenemitKoordi<strong>nat</strong>en[0;0;f]T ProjektiondesObjektpunktesaufdieZ-AchsedesKoordi<strong>nat</strong>ensystems. Xf Brennweite Y X-Koordi<strong>nat</strong>eeinesWeltpunktes Z Y-Koordi<strong>nat</strong>eeinesWeltpunktes x DieKoordi<strong>nat</strong>ensind[0;0;Z]T: Z-Koordi<strong>nat</strong>eeinesWeltpunktes y Y-Koordi<strong>nat</strong>eeinesBildpunktes X-Koordi<strong>nat</strong>eeinesBildpunktes 4PUPOPZ <strong>Dr</strong>eieck,dasdurchdiePunktePU,PO<strong>und</strong>PZbeschriebenwird. 4PUPBPf m SkalierungsfaktorderorthogonalenProjektion.Mitmwirdauchdie <strong>Dr</strong>eieck,dasdurchdiePunktePU,PB<strong>und</strong>Pfbeschriebenwird. Z AnzahlderPunkteeinesPolygonsbezeichnet. DurchschnittlicheEntfernungderObjektpunktezumHintergr<strong>und</strong> VO GeschwindigkeitdesObjektpunktes VB E(x;y;t) ^Z EinheitsvektorinZ-Richtung GeschwindigkeitdesBildpunktes tu(x;y) t kleineZeitdierenz Zeitpunkt vuv(x;y) Bestrahlungsstarke<strong>am</strong>Bildpunkt(x;y)zumZeitpunktt X-KomponentedesoptischenFlussesimPunkt(x;y)DasselbeSysmbol Y-KomponentedesoptischenFlussesimPunkt(x;y)DasselbeSysmbol Y-KomponentedesoptischenFlusses X-KomponentedesoptischenFlusses wirdauchzurBezeichnungdesRealteilsderPosition!eingesetzt. wirdauchzurBezeichnungdesImaginarteilsderPosition!eingesetzt. ix
TABELLENVERZEICHNIS x Ex Ey Et rE u(x;y) v(x;y) PartielleAbleitungvonEnachx Y-KomponentedesdurchschnittlichenoptischenFlussesderNachbar- PartielleAbleitungvonEnachy X-KomponentedesdurchschnittlichenoptischenFlussesderNachbar- PartielleAbleitungvonEnacht GradientvonE Gewichtungsfaktor punktevon(x;y) nBB(x;y;t) Zahlvariable GrauwertdesBildesBanderPosition(x;y)zumZeitpunktt Bild Schwellwert t1,t2 DB DBt1;t2(x;y) WertdesDierenzbildeszweierBilder,diezudenZeitent1<strong>und</strong>t2ent- Dierenzbild standensind,anderPosition(x;y) Zeitpunkte PDB PDBt1;t2(x;y)WertdespositivenDierenzbildeszweierBilder,diezudenZeitent1<strong>und</strong> PositivesDierenzbild NDB NegativesDierenzbild t2entstandensind,anderPosition(x;y) NDBt1;t2(x;y)WertdesnegativenDierenzbildeszweierBilder,diezudenZeitent1 AADB AADBn(x;y) APDBn(x;y) Wertdesn-tenanges<strong>am</strong>melten,absolutenDierenzbildeszweierBilder, Anges<strong>am</strong>meltes,absolutesDierenzbild <strong>und</strong>t2entstandensind,anderPosition(x;y) APDB Wertdesn-tenanges<strong>am</strong>melten,positivenDierenzbildeszweierBilder, Anges<strong>am</strong>meltes,positivesDierenzbild diezudenZeitent1<strong>und</strong>t2entstandensind,anderPosition(x;y)<br />
BK(x;y;t) ANDB ANDBn(x;y) Wertdesn-tenanges<strong>am</strong>melten,negativenDierenzbildeszweierBilder, Anges<strong>am</strong>meltes,negativesDierenzbild BK PixelwertdesBildesmitbewegtenKanten BildmitbewegtenKanten diezudenZeitent1<strong>und</strong>t2entstandensind,anderPosition(x;y) rB LB LB(x;y;t) B(t) Gradientenbild C PixelwertderzweitenzeitlichenAbleitungdesBildesB BildzumZeitpunktt ZweitezeitlicheAbleitungdesBildesB Operator,derdieEckigkeitderbetrachtetenObjektpunkteermittelt R Region Rx;y RegionumdenPunkt(x;y),deniertdurchdieBildpunktederRegion x;y;t tMittelwertderumdenPunkt(x;y)liegendenGrauwertezumZeitpunkt<br />
H0 2x;y;t Hypothese,dadieRegionenzumselbenObjektgehoren H1 Hypothese,dadieRegionenzuverschiedenenObjektengehoren<br />
VarianzderumdenPunkt(x;y)liegendenGrauwertezumZeitpunktt
TABELLENVERZEICHNIS g(x;y;t) p(g(x;y;t)jH1)Wahrscheinlichkeit,dadieGrauwertedurchg(x;y;t)gegebensind, p(g(x;y;t)jH0)Wahrscheinlichkeit,dadieGrauwertedurchg(x;y;t)gegebensind, xi GrauwertederRegionum(x;y)zurZeitt fallsdieHypotheseH1zutrit. fallsdieHypotheseH0zutrit. aj NG BildmitnormalisiertenGrauwerten DNG(x;y;t) S(x;y) Dt1;t2(x;y) I(t) PixelwertedesBildesmitnormalisiertenGrauwerten SchattierungskoezientdesObjektes<strong>am</strong>betrachtetenBildpunkt(x;y) Dierenzmetrik Dierenzwert<strong>am</strong>Punkt(x;y)zweierBilder,diezumZeitpunktt1 Par<strong>am</strong>eterderGrauwertfunktioneinerRegionj2f1;::;5g BeleuchtungzumZeitpunktt <strong>und</strong>t2aufgenommenwurden. x;y;t1;t2 ErwartungswertderIntensitatsverhaltnissederGrauwertederRegionum<br />
EB(r;;t) (xFOE;yFOE) denPunkt(x;y)zweierBilder,diezumZeitpunktt1<strong>und</strong>t2aufgenommen FOE ZentrumderExpansion(FokusofExpansion) Koordi<strong>nat</strong>endesZentrumsderExpansion wurden. [dx;dy;dz]T EB PixelwertdesEigenbewegungsbildesEBmitdenKoordi<strong>nat</strong>en(r;) Eigenbewegungsbild,dasdurchdieEigenbewegung-Polar-Transformation daszumZeitpunkttaufgenommenwurde TranslationdesBeobachters entsteht<br />
!(r;)<br />
rr(x;y) u(r;) (x;y) Winkelposition,andersichderBildpunkt(x;y)bendet AbstanddesBildpunktes(x;y)zumZentrumderExpansion Winkelposition,andersicheinBildpunktbendet AbstandeinesBildpunkteszumZentrumderExpansion izv(r;) (x(t);y(t)) PositiondesBildpunktes(r;)imkomplex-logarithmischenRaum RealteilderPosition!(r;) ImaginarteilderPosition!(r;) KomplexeZahl p?1(nurinKapitel2stehtifurp?1sonstistieineZahlvariable)<br />
Kapitel3 PositioneinesBildpunkteszumZeitpunktt Kleiner<strong>Dr</strong>ehwinkelumdieSchwenkachse<br />
vx;y(v) (rB) Kleiner<strong>Dr</strong>ehwinkelumdieNickachse<br />
(^v;^v) b(x;y) (x0;y0) 1,2,3,4 RichtungdesGradienten<strong>am</strong>Punkt(x;y)imBildB BetragderGeschwindigkeiteinesBildpunktes(x;y)inAbhangigkeitvon Schwellwerte derRichtungderGeschwindigkeit v Notationdieangibt,daderPunkt(x;y)zumHintergr<strong>und</strong>gehort<br />
RichtungderGeschwindigkeiteinesBildpunktes MaximaimPar<strong>am</strong>eterraumderHough-Transformation PunktdesHintergr<strong>und</strong>es
TABELLENVERZEICHNIS N(x;y) xii N PunkteinderNachbarschaftvonPunkt(x;y) Nachbarschaftsrelation G Gradientenbild Gt p(b(x;y);B) Wahrscheinlichkeit,daderPunkt(x;y)desBildesBzumHintergr<strong>und</strong> ZeitlicheAbleitungdesGradientenbildes p(b(x;y)jGt(x;y); b(N(x;y))) , Par<strong>am</strong>eterzurApproximationdesLogarithmusderWahrscheinlichkeit bekanntist,daeinPunktausderNachbarschaftvon(x;y)zumHinter- Wahrscheinlichkeit,daderPunkt(x;y)zumHintergr<strong>und</strong>gehort,wenn gr<strong>und</strong>gehort. gehort. TypO Region,diedurchdasBedeckendesHintergr<strong>und</strong>esmitdemObjekt p(b(x;y)jGt(x;y);b(N(x;y))) TypB Region,diedurchdasFreiwerdendesHintergr<strong>und</strong>esmitdemObjekt entsteht.<br />
TypX Region,diesowohldurchdasBedeckendesHintergr<strong>und</strong>esalsauchdurch<br />
Kapitel4 CC AnzahlderPunkteaufderauerenKontureinerRegiondesDierenz- dasFreiwerdendesHintergr<strong>und</strong>esentsteht. CP AnzahlderPunkteaufderauerenKontureinerRegiondesDierenzbildesDB,diezugleichKantenpunkteimaktuellenBildsind.bildesDB,diezugleichKantenpunkteimvorhergehendenBildsind. ^Xi iP ^Zi ^Yi PunktimKoordi<strong>nat</strong>ensystemfig(i2fR;0;1;2;3;4;C;Wg) EinheitsvektordesKoordi<strong>nat</strong>ensystemsfiginZ-Richtungi2 EinheitsvektordesKoordi<strong>nat</strong>ensystemsfiginY-Richtungi2 fR;0;1;2;3;4;C;Wg EinheitsvektordesKoordi<strong>nat</strong>ensystemsfiginX-Richtungi2 fR;0;1;2;3;4;C;Wg fR;0;1;2;3;4;C;Wg<br />
TijT Transformationsmatrix TransformationvonKoordi<strong>nat</strong>ensystemfjgaufdasKoordi<strong>nat</strong>ensystem fig(i;j2fR;0;1;2;3;4;C;Wg) rij RotationsmatrixderTransformationsmatrix(i;j2f1;2;3g)<br />
(xT;yT)<br />
Z(x;y) B(t) (x1;y1),(x2;y2)Bildpunkte %x,%y,%z EntfernungdesaufdenPunkt(x;y)abgebildetenPunktes TranslationsvektorderTransformationsmatrix a;b h Par<strong>am</strong>eterderAbstandsfunktionZ(x;y) HohedesBildesinPixel I1,I2,I3,I4 MarkantePunktedesBildesB(t) wurde Bildpunkt,deraufgr<strong>und</strong>derTransformationsgleichungTtransformiert Grauwertvarianzen yx VertikaleVerschiebungdesBildes<br />
HorizontaleVerschiebungdesBildes
TABELLENVERZEICHNIS BT(t) (xT;yT) Bild,dasaufgr<strong>und</strong>derTransformationsgleichungTtransformiert<strong>und</strong> durchdieFehlerkorrekturverschobenwurde <strong>und</strong>durchdieFehlerkorrekturverschobenwurde Bildpunkt,deraufgr<strong>und</strong>derTransformationsgleichungTtransformiert xiii<br />
Mw;h GroeeinerrechteckigenMaskeinPixel<br />
Kapitel5 MorphologischeOperationOpening MorphologischeOperationClosing MorphologischeOperationDilation MorphologischesStrukturelement MorphologischeOperationErosions<br />
ai fRg di i Koordi<strong>nat</strong>ensystemdesFahrzeuges KurzesteEntfernungzwischen^Zi<strong>und</strong>^Zi+1gemesseninRichtungvon^Xi f0g Koordi<strong>nat</strong>ensystemderK<strong>am</strong>erabasis Winkelzwischen^Xi?1<strong>und</strong>^Xigemessenumdie<strong>Dr</strong>ehachse^Zi Winkelzwischen^Zi<strong>und</strong>^Zi+1gemessenumdie<strong>Dr</strong>ehachse^Xi f1g Koordi<strong>nat</strong>ensystemderK<strong>am</strong>eraachse1 Entfernungvon^Xi<strong>und</strong>^Xi+1gemesseninRichtungvon^Zi f2g Koordi<strong>nat</strong>ensystemderK<strong>am</strong>eraachse2 f3g Koordi<strong>nat</strong>ensystemderK<strong>am</strong>eraachse3 f4g=fCg Koordi<strong>nat</strong>ensystemderK<strong>am</strong>era fWg L1,L2,L3,L4K<strong>am</strong>eraabmessungen Koordi<strong>nat</strong>ensystemderWelt<br />
RX() RY() bx,by,bz PositionderK<strong>am</strong>erabasisrelativzumKoordi<strong>nat</strong>ensystemdesFahrzeuges 01,02,03 nenWinkeldieGelenkpositionenderK<strong>am</strong>erazumZeitpunktt2,dieunBeiderBerechnungderTransformationsmatrixbezeichnendiegestriche- wRZ() v DZ(z) DY(y) DX(x) Rotationsmatrixfur<strong>Dr</strong>ehungumY-AchseumdenWinkel Rotationsmatrixfur<strong>Dr</strong>ehungumX-AchseumdenWinkel WinkelgeschwindigkeitdesFahrzeuges LineareGeschwindigkeitdesFahrzeuges Rotationsmatrixfur<strong>Dr</strong>ehungumZ-AchseumdenWinkel gestrichenenWinkeldiePositionenzumZeitpunktt1<br />
dx BR(t) BH(t) BO(t) TranslationsmatrixfurTranslationinZ-Richtungumz TranslationsmatrixfurTranslationinY-Richtungumy Komplexitatsma TranslationsmatrixfurTranslationinX-Richtungumx Winkel,umdensichdasFahrzeuginderZeittdreht Strecke,diedasFahrzeuginderZeittzurucklegt PR BewegteRegionenzumZeitpunktt BewegteObjektezumZeitpunktt BewegungshypothesenzumZeitpunktt Polygon BewegteRegion<br />
(sx;sy) Schwerpunkt
TABELLENVERZEICHNIS BT(t) (vx;vy) (sx;sy) Bewegungsvektor Schwerpunkt xiv AR _i(t) BildB(t)dasdurchdieTransformationTtransformiertwurde FlachederRegion c KorrelationswertzweierRegionenummarkantePunkte n1,n2 wB,hB Zahlvariablen GeschwindigkeitenderGelenkei2f1;2;3gzumZeitpunktt Zx Z-Koordi<strong>nat</strong>eeinesObjektpunktesberechnetaufgr<strong>und</strong>seinerVerschiebunginx-Richtung Breite<strong>und</strong>HoheeinesBildesB Zy (~x;~y) (^x;^y) Koordi<strong>nat</strong>endesdurchTtransformiertenBildpunktes(x1;y2),wenndie Koordi<strong>nat</strong>endesdurchTtransformiertenBildpunktes(x1;y2),wennsich Z-Koordi<strong>nat</strong>eeinesObjektpunktesberechnetaufgr<strong>und</strong>seinerVerschiebunginy-RichtungderzugehorigeObjektpunktimAbstandvon1mvonderK<strong>am</strong>erabef<strong>und</strong>enhat translatorischeBewegungderK<strong>am</strong>eravernachlassigtwird LB ListemitAbstandswertenmarkanterPunktevonBildBzurK<strong>am</strong>era Lz l ListemitAbstandswertenvorhergehenderBilder Lx AnzahlderWerteinderListeLz ListemitDierenzenkorrespondierendermarkanterPunkteinx- Richtung Ly (B) ListemitDierenzenkorrespondierendermarkanterPunkteiny- BildmitKonturenderRegioneninBildB Richtung Knahe(A;B) A,B Pradikat,dasangibt,obdiebeidenRegionenA<strong>und</strong>Bnahe KonturenzweierRegionen MengederauerenKontureneinesBildesmitRegionen beieinanderliegen 0 RelationnaherRegionen RA,RB Reexive<strong>und</strong>transitiveHullederRelation PunktmengedesBereiches,dervonderKonturAbzw.Bumschlossen wird K= OBRT(t) Objekt BewegteRegionenzumZeitpunktt,diedurchTtransformiert<strong>und</strong>an- AquivalenzklassenvonK,diedurchdieRelationerzeugtwerden schlieendverschobenwurden R1,R2 BewegteRegionen A1,A2 FlachenderbewegtenRegionen jjPjj Ob AnzahlderPunktedesPolygonsP BewegtesObjekt Oh BOT(t) HBHT(t) BewegteObjekte,dieaufihrePositionzumZeitpunkttgebrachtwurden, Bewegungshypothese<br />
Bewegungshypothesen,dieaufihrePositionzumZeitpunkttgebracht danndurchTtransformiert<strong>und</strong>anschlieendverschobenwurden wurden,danndurchTtransformiert<strong>und</strong>anschlieendverschobenwurden
Einleitung Kapitel1<br />
Zunachstwirdhie<strong>rer</strong>klart,welcheMotivationhinterdemVorhaben,bewegteObjekteauseiner Bildsequenzextrahieren,steckt.ImAnschludaranwirderklart,wiedievorliegendeArbeit gegliedertist,<strong>und</strong>warumsieinderfolgendenFormgegliedertist. Warumistessinnvoll,bewegteObjekteauseinerbewegtenUmgebungzuextrahieren?Sobald Beispielverdeutlichtwerden.EinmobilerRoboterkonntedieZustellungvonPostinnerhalb einRobotersichgemeins<strong>am</strong>ineinemUmfeldmitanderenRoboternoderMenschenbewegt, 1.1Motivation istderRobotergezwungenaufseineUmgebungzureagieren.Diessollaneinemeinfachen benutzen.VorallemzumSchutzderMenschenisteswichtig,dasienichtvoneinemmobilen einesGebaudesubernehmen.DerRobotermualsoaneinemOrtdiePostaufnehmen<strong>und</strong>den Fahrzeugangefahrenwerden.DerRobotersollteKollisionenvermeiden<strong>und</strong>brauchtdazudie Empfangernzustellen.InderRegelwirdsolcheinRoboterdieselbenGangewiedieMenschen InformationderObjekteinseinerUmgebung,diesichselbstbewegen. ihreAufgabezuerfullen,sondernsiemussenauchaufeinesichstandigveranderndeUmwelt herausgenommenwerden,<strong>und</strong>sichineineralltaglichenUmgebungzurechtndenmussen.KolspielBauteileaneinenArbeitsplatz[McKerrow91].DieseRoboterhabenjedochnichtnur reagieren.Diesistumsonotiger,jestarkerdieFahrzeugeauseinemkontrolliertenUmfeld lisionenmitanderenbewegtenObjektenausderUmgebungmussenvermiedenwerden. gutwirMenschendieseFahigkeitbesitzen.AuchaufeinerbelebtenFugangerzonesindwirin MobileFahrzeugewerdeninvielenBereicheneingesetzt.InFabrikenliefernsiezumBei-<br />
derLage,unsindiegewunschteRichtungzubewegen,ohnedabeigegenandereMenschenzu sichselbstbewegen. stoen.UmeinFahrzeugmitahnlichenFahigkeitenauszustatten,istesnocheinweiterWeg. AlserstenSchrittindieseRichtungmussendieObjekteausderUmweltbestimmtwerden,die BeieinemSpaziergangdurcheinebelebteFugangerzonekannleichtuberpruftwerden,wie<br />
zumBeispielderAbstandzueinemHindernisgemessenwerden.DochdieseInformationkann sindinderRegelmitdenverschiedenstenSensorenausgestattet.MitUltraschall-Sensorenkann aufgr<strong>und</strong>vonReexionensehrungenausein[McKerrow91].MiteinerK<strong>am</strong>eraausgestattete RobotersindinderLageeinBildih<strong>rer</strong>Umweltaufzunehmen<strong>und</strong>darauseineVielzahlvon Informationenzuextrahieren. IhreUmweltnehmenmobileRoboteruberSensorenwahr[Jonesetal.93].MobileRoboter<br />
1
KAPITEL1.EINLEITUNG zumBeispielaufgr<strong>und</strong>ih<strong>rer</strong>FormbekanntenObjektenzugeordnet<strong>und</strong>somiterkanntwerden. extrahiertwerden<strong>und</strong>zuObjektenzus<strong>am</strong>mengefatwerden.DieObjekteimBildkonnen EineBildsequenzliefertjedochweitmehrInformationenalseineinzelnesBild.Auseiner BildsequenzkannzumBeispielfestgestelltwerden,obsichObjektebewegthabenoderob BereitseineinzelnesBildlieferteineFullevonInformationen[Marr82].Kantenkonnen2<br />
sichdieBeleuchtung(z.B.vonL<strong>am</strong>penoderdieLichtereinerAmpel)geanderthat.Wirddie bewegt,sokannauchdieEntfernungzudenObjektenimBildbestimmtwerden. BildsequenzmiteinerK<strong>am</strong>eraaufgenommen,diesichwahrendderAufnahmetranslatorisch sichselbstbewegen.EswirdeinmiteinerK<strong>am</strong>eraausgestattetesFahrzeugeingesetzt,das BilderausderUmgebungdesFahrzeugesliefert.DasFahrzeug<strong>und</strong>dieK<strong>am</strong>erawerdenvon einemAlgorithmusgesteuert,dereinebestimmteAufgabezuerfullenhat.DieSteuerung derK<strong>am</strong>era<strong>und</strong>desFahrzeugesistalsodurcheinenKontrollalgorithmusvorgegeben<strong>und</strong>wird werden.Nursoisteinegemeins<strong>am</strong>eNutzungderRessourcenmoglich.DiesstehtimGegensatz nichtbeeinut.DiebewegtenObjektewerdenalsovoneinempassivenAlgorithmusextrahiert zumAnsatzvonDaniilidisetal.[Daniilidisetal.95],dieeineaktiveSteuerungderK<strong>am</strong>era ZielistesindervorliegendenArbeit,ObjekteauseinerBildsequenzzuextrahieren,die<br />
EbensohateineK<strong>am</strong>eranureineeinzigeBlickrichtung.DieKontrollalgorithmenmutenalso AlgorithmusdasFahrzeugoderdieK<strong>am</strong>eraineineanderePositiongebrachthat<strong>und</strong>diese vornehmenumeinbewegtesObjektzuverfolgen. eineK<strong>am</strong>eravorhanden.EinFahrzeugkannnichtgleichzeitignachlinks<strong>und</strong>rechtsfahren. alleinetwadasgleicheZielverfolgen.Dadiesrelativunwahrscheinlichist(immerhinsind Bewegungruckgangiggemachtwerdenmute.Kurzgesagt,esistnureinFahrzeug<strong>und</strong>nur dannandennachstenNutzerabzugeben.Dochdannkonnteespassieren,daeinande<strong>rer</strong> esunterschiedlicheAlgorithmen),sollteentwedereinglobalesZieldeniertwerden,dasdann Naturlichwareesdenkbar,dieRessourcennurfureinkurzesZeitintervallzunutzen<strong>und</strong><br />
alleAlgorithmenbefolgen,oderdieAlgorithmenkonnenfureinenhinreichendlangenZeitraum ihrZielverfolgen,ohnedadabeidieanderenAlgorithmenbehindertwerden.Indervorlie- ungenauenDatenarbeitet. gendenArbeitwirddieBewegungderK<strong>am</strong>era<strong>und</strong>desFahrzeugesalsgegebenhingenommen. EineSteuerungerfolgtnicht.SomitkannderAlgorithmuszus<strong>am</strong>menmitjeglichenanderen Verfahreneingesetztwerden.DaheristdieserAnsatzfureinenkooperativenEinsatzineiner (wiebeiNelson[Nelson91]),daderAlgorithmusFehlerinderEingabetoleriert<strong>und</strong>auchmit komplexenArchitektureinesRobotersystems[Rauschetal.95]geeignet.<br />
ZunachstwurdeindiesemKapiteldieMotivationdargelegt,einenAlgorithmuszuentwickeln, 1.2GangderArbeit IndervorliegendenArbeitwurdeeinrobusterAlgorithmusentwickelt.Robustheithier<br />
derbewegteObjekteauseinerVideosequenzextrahiert. BeginnderArbeitdurchgefuhrtwurde.EsstelltesichzunachstdieFrage,welcheAnsatzees gibt,InformationenauseinerVideosequenzzuextrahieren.Hierbeikommtesnochnichtdarauf an,vollstandigeObjektezuextrahieren,sondernjeglicheArtvonVeranderungen.Eswerden Ansatzebeschrieben,diefurdievorliegendeArbeitrelevantsind.NebendiesenAnsatzenwird aberauchaufAnsatzeeingegangen,dieindervorliegendenArbeitnichteingesetztwerden. DieseAnsatzewerdenerklart,umsievorzustellen<strong>und</strong>danngemeins<strong>am</strong>mitdenverwendeten<br />
ImfolgendenKapitelwerdendieErgebnissederLiteraturrecherchezus<strong>am</strong>mengefat,diezu
KAPITEL1.EINLEITUNG Ansatzen<strong>am</strong>SchluvonKapitel2zubewerten. diebewegtenObjektezuextrahieren,gewahlt.DaherstelltesichdieFrage,wieObjekteaus einermitstationa<strong>rer</strong>K<strong>am</strong>eraaufgenommenenSequenzextrahiertwerdenkonnen.InKapitel 3sinddeshalbdieErgebnisseeinerweiterenLiteraturrecherchezus<strong>am</strong>mengefat.Diesezwei- SchlielichwurdederAnsatz,dieEigenbewegungderK<strong>am</strong>erazukompensieren<strong>und</strong>dann3<br />
teLiteraturrecherchesetztaufdenErgebnissenvonKapitel2auf.EswerdenhierVerfahrenbetrachtet,dieesermoglicheneinzelneRegioneneinesDierenzbildeszuObjektenzus<strong>am</strong>menzufassen. derAnsatzewerdenhierebenfallsbeschrieben.InKapitel4wirdnochnichtaufeinekonkrete mengefat,diefurdievorliegendeArbeitrelevantsind.DieErweiterungen<strong>und</strong>ErganzungenwickeltenAlgorithmusgeschildert.SowurdendieDetailsderImplementierungvondenIdeenImplementierungBezuggenommen.HierwerdendietheoretischenHintergr<strong>und</strong>ezudement- Detailseingegangen,diedieverwendeteHard-<strong>und</strong>Softwarebetreen.DieModellierungder getrennt. InKapitel4werdendieIdeenderinKapitel2<strong>und</strong>Kapitel3gef<strong>und</strong>enenAnsatzezus<strong>am</strong>Hardwarewirdhierebenfallserleutert.SchlielichwerdeninKapitel5alleDetailsderImplementierungbeschrieben.DertatsachlichimplementierteAlgorithmuswirdhierschrittweiseerklart.DaderAlgorithmussehrumfangreichist,wirdhieraufPseudo-Codeverzichtet.StattdessenwerdendieinKapitel4verwendetenIdeeninSymbolemitexakterBedeutunggefat,<br />
<strong>und</strong>anhanddieserSymboledieFunktionsweisedesAlgorithmusesbeschrieben.Nebender FunktionsweisewirdhierauchaufdieBenutzungderhierentwickeltenSoftwareeingegangen. InKapitel5wirddieImplementierungdesAlgorithmusesbesprochen.Hierwirdaufalle<br />
AlgorithmusanseineGrenzenstot,werdenhierebenfallsbesprochen.Diedurchgefuhrten rungsindinKapitel6zus<strong>am</strong>mengefat.Hierwirduberpruft,obdieImplementierunginder Lageist,bewegteObjekteauseinerVideosequenzzuextrahieren.Situationen,indenender ZeitmessungensindinKapitel6zus<strong>am</strong>mengefat. gefat.MoglichkeitenzurErweiterungdervorliegendenArbeitwerdenaufgezeigt.DiedurchgefuhrtenExperimente<strong>und</strong>UntersuchungendervorgenommenenImplementie- derVideosequenzengeschriebenwurde,wirdhierebenfallsbeschrieben.Diefurdievorliegende gespeichertwurden,beschrieben.DaherwirddieMoglichkeitgegeben,dieBilderderhier aufgenommenenVideosequenzenweiterzunutzen.EinHilfsprogr<strong>am</strong>m,daszurBetrachtung sindeinigeVideosequenzenaufgefuhrt,beidenenderAlgorithmusbewegteObjekteerfolgreich ArbeitentwickelteBibliothek,mitderdieBildervisualisiertwurden,wirderklart.Schlielich InKapitel7sindnochmalsdiewesentlichenErgebnissedervorliegendenArbeitzus<strong>am</strong>men-<br />
extrahierte.<br />
ImAnhangistschlielichdasverwendeteBildformat,mitdemdieVideosequenzenab
Kapitel2 BewegteBilder BewegteBildervermittelneineFullevonInformationen.VerschiedeneMethodenzurAnalysevonBildsequenzenwerdenausfuhrlichin[Huang81]oder[Huang83]beschrieben.EinenUberblickgebenauchdieArtikelvonNagel[Nagel86]<strong>und</strong>Aggarwal[Aggarwal86].WiebewegteBildervomvisuellenSystemdesMenschenwahrgenommenwerden,beschreibtUllman [Ullman79] durchgefuhrtenLiteraturrecherchebesprochen.HierwerdenverschiedeneVerfahrenbesprochen,VeranderungenineinerBildsequenzzudetektieren.EinigedervorgestelltenVerfahren werdenindervorliegendenArbeiteingesetzt.EswerdenaberauchVerfahrenbesprochen,die indervorliegendenArbeitnichtverwendetwerden.DieGr<strong>und</strong>ehierfursind<strong>am</strong>Endedes KapitelsineinerBewertungderAnsatzezus<strong>am</strong>mengefat. ZunachstwerdenindiesemKapiteldieErgebnisseeinerzuBeginndervorliegendenArbeit<br />
2.1EntstehungdesBildes Imfolgendenwirdzunachstbesprochen,wieausdervonderK<strong>am</strong>erabetrachtetenSzeneein Bildentsteht.DiephysikalischenHintergr<strong>und</strong>esindinHorn[Horn86]<strong>und</strong><strong>Levi</strong>[<strong>Levi</strong>93] ausfuhrlichbeschrieben.EswerdenzweiModellebesprochen,mitdenenObjektpunkteaufdie korrespondierendenBildpunkteabgebildetwerdenkonnen.BeideVerfahrensindausfuhrlich inHorn[Horn86]beschrieben.<br />
Koordi<strong>nat</strong>enursprung.DerObjektpunktPOhabedieKoordi<strong>nat</strong>en[X;Y;Z]T.DerBildpunkt DerperspektivischenProjektionliegtdasModelleinerLochk<strong>am</strong>erazugr<strong>und</strong>e.Eswirdder ObjektpunktPOaufdenBildpunktPBabgebildet.DasLicht,dasvomPunktPOausgeht, tritalso<strong>am</strong>PunktPBaufdemBildauf.DasLichtverlauftdabeiineinerGeradedirektdurch dieFlache,aufdiedasBildprojeziertwird,bendesichinderXY-EbeneimAbstandfvom 2.1.1PerspektivischeProjektion<br />
derAhnlichkeitder<strong>Dr</strong>eiecke4PUPOPZ<strong>und</strong>4PUPBPfergebensichdieKoordi<strong>nat</strong>endes PBhabedieKoordi<strong>nat</strong>en[x;y;f]T.DieProjektiondesPunktesPOaufdieZ-AchseseiPZ. MitPfwerdederPunktimAbstandfvonUrsprungaufderBildebenebezeichnet.Aus dieBlendederK<strong>am</strong>era.DieBlendederK<strong>am</strong>erabendesichimKoordi<strong>nat</strong>enursprungPU<strong>und</strong><br />
(2.1) BildpunktesPBinderBildebene:x=fXZ4 y=fYZ
KAPITEL2.BEWEGTEBILDER 5<br />
Abbildung2.1:PerspektivischeProjektioneinesein<strong>Dr</strong>ahtgerustesinderFormeinesWurfels.<br />
Szenedarstellt. aufderProjektionsacheentsteht,einSpiegelbildderdurchdieLochk<strong>am</strong>eraaufgenommenen InAbbildung2.1istdieperspektivischeProjektionfurein<strong>Dr</strong>ahtgerustinderFormeines Wurfelsdargestellt.BeiderperspektivischenProjektionistdaraufzuachten,dadasBild,das Abbildung2.2:OrthogonaleProjektioneinesein<strong>Dr</strong>ahtgerustesinderFormeinesWurfels.<br />
Koordi<strong>nat</strong>en(x;y)desBildpunktesPBinderBildebeneergebensichausdenKoordi<strong>nat</strong>en 2.1.2OrthogonaleProjektion [X;Y;Z]desObjektpunktesPOnach BeiderorthogonalenProjektionwirdjederPunktPOeinesObjektessenkrechtaufdieBildebeneprojeziert.DerSkalierungsfaktormbestimmtdieGroedesprojeziertenBildes.Die Pf<br />
f<br />
P<br />
B<br />
X<br />
X<br />
Y<br />
Y<br />
Z<br />
Z<br />
x=mX y=mY:<br />
P Z<br />
P O
KAPITEL2.BEWEGTEBILDER werden.ZgibtdabeidiedurchschnittlicheEntfernungzumHintergr<strong>und</strong>an.InAbbildung2.2 istdieorthographischeProjektioneineswurfelformigen<strong>Dr</strong>ahtgerusteszusehen. SinddieTiefenunterschiedeimbetrachtetenBildkleininRelationzumAbstandvonderK<strong>am</strong>erazudenbetrachtetenObjekten,sounterscheidetsichdieorthogonaleProjektionkaum vonderperspektivischenProjektion.DerSkalierungsfaktorkanndurchm=fZapproximiert 6<br />
merazukompensieren.DaherwirdhierkurzdasBewegungsfeldbesprochen.BewegtsichRegeleineBewegungdesentsprechendenBildpunktes.DieGeschwindigkeitsvektorenderBild- einPunkteinesObjektesimSichtbereichderK<strong>am</strong>era,soverursachtdieseBewegunginder IndervorliegendenArbeitwirddasBewegungsfeldberechnet,umdieEigenbewegungderKa- 2.2Bewegungsfeld punktedenierendasBewegungsfeld[Horn86].DieBewegungeinesBildpunkteskanndirekt ObjektpunktimSichtbereichderK<strong>am</strong>erableibt,alsonichtverdecktwird. ausderBewegungeinesObjektpunktesberechnetwerden.Hierbeiwirdangenommen,dader<br />
(2.2) tivischerProjektion(Gleichung2.1)aufdenBildpunktPBabgebildet.DerUrsprungdieser VektorenseiimZentrumderProjektion.DerAbstandderBildebenezurLinseseif.Die DasBewegungsfeldsollnunberechnetwerden.DerObjektpunktPOwerdemitperspek-<br />
<strong>und</strong> (2.3)<br />
GeschwindigkeitVOdesObjektpunktesPO<strong>und</strong>dieGeschwindigkeitVBdesBildpunktesPB ergebensichaus<br />
Aufgr<strong>und</strong>derperspektivischenProjektiongiltfurdiebeidenVektorenPB<strong>und</strong>POfolgende Abhangigkeit. VB=dPB VO=dPO dt: dt<br />
Gleichung2.4nachderZeit,sofolgtmitGleichung2.2<strong>und</strong>Gleichung2.3[Horn86]. (2.4) Dabeisei^ZderEinkeitsvektorsenkrechtzurBildebene.DierenziertmanbeideSeitenvon PB f=PO PO^Z<br />
(2.7) (2.5)<br />
AlsolatsichausdenGeschwindigkeitsvektorenVO<strong>und</strong>denOrtsvektorenPOderObjekt- (2.6) punktedasBewegungsfeldderBildpunkteberechnen.<br />
ddtPB f=ddt VB f=(PO^Z)VO?(VO^Z)PO =(POVO)^Z PO^Z! PO (PO^Z)2 (PO^Z)2
toran.DeroptischeFlubasiertaberimGegensatzzumBewegungsfeldnuraufderBewegung KAPITEL2.BEWEGTEBILDER DeroptischeFlugibtwiedasBewegungsfeldfurjedenBildpunkteinenGeschwindigkeitsvek- 2.3OptischerFlu derBildpunkte[Horn86].Erbeschreibt,mitwelcherGeschwindigkeitsicheinPixelimBild7<br />
solldiesverdeutlichen[Horn86].DeroptischeFlueinerrotierenden,einfarbigenKugelunter konstanterBeleuchtungistNull.DieGrauwertedesBildeszeigenalsokeineVeranderungauf. weilsichdieGrauwerteimBildderKugelverandern. bewegt,ohnezuwissen,wodurchdieBewegungimBildverursachtwurde. DannistdasBewegungsfeldnachGleichung2.7Null.DeroptischeFluistaberungleichNull, ungleichNull.IneinemweiterenVersuchstehedieKugelstill<strong>und</strong>dieBeleuchtunganderesich. DasichdiePunktederKugelaberbewegen,ergibtsichausGleichung2.7einBewegungsfeld IndervorliegendenArbeitwirdderoptischeFlunurfurmarkantePunktedesBildes DasBewegungsfeldistimallgemeinennichtdasselbewiederoptischeFlu.EinBeispiel<br />
berechnet.WirdderoptischeFlufurdasges<strong>am</strong>teBildberechnet,sokonnendiebewegtenObjektedurchdieSegmentierungdesoptischenFlussesextrahiertwerden.DieDiskonti Smithetal.[Smithetal.94]durchdenVergleichvonMerkmalendesBildes(sogenannten nuitatsgrenzenkonnenzurTrennungderSzeneinbewegte<strong>und</strong>stationareObjekteherangezogen bewegteObjektefurbeliebigeK<strong>am</strong>erabewegungenzuextrahieren. werden.Smithetal.[Smithetal.95]verfolgendiesenAnsatz.DenoptischenFluberechnen Features).Bouthemyetal.[Bouthemyetal.93]berechnendenoptischenFluimplizit<strong>und</strong> segmentierendieBildsequenzmittelseineszweidimensionalenanenBewegungsmodells,um Geschwindigkeituinx-Richtung<strong>und</strong>viny-Richtungbewegt.Danngilt Fluzuberechnen.ImfolgendenstehtE(x;y;t)furdieBestrahlungsstarke[<strong>Levi</strong>93]zum Zeitpunktt.HornnimmtvoneinemBildpunkt(x;y)an,dasichdieserinderZeittmitder VonHornetal.[Hornetal.81]wurdeeiniterativesVerfahrenentwickeltumdenoptischen<br />
DieseGleichungalleinereichtabernichtaus,umdenoptischenFluzuberechnen.Eskann DieseAnnahmefuhrtzuderGleichung wobei E(x+ut;y+vt;t+t)=E(x;y;t):<br />
lediglichderoptischeFluinRichtungdesGradientenrEbestimmtwerden.DieKomponente Exu+Eyv+Et=0<br />
[Horn86]nimmtan,dasichderoptischeFlunurstetigandert.MitHilfedesVariations- desoptischenFlussessenkrechtdazukannnichtausobigerGleichungbestimmtwerden.Horn kalkulsentwickelteHorneinVerfahrenumdenoptischenFlueinerBildfolgezuberechnen. FurdendiskretenFalllatsichderoptischeFludurch Ex=@E @x;Ey=@E @y;Et=@E @t;u=dx dt<strong>und</strong>v=dy dt:<br />
<strong>und</strong> un+1(x;y)=u(x;y)?Exun(x;y)+Eyvn(x;y)+Et 1+(E2x+E2y) vn+1(x;y)=v(x;y)?Exun(x;y)+Eyvn(x;y)+Et 1+(E2x+E2y) Ey<br />
Ex
KAPITEL2.BEWEGTEBILDER gibtdendurchschnittlichenFluderbenachbartenBildpunktean.MitwirddieAbweichung ausdemoptischenFlu(un(x;y);vn(x;y))dervorhergehendenIterationnbestimmen.(u;v) vonderStetigkeitsbedingunggewichtet. oneinerEnergiefunktion<strong>und</strong>erreichensoeineSegmentierungderBildsequenzfurbeliebigeFrancoisetal.[Francoisetal.91]berechnendenoptischenFluimplizitdurchDeniti8 K<strong>am</strong>erabewegungen.EinahnlicherAnsatz,allerdingsfureinestationareK<strong>am</strong>era,wirdvon [Bouthemyetal.93]beschrieben. 2.4DetektionvonVeranderungenimBild ImfolgendenwerdeneinigeVerfahrenbetrachtet,mitdenenVeranderungenauseinermit stationa<strong>rer</strong>K<strong>am</strong>eraaufgenommenBildsequenzextrahiertwerdenkonnen.Veranderungenim BildkonnendurchbewegteObjekteverursachtwordensein.Veranderungenzeigensichaber auch,wennsichdieBeleuchtungandert. stelleneinerelativeinfacheMoglichkeitdar,Veranderungenzudetektieren.BewegteKanten <strong>und</strong>EckenkonnenebenfallsausaufeinanderfolgendenBildernextrahiertwerden.EinrobustesVerfahren,Veranderungenzudetektieren,wirdebenfallsbesprochen.Schlielichwirdein Verfahrenbesprochen,daeinevonderBeleuchtungderSzeneunabhangigeDetektionvon Veranderungenermoglicht. ZunachstwerdenDierenzbilderaufeinanderfolgenderBilderbetrachtet.Dierenzbilder<br />
UmRauschenzuunterdrucken,werdengewohnlichnurDierenzen,diegroeralseinSchwellwertsind,alsVeranderungengewertet.Jainetal.[Jainetal.95]denierendiefolgenden DasDierenzbildistdiediskreteVersionderzeitlichenAbleitung<strong>und</strong>gibtdieVeranderung<br />
ArtenvonDierenzbildernwobeieinSchwellwertist. derGrauwerteimZeitraumtdesBildesBan[Murrayetal.94a]: 2.4.1Dierenzbilder@B(x;y;t)<br />
@t B(x;y;t)?B(x;y;t?t) t : DierenzbildDBDBt1;t2(x;y)=(1fallsjB(x;y;t1)?B(x;y;t2)j> 0sonst PositivesDierenzbildPDB PDBt1;t2(x;y)=(1fallsB(x;y;t1)?B(x;y;t2)> 0sonst NegativesDierenzbildNDB NDBt1;t2(x;y)=(1fallsB(x;y;t1)?B(x;y;t2)< 0sonst
KAPITEL2.BEWEGTEBILDER 9<br />
Abbildung2.3:Anges<strong>am</strong>meltes,absolutesDierenzbildAADB,anges<strong>am</strong>meltes,positivesDifferenzbildAPDB,anges<strong>am</strong>meltes,negativesDierenzbildANDBfureinObjekt,dassichvon linksuntennachrechtsobenbewegt.DasObjektwirddurchhohePixelwertereprasentiert. Anges<strong>am</strong>meltes,absolutesDierenzbildAADB AADBn(x;y)=AADBn?1(x;y)+DB1;n(x;y) AADB0(x;y)=0 Anges<strong>am</strong>meltes,positivesDierenzbildAPDB APDBn(x;y)=APDBn?1(x;y)+DB1;n(x;y) APDB0(x;y)=0<br />
negativenDierenzbilderAPDB<strong>und</strong>ANDBumbewegteObjektezuextrahieren.EinObjektwirdausdemReferenzbildextrahiert,wenndieRegionimanges<strong>am</strong>meltenDierenzbild Jain[Jain84]<strong>und</strong>Jainetal.[Jainetal.95]verwendendieanges<strong>am</strong>meltenpositiven<strong>und</strong> Anges<strong>am</strong>meltes,negativesDierenzbildANDB ANDBn(x;y)=ANDBn?1(x;y)+DB1;n(x;y) ANDB0(x;y)=0<br />
aufgehorthatzuwachsen.DasWachstumderRegionistabgeschlossen,sobaldsichdasObjektvollstandigvonseinemPlatzbewegthat.Alsomusolangegewartetwerden,bissich dasObjektvollstandigvonseinemPlatzbewegthat.ErstdannkanndasObjektextrahiert sichvonlinksuntennachrechtsobenbewegt.HelleGrauwertesinddurchhohePixelwerte<br />
werden. InAbbildung2.3istdasAADB,dasAPDB<strong>und</strong>dasANDBfureinObjektgezeigt,da<br />
AADB APDB<br />
ANDB
KAPITEL2.BEWEGTEBILDER werdenmu,hangtvonderFarbebzw.vomGrauwertdesObjektesab.Dahermussenbeide trahiertwerden.NachdemdrittenSchritthatesseinevolleGroeerreicht.Dieskannnachreprasentiert.DasObjektkannindiesemBeispielnachvierSchrittenausdemAPDBex- einemweiterenSchrittfestgestelltwerden. Auswelchemanges<strong>am</strong>meltenDierenzbild(positivesodernegatives)dasObjektextrahiert 10<br />
anges<strong>am</strong>meltenDierenzbilderbeobachtetwerden.InAbbildung2.3hattedasObjektbeieiner Verfahren,diebewegteKantenextrahieren,werdenofteingesetztumBewegungineinerBild- UmkehrderPixelwerteausdemANDBextrahiertwerdenmussen. 2.4.2BewegteKanten<strong>und</strong>Ecken vonMurrayetal.[Murrayetal.94a],Picton[Picton89]<strong>und</strong>Shahetal.[Shahetal.84]exsequenzzudetektieren<strong>und</strong>gleichzeitigdieDatenmengezureduzieren.BewegteKantenwerden bewegteKanteisteineKanteimBild<strong>und</strong>siebewegtsich. trahiert.NachJainetal.[Jainetal.95]wirdeinebewegteKantewiefolgtdeniert:eine<br />
hin,daesvonVorteilist,dasBilderstnachDurchfuhrungderMultiplikation<strong>und</strong>nichtfruher BildmitdenbewegtenKantenBKdurchMultiplikationdesKanten-<strong>und</strong>desDierenzbildes. DieUnd-VerknupfungkanndurcheineMultiplikationrealisiertwerden.Alsoergibtsichdas<br />
DannwerdenschwacheKanten,diesichschnellbewegenoderstarkeKanten,diesichlangs<strong>am</strong> bewegen,trotzdemberucksichtigt. (etwabeiderExtraktionderKantenoderderBerechnungdesDierenzbildes)zubinarisieren. Shahetal.[Shahetal.84],Picton[Picton89]<strong>und</strong>Jainetal.[Jainetal.95]weisendarauf BK(x;y;t)=@B(x;y;t) @t rB(x;y;t)<br />
AbleitungderBildsequenz,umbewegteKantenzuextrahieren.DasBildderzweitenzeitlichen AbleitungwirdmitLBbezeichnet. Sugimotoetal.[Sugimotoetal.86]verwendendiediskreteVersionderzweitenzeitlichen<br />
SugimotobinarisierendasBildLB,indemsieeinenSchwellwertsetzen.DieNulldurchgangein LBgebenjedochdieexaktePositionderbewegtenKantenzumZeitpunkttan.InAbbildung LB(x;y;t)=@2 =1t2(B(x;y;t+t)?2B(x;y;t)+B(x;y;t?t)) =1t2(B(x;y;t+t)?B(x;y;t))?(B(x;y;t)?B(x;y;t?t)) @t2B(x;y;t)<br />
2.4istdieAusgabedesOperators<strong>am</strong>BeispieleinesbewegtenRechtecksverdeutlicht.Das Rechteckbewegtsichvonlinksobennachrechtsunten.HelleGrauwertesinddurchhohe Pixelwerte<strong>und</strong>dunkledurchkleinePixelwertedargestellt.ImDierenzbild<strong>und</strong>inderzweiten zeitlichenAbleitunghatGraudenPixelwertNull. vonDierenzbildern.SieglattendasBildzuerst,umeineglatteSteigungandenKanten zuerhalten.DannmultiplizierensieaufeinanderfolgendeDierenzbilderDBumdieKanten furdasmittlereBildzuerhalten.FurdeneindimensionalenFallistdiesinAbbildung2.5 dargestellt. Dubuissonetal.[Dubuissonetal.95]extrahierenbewegteKantendurchMultiplikation BK(x;y;t)=DBt?t;t(x;y)DBt;t+t(x;y)
KAPITEL2.BEWEGTEBILDER 11<br />
Bild B(t-dt) Bild B(t)<br />
Bild B(t+dt)<br />
Abbildung2.4:ZweitezeitlicheAbleitungeinesbewegtenRechtecks.<br />
Differenzbild<br />
Differenzbild<br />
B(t) - B(t-dt) B(t+dt) - B(t)<br />
B(t+dt)-2B(t)+B(t-dt)<br />
B<br />
B(t-dt) B(t)<br />
B(t+dt)<br />
1<br />
Abbildung2.5:ExtraktioneinerbewegtenKantefurdeneindimensionalenFall(angepatnach [Dubuissonetal.95]).<br />
x<br />
B<br />
|B(t) - B(t-dt)| |B(t+dt) - B(t)|<br />
1<br />
x<br />
|B(t) - B(t-dt)|*|B(t+dt) - B(t)|
KAPITEL2.BEWEGTEBILDER lokalisieren. wendendieUnd-VerknupfungwiebeiderExtraktionbewegterKantenumbewegteEckenzuShahetal.[Shahetal.84]extrahierenbewegteEckenauseinerBildsequenz.Siever- BE(x;y;t)=C(B(x;y;t))@B(x;y;t) 12<br />
Sequenzein,umeineKorrespondenzzwischendenEckenherzustellen.FurjedenEckpunkt (x1;y1)deserstenBildesstellensieeineKorrespondenzmitallenEckpunkten,diesichinei- WiebeidenbewegtenKantenwirdeineBinarisierungmiteinemSchwellwertdurchgefuhrt, umdiebewegtenEckenz<strong>und</strong>en. PunktberechnetderOperatoralso,inwelchemMaderPunkteinEckpunktdesBildesist. DabeiistCeinOperator,der\Eckigkeit"derbetrachtetenObjektpunkteermittelt.Furjeden Leeetal.[Lee90]extrahierenEckenauseinerBildsequenz<strong>und</strong>setzendreiBilderder @t<br />
einenBewegungsvektor.AnhanddesBewegungsvektorsberechnenLeeetal.dievermutete nemFensterum(x1;y1)imzweitenBildbenden,her.FurdiesePunktpaareberechnensiesitionderEckesuchensienachtatsachlichextrahiertenEcken.Soentstehenmeh<strong>rer</strong>emoglichePositioneinesEckpunktesimdrittenBild.InnerhalbeinesFenstersumdiePradiktionderPo- BewegungsbahneneinerEcke.Durcheiniteratives,aufWahrscheinlichkeiten<strong>und</strong>Relaxation basierendesVerfahrenbestimmenLeeetal.schlielicheindeutigdieBewegungsbahnender Ecken.<br />
kannderfolgendeVergleich,deraufderWahrscheinlichkeitsverteilungderGrauwertezweier 2.4.3RobusteDetektionvonVeranderungen AnstattdiezeitlicheAbleitungaufeinzelnenPixelzuberechnen,kannauchfurjedenPixel einekleineUmgebungRdeniertwerden[Jainetal.95].DiesodeniertenRegionenauf ErkennungvonVeranderungenrobuster.AlsTest,obeineVeranderungstattgef<strong>und</strong>enhat, demvorhergehenden<strong>und</strong>aktuellenBildwerdendannmiteinanderverglichen.Diesmachtdie<br />
Dabeiistx;y;tderMittelwert<strong>und</strong>2x;y;tdieVarianzderGrauwertederBildpunkteinder Regionenbasiert,herangezogenwerden[Jainetal.95].<br />
Rx;ybesteheausnPunkten.IstderberechneteWertgroeralsderSchwellwert,sohateine RegionRx;yumdenPunkt(x;y)zumZeitpunktt<strong>und</strong>isteinSchwellwert.DieRegion 2x;y;t1+2x;y;t2 2+x;y;t1?x;y;t2 2x;y;t12x;y;t2 2 22><br />
VeranderunganderPosition(x;y)stattgef<strong>und</strong>en.DerMittelwertx;y;t<strong>und</strong>dieVarianz2x;y;t werdenwiefolgtberechnet.<br />
x;y;t=1nX (x0;y0)2Rx;yB(x0;y0;t) 2x;y;t=1nX (x0;y0)2Rx;y[x;y;t?B(x0;y0;t)]2
KAPITEL2.BEWEGTEBILDER DerVergleichbasiertaufderWahrscheinlichkeitsverteilungderGrauwertezweierRegionen. DabeiwerdenzweiHypothesenmiteinanderverglichen: H1=DieRegionengehorenzuverschiedenenObjekten. H0=DieRegionengehorenzudemselbenObjekt. 13<br />
DieGrauwertederbeidenObjekteseienkonstant<strong>und</strong>mitadditivemgauschenRauschen uberlagert.DaherseiendieGrauwertegauverteilt.g(x;y;t)gebenimfolgendendieGrauwerte derRegionRx;yzumZeitpunkttan.Danngibtp(g(x;y;t)jH0)dieWahrscheinlichkeitan,da dieRegionRx;yzumZeitpunkttdieGrauwerteg(x;y;t)besitzt,unterderAnnahme,dadie HypotheseH0gilt.p(g(x;y;t)jH1)gibtdieWahrscheinlichkeitan,dadieRegionRx;ydie VerhaltnisderWahrscheinlichkeitenp(g(x;y;t)jH1)<strong>und</strong>p(g(x;y;t)jH0) Grauwerteg(x;y;t)besitzt,unterderAnnahme,dadieHypotheseH1gilt.Dannistdas<br />
dratischenbivariatenGrauwertfunktion.SieverwendendenobigenTestumdieRegionenzuHsuetal.[Hsuetal.84]modellierendasBildmiteinerstuckweiselinearenoderqua- p(g(x;y;t)jH1) p(g(x;y;t)jH0)=2x;y;t1+2x;y;t2 2+x;y;t1?x;y;t2 nx;y;t1nx;y;t22<br />
2n vergleichenwobei2x;y;t=1nX<br />
aufderRegionRmitderMethodederkleinstenQuadratebestimmt. beiderModellierungmiteinerquadratischenGrauwertfunktionist.DiePar<strong>am</strong>eteraiwerden beiderModellierungmiteinerlinearenGrauwertfunktion<strong>und</strong> 2x;y;t=1nX (x0;y0)2Rx;y[a0+a1x0+a2y0+a3x02+a4y02+a5x0y0?B(x0;y0;t)]2 (x0;y0)2Rx;y[a0+a1x0+a2y0?B(x0;y0;t)]2<br />
2.4.4BeleuchtungsunabhangigeBewegungserkennung EineMoglichkeit,BewegungserkennungunabhangigvonderBeleuchtungzurealisieren,besteht inderNormalisierungderGrauwerte[Skifstadetal.89].WerdenzweiRegionenRx;yumden<br />
DieGrauwertewerdendurchobigeSkalierungsonormalisiert,dasiediegleicheVarianz<strong>und</strong> ausderRegionRx;yentsprechendderfolgendenGleichungtransformiert.DiesergibtdasBild Punkt(x;y)Zeitpunktt1<strong>und</strong>t2miteinanderverglichen,sowerdendieGrauwertederRegion<br />
dengleichenMittelwertbesitzen.AufdennormalisiertenRegionenkanndanneinVerfahren Rx;yausdemBildzumZeitpunktt2zuerstnormalisiert.DazuwirdjederGrauwertB(x;y;t2) mitdennormalisiertenGrauwertenNG. zurDetektionvonVeranderungendurchgefuhrtwerden.<br />
NG(x;y;t2)=x;y;t1 x;y;t2(B(x;y;t2)?x;y;t2)+x;y;t1
KAPITEL2.BEWEGTEBILDER unabhangigvonderBeleuchtungzuerkennen.DasersteVerfahrenwirdDerivative-Model- Methodgenannt.SiemodellierendieGrauwerteg(x;y;t)einerRegionmiteinerquadratischen VonSkifstadetal.[Skifstadetal.89]wurdenzweiVerfahrenentwickelt,umVeranderungen 14<br />
renzmetrikD.UmnuneineVeranderunginderRegionRx;yzuerkennen,verwendensiediefolgendeDie- bivariatenFunktion.g(x;y;t)=a0+a1x+a2y+a3xy+a4x2+a5y2 Dt1;t2(x;y)=X (x0;y0)2Rx;y@g(x0;y0;t2) @x+@g(x0;y0;t2) @y ?@g(x0;y0;t1) @x+@g(x0;y0;t1)<br />
genannt.AusderComputergrakverwendensieeinSchattierungsmodell.DieIntensitateines AnsatznichtfurgroeBeleuchtungsanderungengeeignet[Skifstadetal.89]. ErkennungvonVeranderungenunabhangigvonderBeleuchtungwerden.Denndurcheine VeranderunginderBeleuchtungwerdendieGrauwerteoftnurverschoben.Allerdingsistder modellieren.DurchdieVerwendungderpartiellenAbleitungdesGrauwertmodellssolldie DiequadratischebivariateFunktionwirdverwendet,umdieGrauwertemoglichstexaktzu DaszweiteVerfahrenwirdvonSkifstadetal.[Skifstadetal.89]Shading-Model-Method @y<br />
diezuunterschiedlichenZeitpunktenentstandensind.FurdasVerhaltnisderIntensitatender koezient,dervombetrachtetenPunkt(x;y)abhangt.DannwirddieIntensitateinesPunktesBildpunktesseiB(x;y;t),dieBeleuchtungzurZeittseiI(t)<strong>und</strong>S(x;y)seieinSchattierungs- PunktederbeidenBildergilt kleinenRegionseieraberkonstant.NunwirddieselbeRegionRinzweiBildernbetrachtet, berechnet.DerSchattierungskoezienthangtvombetrachtetenObjektab.Innerhalbeiner durch I(t1) B(x;y;t)=S(x;y)I(t)<br />
fallssichdasbetrachteteObjektnichtveranderthat.DerSchattierungskoezientkanngekurzt werden,daerinnerhalbderbetrachtetenRegionkonstantist.Dasheit,dasVerhaltnisder VerhaltnissesgleichNull,wennsichkeineVeranderungergebenhat.BeieinerVarianzgroer IntensitatenzweierRegionenistinnerhalbderRegionkonstant.SomitistdieVarianzdes NullhateineVeranderungstattgef<strong>und</strong>en.AlsowirdderfolgendeTestzurErkennungvon I(t2)=B(x;y;t1) B(x;y;t2)=B(x0;y0;t1) B(x0;y0;t2)(x;y);(x0;y0)2R<br />
Dabeiist Veranderungenverwendet.1nX (x0;y0)2Rx;yB(x0;y0;t1)<br />
abdemdieVarianzalsungleichNullbetrachtetwird.Skifstadetal.[Skifstadetal.89]<br />
derErwartungswertderIntensitatsverhaltnissederGrauwertezudenZeitpunktent1<strong>und</strong>t2in derRegionRx;yum(x;y).DieRegionRx;yhabenPunkte.EswirdeinSchwellwertdeniert, x;y;t1;t2=1nX B(x0;y0;t2)?x;y;t1;t22> (x0;y0)2Rx;yB(x0;y0;t1) B(x0;y0;t2)
KAPITEL2.BEWEGTEBILDER verwendeneine55RegionumdieStatistikdatenzuberechnen.DieGroederRegionsollte sogrosein,dadieberechnetenStatistikenreprasentativfurdieBeschaenheitderRegion ist.Skifstadetal.[Skifstadetal.89]weisendaraufhin,dadasvorgeschlageneVerfahreneine VeranderungderHelligkeiteinesObjektesnichtfeststellenkann.WennalsovoneinemBild 15<br />
zumnachsteneindunklerBallimSichtbereichderK<strong>am</strong>eradurcheinenhellenersetztwird,so 2.5ExtraktionbewegterObjektefurtranslatorischeK<strong>am</strong>era- kanndiesmitobigemVerfahrennichtfestgestelltwerden. bewegungen 2.5.1Eigenbewegung-Polar-Transformation FurdenFall,dasichderBetrachternurdurcheineTranslation,nichtaberdurchRotationbe- extrahiertwerden[Jainetal.95].DieTranslationdesBeobachters[dx;dy;dz]Tseibekannt. wegt,konnenbewegteObjektemitderEigenbewegung-Polar-TransformationbewegteObjekte<br />
DadzimNennersteht,mueinekleineBewegungnachvorneoderhinten,alsoinBlickrichtung, DannlatsichdasZentrumderExpansion(FokusofExpansionFOE)berechnen.<br />
erfolgen.JetztkanndasBildBdurchdieEigenbewegung-Polar-Transformationtransformiert werden.DastransformierteBildwirdmitEBfurEigenbewegungsbildbezeichnet. EB(r;;t)=B(x;y;t)<br />
xFOE=fdx yFOE=fdy dz<br />
mit derPunkt(x;y)bendet.StationarePunktedesHintergr<strong>und</strong>esbewegensichimBildEB uszumFOEverandertsich.BeieinerVorwartsbewegungnimmtderRadiuszu,beieiner RuckwartsbewegungnimmtderRadiusab.BewegteObjektekonnensichauchinRichtungder nurinRichtungderr-Koordi<strong>nat</strong>ebeieinerTranslationdesBeobachters.LediglichihrRadi- AlsogibtrdenAbstandzumFOEan<strong>und</strong>gibtdenWinkelan,andessenPositionsich r(x;y)=q(x?xFOE)2+(y?yFOE)2<br />
inRichtungdesFOEsliegt. -Koordi<strong>nat</strong>eimEigenbewegung-Polar-Transformations-Raumbewegen,wennihreBahnnicht<br />
(x;y)=tan?1y?yFOE x?xFOE<br />
2.5.2Komplex-logarithmischeTransformation punktes(x;y)alsKomplexeZahlzbetrachtet.Beiderkomplex-logarithmischenTransformation[Jainetal.95]wirddiePositioneinesBild- z=x+iy=r(cos+isin)=rei
KAPITEL2.BEWEGTEBILDER 16<br />
Abbildung2.6:K<strong>am</strong>erabild,Eigenbewegung-Polar-TransformationdesK<strong>am</strong>erabildes<strong>und</strong> [Frazieretal.90]).DasZentrumderExpansionbendesichimZentrumdesBildes. Eigenbewegung-Komplex-Logarithmische-TransformationdesK<strong>am</strong>erabildes(angepatnach DieBildpunktezwerdengemaderfolgendenAbbildungaufdiePosition!transformiert.Der UrsprungbendesichdazuinderBildmitte.<br />
AlsowerdendieKoordi<strong>nat</strong>endurch !(r;)=lnz =ln(rei) =u(r;)+iv(r;) =lnr+i<br />
imAbstandZzurK<strong>am</strong>erabendet,imRaumderkomplex-logarithmischenTransformation vischerProjektion(Gleichung2.1)furdieBewegungeinesPunktes,dessenObjektpunktsichtransformiert.BewegtsichdieK<strong>am</strong>erainBlickrichtung,sogilt[Jainetal.95]mitperspekti- u(x;y)=u(r(x;y);(x;y))=lnr(x;y)=lnqx2+y2<br />
<strong>und</strong><br />
v(x;y)=v(r;)==tan?1yx<br />
DaherhangtdieBewegungeinesPunktesimRaumderkomplex-logarithmischenTransformationinRichtungderreellenAchsenurvonderEntfernungZab,wennsichdieK<strong>am</strong>erain Blickrichtungbewegt.<br />
du dz=?1Z dv dz=0:<br />
y<br />
x<br />
Bild Eigenbewegung-Polar-Transformation Eigenbewegung-Komplex-Logarithmische<br />
Transformation<br />
r<br />
log r
KAPITEL2.BEWEGTEBILDER 17 2.5.3Eigenbewegung-Komplex-LogarithmischeTransformation formationderBildpunkteinBezugaufdenFOEvorgenommen.BeiderEigenbewegung-Komplex-LogarithmischenTransformation[Jainetal.95]wirddieTrans- !(r;)=lnz(x?xFOE;y?yFOE)<br />
TransformationgiltbeibeliebigemTranslationsvektor[dx;dy;dz]TderK<strong>am</strong>er<strong>am</strong>itdz6=0 ellenAchsenurvonderZ-Koordi<strong>nat</strong>eab.FurdieEigenbewegung-Komplex-LogarithmischeBewegtsichdieK<strong>am</strong>eranurtranslatorisch,sohangtdieBewegungderPunkteaufderre- =ln(rei)<br />
[Jainetal.95] =u(r;)+iv(r;) =lnr+i<br />
wegen,werdenalsovoneinembewegtenObjektverursacht.EinBild,dasdurchdieEigenDiePunktedesEigenbewegung-Komplex-Logarithmischen-Raums,diesichinv-Richtungbe- <strong>und</strong> bewegung-Komplex-LogarithmischeTransformationtransformiertwurde,istinAbbildung2.6 gezeigt.Dier<strong>und</strong>enBereiche<strong>am</strong>rechtenRanddestransformiertenBildesentsprechenden<br />
du dz=?1Z<br />
schwinden.KantendesOriginalbildes.Fureinr<strong>und</strong>esOriginalbildwurdendieschwarzenBereichever- dv<br />
2.6ExtraktionbewegterObjektefurrotatorischeK<strong>am</strong>erabe-<br />
dz=0:<br />
Murrayetal.[Murrayetal.94a]kompensierendieEigenbewegungeinerSchwenk/Nick- punktdesaktuellenBildes(x(t2);y(t2))berechnensiedenkorrespondierendenBildpunktdes vorhergehendenBildes(x(t1);y(t1))entsprechendderfolgendenGleichungen.Dabeibezeichnet dadieModellierungspeziellaufeineSchwenk/Nick-K<strong>am</strong>erazugeschnittenist.FurjedenBild- K<strong>am</strong>era.DievonMurrayetal.durchgefuhrtenBerechnungenwerdenhiernichtwiederholt, fdieBrennweitederK<strong>am</strong>era,bezeichnetdenNickwinkelderK<strong>am</strong>era,bezeichneteinen wegungen<br />
Nickachse. kleinen<strong>Dr</strong>ehwinkelumdieSchwenkachse<strong>und</strong>bezeichneteinenkleinen<strong>Dr</strong>ehwinkelumdie<br />
subtrahierenMurrayetal.diePradiktionvomaktuellenBild<strong>und</strong>berechnendenBetragder SoberechnensieeinePradiktiondesaktuellenBildesausdemvorhergehendenBild.Dann Subtraktion.<br />
x(t1)=fx(t2)+y(t2)sin+fcos y(t1)=f?x(t2)sin+y(t2)+f ?x(t2)cos+y(t2)+f
KAPITEL2.BEWEGTEBILDER 18<br />
Objektdarstellt. zumHintergr<strong>und</strong>.AllerdingsweiderBetrachter<strong>nat</strong>urlich,daderBaumkeinbewegtes sichrelativzumHintergr<strong>und</strong>zubewegen.DemBetrachterfehlteineVerbindungdesBaumes Abbildung2.7:BetrachtetmaneinenBaumdurcheinbewegtesZugfenster,soscheintderBaum<br />
dieBewegungderObjekteimBildkleinerist,alsdieGroedesverwendetenStrukturelements. BeidenErgebnissensetztenMurrayetal.eineGroevon1111ein. Operatorsbeseitigtwerden,sonderneventuellauchbewegteObjekte.DiesistderFall,wenn igkeiteninderKompensationderEigenbewegungdurchdieAnwendungdesmorphologischenumkleineBereichezubeseitigen.Murrayetal.weisendaraufhin,danichtnurUngenaulogischeOperatoren,umUngenauigkeiteninderKompensationderEigenbewegungzubeseitigen.DenmorphologischenOperatorOpeningwendenMurrayetal.aufdasAbsolutbildan,DadiePositionsinformationenderK<strong>am</strong>eranichtimmerexaktsind,verwendensiemorpho- extrahierensiebewegteKanten.DazumultiplizierensiedasBild,dasdurchdenOpening- 2.7BewertungderAnsatze siedasBildmitdenbewegtenKantendurchSetzeneinesSchwellwertes. OperatorbearbeitetwurdemitdemKantenbilddesaktuellenBildes.Erstdannbinarisieren NachdemMurrayetal.VeranderungenaufeinanderfolgenderBilderdetektierthaben,<br />
IstdieEntfernungderObjektpunktezurK<strong>am</strong>era<strong>und</strong>dieGeschwindigkeitderObjektpunkte bekannt,sokanndasBewegungsfeldderBildpunkteberechnetwerden.DieBildbewegung AnsatzistauchfurgroeK<strong>am</strong>erabewegungengeeignet. kannsorelativschnellberechnetwerden.DieserAnsatzistfureineezienteImplementierung derK<strong>am</strong>eraberechnetwerden.DieserAnsatzwurdeindervorliegendenArbeitverfolgt.Der Hintergr<strong>und</strong>getroen,dannkanndasBewegungsfeldderBildpunkteausderEigenbewegung geeignet.WerdengeeigneteAnnahmenuberdenvonderK<strong>am</strong>erabetrachtetenstationaren ImGegensatzdazusetztdieBerechnungdesoptischenFlussesinderRegelkleineK<strong>am</strong>e-
Kapitel3 Zus<strong>am</strong>menfassenvonRegionenzu Objekten FurdievorliegendeArbeitwirdzunachstdieEigenbewegungderK<strong>am</strong>erakompensiert<strong>und</strong>dann wieaufeinermitstationa<strong>rer</strong>K<strong>am</strong>eraaufgenommenenVideosequenzgearbeitet.Bewegungen werdendurchBildungeinesDierenzbildesdetektiert.DabeientsteheneinzelneBereiche. Ansatzenbetrachtet,wiedieBereichezus<strong>am</strong>mengefatwerdenkonnen.Dieverschiedenen DieseBereichemussenzueinemObjektzus<strong>am</strong>mengefatwerden.EswurdeneineReihevon 3.1BestimmungdesstationarenHintergr<strong>und</strong>es Ansatzesollennunbesprochenwerden. Beieinermitstationa<strong>rer</strong>K<strong>am</strong>eraaufgenommenenVideosequenzistesrelativeinfach,denstationarenHintergr<strong>und</strong>zubestimmen.FurjedenBildpunktkannderstationareHintergr<strong>und</strong>ausdemMittelwertderhaugstenGrauwerte,dieandemBildpunktinderVideosequenzaufgetretensind,berechnetwerden.SokanneinBildkonstruiertwerden,indemkeinebewegtenObjekteenthaltensind.DieserAnsatzwirdzumBeispielvonShioetal.[Shioetal.91]eingesetzt, umPersonenauseinerViseosequenzzuextrahieren.EinzeitlicherTiefpalterkannebenfalls stationarenHintergr<strong>und</strong>,konnenalleVeranderungen,diedurchbewegteObjekteoderdurch eingesetztwerden,umdiePixelwertedesHintergr<strong>und</strong>szubestimmen[Donohoeetal.1988]. Beleuchtungsanderungenhervorgerufenwurden,extrahiertwerden.Dochauchmitdiesem VeranderungimDierenzbildnichtdetektiert. zufalligdengleichenGrauwertwiederstationareHintergr<strong>und</strong>andieserStelle,dannwirddie AnsatzisteinwesentlichesProblemnochnichtgelost.HateinPunkteinesbewegtenObjektes DurchdasBildendesDierenzbildesauseinemBildderSequenz<strong>und</strong>demBildmitdem<br />
rungentstehensoLocherindenFlachen.DieseLocherkonntendurchdieAnwendungvon 3.2MorphologischeOperationen desObjektesnichtveranderthat.DiesePunktefehlenimDierenzbild.BeieinerBinarisie- bewegthat.DieserFalltrittauf,wennsichderGrauwerteinesBildpunktestrotzBewegung WenneinDierenzbildzurDetektionvonVeranderungeneingesetztwird,kannesvorkommen, daBereicheinnerhalbeinesObjekteskeineVeranderungenzeigen,obwohlsichdasObjekt 20
KAPITEL3.ZUSAMMENFASSENVONREGIONENZUOBJEKTEN morphologischenOperationenaufgefulltwerden.DieFunktionsweisemorphologischerOperationenistausfuhrlichinLehrbuchernvonJainetal.[Jainetal.95]oderGonzalesetal. [Gonzalesetal.92]beschrieben. werden.DaherstelltsichdieFrage,wiegrodiesesStrukturelementseinsoll.Esmugro FurdieAnwendungmorphologischerOperationenmujedocheinStrukturelementdeniert 21<br />
benachbarteObjektenichtmiteinanderverschmolzenwerden.IstdieGroederbetrachteten 3.3Kontrast-<strong>und</strong>geschwindigkeitsbasierterAnsatz Thompson[Thompson80]verwendetKontrast-<strong>und</strong>Geschwindigkeitsinformationenumein- bewegtenObjektebekannt,sokanneventuelleingeeignetesStrukturelementgef<strong>und</strong>enwerden. genugsein,d<strong>am</strong>itdieLochergeschlossenwerden.Allerdingssollteesnichtzugrosein,d<strong>am</strong>it<br />
zelneRegionendesBildeszueinemObjektzus<strong>am</strong>menzufassen.DieGeschwindigkeiteinzelner BildpunktewerdendurcheinvonFennemaetal.[Fennemaetal.79]entwickeltesVerfahren berechnet. ein,umGeschwindigkeitenvonbewegtenObjektenzubestimmen(Gradient-IntensityTransformMethod).DasVerfahrenistjedochnurfurtranslatorischbewegtestarreKorpergeeignet. FurdasVerfahrensetzensievoraus,daderGradienteinesPunktes(x;y)sichmitderZeit kaumverandert.DaherglattenFennemaetal.dasBildmiteinemTief-Pa-Filter<strong>und</strong>betrachtennurPunkte,furdiegilt: Fennemaetal.[Fennemaetal.79]setzendieHough-Transformation[Bassmannetal.89]<br />
Dabeigibt(rB(x;y;t))dieRichtungdesGradienten<strong>am</strong>Punkt(x;y)zumZeitpunkttan j(rB(x;y;t1))?(rB(x;y;t2))j3 ?j(rB(x;y;t1))?(rB(x;y;t2))j
KAPITEL3.ZUSAMMENFASSENVONREGIONENZUOBJEKTEN 22<br />
Abbildung3.1:VierObjektevoreinemHintergr<strong>und</strong>.DerReferenzpunktx0gehortzumHin- dieGeschwindigkeit^vzu,wobei4einSchwellwertist. [Thompson80]einzelneGrauwertregionenzubewegtenObjektenzus<strong>am</strong>men.Dabeiberucktergr<strong>und</strong>(angepatnach[Bichsel1994]).sichtigtThompsonsowohldieGrauwertederRegionenalsauchdieGeschwindigkeit.Regionen ungleichNull,sowerdensieunabhangigvonihremGrauwertzus<strong>am</strong>mengefat,wennbeide ih<strong>rer</strong>Grauwerteahnlichgenugsind.BesitzenzweibenachbarteRegioneneineGeschwindigkeit Geschwindigkeitengleichsind. mitunterschiedlicherGeschwindigkeitwerdennurdannzus<strong>am</strong>mengefat,wennsieaufgr<strong>und</strong> NachdemdieGeschwindigkeiteneinzelnerPunktebestimmtwurde,fatThompson<br />
3.4WahrscheinlichkeitsbasierterAnsatz einermitstationa<strong>rer</strong>K<strong>am</strong>eraaufgenommenenSzenezuextrahieren.EsbasiertaufderexperimentellenTatsache,dadasHistogr<strong>am</strong>meinerAbleitungeinesBildeseineLaplace-Verteilung VonBichsel[Bichsel1994]wurdeeiniterativesVerfahrenentwickelt,umbewegteObjekteaus zeigt.DasVerfahrensetztvoraus,dafurdieBildsequenzfolgendesgilt: DurchdiefolgendenKonditionenkanneindeutigentschiedenwerden,obeinPunkt(x;y)Teil derKonditionen. einesObjektesist,oderoberTeildesHintergr<strong>und</strong>esist.Abbildung3.1dientzurVisualisierung Einfachmiteinanderverb<strong>und</strong>eneObjektebewegensichvoreinemeinzigen,verb<strong>und</strong>enen VonmindestenseinemPunktistbekannt,dadieserzumHintergr<strong>und</strong>gehort. <strong>und</strong>stationarenHintergr<strong>und</strong>. DerPunkt(x0;y0)gehorezumHintergr<strong>und</strong> FurjedenPunktdesHintergr<strong>und</strong>es(x0;y0)existiertmindestenseinPfadvon(x0;y0) nach(x;y),derkeinenPunktdesObjektesberuhrt.<br />
Objekt<br />
1<br />
x 0<br />
Referenzpunkt<br />
Objekt<br />
3<br />
Objekt<br />
1<br />
Hintergr<strong>und</strong><br />
Objekt<br />
4
KAPITEL3.ZUSAMMENFASSENVONREGIONENZUOBJEKTEN 3.5ZuordnungderRegionenzuBildern DasDierenzbildzeigtRegionen,indeneneineVeranderungstattgef<strong>und</strong>enhat.VerschiedeneRegionenkonnendurcheinbewegtesObjekterzeugtwordensein.Imfolgendenwird einVerfahrenbesprochen,mitdemdieRegionendenObjektenzugeordnetwerdenkonnen. 24<br />
ZunachstwerdendieverschiedenenTypenderRegionenbesprochen,dieimDierenzbildent- ein.TypO(ObjectGrowing) stehenkonnen.Jainetal.[Jainetal.79a]teilendieRegionendesDierenzbildeswiefolgt<br />
Statischoderdyn<strong>am</strong>isch TypB(Backgro<strong>und</strong>Growing) DieRegion,diedurchdasBedeckendesHintergr<strong>und</strong>esmitdemObjektentsteht,wird zeichnet,weildortderHintergr<strong>und</strong>\wachst"odergroerwird. HatsichdasObjektwahrendderZeit,inderdieDierenzbilderaufgenommenwurden, DieRegion,diedurchdasFreiwerdendesHintergr<strong>und</strong>esentsteht,wirdalsTypBbe- alsTypObezeichnet,weildasObjektindieseRegion\hineinwachst".<br />
DierenzbildDB. Jainetal.[Jainetal.79b]denierenzudenRegionenO<strong>und</strong>BnochdenTypXaufdem bildesbezeichnet,diezurObjektpositionimvorhergehendenBildgehort.Alsdyn<strong>am</strong>isch soweitbewegt,daessichimDierenzbildnichtuberlappt,sowerdendieentstehenden Regioneninstatisch<strong>und</strong>dyn<strong>am</strong>ischeingeteilt.AlsstatischwirddieRegiondesDierenz-<br />
TypX(Backgro<strong>und</strong>GrowingandObjectGrowing) DieRegion,diesowohldurchdasBedeckendesHintergr<strong>und</strong>esmitdemObjektalsauch gehort. wirddieRegiondesDierenzbildesbezeichnet,diezurObjektpositionimaktuellenBild<br />
mit Jainetal.ndendieArtderRegiondurchdieBerechnungdesfolgendenVerhaltnissesheraus. durchdasFreiwerdendesHintergr<strong>und</strong>esentsteht,wirdalsTypXbezeichnet.<br />
CC=AnzahlderPunkteaufderauerenKontureinerRegiondesDierenzbildesDB, CP=AnzahlderPunkteaufderauerenKontureinerRegiondesDierenzbildesDB, diezugleichKantenpunkteimvorhergehendenBildsind. diezugleichKantenpunkteimaktuellenBildsind. CP CC<br />
DieRegionRlatsichwiefolgtzuordnen[Jainetal.79b](Abbildung3.2). CP1 Typ(R)=8>:BfallsCC XfallsCC CP1 OfallsCC CP1
KAPITEL3.ZUSAMMENFASSENVONREGIONENZUOBJEKTEN 25<br />
Abbildung3.2:ZuordnungvonRegionendesDierenzbildeszueinemvonJainetal. [Jainetal.79b],[Jainetal.79a]deniertenTyp.<br />
B<br />
O<br />
vondenPunktenderKontur,dienichtmiteinerKanteimBildzus<strong>am</strong>menfallen,biszur soaufdasObjektimBildangepat.DabeiwirddieVerkleinerungderKonturausgehend Jainetal.extrahierendanndasObjektOausdemvorhergehendenBild,indemsiedieRegion <strong>und</strong>extrahierendasObjektdort.RegionenRmitTyp(R)=Xwerdenverkleinert<strong>und</strong> RmitTyp(R)=BdurchGrauwertsegmentierungimvorhergehendenBildvergroern.Fur eineRegionRmitTyp(R)=OwendensiedieSegmentierungaufdemaktuellenBildan<br />
X<br />
KantedesObjektesvorgenommen.DieKonturwirdsoinhorizontaler<strong>und</strong>vertikalerRichtung verkleinert.DasVerfahrensetztvoraus,daderHintergr<strong>und</strong>relativhomogenist.Anstatt<br />
neneinesDierenzbildes,umdieeinzelnenRegionenzubewegtenObjektenzus<strong>am</strong>menzufassen.Yal<strong>am</strong>anchilietal.[Yal<strong>am</strong>anchilietal.82]verwendengeometrischeEigenschaftenderRegio- 3.6GeometrischerAnsatz eineSegmentierungpixelweisevorzunehmen,konntendieRegionenauchdurchSetzeneines<br />
VondenObjektenwirdangenommen,daesPolygonesind.DasZeitintervallzwischenzwei Schwellwertes[Milgr<strong>am</strong>79]extrahiertwerden.<br />
einesPolygonsseienhomogen.Yal<strong>am</strong>anchilietal.[Yal<strong>am</strong>anchilietal.82]unterscheidenzwei Bildernseisoklein,dasichkeinObjektvollstandigvonseinemPlatzbewegt.DieGrauwerte ArtenderBewegung. FurbeideFallehabenYal<strong>am</strong>anchilietal.[Yal<strong>am</strong>anchilietal.82]Verfahrenentwickelt,die BereichedesDierenzbildeszus<strong>am</strong>menzufassen.DieVerfahrenwerdennacheinanderaufdas<br />
BewegungdesObjekteserfolgtabhangigvonderForm<strong>und</strong>OrientierungdesObjektes. BewegungdesObjekteserfolgtunabhangigvonderForm<strong>und</strong>OrientierungdesObjektes.
KAPITEL3.ZUSAMMENFASSENVONREGIONENZUOBJEKTEN 26<br />
Abbildung3.3:BewegungunabhangigvonForm<strong>und</strong>OrientierungdesObjektes.Diedurch KreisemarkiertenPunktesindnichtimDierenzbildenthalten,dasieTeildesObjektesim vorhergehenden<strong>und</strong>imaktuellenBildsind(angepatnach[Yal<strong>am</strong>anchilietal.82]). Dierenzbildangewandt. desObjektesparallelzurBewegungsrichtung.DasDierenzbilddiesesbewegtenObjektesist dannfasteinegeschlosseneKontur.AllerdingsistdieKonturaneinigenPunktenunterbrochen. FureindrehendesObjektistdiesinAbbildung3.3dargestellt.DiedurchKreisemarkierten PunktesindnichtimDierenzbildenthalten.DiesePunkteliegenaufderKantedesObjektes <strong>und</strong>siegehorenzumObjektimvorhergehenden<strong>und</strong>imaktuellenBild.Dahersinddieeinzelnen RegionenandiesenStellenvoneinandergetrennt.UmdieRegionenausdemDierenzbildan diesenStellenwiederzus<strong>am</strong>menzufugen,werdendiePunkteausderSchnittmengederKanten BewegtsichdasObjektunabhangigvonseinerForm<strong>und</strong>Orientierung,dannistkeineSeite<br />
fernt.DieverbleibendenRegionenwerdenmitdemfolgendenVerfahrenzus<strong>am</strong>mengefat.Beidersozus<strong>am</strong>mengefatenRegionenbestimmt<strong>und</strong>dieseRegionenausdemDierenzbildent- betrachtet.Fallsnotig,werdensiezumDierenzbildhinzugefugt.SchlielichwirddieKontur ihnenwirdeineBewegungdesObjektesinAbhangigkeitvonderForm<strong>und</strong>Orientierungdes Objektesangenommen. eineKantedesObjektesparallelzurBewegungsrichtung.EinBeispielfureinObjekt,das sichparallelzuzweiKantendesObjektesbewegt,istinAbbildung3.4gegeben.Esentstehen manchilietal.[Yal<strong>am</strong>anchilietal.82]aufgr<strong>und</strong>geometrischerUberlegungenzueinemObjektindiesemFallzweigetrennteRegionenimDierenzbild.DieseRegionenwerdenvonYala- zus<strong>am</strong>mengefat.DazuwirdimDierenzbildnachcolinearenKantenimDierenzbildgesucht. zweicolineareKantennurdannzus<strong>am</strong>mengefat,wenndieKantenungefahrgleichlangsind. DieLangedieserKantenisteinMafurdieGeschwindigkeitdesObjektes.Daherwerdendie BewegtsichdasObjektabhangigvonseinerForm<strong>und</strong>Orientierung,dannistmindestens<br />
InAbbildung3.4werdenalsodiegestricheltenLinieneingefugt<strong>und</strong>sodieKonturdesObjektes extrahiert.<br />
Bild B(t1) Bild B(t2) |B(t2) - B(t1)|
KAPITEL3.ZUSAMMENFASSENVONREGIONENZUOBJEKTEN 27<br />
Abbildung3.4:BewegungabhangigvonForm<strong>und</strong>OrientierungdesObjektes.DieRegionen werden(angepatnach[Yal<strong>am</strong>anchilietal.82]). desDierenzbildeskonnendurchVerbindencolinea<strong>rer</strong>,gleichlangerKantenzus<strong>am</strong>mengefat<br />
[Yal<strong>am</strong>anchilietal.82]falschlicherweiseVerbindungslinienzieht.DiefalschenVerbindungs- Abbildung3.5:KonstruiertesBeispiel,beidemderAnsatzvonYal<strong>am</strong>anchili [Yal<strong>am</strong>anchilietal.82]nochRegion-GrowingumdieexakteKonturdesObjekteszuextrahieliniensindimDierenzbilddurchgestrichen.ren.DerAnsatz,RegionendesDierenzbildesdurchgeometrischeUberlegungenzus<strong>am</strong>menzufassen,istfureinenezientenAlgorithmusgeeignet.EswirddieAnzahlderbetrachtetenBildpunktereduziert.Yal<strong>am</strong>anchilietal.[Yal<strong>am</strong>anchilietal.82]verwendennocheinentintensiveOperation.IndiesemFallistsiejedochnuraufdieBereichederbewegtenObjekteRegion-Growing-SchrittinihremAlgorithmus.Region-GrowingistinderRegeleinesehrzei- Nachdemzus<strong>am</strong>menhangendeRegionenextrahiertwurden,verwendenYal<strong>am</strong>anchilietal.<br />
renzbildesentlangdergestricheltenLinienmiteinanderverbinden.DieVerbindungslinien,dieaufgr<strong>und</strong>dertatsachlichenZugehorigkeitderRegionenzudenObjektennichthatteneingeObjekte.DerAlgorithmusvonYal<strong>am</strong>anchilietal.wurdedieeinzelnenRegionendesDie- beschrankt.Alsomunichtdasges<strong>am</strong>teBildsegmentiertwerden. zeichnetwerdendurfen,sinddurchgestrichen.DerAlgorithmushattedieseVerbindungslinien aberfalschlicherweisegezogen.<br />
InAbbildung3.5istnocheinkonstruiertesBeispielaufgefuhrt.Esenthaltvierbewegte<br />
Bild B(t1) Bild B(t2) |B(t2) - B(t1)|<br />
Bild B(t1) Bild B(t2) |B(t2) - B(t1)|
KAPITEL3.ZUSAMMENFASSENVONREGIONENZUOBJEKTEN Sugimotoetal.[Sugimotoetal.86]verwendendiePradiktionderObjektbewegung,umeine 3.7Zus<strong>am</strong>menfassenvonRegionendurchPradiktionderObRegionverschiedenenObjektenzuzuordnen.Sokonnensiemeh<strong>rer</strong>ebewegteObjekteverfoljektbewegung 28<br />
PositionderbewegtenObjekteaufgr<strong>und</strong>ihresBewegungsvektors.DerBewegungsvektorgibt gen,diesichauchgegenseitigverdeckenkonnen.ZunachstberechnenSugimotoetal.die PradiktionderObjektbewegungnutzen,denBereichzubestimmen,derdurchdieUberlappung dieBewegungdesObjektesinderBildebenean. derObjekteentstandenist.Sugimotoetal.vergroerndieFlachedervorhergesagtenOb- Objektenzuzuordnen. 3.8BewertungderAnsatze jektpositionen,fallsnotwendig,umauchBereiche,dieauerhalbderPradiktionliegen,den BeieinerVerdeckungzweierodermeh<strong>rer</strong>erObjektetrennensiedieRegion,indemsiedie<br />
Nunsollbesprochenwerden,welchederindiesemKapitelvorgestelltenVerfahrenfurdie vorliegendeArbeitgeeignetsind,dieRegionendesDierenzbildeszuObjektenzus<strong>am</strong>menzu- miteinerstationarenK<strong>am</strong>eraaufgenommenwurde.IndervorliegendenArbeitsollenaber fassen.DieSubtraktiondesHintergr<strong>und</strong>esistvorallemdanngeeignet,wenndieVideosequenzK<strong>am</strong>erabewegungenistdiesschwierig.Dannisteinstationa<strong>rer</strong>PunktinnurwenigenBil- einenBildpunktvorhanden,umdarausdenstationarenHintergr<strong>und</strong>zubestimmen.Auerdem dernderVideosequenzimSichtbereichderK<strong>am</strong>era.DahersindnichtgenugendWertefur isteinevolligexakteKompensationderEigenbewegungnichtmoglich,wennmitungenauen Statusinformationengearbeitetwird. werden.ZwarwirddieEigenbewegungderK<strong>am</strong>erakompensiert,dochistesnichtmoglich, denstationarenHintergr<strong>und</strong>auseinigenwenigenBildernzuberechnen.Vorallembeigroen bewegteObjekteauseinermitbewegterK<strong>am</strong>eraaufgenommenenVideosequenzextrahiert<br />
Dierenzbildeszubeseitigen.DochhierstelltsichdasProblemderGroedesStrukturelementes.SequentielleVerfahren,dieaufderSegmentierungdesBildesbasieren,benotigensehrvielRechenzeit.DaherwerdenindervorliegendenArbeitdieBildernichtsegmentiert.EineinfacherSegmentierungsAlgorithmus,wieerzumBeispielinHorn[Horn86]beschriebenwird, hattenochdurchAufteilen<strong>und</strong>Zus<strong>am</strong>menfugenderRegionenwieeszumBeispielvonJainet al.[Jainetal.95]beschriebenwird,verbessertwerdenmussen.Dochdiesbenotigtzusatzliche Rechenzeit. MorphologischeOperationenkonnteneingesetztwerden,umLocherausdenRegionendes<br />
kanntist,dadieserzumHintergr<strong>und</strong>gehort.DieVerfahrenvonBichsel[Bichsel1994]<strong>und</strong>Westberg[Westberg92]sindnurfureinemitstationa<strong>rer</strong>K<strong>am</strong>eraaufgenommenenVideosequenzgeeignet.IndervorliegendenArbeitwirddieEigenbewegungderK<strong>am</strong>erazwarkompensiert.TrotzdemverbleibenUngenauigkeiteninderPradiktionderBildbewegung.DerAnsatz,deszuzuordnen,istebenfallsnurbeiexakterKompensationderEigenbewegungderK<strong>am</strong>eradieRegionendesDierenzbildesdenRegionendesvorhergehendenbzw.desaktuellenBil- geeignet. DerAnsatzvonBichsel[Bichsel1994]setztvoraus,davonmindestenseinemPunktbe-<br />
allemfureineezienteImplementierunggeeignet.ErwirdinabgewandelterFormauchinder<br />
DervonYal<strong>am</strong>anchilietal.[Yal<strong>am</strong>anchilietal.82]entwickeltegeometrischeAnsatzistvor
KAPITEL3.ZUSAMMENFASSENVONREGIONENZUOBJEKTEN 29<br />
vorliegendenArbeiteingesetztwerden.DerAnsatzvonSugimotoetal.[Sugimotoetal.86],<br />
diePradiktionderObjektbewegungzunutzen,wirdauchhierverfolgt.
Kapitel4<br />
ernGerl<strong>und</strong>Oswald[Oswaldetal.96]entwickelteAlgorithmusbeschrieben.EntsprechenddesProblemserforderlichsind.Eswirddavonausgegangen,dadieK<strong>am</strong>era,diedieBild- demzielorientiertenAnsatz[Aloimonos93]werdennurdieDatenberechnet,diezurLosung ExtraktionbewegterObjekte<br />
tatsachlichenGeschwindigkeitenoderPositionen,derbeiderSteuerungeingesetztenMotoren, Imfolgendenwirdn<strong>und</strong>erfurdievorliegendeArbeitinZus<strong>am</strong>menarbeitmitdenBetreu- einenKontrollalgorithmus,derihreBewegungsteuert.Somitstehendiegewunschtenoder sequenzaufnimmt,fureinenbestimmtenZweckeingesetztwird.DieK<strong>am</strong>erabesitztalsozurVerfugung.AusdiesenDatenkanndieEigenbewegungderK<strong>am</strong>eraapproximiertwer- WenndieEigenbewegungderK<strong>am</strong>eraerfolgreichkompensiertwerdenkann,dannwirddie 4.1KompensationderEigenbewegung auftretenkonnen,wirdnocheineFehlerkorrektureingesetzt,umdiesezueliminieren. stationarenK<strong>am</strong>eraweitergearbeitetwerden.DabeieinerbewegtenK<strong>am</strong>eraSchwingungen den.IstdieEigenbewegungderK<strong>am</strong>erabekannt,sokannaufderBildsequenzwiebeieiner<br />
ExtraktionbewegterObjekteaufdasProblemreduziert,dieObjekteauseinermitstationa<strong>rer</strong> ihreEigenbewegungkompensieren[Carpenter88].EinHuhnodereineEntekompensierenihre K<strong>am</strong>eraaufgenommenenVideosequenzzuextrahieren.Interessantist,daeinigeTiereauch <strong>und</strong>ihndannschlielichmiteinerschnellenBewegungvorschnellenzulassen.DadieAugen Eigenbewegung,indemsieversuchen,ihrenKopfbeieinerVorwartsbewegungruhigzuhalten, seitwartsgerichtetsind,entstehtohneKompensationderEigenbewegungeinekontinuierliche ren.DaindervorliegendenArbeitkeinEinuaufdieBewegungderK<strong>am</strong>eragenommenwird, erfolgtdieKompensationderEigenbewegungderK<strong>am</strong>eradurchHerausrechnenderBewegung sogro. desBildesdurch<strong>und</strong>versuchendieEigenbewegungzukompensieren[Gall91].Dazumodel- VerschiebungdesBildes.BeiAugen,dienachvorneausgerichtetsind,istdiesesProblemnicht lierensiedieBildbewegunglokalalseinfacheTranslation.IstdieEigenbewegungderK<strong>am</strong>era desBildes.KomprimierungsalgorithmenfurBildsequenzenfuhrenebenfallseineVorhersage <strong>und</strong>dieEntfernungderObjektpunktedesBildesbekannt,sokanndieBewegungdesBildesaufgr<strong>und</strong>dieserEigenbewegungvorhergesagtwerden(Gleichung2.7).DiePradiktionderEinigeTierehabeneinenspeziellenGangentwickelt,umdieEigenbewegungzukompensie- Bildbewegungsollnunbesprochenwerden.30
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE 31<br />
Z<br />
{C(t2)}<br />
YC(t2)<br />
Abbildung4.1:Translatorische<strong>und</strong>rotatorischeK<strong>am</strong>erabewegung.<br />
XC(t2)<br />
Z<br />
4.1.1PradiktionderBewegungdesstationarenHintergr<strong>und</strong>es EswirdeineTransformationsvorschriftfureinenPunkt,dersichzumZeitpunktt1anderPosition(x(t1);y(t1))imBildbendet,aufdiePositionzumZeitpunktt2berechnet.DerPunkt werdedurcheinstationaresObjekt,alsodurchdenHintergr<strong>und</strong>erzeugt.DerPunktander Position(x(t1);y(t1))werdedurchdenPunktWP=[X;Y;Z]Terzeugt.ZumZeitpunktt2hat<br />
C(t1)<br />
sichderPunktdurchdieBewegungderK<strong>am</strong>eraaufdenPunktanderPosition(x(t2);y(t2))im<br />
YC(t1)<br />
Bildbewegt.ImKoordi<strong>nat</strong>ensystemderK<strong>am</strong>erazumZeitpunktt1hatdieserPunktdieKoor- C(t2)P=[X(t2);Y(t2);Z(t2)]T. di<strong>nat</strong>enC(t1)P=[X(t1);Y(t1);Z(t1)]T.ZumZeitpunktt2hatderselbePunktdieKoordi<strong>nat</strong>en<br />
{C(t1)} XC(t1)<br />
Koordi<strong>nat</strong>endesPunktesC(t1)Ptransformierensichalsowiefolgt[Craig89]: (4.1) DieTransformationsmatrixC(t2) 264X(t2) Y(t2) Z(t2) C(t1)Twirdalsbekanntvorausgesetzt(Abbildung4.1).Die C(t2)P=C(t2) 1 C(t1)TC(t1)P 375=0B@r11r12r13%x r31r32r33%z r21r22r23%y 0001 1CA264X(t1) Y(t1) Z(t1) 1375 istderTranslationsvektorderTransformation.NachGleichung4.2gilt: (4.2) DiePar<strong>am</strong>eterrijbildendie33RotationsmatrixderTransformation.DerVektor[%x;%y;%z] X(t2)=r11X(t1)+r12Y(t1)+r13Z(t1)+%x Y(t2)=r21X(t1)+r22Y(t1)+r23Z(t1)+%y Z(t2)=r31X(t1)+r32Y(t1)+r33Z(t1)+%z<br />
C(t2)
Abbildung[Murrayetal.94a]. MitperspektivischerProjektion(Gleichung2.1)<strong>und</strong>derBrennweitefergibtsichfolgende KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE x(t2)=fX(t2) Z(t2) 32<br />
y(t2)=fY(t2) =fr11x(t1)+r12y(t1)+fr13+f%x =fr11X(t1)+r12Y(t1)+r13Z(t1)+%x r31x(t1)+r32y(t1)+fr33+f%z Z(t2)<br />
r31X(t1)+r32Y(t1)+r33Z(t1)+%z Z(t1)<br />
gr<strong>und</strong>eskanndieTranslationvolligvernachlassigtwerden.FurZ(t1)?!1folgt:derenAbstandzurK<strong>am</strong>erabenotigt.FurgroeEntfernungenZ(t1)derPunktedesHinter- IstdieBewegungderK<strong>am</strong>erabekannt,sowirdzurTransformationderBildpunktenoch =fr21X(t1)+r22Y(t1)+r23Z(t1)+%x =fr21x(t1)+r22y(t1)+fr23+f%y r31x(t1)+r32y(t1)+fr33+f%z r31X(t1)+r32Y(t1)+r33Z(t1)+%z<br />
lim<br />
Z(t1)<br />
tionsbewegung<strong>und</strong>keineTranslationsbewegungdurchfuhrt.Murrayetal.[Murrayetal.94a] Z(t1)!1x(t2)=fr11x(t1)+r12y(t1)+fr13 Z(t1)!1y(t2)=fr21x(t1)+r22y(t1)+fr23 lim<br />
K<strong>am</strong>eraalsbekanntvorausgesetzt.DieEntfernungderK<strong>am</strong>erazumHintergr<strong>und</strong>wirdals fuhrtendieseBerechnungenzurKompensationderRotationeinerSchwenk/Nick-K<strong>am</strong>eradurch. DieseTransformationsgleichungensindexaktfurdenFall,dadieK<strong>am</strong>eranureineRota- IndervorliegendenArbeitwirdjedochderAbstandderPunktedesHintergr<strong>und</strong>eszur<br />
r31x(t1)+r32y(t1)+fr33<br />
unabhangigvomeinzelnenBildpunktangenommen.DerHintergr<strong>und</strong>bendesichalsozum ZeitpunkttimAbstandZ(t)zurK<strong>am</strong>era.DaherwirdfolgendeTransformationsgleichung<br />
r31x(t1)+r32y(t1)+fr33<br />
(4.7) (4.8)DieseTransformationsgleichunggibtdasBewegungsfeld[Horn86]einerEbenean,diesich<br />
verwendet.<br />
imAbstandZ(t)zurK<strong>am</strong>erabendet.WelcheAuswirkungendieseTransformationaufdasBild<br />
x(t2)=fr11x(t1)+r12y(t1)+fr13+f%x y(t2)=fr21x(t1)+r22y(t1)+fr23+f%y r31x(t1)+r32y(t1)+fr33+f%z Z(t1)
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE 33<br />
Nickbewegung nach unten<br />
<strong>Dr</strong>ehbewegung<br />
um optische Achse<br />
Schwenk nach rechts<br />
Schwenk nach links<br />
dargestellt.Oben<strong>und</strong>unteninAbbildung4.2sinddieAuswirkungenderTransformationauf BeieinerSchwenkbewegungtransformiertsichdasBildwielinks<strong>und</strong>rechtsinAbbildung4.2 hat,istanhandeinigerBeispieleinAbbildung4.2dargestellt.ZusehensinddieAuswirkungen derTransformationaufdasBildinderBildmittebeieiner<strong>Dr</strong>ehbewegungumdieoptischeAchse. Achse,beieinerSchwenkbewegung<strong>und</strong>beieinerNickbewegungderK<strong>am</strong>era. Abbildung4.2:TransformationdesK<strong>am</strong>erabildesbeieiner<strong>Dr</strong>ehbewegungumdieoptische<br />
Nickbewegung nach oben<br />
DieinAbschnitt4.1.1beschriebeneTransformationistaufgr<strong>und</strong>deralskonstantangenom- eineNickbewegungderK<strong>am</strong>erazusehen. 4.1.2Elimi<strong>nat</strong>ionvonOszillationenderK<strong>am</strong>era gorithmusdesFahrzeugeszurVerfugungstehen.DadieseInformationennureinebestimmtekann.DieTransformationsmatrixwirdausInformationenberechnet,diedurchdenKontrollalmenenEntfernungnureineNaherungdertatsachlichenBewegungderPunktedesHintergr<strong>und</strong>es.Eswurdefernervorausgesetzt,dadieTransformationsmatrixTexaktberechnetwerden Genauigkeitbesitzen,kanndieTransformationsmatrixnichtvolligexaktberechnetwerden. wennsichdieK<strong>am</strong>era<strong>am</strong>EndeeinesManipulatorsbendet,derwiederumaufeinemFahrzeug seinerBewegungkleineSchwingungenausfuhrt.DieserEektistbesondersdanngegeben, angebrachtist.FahrtdasFahrzeugubereinekleineUnebenheitimBoden,sobeginntder Fehlermodellverwendet.DiePradiktiondesBildeswirdnochumdenWert(x;y)verscho- ManipulatoraufdemFahrzeugzuschwingen. ben,umsomiteineverbessertePradiktionaufdastatsachlicheBildzuerreichen.Durchdiese<br />
ZudemistdieK<strong>am</strong>eraoftaufeinemFahrzeugoderManipulatorangebracht,derwahrend Umhorizontale<strong>und</strong>vertikaleSchwingungenderK<strong>am</strong>erazueliminierenwirdeinlineares
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE 36<br />
-(x*x+y*y)/5000 + 12<br />
10<br />
8.13<br />
15z<br />
6.21<br />
4.3<br />
Abbildung4.4:AbstandsfunktionfureinenGang,diejedemBildpunkt(x,y)eineEntfernung<br />
2.39<br />
10<br />
zuordnet.Hohenliniensindgestrichelteingezeichnet<br />
5<br />
EbenezumZeitpunktt1.DerselbePunkthabezumZeitpunktt2dieKoordi<strong>nat</strong>en(x(t2);y(t2))<br />
0<br />
zudiesemPunktberechnen. DannlatsichdurcheinfacheUmformungderGleichung4.7<strong>und</strong>Gleichung4.8derAbstand<br />
100<br />
50<br />
-150 0<br />
Z(t1)=<br />
-100 -50 0<br />
-50 y<br />
x<br />
50 100 -100<br />
150<br />
nurfursolcheBildpunkteangewandtwerden,diesichaufgr<strong>und</strong>derBewegungdesFahrzeuges bewegthaben.DadasBilddigitalisiertwurde,mueineBewegungdesFahrzeugesnicht DieseMethodederAbstandsbestimmungwirdfurdievorliegendeArbeitverwendet.Siekann Z(t1)= x(t2) f(r31x(t1)+r32y(t1)+fr33)?(r11x(t1)+r12y(t1)+fr13) y(t2) f(r31x(t1)+r32y(t1)+fr33)?(r21x(t1)+r22y(t1)+fr23) f%x?x(t2)%z<br />
gesuchtwerden,dasangibt,wanndieZ-Koordi<strong>nat</strong>eberechnetwird.DiesesKriteriumwirdin unbedingteineBewegungderBildpunkteverursachen.DahermunacheinemKriterium Kapitel5beschrieben.<br />
f%y?y(t2)%z<br />
Koordi<strong>nat</strong>ezuberechnen.DieseZ-Koordi<strong>nat</strong>ekann<strong>nat</strong>urlichnichtzurBerechnungderdurchschnittlichenEntfernungzumHintergr<strong>und</strong>verwendetwerden.DeshalbwirdfolgendesVer dazweikorrespondierendePunkteeinesbewegtenObjektesverwendetwerden,umdieZ- fahrenangewandt,umsolcheWertezueliminieren.DiedurchschnittlicheEntfernungzum werdenAusreiereliminiert[Jainetal.95].<br />
Hintergr<strong>und</strong>istdurchdenMedianallerZ-Koordi<strong>nat</strong>engegeben.DurchdieMedianbildung ImBildkonnensichaberauchbewegteObjektebenden.Daherkannesvorkommen,
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE 37 4.1.4KorrelationmarkanterPunkte ZwischeneinzelnenPunktenausdemBildB(t1)<strong>und</strong>demBildB(t2)mununeineKorrespondenzhergestelltwerden.DiekorrespondierendenPunktpaarewerdenvonderinAbschnitt [Jainetal.95]beschreibeneiniteratives,aufRelaxation<strong>und</strong>Wahrscheinlichkeitenbasierendes Verfahren,umKorrespondenzenzwischeneinzelnenPunktenherzustellen.Nebendiesemite- zumHintergr<strong>und</strong>verwendet. 4.1.2beschriebenenFehlerkorrekturbenotigt<strong>und</strong>zurBerechnungdergeschatztenEntfernung rativenVerfahrenbeschreibenJainetal.aberauchnocheinVerfahren,umdieKorrespondenz interessanterPunktezweierStereo-Bilderherzustellen.DasVerfahrenbasiertaufeinfacher KorrelationvonRegionenuminteressantePunkte.DiesesVerfahrenwirdhierangewandt. mitHilfedesMoravec-Operators[Moravec77]bestimmt.DerMoravec-Operatorwirdwiefolgt DieKorrespondenzkannaufverschiedeneArtenhergestelltwerden.Jainetal.<br />
berechnet[Jainetal.95]: DazuwirdzunachsteineMengevoninteressantenPunktenfurdieBilderB(t1)<strong>und</strong>B(t2) BerechnungderGrauwertvarianzenindenvierRichtungenhorizontal,vertikal<strong>und</strong>diagonaleinerRegionR.I1=X BestimmungderkleinstenVarianz I3=X I2=X (x;y)2R[B(x;y)?B(x+1;y+1)]2 (x;y)2R[B(x;y)?B(x+1;y)]2 (x;y)2R[B(x;y)?B(x;y+1)]2<br />
Unterdruckungnicht-lokalerMaxima. AllePunkte,dieubereinembestimmtenSchwellwertliegen,werdenvomMoravec-<br />
I4=X<br />
Operatoralsinteressantdeniert. I(x;y)=min(I1;I2;I3;I4): (x;y)2R[B(x+1;y)?B(x;y+1)]2<br />
veranderthaben[Zhengetal.95].Zhengetal.[Zhengetal.95]habeneinVerfahrenentschendeninteressantenPunktenB(t1)<strong>und</strong>B(t2)wirdnuneineKorrespondenzhergestellt. Aufgr<strong>und</strong>derEigenbewegungderK<strong>am</strong>erakonnensichdieRegionenumdiemarkantenPunkte kompensieren,<strong>und</strong>danndieKorrelationdurchzufuhren,wirdauchhierverfolgt. DazukompensierensiezunachstdieEigenbewegungderK<strong>am</strong>eraaufgr<strong>und</strong>visuellerInformawickelt,markantePunkteeinerBildsequenzfurbeliebigeK<strong>am</strong>erabewegungenzuverfolgen.DieinteressantenPunktevonBildB(t1)seienB(t1),dievonBildB(t2)seienB(t2).Zwitionen<strong>und</strong>stellendanndieKorrespondenzher.DerAnsatz,zuerstdieEigenbewegungzu Dabeigibt~ZdiegeschatzteEntfernungzumHintergr<strong>und</strong>an.DasresultierendeBildwirdmit<br />
DieBildpunktevonBildB(t1)werdengemaderfolgendenGleichungentransformiert.
BT(t1)bezeichnet.DiemarkantenPunktevonBildBT(t1)seienBT(t1). KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE (4.9) 38<br />
furdieKorrellationverwendetwerden,isteseinfachergeworden,eineKorrespondenzz<strong>und</strong>en. (4.10) FurjedeninteressantenPunkt(x1;y1)2BT(t1)wirdeineRegionRx1;y1imBildBT(t1)dekorrelliert.Eswirdalsodaraufverzichtet,einenBereichumdeninteressantenPunktabzusuchen.StattdessenwerdendirektdieRegionenmiteinanderverglichen.D<strong>am</strong>arkantePunkteniert.DieseRegionwirdmitallenRegionenRx2;y2imBildB(t2)furalle(x2;y2)2B(t2) xT(t1)=fr11x(t1)+r12y(t1)+fr13+f%x~Z yT(t1)=fr21x(t1)+r22y(t1)+fr23+f%y~Z r31x(t1)+r32y(t1)+fr33+f%z~Z<br />
DieRegionenbesitzenalleeinehoheVarianz<strong>und</strong>sindsomitleichterzuunterscheiden. DahersolltekeineKorrespondenzzwischendenmarkantenPunkteneinesbewegtenObjektes hergestelltwerden.DieBewegungdesbewegtenObjektesistaberunabhangigvonderK<strong>am</strong>e- bewegtenObjektesstattzwischenmarkantenPunktendesHintergr<strong>und</strong>esherzustellen.Diesist rabewegung.DaheristesschwierigereineKorrespondenzzwischenmarkantenPunkteneinesgenaudasgewunschteVerhalten.EineKorrespondenzmarkanterPunkte,diesichaufderKon- nicht-homogenenHintergr<strong>und</strong>bewegt.Umzuerreichen,danurgeeigneteKorrespondenzen turdesbewegtenObjektesbendet,wirdebenfallserschwert,fallssichdasObjektvoreinem FurdievorliegendeArbeitwerdenkorrespondierendePunktedesHintergr<strong>und</strong>esbenotigt.<br />
schlechteralsderSchwellwertsind. 4.2DetektionvonVeranderungen hergestelltwerden,wirdeinSchwellwerteingefuhrt,deralleKorrespondenzenausschliet,die NachdemdieEigenbewegungderK<strong>am</strong>erakompensiertwurde,kannwieaufeinerstationaren Bildsequenzweitergearbeitetwerden.UmRegionenz<strong>und</strong>en,andeneneineBewegungstatt-<br />
(4.11) gef<strong>und</strong>enhat,wirdzunachstjederBildpunktvonBildB(t1)gemaderfolgendenGleichungentransformiert.DiePar<strong>am</strong>eterrij<strong>und</strong>%j(i;j2f1;2;3g)sindElementederTansformations- (4.12) matrixT,diedieEigenbewegungderK<strong>am</strong>erabeschreibt.DieBrennweitederK<strong>am</strong>eraseif<strong>und</strong>diegeschatzteEntfernungzumHintergr<strong>und</strong>sei~Z.DieVerschiebung,dievonderFehlerkorrektu<strong>rer</strong>mitteltwurde,sei(x;y). EswirdalsodiezeitlicheAbleitungdurcheineeinfacheSubtraktionapproximiert. Dassotransformierte<strong>und</strong>korrigierteBildwirdmitBT(t1)bezeichnet.JetztwirddasDierenzbildzwischendemtransformiertenBildBT(t1)<strong>und</strong>demtatsachlichenBildB(t2)gebildet. xT(t1)=fr11x(t1)+r12y(t1)+fr13+f%x~Z yT(t)=fr21x(t1)+r22y(t1)+fr23+f%y~Z<br />
@B(x;y;t) r31x(t1)+r32y(t1)+fr33+f%z~Z+y r31x(t1)+r32y(t1)+fr33+f%z~Z+x<br />
DanachwirddasAbsolutbilddesDierenzbildesberechnet.<br />
@t B(x;y;t+t)?BT(x;y;t)
DasAbsolutbildwirddurchdieAnwendungmorphologischerOperatoren[Murrayetal.94a] 4.3UnterdruckungvonverbleibendenUngenauigkeiteninder KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE weiterbearbeitet,umverbleibendeStorungenzuunterdrucken<strong>und</strong>Regionenandeneneine Pradiktion 39<br />
Veranderungstattgef<strong>und</strong>enhat,hervorzuheben.FurdiemorphologischenOperationenwird einwhgroesStrukturelementMverwendet.DieOperationensindwiefolgtdeniert:<br />
DiemorphologischenOperationenwerdenaufdenGrauwertendesAbsolutbildesangewandt. KleineBereichedesDierenzbildes,dieaufgr<strong>und</strong>einerverbleibendenUngenauigkeitinder PradiktiondesaktuellenBildesentstandensind,werdenunterdruckt.Eswerdendiefolgenden Dilation(BM)(x;y)=maxfB(x+x0;y+y0)jb?w2cx0bw2c;b?h2cy0bh2cg OpeningBM=(BM)M ClosingBM=(BM)M Erosion(BM)(x;y)=minfB(x+x0;y+y0)jb?w2cx0bw2c;b?h2cy0bh2cg<br />
morphologischenOperatorenangewandt. NachdemdiemorphologischenOperationenangewandtwurden,wirddasErgebnisbildbinariSchlieungmiteinemkleinenquadratischenStrukturelement,umBereichemitvielBewegungmiteinanderzuverbinden. eineschnelleExtraktionderbewegtenObjektemoglich.Dennvonnunanwirdnuraufeiner Operatorenubriggebliebensind,bestimmt.DanachwirdnurnochaufdenKonturenbzw. siert. Polygonenweitergearbeitet.DieKonturenwerdenalsPunktmengegespeichert.Dadurchist JetztwerdendieauerenKonturenderRegionen,dienachderAnwendungmorphologischer OnungmiteinemetwasgroerenStrukturelement,umStorungenzuunterdrucken.<br />
relativkleinenPunktmengeweitergearbeitet<strong>und</strong>nichtmehraufganzenBildern. 4.4Zus<strong>am</strong>menfassennaherRegionen rungen,kannesvorkommen,daauchdieKontureinessichbewegendenObjektesauseinanWegenderVerwendungvonmorphologischenOperatorenzurUnterdruckungvonkleinenSto- OperationenausdemDierenzbildgeloscht.EinmalgeloschtlassensichdieseRegionennicht dergerissenwird.DunneVerbindungenimDierenzbildwerdendurchdiemorphologischen mehrmitmorphologischenOperationenverbinden,wenneinefesteGroedesStrukturelements bewegt.DiedurchKreisemarkiertenPunktesindnichtimDierenzbildenthalten,dasie Yal<strong>am</strong>anchilietal.[Yal<strong>am</strong>anchilietal.82]wiederindasDierenzbildeingefugt.Dainder zumObjektimvorhergehenden<strong>und</strong>imaktuellenBildgehoren.DiesePunktewerdenvon angenommenwird. vorliegendenArbeitjedochnochmorphologischeOperationenaufdasDierenzbildangewandt werden,fehlennichtnureinzelnePunkte,sondernganzeBereicheimDierenzbild.InAbbildung4.5istdiesfureineOpen-OperationmiteinemkreisformigenStrukturelementgezeigt. InAbbildung4.5istdiesfureinObjektgezeigt,dassichnichtinRichtungeinerKante
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE 40<br />
phologischeOperationenbearbeitetwurden.Abbildung4.5:Zus<strong>am</strong>menfassenzweierRegionendesDierenzbildes,wenndiesedurchmor- B(t1) B(t2)<br />
BereichedurcheineClosing-Operationwiedervereintwerden.EsstelltsichdieFrage,wiegro werdendieseBereichezus<strong>am</strong>mengefat.DieseHeuristiksetztalsoimplizitdieGroe<strong>und</strong>die dasStrukturelementseinmu.UmdiesesProblemzulosen,wirdeineHeuristikverwandt, BereichewerdendiebeidennachstenPunktederbeidenKonturenbestimmt.Zwischenbeiden mitderdiegetrenntenBereichedesDierenzbildeswiederzus<strong>am</strong>mengefatwerden.Furzwei Streckeverlangert.LiegendieEndpunktederverlangertenStreckeinnerhalbderBereiche,so PunktenwirdeineStreckegezogen.DieseStreckewirdinbeideRichtungenumdieLangeder DasStrukturelementtrenntdieBereichedesDierenzbildesvoneinander.Zwarkonntendie<br />
|B(t2)-B(t1)|<br />
Strukturelement<br />
EntfernungderBereicheein,umzubestimmten,obdieBereichezus<strong>am</strong>mengefatwerdenoder werden,wennnureinPunktderverlangertenStreckeinnerhalbeinesBereichesliegt.Doch dannwerdeninderRegelkleineBereichezueinemgroenBereichhinzugefugt.Einsehrgroer nicht. einerschwacherenBedingungexperimentiert.Bereichekonntenauchdannzus<strong>am</strong>mengefat dieBereichevonderHeuristikzus<strong>am</strong>mengefatwerden,obwohlsienichtzus<strong>am</strong>mengehoren.In derPraxis(sieheKapitel6)hatsichdieseHeuristikalssinnvollerwiesen.Eswurdeauchmit BereichwurdeallekleinerenBereiche\verschlucken". BeideBereichemussennichtunbedingtzus<strong>am</strong>mengehoren.Eskannauchvorkommen,da<br />
Abbildung4.6zeigtdiebeidenBereicheauchnochinrelativgroerEntfernungvoneinander. reichnahebeimgroen,sowirderdurchdieErfullungdesbeidseitigenTestszus<strong>am</strong>mengefat.BeieinemeinseitigenTestwurdendieBereichezus<strong>am</strong>mengefatwerden,beieinemzweiseitigenTestnicht.DieswirftdieFrageauf,warumderentfernteBereichzumgroenBereich hinzugefugtwerdensollte.BeieinemzweiseitigenTestkannargumentiertwerden,dadie<br />
InAbbildung4.6istdiesfureinengroenBereichdargestellt.BendetsichderkleineBe
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE 41<br />
Bereicheaufgr<strong>und</strong>ih<strong>rer</strong>Proportionenzus<strong>am</strong>mengehoren.DochdieseArgumentationgiltnicht Abbildung4.6:DieHeuristikwirftdieFrageauf,obeinkleinerBereichzueinemgroen Bereichhinzugefugtwerdensollodernicht.<br />
bewegtesObjektextrahiertwerdenwurde,obwohlinWirklichkeiteinkleinesbewegtesObjekt groenBereichhinzugefugtworden.DieshattezurFolge,daeinmoglicherweiserelativgroes schreiben.DochdurcheineneinseitigenTestwarenauchkleineentfernteStorungenzueinem einseitigenTestshattenochzurFolge,dasehrschnell,sehrgroeBereicheentstehenwurden. DieseBereichesollten<strong>nat</strong>urlichdieKontureneinesbewegtenObjektesmoglichstgenaube- furdeneinseitigenTest.DakeinezusatzlichenInformationenuberdieBereichevorhanden<br />
vorhandenist.DieGrenzbereichederHeuristiksindinAbbildung4.7furzweiquadratische sind,werdendieBereichenurdannzus<strong>am</strong>mengefat,wennsiebeideTestserfullen.<br />
Bereichedargestellt.FureinegegebeneStreckelassensichbeliebigvieleObjektenden,bei SomitwerdeneherzuwenigBereichezus<strong>am</strong>mengefatalszuviele.DieVerwendungeines<br />
Heuristikzus<strong>am</strong>mengefatwerdenkonnten. EinigeBereichedesDierenzbildeskonnendurchdieinAbschnitt4.4denierteHeuristik 4.5Zus<strong>am</strong>menfassenvonBereichenzuObjekten denendieHeuristikdieObjektenichtzus<strong>am</strong>menfat,dieaberdurchVerwendungeineranderen zus<strong>am</strong>mengefatwerden.BewegtsicheinObjektjedochinRichtungeinerKante,soentstehen zweigetrennteBereicheimDierenzbild.DieseBereichewurdenvonYal<strong>am</strong>anchilietal. [Yal<strong>am</strong>anchilietal.82]aufgr<strong>und</strong>geometrischerUberlegungenzus<strong>am</strong>mengefat.Dazuwerden colineare,gleichlangeKantenimDierenzbildmiteinanderverb<strong>und</strong>en.DasVerfahrenwurde bereitsinAbschnitt3.6beschrieben. Storungeneingesetzt.DaherentstehenauchgetrennteRegionen,wenndieBewegungnur<br />
FurdievorliegendeArbeitwerdenmorphologischeOperationenzurUnterdruckungvon
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE 42<br />
Abbildung4.7:GrenzbereichederHeuristikzumZus<strong>am</strong>menfassen<strong>am</strong>BeispielzweierquadratischerBereiche<br />
Abbildung4.8:ZweigetrennteRegionenentstehenauchdurchdieAnwendungmorphologischer Operationen.<br />
B(t1) B(t2)<br />
|B(t2)-B(t1)|<br />
Strukturelement
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE 43<br />
ungefahrinRichtungeinerKantedesObjekteserfolgt.InAbbildung4.8istdiesfureinrecht- esbewegtsichetwasnachunten.DabeientstehenzweikleineVerbindungsstreifen.Durchdie 4.8istdiesfureinquadratischesStrukturelementdargestellt.DiebeidenRegionenkonnten eckigesObjektdargestellt.DasObjektbewegtsichinRichtungderhorizontalenKante<strong>und</strong> AnwendungeinerOpening-OperationwerdendieseVerbindungsstreifengeloscht.InAbbildung Abbildung4.9:PradiktionderObjektbewegung<br />
mitdemVerfahrenvonYal<strong>am</strong>anchilietal.[Yal<strong>am</strong>anchilietal.82]zus<strong>am</strong>mengefatwerden. angenommen.SinddiezuextrahierendenObjektekeinePolygone,sokannderKolinearitatstest BildderK<strong>am</strong>erabewegen,Polygonesind.FurdievorliegendeArbeitwirddiesjedochnicht nichtangewandtwerden.DahermueinanderesVerfahreneingesetztwerden,umentfernte BereichedesDierenzbildeszus<strong>am</strong>menzufassen,diezumselbenObjektgehoren. bereitserfolgreichextrahiert,kanndieseInformationeingesetztwerden,umdieBereichedes aktuellenDierenzbildeszus<strong>am</strong>menzufassen.DazuwirddiePositiondesObjektesimvorher- Yal<strong>am</strong>anchilietal.[Yal<strong>am</strong>anchilietal.82]setzenvoraus,dadieObjekte,diesichim<br />
keitsvektordesObjekteswirdindervorliegendenArbeitdieGeschwindigkeitdesbewegten ObjektesinderBildebenebezeichnet.DiedreidimensionaleBewegungdesObjekteswirdauf einenzweidimensionalenBewegungsvektorreduziert.DerGeschwindigkeitsvektorinderBilaktuellenBildzuberechnen,anderessichvoraussichtlichbendenwird.AlsGeschwindiggehendenBild<strong>und</strong>derGeschwindigkeitsvektordesObjektesverwendet,umdiePositionim IstdasbewegteObjekt,zudemdieBereichegehoren,ausfruherenBildernderSequenz<br />
tePositionderObjekteumbewegteObjektezuextrahieren.DabeidarfeinbewegtesObjekt aucheinanderesbewegtesObjektverdecken.Sugimotoetal.[Sugimotoetal.86]vergroern dievorhergesagteFlacheeinesbewegtenObjektesentsprechendihresBewegungsvektors.Je deszus<strong>am</strong>mengefatwerden.Sugimotoetal.[Sugimotoetal.86]verwendendievorhergesag 4.9istdieBewegungeinigerObjekteentsprechendihresBewegungsvektorsdargestellt. debenewirdausderGeschwindigkeitderSchwerpunktederRegionenberechnet.InAbbildung schnellereinObjektsichbewegt,umsostarkerwirddessenFlachevergroert.Verdecktein Objekteinanderes,sowerdendieBereichezubeidenObjektenhinzugefugt. MitdervorhergesagtenPositionderbewegtenObjektekonnendieBereichedesDierenzbil- DieserAnsatzsollauchhierangewandtwerden.Allerdingswerdendievorhergesagten
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE 44<br />
Abbildung4.10:ErzeugungneuerbewegterObjektemitHilfedervermutetenPositionder Objekte.DieBereicheausdemDierenzbildsindmitdunnerLiniegezeichnet.DievermutetePositionenderObjektesindmitgestrichelterLinegezeichnet.DiekonvexenHullender resultierendenObjektesindmitdickerLinegezeichnet. FlachenderbewegtenObjektenichtvergroert.DaaufKonturendesDierenzbildesgearbeitetwird,werdenauchBereiche,dieausderPradiktionherausragen,zumObjekthinzueinemObjektzus<strong>am</strong>mengefat,diedievorhergesagteFlachedesObjektesberuhren.Fureigefugt.FurjedesvorhergesagtebewegteObjektwerdendieKonturendesDierenzbildeszudargestellt.DieBereichedesDierenzbildeswerdenausgehendvonderPradiktionderObjektnigevorhergesagteObjekte<strong>und</strong>einigeBereichedesDierenzbildesistdiesinAbbildung4.10positionzus<strong>am</strong>mengefat.DaherkonneneinzelneBereichezumeh<strong>rer</strong>enObjektenhinzugefugt 4.6ErzeugungeinesbewegtenObjektesmittelsHypothesen werden.<br />
Schrittzumachen. mationnochnichtvorliegt.EsmualsonacheinerMoglichkeitgesuchtwerden,diesenersten eingesetztwerden,umdieBereichedesDierenzbildeszueinemObjektzus<strong>am</strong>menzufugen. DochesstelltsichdieFrage,wiedenndasbewegteObjektextrahiertwird,wenndieseInfor- WurdebereitseinbewegtesObjektausderBildsequenzextrahiert,sokanndieseInformation<br />
ZunachstmujedocheineKorrespondenzzwischendeneinzelnenBereichenzweierDierenzbil- konnendieseBereichedazueingesetztwerden,eineersteBewegungshypothesezugenerieren. derRegelsolltendieBereicheschonfastdenbewegtenObjektenentsprechen.Tritdieszu,so derhergestelltwerden.DieKorrespondenzkannaufgr<strong>und</strong>einesKompatibilitatstestsbestimmt werden.FurdenTestkonnenzumBeispieldiefolgendenKriterienherangezogenwerden. DieBereichedesDierenzbildeswurdenbereitsdurcheineHeuristikzus<strong>am</strong>mengefat.In GroederBereiche
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE PositionderBereiche Farbebzw.GrauwertederObjekte FormderBereiche 45<br />
FurdievorliegendeArbeitstelltesichdieFrage,welchesKriterium<strong>am</strong>geeignetstenfureine Implementierungist.UmdieFragezuklaren,oballeKriteriengleichgutgeeignetsind,werden den.DaeinbewegtesObjektjedochsoschnellwiemoglichextrahiertwerdensollte,solltedie dieeinzelnenKriteriennunnaherbetrachtet. AnzahlderBilder,diefurdenKompatibilitatstestherangezogenwerden,moglichstkleinsein. UmdieBahnderBereichezubestimmen,mussenmeh<strong>rer</strong>eDierenzbilderverwendetwer- BahnderBereiche<br />
DieErzeugungderBahnistjedochrelativaufwendig.ZudemmufurdieGenerierungeiner BahnfurdieBereichezuerstdasKorrespondenzproblemgelostwerden.Dochgenaudieses ProblemsolltedurchdieVerwendungderBahnderBereichegelostwerden.DieserKreismu durchbrochenwerden.DiePositionderBereichekannebenfallszurLosungdesKorrepondenzproblemsherangezogenwerden.Gehtmandavonaus,dasichdieObjektenichtzunahekommen<strong>und</strong>sichnichtzuschnellbewegen,sokonnteaufgr<strong>und</strong>derEntfernungderBereicheeineKorrespondenzhergestelltwerden.EinBereichkorrespondiertdabeimitdemnachstbesteneingesetztwerden,umeineKorrespondenzzwischendenBereichendesDierenzbildesherzusprechen,istauchhiernocheineZuordnungderFarbezudenBereichennotwendig.Dainderstellen.DadieBereichedesDierenzbildesabernochnichtdirektbewegtenObjektenent vorliegendenArbeitnuraufGrauwertbilderngearbeitetwird,kanndieFarbenichtzurLosung Bereich. desKorrespondenzproblemseingesetztwerden.VerandertsichdieFormderBereichekaum,so <strong>am</strong>ahnlichstensind.VonMeyeret.al[Meyeretal.94][Meyeretal.92]werdendiesummier- kannzwischendenBereicheneineKorrespondenzhergestelltwerden,dieaufgr<strong>und</strong>ih<strong>rer</strong>Form HabendiezuextrahierendenObjekteunterschiedlicheFarben,sokanndieseInformation<br />
tenquadratischenEntfernungenderPunktezweierPolygonealsMafurdieAhnlichkeitder Eswirdangenommen,dasichdieGroederBereichenichtzustarkunterscheiden.Dies Polygoneherangezogen. istinderRegelderFall,wennsichdietatsachlichenbewegtenObjektenichtzuschnellauf dieK<strong>am</strong>erazuodervonihrwegbewegen<strong>und</strong>dieBereicheschonrechtgenaudieFormder tatsachlichbewegtenObjektewiedergeben. gungsvektorberechnetwerden.JedeKorrespondenzfuhrtalsoaufeinvermutlichbewegtes Objekt,imfolgendenkurzHypothesegenannt.DieHypothesekannvielleichtspatervalidiert DieGroederBereicheisteinrelativeinfachesMa,umdieKorrespondenzherzustellen.<br />
werden.Obesvalidiertwerdenkann,hangtvonderQualitatderHypotheseab.Jebesser derMechanismusist,derdieKorrespondenzherstellt,destowahrscheinlicheristes,dadie Hypotheseauchtatsachlichvalidiertwird. IstdieKorrespondenzhergestellt,sokannfurdenSchwerpunktderBereicheeinBewe-<br />
schoneinigeZeitubereingestimmthat.AlsMaderUbereinstimmungkonntegepruftwerden, keinentsprechenderBereichimDierenzbildvor,sokanndieHypothesenichtvalidiertwerden.<br />
dieHypothesezumBeispielerstdannvalidiertwerden,wenndieHypothesemitderRealitat wiegenaudieBereichedesDierenzbildeszurvermutetenPositiondesObjektespassen.Liegt Mochtemansichersein,daauchwirklicheinbewegtesObjektextrahiertwird,sokann
KAPITEL4.EXTRAKTIONBEWEGTEROBJEKTE 46<br />
drittenBildkonnendietatachlichenBewegungsvektorenbestimmtwerden.Beieinemwenig restriktivenVergleichderPradiktionmitdenBereichendesdrittenBildeskonntennochdie gepunkteteingezeichnetenBewegungsvektorengeneriertwerden.Dochbereitsimfolgenden Abbildung4.11:<strong>Dr</strong>eiBildermitextrahiertenObjekten.DieerstenbeidenBilderkonnenzur BildliegendiePradiktionderBereicheauerhalbdesBildes.<br />
zwischenallenBereichenderbeidenerstenBilderneineKorrespondenzhergestelltwird.Im sindmitdickenPfeileneingezeichnet.DiegestricheltenBewegungsvektorenergebensich,falls GenerierungderBewegungsvektoreneingesetztwerden.DietatsachlichenBewegungsvektoren<br />
t1 t2 t3
Kapitel5 DasProgr<strong>am</strong>mEMO-Extractionof<br />
FurdasCOMROS-Projekt[<strong>Levi</strong>etal.95]stehenimRobotik-LaborderUniversitatStuttgart 5.1EingesetzteHardware<strong>und</strong>Software dreiFahrzeugezurVerfugung,dieunterschiedlichausgestattetsind. MovingObjects<br />
FurdievorliegendeArbeitwurdedasFahrzeugAthoseingesetzt.Danureinemonokulare Ar<strong>am</strong>isistmiteinemGreifarmausgestattet. PorthosistmiteinerFarb-K<strong>am</strong>eraaufeinerSchwenk/Nick-Einheitausgestattet. AthosistmiteinerStereo-Schwarz-Wei-K<strong>am</strong>eraaufeinerSchwenk/Nick/Schiel-Einheit<br />
Bildsequenzverarbeitetwird,wirdlediglicheinederbeidenK<strong>am</strong>eraseingesetzt. ausgestattet.<br />
Workstationubertragen<strong>und</strong>dortdigitalisiert.DieVerarbeitungderBilde<strong>rer</strong>folgtebenfalls aufderSun-Workstation.UmdieBilderzudigitalisierenwurdendievonVogt<strong>und</strong>M<strong>am</strong>ier Projektverwaltung[Vogtetal.96]desCOMROS-Projektesunterstellt<strong>und</strong>tragendasKurzel [<strong>Levi</strong>etal.95]entwickeltenSUN-Fr<strong>am</strong>egrabber-Routinenverwendet.DieseRoutinensindder 384288,256192,192144<strong>und</strong>153115digitalisiertwerden. SFG.MitdenSUNFr<strong>am</strong>egrabberRoutinenkonnenBildermiteinerAuosungvon768576, DieK<strong>am</strong>eraliefertSchwarz-Wei-Bilder.DieBilderwerdenperFunkethernetaneineSun-<br />
Motor Schwenkbereich Beschleunigung 1701 1002 453 454<br />
Tabelle5.1:SpezikationderGelenkmotorenderStereo-K<strong>am</strong>era(nach[Robosoft94b]) Geschwindigkeit Auosung OptischerEncoder0:9Bogenminuten Encoderpuls Umdrehung 500Pulse 1500s2 300s0:9Bogenminuten Encoderpuls 48<br />
Umdrehung 500Pulse 1500s2 300s0:9Bogenminuten Encoderpuls Umdrehung 500Pulse 6124s2 350s0:9Bogenminuten Encoderpuls Umdrehung 500Pulse 6124s2 350s
16MHz68020ComputermitVME-Busgesteuert.DieserComputerbendetsichdirektauf KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS49 systemALBATROS[Robosoft94a]vorgenommen.DieKommandos,mitdenendasFahrzeugdemFahrzeug.DieSteuerungdesFahrzeugs<strong>und</strong>derK<strong>am</strong>erawirddurchdasEchtzeitbetriebs- bewegtwird,werdenuberFunkaufdasFahrzeugubertragen.DasBetriebssystemALBA- TROShalteineListemitdenvomAnwendergewunschtenBewegungsablaufen<strong>und</strong>arbeitet diesederReihenachab.DerAnwenderkannaberauchBefehledirektabarbeitenlassen.Sie werdendannsofortausgefuhrt<strong>und</strong>nichtindieListeeingetragen.DieVerbindungzumFahr- DieMotorendesFahrzeuges<strong>und</strong>dieMotorenderManipulatorenwerdendurcheinen<br />
Robot-InterfaceunterliegtebenfallsderProjektverwaltungdesCOMROS-Projektes<strong>und</strong>tragt dasKurzelRoI. zeugwirddurchdasvonRausch[<strong>Levi</strong>etal.95]entwickelteRobot-Interfacehergestellt.Das eingesetzt,daVistademAnwenderdirektenZugriaufalleDatenstrukturengibt.Sokonnen wickelteBildverarbeitungsprogr<strong>am</strong>mVistaeingesetzt.VistaisteigentlichnichtfurdieVerarbeitungvonBilderninEchtzeitentwickeltworden.EswurdedennochfurdievorliegendeArbeit eigenstandigerganzendeOperatorenfurdieBildverarbeitungimplementiertwerden.Zudem eineReihevongr<strong>und</strong>legendenOperatoren,wiezumBeispielKantenextraktionsoperatoroder Faltungsoperatorenbereit.ImRahmendieserArbeitmutenjedochnocheineReihevonspe- besitztVistaeinesehrkomfortableBibliothekzurVerwaltungvonPolygonen.Vistastellt UmdiedigitalisiertenBilderzuverarbeiten,wirddasvonPopeetal.[Popeetal.94a]ent-<br />
beschrieben.BeiderEntwicklungneuerOperatorenwurdendieVista-Konventionenbeachtet ziellenOperatorenentwickeltwerden.DieProgr<strong>am</strong>mierungmitVistaistin[Popeetal.94b] 5.2ModellierungderK<strong>am</strong>era [Pope94]. DieStereo-Schwarz-Wei-K<strong>am</strong>er<strong>am</strong>itihrenGelenkendesFahrzeugesAthoslatsichnach Robosoft[Robosoft94b]angegebenenDatenfurdieK<strong>am</strong>erazus<strong>am</strong>mengefat.DieKinematik demISO-Standard[Braunl95],wieinAbbildung5.1darstellen.InTabelle5.1sinddievon derK<strong>am</strong>erawirddurchdieDenavit-Hartenberg-Notation[Craig89]beschrieben.Anjedem GelenkderK<strong>am</strong>erawirdeinKoordi<strong>nat</strong>ensystemangebracht.DieGelenkewerdenvonGelenk 1bisGelenk4durchnumeriert.DiesentsprichtdervonRobosoft[Robosoft94b]angegebenen tionderbewegtenObjektenureineK<strong>am</strong>eraeingesetztwird,erfolgtdieBeschreibungderKoordi<strong>nat</strong>ensystemefurnureineK<strong>am</strong>era.InAbbildung5.2istdiePositionierungderKoor- Numerierung. di<strong>nat</strong>ensystemeanderK<strong>am</strong>eravisualisiert.FurdieK<strong>am</strong>erawerden5Koordi<strong>nat</strong>ensysteme deniert.InTabelle5.2sinddieKoordi<strong>nat</strong>ensystemederK<strong>am</strong>era,desFahrzeuges<strong>und</strong>das Par<strong>am</strong>eternfurjedeVerbindung[Craig89]. Weltkoordi<strong>nat</strong>ensystemzus<strong>am</strong>mengefat. AnderK<strong>am</strong>erawerdeneineReihevonKoordi<strong>nat</strong>ensystemenangebracht.DazurExtrak-<br />
DieDenavit-HartenbergPar<strong>am</strong>eterderK<strong>am</strong>erasindinTabelle5.3zus<strong>am</strong>mengefat.Die<br />
DieDenavit-Hartenberg-NotationbeschreibteinenManipulatordurchdieAngabevon4 diEntfernungvon^Xi<strong>und</strong>^Xi+1gemesseninRichtungvon^Zi aiKurzesteEntfernungzwischen^Zi<strong>und</strong>^Zi+1gemesseninRichtungvon^Xi iWinkelzwischen^Xi?1<strong>und</strong>^Xigemessenumdie<strong>Dr</strong>ehachse^Zi iWinkelzwischen^Zi<strong>und</strong>^Zi+1gemessenumdie<strong>Dr</strong>ehachse^Xi
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS50<br />
ZC<br />
3<br />
Seitenansicht Vorderansicht<br />
4<br />
Abbildung5.1:DarstellungderStereo-K<strong>am</strong>eranachISO<br />
4<br />
2<br />
2<br />
1<br />
1<br />
Seitenansicht Vorderansicht<br />
L 2<br />
Z 1<br />
Y2 X1 Z {2}<br />
{1}<br />
2<br />
Abbildung5.2:PositionderKoordi<strong>nat</strong>ensystemederK<strong>am</strong>era<br />
Z<br />
Y 3<br />
1<br />
X2 X3<br />
X<br />
{3}<br />
C<br />
Y3 {C}<br />
L<br />
Y<br />
1<br />
C<br />
L 4<br />
Z 0<br />
{0}<br />
X0 Y0 3<br />
L 3
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS51<br />
f4g=fCgKoordi<strong>nat</strong>ensystemderK<strong>am</strong>era fWgKoordi<strong>nat</strong>ensystemderWelt fRgKoordi<strong>nat</strong>ensystemdesFahrzeuges f0gKoordi<strong>nat</strong>ensystemderK<strong>am</strong>erabasis f1gKoordi<strong>nat</strong>ensystemderK<strong>am</strong>eraachse1 f2gKoordi<strong>nat</strong>ensystemderK<strong>am</strong>eraachse2 f3gKoordi<strong>nat</strong>ensystemderK<strong>am</strong>eraachse3 Tabelle5.2:ListederKoordi<strong>nat</strong>ensysteme 10 i i?1ai?1di 0<br />
tatsachlichenAbmessungenderPar<strong>am</strong>eterderK<strong>am</strong>erasindinTabelle5.4angegeben1. Tabelle5.3:Denavit-HartenbergPar<strong>am</strong>eterderK<strong>am</strong>era 2900?L2 3?900?L33?90 4?900L4 L1 012i<br />
zwischendenbeidenHinterradern.ZurZeichnungdesFahrzeugswurdedieNormvonBraunl DasKoordi<strong>nat</strong>ensystemfRgdesFahrzeugesbendetsich,wieinAbbildung5.3dargestellt, 5.3ModellierungdesRoboters<br />
FahrzeugsanderPosition[bx;by;bz].DieAbmessungensindinTabelle5.5aufgefuhrt. angegeben.DasFahrzeugkannuberdieAngabederlinearenGeschwindigkeitv<strong>und</strong>die<strong>Dr</strong>eh- <strong>und</strong>Orientierung.DieBewegungdesFahrzeugeswirdbezogenaufdiesesKoordi<strong>nat</strong>ensystem inFahrtrichtung.DiesentsprichtdervonRobosoftin[Robosoft94a]angegebenenPosition geschwindigkeitwgesteuertwerden.DieK<strong>am</strong>erabasisbendetsichimKoordi<strong>nat</strong>ensystemdes [Braunl96]verwendet.DieZ-Achsezeigtnachoben,dieY-Achsenachlinks<strong>und</strong>dieX-Achse<br />
Richtungverschobenwerden.IndiesemFallmueinWertungleichNullfurL4verwendetwerden. 1DieBlendederK<strong>am</strong>erabendetsichdirektunterhalbderSchiel-Achse.DieK<strong>am</strong>erakannaberinZ-<br />
Tabelle5.4:KonstantePar<strong>am</strong>eterderK<strong>am</strong>era.<br />
37;5cm17;5cm3;0cm0cm L1 L2 L3 L4
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS52<br />
Abbildung5.3:Koordi<strong>nat</strong>ensystemdesFahrzeuges<br />
DieBewegungderK<strong>am</strong>erakanndurcheineallgemeineTransformationsmatrixbeschrieben 5.4BewegungderK<strong>am</strong>era Tabelle5.5:PositionderK<strong>am</strong>erabasisimKoordi<strong>nat</strong>ensystemdesFahrzeuges. 37;5cm0cm53;5cm bx by bz<br />
werden.C(t2) zumZeitpunktt1aufdasKoordi<strong>nat</strong>ensystemderK<strong>am</strong>erazumZeitpunktt2transformiert. DasFahrzeugbewegesichmitderlinearenGeschwindigkeitv<strong>und</strong>derWinkelgeschwindigkeit DieseTransformationsmatrixsollnunberechnetwerden.Dazuwirdangenommen,dazum Zeitpunktt1diePositionderK<strong>am</strong>erarelativzumFahrzeugdurchdiedreiVariablen1,2<strong>und</strong> 3gegebensind.ZumZeitpunktt2bendensichdieGelenkeaufdenPositionen01,02<strong>und</strong>03. C(t1)TseidieseTransformationsmatrix,diedasKoordi<strong>nat</strong>ensystemderK<strong>am</strong>erafCg<br />
folgtzus<strong>am</strong>men. zweitebeschreibtdieTransformationdesKoordi<strong>nat</strong>ensystemdesFahrzeugeswahrendderZeit <strong>nat</strong>ensystemsderK<strong>am</strong>erazumZeitpunktt1zumKoordi<strong>nat</strong>ensystemdesFahrzeuges.DieTransformationsmatrizenzus<strong>am</strong>men.DieerstebeschreibtdieTransformationdesKoordi- w.NunkanndieTransformationsmatrixC(t2) t=t2?t1.DiedritteschlielichbeschreibtdieTransformationvomKoordi<strong>nat</strong>ensystemdes C(t1)Tberechnetwerden.Siesetztsichausdrei FahrzeugeszumKoordi<strong>nat</strong>ensystemderK<strong>am</strong>erazumZeitpunktt2.AlsosetztsichC(t2) C(t1)Twie<br />
Koordi<strong>nat</strong>ensystemsdesFahrzeugesaufdasKoordi<strong>nat</strong>ensystemderK<strong>am</strong>erabeschreibt.Inder folgendenHerleitungwirdbeiderBezeichnungderMatrizendieNotationvonCraig[Craig89]<br />
ZunachstsolldieTransformationsmatrixRCTberechnetwerden,diedieTransformationdes C(t2) C(t1)T=C(t2) =R(t2) C(t2)T?1R(t2) R(t2)TR(t2) R(t1)TR(t1) C(t1)T C(t1)T<br />
Y<br />
R<br />
X<br />
R<br />
{R}<br />
Z<br />
R
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS53 eingehalten.DurchRX(),RY()<strong>und</strong>RZ()werdenRotationsmatrizenbeschrieben.Sie derX-,Y-bzw.Z-Achseumx,ybzw.zvorgenommen.EineallgemeineTransformationvon nehmeneine<strong>Dr</strong>ehungdesKoordi<strong>nat</strong>ensystemsumdenWinkelumdieX-,Y-bzw.Z-Achse vor.MitDX(x),DY(y)<strong>und</strong>DZ(z)wirdeineTranslationdesKoordi<strong>nat</strong>ensystemsinRichtung einemKoordi<strong>nat</strong>ensystemfi?1gaufdasKoordi<strong>nat</strong>ensystemfigistnach[Craig89]durch<br />
gegeben.<br />
i?1 iT=RX(i?1)DX(ai?1)RZ(i)DZ(di)<br />
wirddieublicheAbkurzungsiverwendet<strong>und</strong>furcosiwirdcigeschrieben. =0B@cosi ?sini 0 sinicosi?1cosicosi?1?sini?1?sini?1di sinisini?1cosisini?1cosi?1cosi?1di 0 0 0 ai?1 1 1CA SomitergebensichdieeinzelnenTransformationsmatrizenderK<strong>am</strong>erawiefolgt.Fursini 01T=0B@c1?s100 s1c100 0001 001L1 1CA 12T=0B@c2?s200 s2c200 00?1L2 0001 1CA 23T=0B@s3c300 c3?s300 0001 001?L3 1CA 3CT=0B@1000 001L4 0?100 0001 1CA gegeben: stemderK<strong>am</strong>erabasishat,istdieTransformationsmatrixR0TdurcheineeinfacheTranslationDadasKoordi<strong>nat</strong>ensystemdesRobotersdiegleicheOrientierungwiedasKoordi<strong>nat</strong>ensy- R0T=0B@100bx 010by 001bz 00011CA
aufdasKoordi<strong>nat</strong>ensystemfCgtransformiert. KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS54 RCT=R0T01T12T23T3CT NunsolldieTransformationsmatrixRCTberechnetwerden,diedasKoordi<strong>nat</strong>ensystemfRg<br />
=R0T01T12T0B@s30c3L4c3 0?10 c30?s3?L4s3 0001 ?L31CA<br />
=R0T01T0B@c2s3s2c2c3L4c2c3+L3s2 s2s3?c2s2c3L4s2c3?L3c2 ?c30s3 000 L4s3+L2 1 1CA =R0T0B@c1c2s3+s1c3c1s2c1c2c3?s1s3L4(c1c2c3?s1s3)+L3c1s2?L2s1 s1c2s3?c1c3s1s2s1c2c3+c1s3L4(s1c2c3+c1s3)+L3s1s2+L2c1 s2s3 0 ?c2 0 s2c3 0 L4s2c3?L3c2+L1 1 1CA<br />
desFahrzeugeszuberechnen,wirdnochdieinverseMatrixzuRCTbenotigt. UmdieTransformationdesKoordi<strong>nat</strong>ensystemsderK<strong>am</strong>eraaufdasKoordi<strong>nat</strong>ensystem =0B@c1c2s3+s1c3c1s2c1c2c3?s1s3L4(c1c2c3?s1s3)+L3c1s2?L2s1+bx s1c2s3?c1c3s1s2s1c2c3+c1s3L4(s1c2c3+c1s3)+L3s1s2+L2c1+by s2s3 0 ?c2 0 s2c3 0 L4s2c3?L3c2+L1+bz 1 1CA<br />
CRT=RCT?1 ?L1s2s3+L2c3?bx(c1c2s3+s1c3) ?by(s1c2s3?c1c3)?bz(s2s3)<br />
kannwiefolgtannaherndbeschriebenwerden(Abbildung5.4).DasFahrzeugbewegtsichin =0B@c1c2s3+s1c3s1c2s3?c1c3s2s3 c1c2c3?s1s3s1c2c3+c1s3s2c3?L1s2c3?L2s3?L4?bx(c1c2c3?s1s3) c1s2 0 s1s2 0 ?c2 0 L1c2?L3?bxc1s2?bys1s2+bzc2 ?by(s1c2c3+c1s3)?bz(s2c3) 1 1<br />
derZeittumdieStreckedx=vtgeradeaus<strong>und</strong>drehtsichumdenWinkel=wt. Insges<strong>am</strong>tergibtsichalsofolgendeTransformationsmatrixfurdieBewegungdesFahrzeuges: NunsolldieTransformationsmatrixR(t2) R(t1)Tberechnetwerden.DieBewegungdesFahrzeuges CA<br />
R(t1) R(t2)T=DX(v(t2?t1))RZ(w(t2?t1)) =DX(dx)RZ()
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS55<br />
Y R<br />
Abbildung5.4:BewegungdesFahrzeuges<br />
v(t2-t1)<br />
XR {R}<br />
FolglichergibtsichfurR(t2) R(t1)T:<br />
YR Z<br />
R(t2)<br />
R<br />
R(t1)T=R(t1)<br />
=0B@cs00 =R?1 =RZ(?)DX(?dx) =(DX(dx)RZ())?1 R(t2)T?1 Z()D?1 ?sc00 0010 0001 X(dx) 1CA0B@100?dx 0100 0010 0001 1CA =0B@cs0dx ?sc00 0010 0001 1CA JetztkanndieTransformationsmatrixC(t2) C(t1)Tberechnetwerden.<br />
Z R<br />
X R<br />
{R}<br />
(t2-t1)
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS56 DieElementederTransformationsmatrixC(t2) C(t2) C(t1)T=R(t2) C(t2)T?1R(t2) C(t1)Twerdenwiefolgtbezeichnet: R(t1)TR(t1) C(t1)T<br />
C(t1)T=0B@r11r12r13%x C(t2) r31r32r33%z r21r22r23%y 0001 1CA mit(wobeis0ifursin0i<strong>und</strong>c0ifurcos0igeschriebenwirdi2f1;2;3g) r12=(c01c02s03+s01c03)(cc1s2?ss1s2) r11=(c01c02s03+s01c03)(c(c1c2s3+s1c3)?s(s1c2s3?c1c3)) +(s01c02s03?c01c03)(s(c1c2s3+s1c3)+c(s1c2s3?c1c3))<br />
r21=c01s02(c(c1c2s3+s1c3)?s(s1c2s3?c1c3)) r13=(c01c02s03+s01c03)(c(c1c2c3?s1s3)?s(s1c2c3+c1s3)) +s02s03s2s3 +(s01c02s03?c01c03)(sc1s2+cs1s2) ?s02s03c2 +(s01c02s03?c01c03)(s(c1c2c3?s1s3)+c(s1c2c3+c1s3))<br />
r23=c01s02(c(c1c2c3?s1s3)?s(s1c2c3+c1s3)) r22=c01s02(cc1s2?ss1s2) +s01s02(s(c1c2s3+s1c3)+c(s1c2s3?c1c3)) +s02s03s2c3 ?c02s2s3 +s01s02(sc1s2+cs1s2)<br />
r32=(c01c02c03?s01s03)(cc1s2?ss1s2) r31=(c01c02c03?s01s03)(c(c1c2s3+s1c3)?s(s1c2s3?c1c3)) +c02c2 +s01s02(s(c1c2c3?s1s3)+c(s1c2c3+c1s3))<br />
r33=(c01c02c03?s01s03)(c(c1c2c3?s1s3)?s(s1c2c3+c1s3)) +(s01c02c03+c01s03)(s(c1c2s3+s1c3)+c(s1c2s3?c1c3)) +s02c03s2s3 +(s01c02c03+c01s03)(sc1s2+cs1s2)<br />
?c02s2c3<br />
+(s01c02c03+c01s03)(s(c1c2c3?s1s3)+c(s1c2c3+c1s3)) ?s02c03c02<br />
+s02c03s2c3
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS57 %x=(c01c02s03+s01c03)(c(L4(c1c2c3?s1s3)+L3c1s2?L2s1+bx+dx))<br />
%y=c01s02(c(L4(c1c2c3?s1s3)+L3c1s2?L2s1+bx+dx)) ?L1s02s03+L2c03?bx(c01c02s03+s01c03)?by(s01c02s03?c01c03)?bz(s02s03) +s02s03(L4s2c3?L3c2+L1+bz) +(s01c02s03?c01c03)(c(L4(s1c2c3+c1s3)+L3s1s2+L2c1+by)) +(s01c02s03?c01c03)(s(L4(c1c2c3?s1s3)+L3c1s2?L2s1+bx+dx)) +(c01c02s03+s01c03)(?s(L4(s1c2c3+c1s3)+L3s1s2+L2c1+by))<br />
%z=(c01c02c03?s01s03)(c(L4(c1c2c3?s1s3)+L3c1s2?L2s1+bx+dx)) ?c02(L4s2c3?L3c2+L1+bz) +s01s02(c(L4(s1c2c3+c1s3)+L3s1s2+L2c1+by)) +s01s02(s(L4(c1c2c3?s1s3)+L3c1s2?L2s1+bx+dx)) +c01s02(?s(L4(s1c2c3+c1s3)+L3s1s2+L2c1+by))<br />
?L1s02c03?L2s03?L4?bx(c01c02c03?s01s03)?by(s01c02c03+c01s03)?bz(s02c03) +s02c03(L4s2c3?L3c2+L1+bz) +(s01c02c03+c01s03)(c(L4(s1c2c3+c1s3)+L3s1s2+L2c1+by)) +(s01c02c03+c01s03)(s(L4(c1c2c3?s1s3)+L3c1s2?L2s1+bx+dx)) +(c01c02c03?s01s03)(?s(L4(s1c2c3+c1s3)+L3s1s2+L2c1+by)) +L1c02?L3?bxc01s02?bys01s02+bzc02<br />
UmdieTranformationdesBildesnachGleichung4.9<strong>und</strong>Gleichung4.10bzw.nachGleichung 5.5KalibrierungderK<strong>am</strong>era 4.11<strong>und</strong>Gleichung4.12vornehmenzukonnen,mudieBrennweitederK<strong>am</strong>erabekanntsein. FernersetztdieTransformationvoraus,dadiePixeldesBildesquadratischsind.Istdies liegendenArbeitnichtdurchgefuhrt,dakeineVeranderungderFormdesKalibrierungsblattesimAbstandvon5cmbef<strong>und</strong>enhaben,verwendet.EineSkalierungderBilderwirdindervor- imdigitalisiertenBildfestgestelltwurde.AusderGroederQuadrateimBildderK<strong>am</strong>era nichtderFall,dannmussendieaufgenommenenBilderentsprechendskaliertwerden. genommen.ZurKalibrierungwurdeeinweiesBlatt,aufdemsich655cm2groeQuadrate wurdedieBrennweiteinPixelnberechnet.FurdievorliegendeArbeitwurdefauf792gesetzt. EineexakteBestimmungderinternenPar<strong>am</strong>eterderK<strong>am</strong>era[Jainetal.95]wirdhiernicht vorgenommen. MitderbeidervorliegendenArbeiteingesetztenK<strong>am</strong>erawurdeeinKalibrierungsbildauf-<br />
5.6ExtraktionbewegterObjekte UmObjektezuextrahieren,diesichselbstbewegen,wirdindervorliegendenArbeitzunachst dieEigenbewegungkompensiert.DanachwirdaufapproximiertstationarenBildernweitergearbeitet.DieserAnsatzwurdegewahlt,weilderAnsatzauchfurgroeZeitdierenzenzwischen deneinzelnenBilderngeeignetist.BeigroenZeitdierenzenistdieresultierendeBewegung
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS58<br />
Bild B(t1) Bild B(t2)<br />
Prädiktion von Bild B (t2)<br />
Fehlerkorrektur<br />
Bewegte Regionen BR(t1)<br />
T<br />
Fehlermodell<br />
Differenzbild<br />
Morphologische Operationen<br />
Bewegte Regionen BR(t2)<br />
BewegungsBewegungshypothesen<br />
HO(t1)<br />
hypothesen HO(t2)<br />
Abbildung5.5:DerAlgorithmuszurExtraktionbewegterObjekte<br />
Prädiktion der Bewegungshypothesen<br />
HO T (t2)<br />
Prädiktion der bewegten<br />
Objekte BO T (t2)<br />
Bewegte Objekte BO(t1)<br />
Bewegte Objekte BO(t2)
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS59 dereinzelnenBildpunktebesondersstark.ZudemkannsichderAbstand,mitdemdieBildereinerBildsequenzaufgenommenwerden,sichvoneinemBildzumnachstenverandern. zumZeitpunktt2aufgenommensei.AusdervorhergehendenIterationstehtdasBildB(t1) ben. DerDatenudesvollstandigenAlgorithmusesistinAbbildung5.5graphischdargestellt.Die<br />
zurVerfugung,daszumZeitpunktt1aufgenommensei.Auerdemexistierendiefolgenden DerAlgorithmusbekommtinderaktuellenIterationeinBildB(t2)zurVerfugunggestellt,das KomplexitatderentwickeltenAlgorithmenwirdinder-Notation[Cormenetal.90]angege-<br />
MengenebenfallsausdervorhergehendenIterationdesAlgorithmuses.DieMengenseienbei de<strong>rer</strong>stenIterationdesAlgorithmusesleer. 5.6.1Daten,dieauseinervorhergehendenIterationexistieren<br />
BR(t1) DieMengeBR(t1)enthaltdiebewegtenRegionen,diefurdasBildzumZeitpunktt1 bestimmtwurden.EinebewegteRegionentstehtdurchdasZus<strong>am</strong>menfassenvonRegio- untenbeschrieben. nen,diedurchVeranderungenimDierenzbildentstandensind.WiedieVeranderungen desDierenzbildeszubewegtenRegionenBR(t1)zus<strong>am</strong>mengefatwerden,wirdweiter JedesElementR2BR(t1)isteinkonvexesPolygon.DieFlachevonRwirddurchAR BH(t1) derSchwerpunktdereinzelnenPunktedesPolygonsherangezogen. bezeichnet,derSchwerpunktdurch(sx(R);sy(R)).AlsSchwerpunktdesPolygonswurde<br />
BO(t1) DieMengeBH(t1)enthaltdieBewegungshypothesenzumZeitpunktt1.JedesElement H2BH(t1)isteinPolygon,dasvermutlicheinbewegtesObjektbeschreibt.Wenndie HypotheseHinspaterenBildernvalidiertwerdenkann,dannwirdHzueinembewegten DieMengeBO(t1)enthaltdiebewegtenObjektezumZeitpunktt1.JedesElement Objekt.<br />
DieElementeausBH<strong>und</strong>BObesitzendiefolgendenEigenschaften<strong>und</strong>Werte. SchwerpunktdesPolygons(sx;sy) O2BO(t1)isteinPolygon,daseinbewegtesObjektbeschreibt.DasbewegteObjektO GeschwindigkeitsvektordesPolygons(vx;vy) kannspaterwiederzueinerHypothesewerden,wennesinfolgendenBildernnichtmehr EinWert,derangibt,wieoftdieHypothesemitderWirklichkeitubereinstimmenmu, wiedergef<strong>und</strong>enwird. bevorsievalidiertwird.IndervorliegendenArbeitwirddieserWertauf1gesetzt. DieLebensdauerdesObjektes.DieLebensdauerwirdinIterationendesAlgorithmusan- EinemaximaleAnzahlanVersuchen,dieeineHypothesehat,bevorsiegeloschtwird. gegeben.IndervorliegendenArbeitwirdeineLebensdauervon4Iterationenverwendet. FlachedesPolygons
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS60 denPar<strong>am</strong>etern1(t1),2(t1),3(t1),1(t2),2(t2),3(t2),v,w<strong>und</strong>t=t2?t1ab.Mitdieser TransformationwirddasBildB(t1)aufdasBildBT(t1)transformiert.DabeisolltedasBild 5.6.2BerechnungderTransformationsmatrix NunwirddieTransformationsmatrixTberechnet.DieTransformationsmatrixThangtvon BT(t1)moglichstgenauaufdasechteBildB(t2)transformiertwerden.FurdieBerechnung PositionderK<strong>am</strong>erawirduberdenBefehlSTEPPOS[Robosoft94b]abgefragt.AlsErgebnis derTransformationsmatrixTistesalsowichtig,diePar<strong>am</strong>etermoglichstexaktzubestimmen. <strong>und</strong>GeschwindigkeitendirektausdemKontrollalgorithmus[Anetal.88]desFahrzeuges<strong>und</strong> derK<strong>am</strong>erazuverwenden.AufdieseDatenkannjedochnichtdirektzugegrienwerden.Die werdendieWinkeldereinzelnenGelenkezuruckgeliefert.DieGeschwindigkeitdesFahrzeu- Geschwindigkeitv<strong>und</strong>dieWinkelgeschwindigkeitwdesFahrzeugeszuruckgeliefert. geswirdmitdemBefehlMOTVST[Robosoft94a]abgefragt.AlsErgebniswerdendielineare UmeineexakteTransformationTzuberechnen,warees<strong>am</strong>geeignetsten,diePositionen<br />
derdurchdieFunkverbindunggegebenenVerzogerungkonnendieStatusinformationendes dieAufnahmederBilderschnellerist,alsdiebereitgestelltenStatusinformationen.Aufgr<strong>und</strong> FallsderAlgorithmuszurAufnahmederBilderschnellgenugist,kannesvorkommen,da Fahrzeugs<strong>und</strong>derK<strong>am</strong>era,dievonEMObenotigtwerden,nurinAbstandenvonetwa0;357s bestimmtwerden.Daherkannespassieren,dadievonderStatusabfragezuruckgelieferten PositionensichvoneinemBildzumnachstennichtveranderthaben.InWirklichkeitkann sichdieK<strong>am</strong>eraaberbewegthaben.DadieAbfragederPositionennichtzumexaktgleichen ZeitpunktwiedasGrabbendesBildeserfolgt,bestehtzudemnochdasProblem,dadie PositionsangabennichtvolligexaktzumBildpassen.UmbeideProblemezulosen,wirdzur BerechnungderTransformationsmatrixC(t2) wirdauszweiaufeinanderfolgendenStatusabfragenderPositionderGelenkeberechnet. t1<strong>und</strong>derenGeschwindigkeitzumZeitpunktt1eingesetzt.DieGeschwindigkeitderGelenke Geschwindigkeit,diesiezumZeitpunktt1besaen,neuberechnet. bessern.DieGelenkpositionen1(t2),2(t2)<strong>und</strong>3(t2)werdeneinfachausderPosition<strong>und</strong>DieseGeschwindigkeitenwerdennunbenutzt,umdiegeliefertenPositionsdatenzuver- 1(t2)=1(t1)+_1(t1)(t2?t1) C(t1)TdiePositionderK<strong>am</strong>eragelenkezumZeitpunkt<br />
dieTransformationsmatrixTberechnet. AusdenPar<strong>am</strong>etern1(t1),2(t1),3(t1),1(t2),2(t2),3(t2),v,w<strong>und</strong>t=t2?t1wirdnun 2(t2)=2(t1)+_2(t1)(t2?t1) 3(t2)=3(t1)+_3(t1)(t2?t1) 5.6.3PradiktionderObjektbewegung DieObjekteinBO(t1)<strong>und</strong>HO(t1)werdenentsprechendihresBewegungsvektorsaufdiePositiongebracht,andersiezumZeitpunktt2vermutetwerden.DieeinzelnenPunktederObjekte werdenalsowiefolgtbewegt.x(t2)=x(t1)+vx(t1)(t2?t1) y(t2)=y(t1)+vy(t1)(t2?t1)
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS61 angepat.DieeinzelnenPunktedesObjekteswerdenalsonochentsprechendderfolgenden Gleichungentransformiert. SchlielichwirddiePositionderObjektenochaufgr<strong>und</strong>derEigenbewegungderK<strong>am</strong>era<br />
zeichnet.Diesobewegten<strong>und</strong>transformiertenObjektewerdenmitBOT(t2)<strong>und</strong>HOT(t2)be- xT(t2)=fr11x(t2)+r12y(t2)+fr13+f%x~Z yT(t2)=fr21x(t2)+r22y(t2)+fr23+f%y~Z r31x(t2)+r32y(t2)+fr33+f%z~Z+y r31x(t2)+r32y(t2)+fr33+f%z~Z+x<br />
5.6.4KorrelationmarkanterPunkte formationsmatrixTentsprechendGleichung4.9<strong>und</strong>Gleichung4.10transformiert.Umden durchgefuhrt[Zhengetal.95]AlsEntfernungderPunktewirdeinegeschatzteEntfernung bestimmt.DieKoordi<strong>nat</strong>endermarkantenPunkteB(t1)vonBildB(t1)werdenmitderTrans- Miteinem55Moravec-Operator[Moravec77]werdenmarkantePunkteB(t2)imBildB(t2) zumHintergr<strong>und</strong>verwendet.DiesotransformiertenPunktewerdenmitBT(t1)bezeichnet. EinuvonDeformationenzuverringernwirddieKorrelationaufdemtransformiertenBild ZujedemPunktausBT(t1)wirdeinkorrespondierenderPunktausB(t2)durchKorrelation [Jainetal.95]bestimmt.FurjedenmarkantenPunkt(x1;y1)2BT(t1)wirdderKorrelationswertcmitjedemmarkantenPunkt(x2;y2)2B(t2)berechnet.Dazuwirdumjedenmarkanten PunkteinewhgroeRegiondeniert.DerKorrelationswertcberechnetsichdannwiefolgt: c= ?w2jw2X X<br />
diePradiktionderBildbewegungsinddiePunkteschonungefahranderPosition,andersie Gewichtungsfaktoristdazuda,nahebeieinanderliegendePunktezubevorzugen.Denndurch mit Eswirdalsogepruft,wieahnlichdiebeidenRegionenumdiemarkantenPunktesind.Der ?h2kh2(B(x1+j;y1+k;t1)?B(x2+j;y2+k;t2))2<br />
setzenebenfallseinegewichteteKorrelationein.AllerdingsgewichtensieeinzelnePixelbeider sichtatsachlichbenden.AlsomufurjedenPunkt(x1;y1)2BT(t1)einmarkanterPunkt (x2;y2)2B(t2)inderNahevon(x1;y1)gesuchtwerden.DerGewichtungsfaktoristdazuda, entferntenPunkteneinengroerenKorrelationswertzuzuweisen.Zhengetal.[Zhengetal.95]<br />
=1+q(x2?x1)2+(y2?y1)2:<br />
einGewichtungsfaktoreingesetzt,umzuerreichen,daeineKorrespondenznaherRegionen BerechnungdesKorrelationswertesumdenEinuvonDeformationenzuverringern.Hierwird hergestelltwird. derRegionist1010furein384288Bild.BesitzendieBildereineandereGroe,sowird<br />
minimalenKorrelationswertchat,<strong>und</strong>dieserWertkleineralseinSchwellwertist.DieGroe DerPunkt(x2;y2)wirdalskorrespondierenderPunktzu(x1;y1)ausgewahlt,wennerden
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS62 derBereichentsprechendangepat.FurBilderderGroewBhBberechnetsichderBereich<br />
passendeRegiongewahltwird.EinvonderGroederRegionabhangigerSchwellwertvon nach: DerSchwellwertwirdeingesetzt,umzugewahrleisten,danichtirgendeine,sondernnureine 3000whwurdefurdieuntenbeschriebenenDateneingesetzt. w=10wB 384<br />
whdieGroederRegionan<strong>und</strong>wBhBdieGroedesBildes.DerAufwandderKorrelation ist(n1n2wh).DabeigibtwhwiederdieGroederRegionan.DieZahldermarkanten DerMoravec-OperatorwurdemitderKomplexitat(whwBhB)implementiert.Dabeigibt h=10hB 288<br />
FurjezweimarkantePunkte(x1;y1)2B(t1)<strong>und</strong>(x2;y2)2B(t2)zwischendeneneineKorre- PunkteinB(t1)sein1,dieinB(t2)sein2. 5.6.5BerechnungdergeschatztenEntfernungzumHintergr<strong>und</strong> spondenzhergestelltwurde,wirdjetztdieEntfernungdesPunktesberechnet.DieEntfernungkannaufzweiArtenberechnetwerden.DazuwurdenGleichung4.7<strong>und</strong>Gleichung4.8umge- Bildgearbeitetwird,<strong>und</strong>zudemkeinevolligexaktenDatenausderTransformationsmatrixzur Verfugungstehen,unterscheidensichdietatsachlichberechnetenWerte.Daherwerdenzunachst beideWerteberechnet.DerWert,derdurchdieBewegungdesPunktesinx-Richtungentstanformt.BeideGleichungenlieferndieselbeZ-Koordi<strong>nat</strong>e.Dajedochaufeinemdigitalisiertendenist,seiZx<strong>und</strong>derWert,derdurchdieBewegungdesPunktesiny-Richtungentstanden WerdenbeideZ-Koordi<strong>nat</strong>enZx<strong>und</strong>Zyberechnet,sowirdderenMittelwertgebildet.Falls ist,seiZy.DieBerechnungderZ-Koordi<strong>nat</strong>enistvonjeeinerBedingungabhangig.<br />
nureinederKoordi<strong>nat</strong>enberechnetwerdenkann,sowirddieseweiterverwendet.Eskannauch vorkommen,dakeinederbeidenWerteberechnetwerdenkonnte. Zx= Zy= x2 f(r31x1+r32y1+fr33)?(r11x1+r12y1+fr13)fallsj^x1?~x1j>0<br />
gilt: DasKriteriumfurdieBerechnungderZ-Koordi<strong>nat</strong>ensollnunnaherbetrachtetwerden.Es y2 f(r31x1+r32y1+fr33)?(r21x1+r22y1+fr23)fallsj^y1?~y1j>0 f%x?x2%z f%y?y2%z<br />
wennsichdieserPunktzumZeitpunktt1anderPosition(x1;y1)bef<strong>und</strong>enhat<strong>und</strong>durch<br />
Dabeigibt(^x1;^y1)dieKoordi<strong>nat</strong>endestransformiertenBildpunkteszumZeitpunktt2an, ~x1=fr11x1+r12y1+fr13 ^x1=fr11x1+r12y1+fr13+f%x ^y1=fr21x1+r22y1+fr23+f%y r31x1+r32y1+fr33 r31x1+r32y1+fr33+f%z<br />
~y1=fr21x1+r22y1+fr23 r31x1+r32y1+fr33
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS64 Umgebunganpat.DieListeLzmuaberauchgrogenugsein,umAusreierzueliminieren. dieseListenichtzugrosein.DieListeLzenthaltelWerte.Danndauertesmindestensdie ArbeitwurdeeineListeLzmit5Werteneingesetzt. DahermufurdieGroederListeeingeeigneterWertgef<strong>und</strong>enwerden.Furdievorliegende halbeAnzahlanBildernl2bissichdiegeschatzteEntfernungzumHintergr<strong>und</strong>aneineneue FureinemoglichstgenaueSchatzungderEntfernungzumHintergr<strong>und</strong>isteswichtig,diealten WerteinderListeentsprechendderBewegungderK<strong>am</strong>eraanzupassen.Daherwerdendiein derListeLzgespeichertenZ-Koordi<strong>nat</strong>envordemEintrageinesneuenWertesnochumdie zuruckgelegteStreckeinBlickrichtungderK<strong>am</strong>era%zangepat. DieListeLzenthaltEntfernungen,diezuunterschiedlichenZeitpunktenbestimmtwurden.<br />
UmSchwingungen,diedurchdenfahrendenRoboterverursachtwerden<strong>und</strong>ungenaueDaten 5.6.6Fehlerkorrektur beiderPositionsmessungderGelenke<strong>und</strong>beiderMessungderGeschwindigkeitdesFahrzeuges zukorrigieren,wirdeineFehlerkorrekturdurchgefuhrt.Dazuwirdfurjedeskorrespondierende Punktpaar(x1;y1)2BT(t1)<strong>und</strong>(x2;y2)2B(t2)dieDierenzx2?x1inderListeLx<strong>und</strong>die Dierenzy2?y1inderListeLygespeichert.DerMedianderListeLxseix<strong>und</strong>derMedian derListeLyseiy.DasBildistalsozusatzlichzurTransformationdurchdieMatrixTnoch umxPixelinX-Richtung<strong>und</strong>umyPixelinY-Richtungzuverschieben.Diesesrelativ einfacheFehlermodellistvorallemzurElimi<strong>nat</strong>ionvonSchwingungengeeignet.<br />
wirdnunberechnet. werdemitBT(t1)bezeichnet.DasDierenzbild 5.6.7DetektionvonVeranderungen diehomogeneTransformationTvorhergesagte<strong>und</strong>anschlieendum(x;y)verschobeneBild DasBildB(t1)wirdanhandvonGleichung4.11<strong>und</strong>Gleichung4.12transformiert.Dasdurch<br />
AnwendungeinigermorphologischerOperatoren[Murrayetal.94a]wieinAbschnitt4.3beschriebenweiterbearbeitet.WiebeiderKorrelationmarkanterPunktewirdauchhierdasStrukturelementandieGroedesBildesangepat.DieangegebenenGroenderStruktu- DannwirddasAbsolutbilddesDierenzbildesgebildet.DasAbsolutbildwirddurchdie @B(x;y;t)<br />
relementewerdenbeieinemBildderGroe384288eingesetzt.WenneinkleineresBild @t B(x;y;t+t)?BT(x;y;t)<br />
verarbeitetwird,wirddieGroedesStrukturelementsproportionalzurBildgroeangepat. Schlieungmiteinemkleinenquadratischen55-Strukturelement,umBereichemitviel<br />
folgendenSchrittenwirdversucht,Regionen,diedurchFehlerinderPradiktionentstanden reichesliegen,unterdruckt.SomitisteinBinarbildentstanden.JedeRegiondiesesBinarbildes istentwederdurcheinbewegtesObjektoderdurchFehlerinderPradiktionentstanden.In AnschlieendwerdenPixelwerte,dieunterhalb15%desmaximalmoglichenPixelwertebe- Onungmiteinem99-Strukturelement,umStorungenzuunterdrucken. Bewegungmiteinanderzuverbinden.<br />
sind,zueliminieren.
schenOperatorenmitderKomplexitat(whwBhB).DabeigibtwhdieGroederRegion an<strong>und</strong>wBhBdieGroedesBildes. KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS65 DieTransformationwurdemitderKomplexitat(wBhB)implementiert.Diemorphologi- 5.6.8Konturbildung SubtraktiondesErgebnissesvonB.FurMwirdein33Strukturelementverwendet.Ubrig sind,werdenebenfallsdurchmorphologischeOperatorenbestimmt[Gonzalesetal.92]. DieKonturderRegionen,dienachderAnwendungmorphologischerOperatorenubriggeblieben DasKonturbild(B)vonBildBergibtsichdurchErosionvonBdurchM<strong>und</strong>anschlieender (B)=B?(BM) bleibtdieKonturderFlache.DieRegionenwerdenalsPunktmengenf(x;y)j(x;y)2(B)g gespeichert.DabeidemVerfahreneventuellvorhandeneLocherindenRegionenauchals Konturauftreten,werdendiePunktmengenderLochernachtraglichgeloscht.Esbleibennur NahebeieinanderliegendeKonturenwerdenwieinAbschnitt4.4beschriebenzus<strong>am</strong>mengefat. DieMengederauerenKonturenwirdmitKbezeichnet. auereKonturen,alsoKonturen,dievonkeineranderenKonturumschlossenwerden,ubrig. 5.6.9Zus<strong>am</strong>menfassennahebeieinanderliegenderKonturen<br />
Pradikatnahewiefolgtdeniert: KonturenderBereichedesDierenzbildes. DieHeuristiksollnunformalisiertwerden.EswirdfolgendeRelationdeniert.Kseiendie<br />
demgeringstenAbstand.DasPradikatnahe(A;B)istgenaudannwahr,wennfolgendesgilt: Umzubestimmen,obzweiBereichedesDierenzbildesnahebeieinandersind,wirddas FurzweiKonturenA<strong>und</strong>Bseien(x1;y1)2A<strong>und</strong>(x2;y2)2BdiebeidenPunktemit 0=f(A;B)jA2K;B2K;nahe(A;B)g<br />
PunktederbeidenKonturengesucht.ZwischenihnenwirdeineStreckegelegt,<strong>und</strong>dieStrecke genaudannwahr,wenndieEndpunktederStreckeinnerhalbderzugehorigenKonturliegen. Aquivalenzrelation,dasiereexiv,symmetrisch<strong>und</strong>transitivist[Grithsetal.76].DieRe- PunktmengedesdurchdieKonturBumschlossenenBereiches. wirdinbeidenRichtungenumdieLangederStreckeverlangert.DasPradikatnahe(A;B)ist DabeisindRAdiePunktmengedesdurchdieKonturAumschlossenenBereiches.RBistdie InWortenausgedrucktbesagtobigeDenitionfolgendes.Eswerdendiebeidennachsten DieRelationseidiereexive<strong>und</strong>transitiveHullederRelation0.Dannisteine<br />
(2x2?x1;2y2?y1)2RB^(2x1?x2;2y1?y2)2RA<br />
lationteiltdieMengeKindieAquivalenzklassenK=ein.FurjedeAquivalenzklasseisteineKonturzugenerieren.MiteinemvonWalletal.[Walletal.84]beschriebenenAlgorithmuskanneineKonturdurcheinPolygonapproximiertwerden<strong>und</strong>somitdieAnzahlder Punktereduziertwerden.Dahierjedochmeh<strong>rer</strong>eRegionenzus<strong>am</strong>mengefatwerden<strong>und</strong>daher mitnPunktenwurdemitderKomplexitat(n2)(imungunstigstenFall)nacheinemvon<br />
keinegeschlosseneKonturvorhandenist,wirddiekonvexeHulleallerPunkteberechnet,die sichineinerAquivalenzklassebenden.DieBerechnungderkonvexenHulleeinesPolygons
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS66 Sedgewick[Sedgewick92]beschriebenenVerfahrenimplementiert.Vonnunanwirdaufden konvexenHullenderAquivalenzklassenK=weitergearbeitet. KlassewirdmiteinerKonturinitialisiert.FurjezweiKonturenwerdendiebeidenPunkte mitderkleinstenEntfernungbestimmt.DieKomplexitatdesimplementiertenAlgorithmus deranderenKonturist.WieinAbschnitt4.4beschriebenwirdnungepruft,obderPunkt ist(n1n2)wobein1dieAnzahlderPunktedereinenKontur<strong>und</strong>n2dieAnzahlderPunkte vonPolygonAliegt.Wenndieszutrit,sowerdendiebeidenKlassenvonA<strong>und</strong>Bvereinigt. DerTest,obeinPunktinnerhalbeinesPolygonsliegt,wurdenacheinemvonSedgewick (2x2?x1;2y2?y1)innerhalbvonPolygonB<strong>und</strong>obderPunkt(2x1?x2;2y1?y2)innerhalb UmdieAquivalenzklassenK=zubestimmen,wirdeineListemitKlassengebildet.Jede<br />
[Sedgewick92]beschriebenenVerfahrenmitderKomplexitat(n),wenndasPolygonnPunkte FurjedesObjektO2BOT(t2)werdendieKonturenausK=zus<strong>am</strong>mengefat,dieganzin besitzt,implementiert. 5.6.10BestimmungbewegterRegionen demObjektOenthaltensindoderdasObjektOschneiden.SchlielichwirddiekonvexeHulle DiebewegtenRegionenBR(t1),diebereitsfruherimBildB(t1)gef<strong>und</strong>enwurden,werden bezeichnet. dersozus<strong>am</strong>mengefatenPunktegebildet.DieentstandenenRegionenwerdenmitBR(t2) 5.6.11ErzeugungeinerBewegungshypothese aufdiePositiongebracht,andersieinBildB(t2)vermutetwerden.Dabeiwirdsowohl dieK<strong>am</strong>erabewegungalsauchdieFehlerkorrekturberucksichtigt.Diesotransformierten<strong>und</strong> Regionenherangezogenwerden.DieserrelativeinfacheKompatibilitatstestwurdeausden cheObjektbeschreiben.AlsKompatibilitatstestderRegionenkonnenz.B.dieFlachenbeiderwirdeineHypotheseHaufgestellt,wennessichumRegionenhandelt,dievermutlichdasglei- BRT(t1)<strong>und</strong>BR(t2)herangezogen.ZwischendenRegionenR12BRT(t1)<strong>und</strong>R22BR(t2) korrigiertenRegionenwerdenmitBRT(t1)bezeichnet. ZurGenerierungneuerBewegungshypothesenHO(t2)werdendiebewegtenRegionen inAbschnitt4.6beschriebenenGr<strong>und</strong>eneingesetzt.DieFlachenzweierRegionenseienA1 litatsmaeingesetzt.<strong>und</strong>A2.DiekleinerederbeidenFlachenseiA1.Von[Radig81]wurdefolgendesKompatibi- DemnachgeltenzweiRegionenalskompatibel,wennsichderenFlachenumhochstens100% betrachtet,falls voneinanderunterscheiden.DerSchwellwertwurdefurdievorliegendeArbeitauf50%gesetzt. dadieFlachenidentischsind.FurdievorliegendeArbeitwerdendieRegionenalskompatibel DabeigibtderWert0an,dadieRegionenvolligunterschiedlichsind<strong>und</strong>derWert1gibtan,<br />
DerBewegungsvektor(vx;vy)derHypotheseHwirdwiefolgtberechnet.<br />
1?jA1?A2j<br />
A1 A2: jA1+A2j<br />
vx(H)=sx(R2)?sx(R1) t
DiePar<strong>am</strong>eterwidth<strong>und</strong>heightgebendieGroedervomFr<strong>am</strong>egrabbergeliefertenBilder an.DerPar<strong>am</strong>eterscalegibteinenSkalierungsfaktoran.DenndieGroederBilder,die EMOinternverarbeitet,istunabhangigvonderGroederdurchdenFr<strong>am</strong>egrabbergelieferten KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS69<br />
Par<strong>am</strong>eterscalekanndieWerte0.25bis1annehmen.Dasheit,dieBilderkonnenmaximal sein.DerFr<strong>am</strong>egrabbermuebenfallsvordemAufrufvonemoinitinitialisiertwordensein.<br />
IterationfurtimeNanosek<strong>und</strong>en,bevordienachsteIterationausgefuhrtwird. Bilder.DiedurchdenGrabbergeliefertenBilderwerdenumdenFaktorscaleverkleinert.Der onsmatrixverwendetwird.AlsK<strong>am</strong>er<strong>am</strong>odelstehenderzeitstereo1<strong>und</strong>stereo2furdie aufeinVierteldergeliefertenGroeverkleinertwerden. linke<strong>und</strong>rechteStereok<strong>am</strong>erazurVerfugung.DasModellstatkannfureinestationareK<strong>am</strong>eraverwendetwerden.DasK<strong>am</strong>er<strong>am</strong>odellwirdspeziziert,indemeinZeigeraufeinender angegebenenStringsubergebenwird. DerPar<strong>am</strong>etertimegibteineVerzogerungszeitan.DerAlgorithmuswartetnachjeder DerPar<strong>am</strong>etermodelgibtdasK<strong>am</strong>er<strong>am</strong>odellan,daszurBerechnungderTransformatiistfurdieDatenabfragezustandig.ErliestineinerSchleifedieStatusinformationendesFahr-<br />
geonetwerdensoll.EMOVIEWALLgibtan,daalleFenstervonEMOgeonetwerdensollen. viewW<strong>und</strong>viewHgebendieGroederFensterinPixelnan. IndiesenFensternkonnendieeinzelnenSchrittevonEMOkontrolliertwerden.DiePar<strong>am</strong>eter EMOVIEWONEgibtan,dalediglichdasaktuelleBildmitdenextrahiertenbewegtenObjekten vonEMOzuverfolgen.EMOVIEWNONEgibtan,dakeineFenstergeonetwerdensollen. Nachdememoinitausgerufenwurde,werdenzweiweitereProzesseerzeugt.EinProze DerPar<strong>am</strong>etershowgibtan,wievieleFenstergeonetwerdensollen,umdieArbeitsweise<br />
zeuges<strong>und</strong>derK<strong>am</strong>eraaus.DerzweiteProzeistfurdieExtraktionderbewegtenObjekte zustandig.DakontinuierlichBilderverarbeitetwerdenmussen,arbeitetdieserProzevollig getrenntvomaufrufendenProgr<strong>am</strong>m.DerAustauschderDatenerfolgtuberShared-Memory- Segmente. dasdiegewunschtenInformationenausdemModulEMOabgefragtwerdenkonnen.DerAufruferkannn<strong>und</strong>enRoboter<strong>und</strong>dieK<strong>am</strong>eravolligbeliebigsteuern.EMOextrahiertdann imHintergr<strong>und</strong>diebewegtenObjekte.WennderAufruferwissenmochte,welchebewegten Objektevorhandensind,sokannerdies,wieweiteruntenbeschrieben,abfragen.Trittein Fehlerauf,sowirdNULLzuruckgeliefert. DieKontrollewirdschlielichandenAufruferzuruckgegeben.E<strong>rer</strong>halteinHandle,uber<br />
MitderRoutineemotakeMoviekanneinFilmvomModulEMOaufgenommenwerden.Als Par<strong>am</strong>eterwerdendasHandleemoHandleubergeben.DerPar<strong>am</strong>eterlengibtan,wieviele mehrabgespeichert.SonstwerdendieBilderimmerwiederuberschrieben.WennkeineFehler chertwerden,dannwerden,nachdemlenBildergespeichertwurden,keineweiterenBilder BilderderReihenachabgespeichertwerdensollen.DerPar<strong>am</strong>eterloopFlaggibtan,obdie Bilderkontinuierlichgespeichertwerdensollen.WenndieBildernichtkontinuierlichgespei- intemotakeMovie(emoType*emoHandle,intlen,intloopFlag);<br />
aufgetretensind,wirdderWertEMONOERRzuruckgeliefert.
MitderRoutineemosaveMoviekanndiezuvormitderRoutineemotakeMovieaufgenom- KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS70 intemosaveMovie(emoType*emoHandle,char*n<strong>am</strong>e); meneVideosequenzabgespeichertwerden.AlsPar<strong>am</strong>eterwirdwiederdasHandleemoHandle demdieVideosequenzabgespeichertwird. ubergeben.DerPar<strong>am</strong>etern<strong>am</strong>eisteinZeigeraufeinenString,derdenN<strong>am</strong>enenthalt,unter<br />
voidemofreeMovie(emoType*emoHandle); EMOstellteinenSpeicherfurdieBilderbereit,wenndieemotakeMovieaufgerufenwird. gespeichert.DemPar<strong>am</strong>etern<strong>am</strong>ewirdfurjedesBilddieErweiterungx.pgmangehangt.Dabei stehtxfurdieNummerdesBildes.DasersteBildtragtdieNummer0.WennkeineFehler aufgetretensind,wirdderWertEMONOERRzuruckgeliefert. DieBilderderzuvoraufgenommenenSequenzwerdenimPGM-Format[Murrayetal.94b]<br />
Par<strong>am</strong>eterwirdlediglichdasHandleemoHandleubergeben. DieserSpeichersolltedurcheinenAufrufvonemofreeMoviewiederfreigegebenwerden.Als<br />
wurden.AlsPar<strong>am</strong>eterwirddasHandleemoHandleubergeben.ZudemmuderAnwender int*num); DerAnwenderkannuberdieRoutineemogetMovingabfragen,obbewegteObjekteextrahiert *r23,double*r31,double*r32,double*r33,double*tx,double*ty,double*tz, nochdieAdresseneinigerVariablenangeben.FolgendeVariablenwerdenauerdemHandle int*dy,double*r11,double*r12,double*r13,double*r21,double*r22,double double*emogetMoving(emoType*emoHandle,picEmoType*pic,double*z,int*dx,<br />
benotigt:<br />
DieRoutineschreibtdieWerteindievomAnwenderangegebenenAdressen.DemAn- int double*r11,*r12,*r13,*tx;ZeigerfurdieTransformationsmatrix double*r31,*r32,*r33,*tz;<strong>und</strong>tjbezeichnetdenTranslationsvektor double*r21,*r22,*r23,*ty;DabeibezeichnendierijdieRotationsmatrix double*z; picEmoType*pic; *num; *dx,*dy; ZeigerfurdieVerschiebungdesBildes ZeigerfurdieAnzahlderbewegtenObjekte ZeigerfurdiegeschatzteEntfernung ZeigerfurdasaktuelleBild<br />
wenderwirdzudemnocheinZeigeraufeinenInteger-Wertzuruckgeliefert.AbdiesemWert sinddiebewegtenObjektenacheinanderabgelegt.WerdendiebewegtenObjektenichtmehr benotigt,somuderAnwenderdenallokatiertenSpeicherwiederzuruckgeben. ausVEdgesgeglattet<strong>und</strong>linearabgespeichert.DadiehierverwendeteStrukturfurallege- denSpeicherbereichdesaufrufendenProgr<strong>am</strong>mskopiertwerdenmussen,wirddieInformation meineVEdgesgeeignetist,werdenauchInformationengespeichert,dieaufdenerstenBlick gespeichertwerden,sindindenObjektinformationenauchDatenenthalten,diezurValidierung nichtnotwendigsind.WeilinternHypothesen<strong>und</strong>bewegteObjektemitdergleichenStruktur derHypothesenherangezogenwerden. DiebewegtenObjektewerdenvonEMOinternalsVEdgesgespeichert.DadieObjektein ZuerstfolgteinKopf,imdemdiefolgendenInformationengespeichertsind. intwidth;BreitedesBildes,ausdemdieObjekteextrahiertwurden.<br />
intnumber;AnzahlderbewegtenObjekte
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS71<br />
besitztebenfallseinenHeader.DieserHeaderistwiefolgtabgelegt. NachdemHeaderfolgenderReihenachdienumberbewegtenObjekte.EinbewegtesObjekt intpointnum;AnzahlderInteger-Werte,dieproPunkteinesPolygonsgespeichert intfieldnum;AnzahlderInteger-WertederObjektinformationen. werden. intheight;HohedesBildes,ausdemdieObjekteextrahiertwurden.<br />
derZeitalsHypothesegespeichert. ObjektzunachsteineHypothesegewesenist,sindindenObjektinformationenauchDatenaus NachdiesenbeidenWertenfolgendieInteger-WertederObjektinformation.Daeinbewegtes intn;AnzahlderPunktederkonvexenHulledesbewegtenObjektes.<br />
intsx;X-Koordi<strong>nat</strong>edesSchwerpunktes intclosed;Wert,derangibt,obessichbeidenPunktenumeinegeschlosseneKontur handelt.DieserWertistimmeraufTRUEgesetzt.<br />
intsy;Y-Koordi<strong>nat</strong>edesSchwerpunktes intvy;Y-KomponentedesBewegungsvektors intvx;X-KomponentedesBewegungsvektors inttimeToValidate;Zahler,derangibt,furwievielIterationendesAlgorithmusesein intarea;FlachedesbewegtenObjektes intlife;LebensdauerdesObjektesinIterationen. intmaxTrials;MaximaleLebensdauerderHypotheseinIterationen. bewegtesObjektinnerhalbderFlacheeinerBewegungshypotheseliegenmu,bevordie<br />
intmotVecNum;AnzahlderBewegungsvektoren,diebeiderValidierungderHypothesen Hypothesevalidiertwird.<br />
verwendetwurden,umdenBewegungsvektordesbewegtenObjekteszuberechnen.Da<br />
DiesschlietdenKopfderInformationendesbewegtenObjektesab.EsfolgendiePunkteder intid;IdentitatsnummerdesbewegtenObjektes.DieNummernwerdenfurdieHypo- verschiedeneHypothesenineinerIterationgleichzeitigvalidiertwerdenkonnen,kannes<br />
konvexenHulledesbewegtenObjektes. passieren,daausmeh<strong>rer</strong>enHypotheseneinbewegtesObjektentsteht. thesenvergeben.WirdeineHypothesezueinembewegtenObjekt,sowirddieseNummer 2nIntegerwerte,diedieKoordi<strong>nat</strong>endesPolygonsangeben.ZuerstfolgtdieX-Koordi<strong>nat</strong>e, restlichenPunkte.<br />
beibehalten. danndieY-Koordi<strong>nat</strong>e.NachdenerstenbeidenKoordi<strong>nat</strong>enfolgendieKoordi<strong>nat</strong>ender
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS72 FallsweiterebewegteObjekteinderListeenthaltensind,folgteinbewegtesObjektnachdem anderen. durchdenPar<strong>am</strong>eterpicangegebeneStrukturgeschrieben.DieStrukturhatdasfolgende Format. structpicEmoStruct{ DasBild,ausdemdiebewegtenObjekteextrahiertwurden,wirdindievomAnwender imageEmoType*image; int double int char allocated; width; height; maxGray; time; fr<strong>am</strong>e;<br />
typedefpicEmoStructpicEmoType; }; double c<strong>am</strong>AngEmoTypec<strong>am</strong>Pos; c<strong>am</strong>AngEmoTypec<strong>am</strong>Vel; robVelEmoTyperobVel; f; model[EMO_MODEL_LEN];<br />
IstallocatedaufTRUEgesetzt,sowurdederSpeicherfurdiePixelwertedesBildesallokatiert. DieElementewidth<strong>und</strong>heightgebendieGroedesBildesan.DasElementmaxGraygibtden gespeichert.DieNummerdesBildesistinfr<strong>am</strong>eenthalten.DasverwendeteK<strong>am</strong>er<strong>am</strong>odellist DiePositionderK<strong>am</strong>eragelenkeistinc<strong>am</strong>Pos,dieGeschwindigkeitderK<strong>am</strong>eragelenkeistin maximalenGrauwertan.DieZeit,zuderdasBildgegrabbtwurde,istintime(inSek<strong>und</strong>en) indemStringmodelangegeben.DieBrennweitederK<strong>am</strong>eraistinf(inPixeln)gespeichert. c<strong>am</strong>Vel<strong>und</strong>dieGeschwindigkeitdesFahrzeugsistinrobVelgespeichert. DiePixelwertedesBildessindzeilenweiseabderAdresseaufdieimagezeigt,abgespeichert.<br />
wendet. structc<strong>am</strong>AngEmoStruct{ FurdiePosition<strong>und</strong>GeschwindigkeitderK<strong>am</strong>eragelenkewirddiefolgendeStrukturverDiePositionderK<strong>am</strong>eragelenkewirdinMilligrad,dieGeschwindigkeitinMilligradproSe-<br />
typedefstructc<strong>am</strong>AngEmoStructc<strong>am</strong>AngEmoType; doubletheta1;<br />
k<strong>und</strong>eangegeben. }; doubletheta2;<br />
DieGeschwindigkeitdesFahrzeugswirdmitfolgenderStrukturangegeben. doubletheta3; doubletheta4;<br />
structrobVelEmoStruct{ doublev; doublew;
DielineareGeschwindigkeitvwirdinMillimeter,dieWinkelgeschwindigkeitwinMilliradpro KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS73<br />
voidemoexit(emoType*emoHandle); Sek<strong>und</strong>eangegeben. typedefstructrobVelEmoStructrobVelEmoType; };<br />
dasHandleemoHandleubergeben.EMObeendetdanndiezuvorgestartetenProzesse<strong>und</strong>gibt allokatiertenSpeicherwiederfrei. 5.8BenutzungdesProgr<strong>am</strong>ms NebenderBibliothekzurExtraktionbewegterObjektewurdenocheinProgr<strong>am</strong>mentwickelt, MitderRoutineemoexitbeendetderAnwenderdasModulEMO.AlsPar<strong>am</strong>eterwirdlediglich<br />
kann.DievomProgr<strong>am</strong>mEMOerzeugtenFensterkonnenalsPostscript-Dokument[Adobe90] mitdemdiebewegtenObjekteeinerbereitsaufgenommeneBildsequenzbetrachtetwerden abgespeichertwerden.MitdiesemProgr<strong>am</strong>mwurdendieindervorliegendenArbeitenthal- wurdenebenfallsmitdiesemProgr<strong>am</strong>mabgespeichert.DasProgr<strong>am</strong>mhatdenN<strong>am</strong>enemo. DemProgr<strong>am</strong>mkonneneineReihevonPar<strong>am</strong>eterbeimAufrufdesProgr<strong>am</strong>msubergebenwertenenBilde<strong>rer</strong>zeugt.DieDaten,zudenindervorliegendenArbeitenthaltenenDiagr<strong>am</strong>men,den.DiePar<strong>am</strong>eterwerdendurch-Xpar<strong>am</strong>eterinbeliebigerReihenfolgespeziziert.Dabei stehtXfurdenN<strong>am</strong>endesPar<strong>am</strong>eters<strong>und</strong>par<strong>am</strong>etergibtdenStringan,deralsPar<strong>am</strong>eter Xubergebenwird.DiefolgendenPar<strong>am</strong>eterkonnenspeziziertwerden. NGibtdieAnzahlderBilderan,diemaximaleingelesenwerden.IstdieserPar<strong>am</strong>eter FSpeziziertdenDatein<strong>am</strong>endesBildes.AndenDatein<strong>am</strong>enfugtdasProgr<strong>am</strong>mshow beginnendmitderNummer0derReihenacheingelesen. EGibtdieAnzahlderIterationenan,nachdenendieBearbeitungderBildsequenzabge- dieErweiterungN.pgman.DabeistehtNfurdieNummerdesBildes.DieBilderwerden Bilder. nichtspeziziert,sowerdenalleBilderbeginnendbei0eingelesen.Hochstensjedoch30 ZGibtdiegeschatzteEntfernungzumHintergr<strong>und</strong>an,diefurdasersteBildderSequenz brochenwird.WerdenmehrIterationenspeziziertalsBildereingelesenwurden,sowird nachdemletztenBildderSequenzwiedermitdemerstenBildderSequenzbegonnen.<br />
VGibtdieArtderAusgabedesAlgorithmusesan.AlsPar<strong>am</strong>eterkonnenhierdieWerte0, SGibtdenSkalierungsfaktoran,mitdemdieBilderderSequenzverkleinertwerden BildgroeinProzentan,aufdenengearbeitetwird. 1<strong>und</strong>2ubergebenwerden.DabeibedeutetderWert0,dakeineAusgabefenstergeonet verwendetwird.DieEntfernungwirdinMeternangegeben.<br />
Sequenzangezeigtwird.DerWert2gibtan,daalleFenstergeonetwerden.<br />
werden.DerWert1gibtan,dalediglicheinFenstermitdenbewegtenObjektender konnen.DerSkalierungsfaktorwirdimBereichvon0bis1speziziert<strong>und</strong>gibtdie
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS74 GGibtdensogenanntenGrab-Stringan.DurchdieAngabediesesPar<strong>am</strong>eterskann WGibtdieGroedesFenstersan,indemdieBildsequenzangezeigtwird.DieGroe dieHohedesBildes. wirdinderFormw,hangegeben.DabeistehtwfurdieBreitedesBildes<strong>und</strong>hstehtfur<br />
sollen.DerPar<strong>am</strong>eterNgibtdieIterationan,biszuderdieInhaltederFenstergespeichert DerPar<strong>am</strong>eterNgibtdieIterationan,abderdieInhaltederFenstergespeichertwerden werdensollen.FallsderPar<strong>am</strong>eterNNullist,kannstatt0-MauchnurMangegeben N-M,filen<strong>am</strong>e,C,1,2,...,11 mussendieentspechendenFenstergeonetsein.DerStringhatdasfolgendeFormat: derInhalteinzelnerFensteralsPostscript-Dokumentabgespeichertwerden.Dochdazu<br />
werden.DerPar<strong>am</strong>eterfilen<strong>am</strong>egibtdenDatein<strong>am</strong>enan,unterdemdiePostscript- Dokumentegespeichertwerden.AndenDatein<strong>am</strong>enwirdnochdieErweiterungWXtY.ps angehangt.DabeistehtXfurdieNummerdesFensters<strong>und</strong>YstehtfurdieNummerder Iteration.NachdemDatein<strong>am</strong>enfilen<strong>am</strong>ewirddurchdenPar<strong>am</strong>eterCangegeben, obeineBildunterschriftmitdenBild-,K<strong>am</strong>era-<strong>und</strong>Fahrzeugpar<strong>am</strong>eterngewunscht wird.DabeigibtYan,daeineBildunterschriftgeneriertwird<strong>und</strong>Ngibtan,dakeine Bildunterschriftgeneriertwird.NachdemPar<strong>am</strong>eterCkonneneinebeliebigeAnzahl anNummern,durchKommagetrennt,folgen.DieangegebenenNummerngebendie DGibtdenStringfurdieSpeicherungdergeschatztenEntfernungenzumHintergr<strong>und</strong> NummernderFensteran,derenInhaltabgespeichertwerdensoll. an.DerStringhatdasfolgendeFormat: N,filen<strong>am</strong>e DabeigibtderPar<strong>am</strong>eterNdieAnzahlderIterationenan,furdiediegeschatztenEntfer- YGibtdenStringfurdieSpeicherungdervertikalenVerschiebungdesBildes,mitder diePradiktionverbessertwird,an.DerStringhatdasfolgendeFormat: N,filen<strong>am</strong>e nungenzumHintergr<strong>und</strong>gespeichertwerden.DerDatein<strong>am</strong>ewirddurchdenPar<strong>am</strong>eter DieEntfernungenwerdeninderDateizeilenweiseimASCII-Formatgespeichert. filen<strong>am</strong>espeziziert.AndenDatein<strong>am</strong>enwirdnochdieErweiterungz.dataangehangt.<br />
DabeigibtderPar<strong>am</strong>eterNdieAnzahlderIterationenan,furdiedievertikalenVerschiebungengespeichertwerden.DerDatein<strong>am</strong>ewirddurchdenPar<strong>am</strong>eterfilen<strong>am</strong>eTGibtdenStringfurdieSpeicherungderZeitdaueran,diefureineIterationzurEx- vertikalenVerschiebungenwerdeninderDateizeilenweiseimASCII-Formatgespeichert. speziziert.AndenDatein<strong>am</strong>enwirdnochdieErweiterungdy.dataangehangt.Die<br />
chertwird.DerDatein<strong>am</strong>ewirddurchdenPar<strong>am</strong>eterfilen<strong>am</strong>espeziziert.AndentraktionbewegterObjektebenotigtwird.DerStringhatdasfolgendeFormat:<br />
N,filen<strong>am</strong>e DabeigibtderPar<strong>am</strong>eterNdieAnzahlderIterationenan,furdiedieZeitdauergespei
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS75 derDateizeilenweiseimASCII-Formatgespeichert.DieZeiteinerIterationenthaltnur dieZeit,diezurVerarbeitungeinesBildesvonEMObenotigtwird.DieZeiten,diezum GrabbendesBildes<strong>und</strong>zurBestimmungderStatusinformationenbenotigtwerden,sind Datein<strong>am</strong>enwirdnochdieErweiterungt.dataangehangt.DieZeitdauernwerdenin<br />
DasProgr<strong>am</strong>mwirdnach20Iterationen,alsonachdem20.Bildabgebrochen.Diegeschatzte DieserAufrufliestderReihenachdieBilderbild0.pgmbismaximalBildbild20.pgmein. emo-Fbild-N20-E20-Z2.0-S0.75-V2-W192,144-T20,time EinAufrufdesProgr<strong>am</strong>mskonntezumBeispielwiefolgtaussehen: indergespeichertenZeitdauernichtenthalten.<br />
Entfernungwirdauf2.0gesetzt.DieBilderwerdenauf75%verkleinert,bevorsiebearbeitet werden.EswerdenalleAusgabefenstergeonet.DieFenstergroebetragt192144.Die mitderNummer1,2,4<strong>und</strong>5werdenmitBildunterschriftfurdieIterationen12bis17mitdem Zeitmessungenwerdenfur20IterationeninderDateitimegespeichert.DieAusgabefenster -G12-17,fenster,Y,1,2,4,5-D20,entfernung-Y20,verschiebung<br />
Datein<strong>am</strong>enfenstergespeichert.Fur20IterationenwerdendiegeschatztenEntfernungen wirdfur20IterationenunterdemDatein<strong>am</strong>enverschiebunggespeichert. DasProgr<strong>am</strong>mEMOonet11FensterumdieeinzelnenStufenderBildverarbeitungzuvisualisieren.DieFensterwerdenimfolgendennaherbeschrieben. zumHintergr<strong>und</strong>unterdemDatein<strong>am</strong>enentfernunggespeichert.DievertikaleVerschiebung 5.9GraphischeAusgabedesProgr<strong>am</strong>msEMO Fenster1<br />
Fenster3 Fenster2 InFenster1wirddasvorhergehendeBildB(t1)<strong>und</strong>diezugehorigenbewegtenObjekte<br />
InFenster3wirddiePradiktionBT(t1)desaktuellenBildesangezeigt.Zudemsinddie Bildesangezeigt.DiemarkantenPunktesinddurchgelbeQuadratedargestellt. BO(t1)inweiangezeigt.<br />
BOT(t2)derbewegtenObjektezumZeitpunktdesaktuellenBildessindrotdargestellt. markantenPunktedesBildesBT(t1)durchgelbeQuadrateeingezeichnet.DiePradiktion InFenster2wirddasaktuelleBildB(t1)<strong>und</strong>diemarkantenPunkteB(t1)desaktuellen<br />
Fenster4 liegen,wirdversuchteineKorrespondenzzueinemmarkantenPunktausB(t2)herzustel- FurmarkantePunkte,dienichtinnerhalbeinesroteingezeichnetenbewegtenObjektes<br />
B(t2)dargestellt.<br />
InFenster4wirddasDierenzbildausderPradiktionBT(t1)<strong>und</strong>desaktuellenBildes desFenstersineinemgrunenKreisalsgrunerVektorvisualisiert. len.KanneineKorrespondenzzweiermarkanterPunkteausPradiktion<strong>und</strong>aktuellem Bildhergestelltwerden,sowirdderVerschiebungsvektordesmarkantenPunktesebenfalls inFenster3eingezeichnet.DieresultierendeVerschiebung(x;y)wirdimZentrum
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS76 Fenster5 Fenster6 InFenster5wirddasDierenzbildausderdurchdenVerschiebungsvektor(x;y) korrigiertenPradiktionBT(t1)<strong>und</strong>desaktuellenBildesB(t2)dargestellt. InFenster6wirddasAbsolutbilddesDierenzbildesvonFenster5angezeigt. Fenster7 DasAbsolutbilddesDierenzbildeswirddurchdieAnwendungmorphologischerOpera- PunktenzweierKonturenwirdeineLinieeingezeichnet,dieinbeideRichtungenumden torenbearbeitet<strong>und</strong>binarisiert.InFenster7wirddasbinarisierteBildangezeigt.DieAbstandderbeidenPunkteverlangertwird.LiegendiebeidenEndpunktederLinieinnerhalbderkorrespondierendenRegionen,sowirddieLinieroteingezeichnet,andernfallsblau.WirdeineLinierotgezeichnet,sowerdendiebeidenzugehorigenKonturenzus<strong>am</strong>mengefat.SchlielichwirddiekonvexeHullederzus<strong>am</strong>mengefatenRegionengebildet. DieresultierendenRegionenK=,sindgelbvisualisiert. auerenKonturenKderRegionensindroteingezeichnet.Zwischendenbeidennachsten<br />
Fenster8 Fenster9 InFenster8istnochmalsdasvorhergehendeBildB(t1)angezeigt.IndemBildsinddie InFenster9istnochmalsdasaktuelleBildB(t2)angezeigt.IndemBildsinddiebewegten bewegtenRegionenBR(t1)gruneingezeichnet.<br />
Fenster10 ObjekteBOT(t2)gelbeingezeichnet.DieneuenbewegtenRegionenBR(t2)sindgrun dargestellt.RegionenfurdieeineBewegungshypotheseaufgestelltwerdenkannsindblau Fenster11 visualisiert. InFenster10istnochmalsdasaktuelleBildB(t2)angezeigt.IndemBildsinddieneuen BewegungshypothesenBH(t2)weieingezeichnet. InFenster11istnochmalsdasaktuelleBildB(t2)angezeigt.IndemBildsinddieneuen bewegtenObjekteBO(t2)weieingezeichnet.
KAPITEL5.DASPROGRAMMEMO-EXTRACTIONOFMOVINGOBJECTS77<br />
Abbildung5.7:VonEMOwerden11Fenstergeonet.IndenFensternwerdendieeinzelnen<br />
StufendesAlgorithmusesvisualisiert.
Kapitel6 Experimente<strong>und</strong>Ergebnisse ImfolgendenwerdendiemitdemProgr<strong>am</strong>mEMOdurchgefuhrtenExperimentebeschrieben. UnterdenindiesemKapitelgezeigtenBildernsinddierelevantenPar<strong>am</strong>eterdargestellt. t:ZeitpunkttderAufnahme. v:LineareGeschwindigkeitdesFahrzeugesv. z:GeschatzteEntferung~ZdesHintergr<strong>und</strong>eszurK<strong>am</strong>era.<br />
dottheta2:WinkelgeschwindigkeitvonGelenk2.<br />
w:WinkelgeschwindigkeitdesFahrzeugesw dottheta1:WinkelgeschwindigkeitvonGelenk1. theta3:PositionvonGelenk3. theta2:PositionvonGelenk2. theta1:PositionvonGelenk1.<br />
FahrzeugfuhrmiteinerlinearenGeschwindigkeitvon0:5msgeradeaus,wobeidieK<strong>am</strong>eraauf eineWandanderlinkenSeitedesFahrzeugesgerichtetwar.DieWandbefandsichimAbstand 6.1SchwingungenderK<strong>am</strong>era Umzutesten,wiestarkdieK<strong>am</strong>eraschwingt,wurdefolgendesExperimentdurchgefuhrt.Das dottheta3:WinkelgeschwindigkeitvonGelenk3.<br />
von2.45mzurBildebene.DieEntfernungzurWandwurdemittelsKalibrierungsblatter,diean derWandangebrachtwurden,berechnet.AufdenKalibrierungsblatternbefandensich55cm2 4.9<strong>und</strong>Gleichung4.10verschiebtdasBildaufgr<strong>und</strong>dervomFahrzeuggeliefertenStatusinforpunktevoneinemBildzumnachstennachlinks.DieTransformationentsprechendGleichung groeschwarzeBereicheaufeinemweienHintergr<strong>und</strong>. mationennachlinks.Aufgr<strong>und</strong>vonSchwingungenderK<strong>am</strong>erabewegtsichdieK<strong>am</strong>eraaber auchnochinvertikalerRichtung.DieSchwingungenwerdenzumBeispieldurchUnebenheiten DieK<strong>am</strong>erabewegtesichparallelzurWandnachrechts.DaherbewegtensichdieBild- 78
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 79<br />
Abbildung6.1:VertikaleVerschiebungderPradiktiondesK<strong>am</strong>erabildeszumAusgleichvertika-<br />
6<br />
TransformationverschiebtdasBildnurhorizontal<strong>und</strong>nichtvertikal. lerSchwingungen.DieausderStatusinformationendesFahrzeuges<strong>und</strong>derK<strong>am</strong>eraberechnete imBodenverursacht.DievomFahrzeuggeliefertenStatusinformationenreichennichtaus,um dieSchwingungenderK<strong>am</strong>erazukompensieren. hat,sindinAbbildung6.1dargestellt.DieGrotevomProgr<strong>am</strong>mEMOdurchgefuhrteVer- vertikaleVerschiebung,diedasProgr<strong>am</strong>mEMOzuVerbesserungderPradiktiondurchgefuhrt rizontaler<strong>und</strong>vertikalerRichtung.SowirddiePradiktionderBildbewegungverbessert.DieschiebungdesBildesbetrug7Pixel.Dieszeigt,daaufeineFehlerkorrekturzurVerbesserung derPradiktionnichtverzichtetwerdenkann. UmdieSchwingungenzukompensieren,verschiebtdasProgr<strong>am</strong>mEMOdasBildinho-<br />
6.2GenauigkeitderEntfernungsberechnung Umzuuberprufen,wiegenauderAlgorithmusdieEntfernungzumHintergr<strong>und</strong>abschatzt, wurdediegleicheBildsequenzwiediezurBestimmungdervertikalenK<strong>am</strong>eraschwingungen<br />
bewegtesichimBlickfeldderK<strong>am</strong>er<strong>am</strong>itannahernddergleichenGeschwindigkeitwiedas imBildderK<strong>am</strong>erabefand.DieseSequenzwirdhierkurzbeschrieben. eingesetzt.ZudemwurdeeinezweiteSequenzaufgenommen,beidersicheinbewegtesObjekt<br />
Fahrzeug.DasbewegteObjekt,dasvomProgr<strong>am</strong>mEMOextrahiertwurde,istinAbbildung 6.2<strong>und</strong>Abbildung6.3dargestellt. DieK<strong>am</strong>erawardabeiaufdieWandaufderlinkenSeitedesFahrzeugesgerichtet.ImBlickfeld derK<strong>am</strong>erabefandsichnurdieWand.BeieinerVorwartsbewegungdesFahrzeugesbewegte sichderHintergr<strong>und</strong>imBlickfeldderK<strong>am</strong>eranachlinks.DasFahrzeugfuhrmiteinerGeschwindigkeitvon0:5ms.AnderWandwarenKalibrierungsblatterangebracht.EinePerson DasFahrzeugfuhrungefahrinkonstanterEntfernunganeinerWanddesLaborsentlang.<br />
gestellt.ImlinkenSchaubildsinddiegeschatztenEntfernungenohnebewegtesObjekt<strong>und</strong>deausderGroederKalibrierungsblockeimBildberechnet.DiegeschatzteEntfernungfurtatsachlicheEntfernungzumHintergr<strong>und</strong>istinbeidenSchaubildernaufgetragen.Siewur- imrechtendiemiteinembewegtenObjektimSichtbereichderK<strong>am</strong>eradargestellt.Die InAbbildung6.4sinddiegeschatztenEntfernungenfurdiebeidenVideosequenzendar-<br />
Vertikale Verschiebung [Pixel]<br />
4<br />
2<br />
0<br />
-2<br />
-4<br />
-6<br />
Vertikale Verschiebung<br />
-8<br />
0 5 10 15<br />
Bild Nummer<br />
20 25 30
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 80<br />
t=826046611.235s, z=2.00m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046611.715s, z=2.28m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046612.191s, z=2.39m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046611.398s, z=2.00m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046611.878s, z=2.31m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046612.347s, z=2.38m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046611.559s, z=2.00m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046612.035s, z=2.39m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046612.504s, z=2.39m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
Abbildung6.2:Bilder0bis14einerSequenz(Sequenz2derAppendix),beidersichdieK<strong>am</strong>era translatorischentlangeinerWandbewegt.<br />
t=826046612.667s, z=2.38m v=500.000mm/s, w=0.000mrad/s<br />
t=826046612.826s, z=2.38m v=500.000mm/s, w=0.000mrad/s<br />
t=826046612.987s, z=2.52m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-11.104mdeg/s dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-11.104mdeg/s dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046613.154s, z=2.55m v=500.000mm/s, w=0.000mrad/s<br />
t=826046613.347s, z=2.52m v=500.000mm/s, w=0.000mrad/s<br />
t=826046613.522s, z=2.55m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 81<br />
t=826046613.681s, z=2.55m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046614.169s, z=2.48m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-8.148mdeg/s<br />
t=826046614.657s, z=2.48m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=9.341mdeg/s, dottheta2=0.000mdeg/s, dottheta3=7.006mdeg/s<br />
t=826046613.837s, z=2.46m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-25.314mdeg/s<br />
t=826046614.327s, z=2.40m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-8.148mdeg/s<br />
t=826046614.814s, z=2.40m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=9.341mdeg/s, dottheta2=0.000mdeg/s, dottheta3=7.006mdeg/s<br />
t=826046614.006s, z=2.46m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-25.314mdeg/s<br />
t=826046614.481s, z=2.40m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-8.148mdeg/s<br />
t=826046614.968s, z=2.40m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
Abbildung6.3:Bilder15bis29einerSequenz(Sequenz2derAppendix),beidersichdie K<strong>am</strong>eratranslatorischentlangeinerWandinkonstantemAbstandbewegt.<br />
t=826046615.130s, z=2.40m v=500.000mm/s, w=0.000mrad/s<br />
t=826046615.289s, z=2.39m v=500.000mm/s, w=0.000mrad/s<br />
t=826046615.441s, z=2.44m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826046615.589s, z=2.39m v=500.000mm/s, w=0.000mrad/s<br />
t=826046615.747s, z=2.44m v=500.000mm/s, w=0.000mrad/s<br />
t=826046615.904s, z=2.40m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 82<br />
Abbildung6.4:BeideSchaubilderzeigendiegeschatzte<strong>und</strong>dietatsachlicheEntfernungder<br />
2.7<br />
K<strong>am</strong>erazumHintergr<strong>und</strong>.DieK<strong>am</strong>erawaraufeineWandgerichtet,andersichKalibrierungsblatterbefanden.AusderGroedieserBlatterwurdedietatsachlicheEntfernungberechnet. sechstenBilddieEntfernungmiteinerGenauigkeitvon5,9%abzuschatzen. abzuschatzen.BeiderSequenzmitbewegtemObjektwerdenfunfBilderbenotigt,umabdem rechtenSchaubildesbefandsicheinbewegtesObjektimSichtbereichderK<strong>am</strong>era. dasersteBildderbeidenSequenzenwurdeauf2mgesetzt.OhnebewegtesObjektwerden funfBilderbenotigt,umabdemsechstenBilddieEntfernungmiteinerGenaugikeitvon8,9% DieK<strong>am</strong>erabewegtesichbeideMaletranslatorischnachrechtsmit0:5ms.InderSequenzdes<br />
6.3SchnelligkeitderEntfernungsanpassung EMOverwendetdieausdemBildberechneteEntfernungnichtsofort,sonderntragtsieineine ListemitAbstandenein,dieinvorhergehendenIterationenberechnetwurden.DerMedian dieserListeistdanndiegeschatzteEntfernungzumHintergr<strong>und</strong>.FalscheEntfernungensollen somiteliminiertwerden.DennbeiderBerechnungderEntfernunggehtderAlgorithmusdavon aus,dadieDatenuberdieBewegungderK<strong>am</strong>erakorrektsind.Diestritabernichtimmer 3Wertenotig,biseinneuerWertverwandtwird.BeieinemSchwenkderK<strong>am</strong>eravoneiner zu.EMOsetztefurdieMedianbildungeineListemit5Wertenein.Somitsindmindestens entferntenaufeinenaheSzene(oderumgekehrt)sindalsomindestens3Wertenotig. quenzenaufgenommen,beideneneinplotzlicherTiefenunterschiedauftrat.DasFahrzeugfuhr wieinAbschnitt6.2aneinerWandentlang.DurcheinekunstlicheWand,diesichimAbstand vonetwa1.50mvonderechtenWandbefand,wurdeeinestarkeTiefendierenzerzeugt.Die vomProgr<strong>am</strong>mEMOextrahiertenbewegtenObjektedieserSequenzsindinAbbildung6.5 fernungfurdasersteBildderbeidenSequenzenwurdeauf2mgesetzt.DasBild,indemdie <strong>und</strong>Abbildung6.6gezeigt. UmdieSchnelligkeitderEntfernungsanpassungzuprufenwurdennochzweiweitereSe-<br />
WandindenSichtbereichderK<strong>am</strong>erakommt,istdurcheinensenkrechtenBalkenmarkiert. DasBild,indemdiekunstlicheWanddenlinkenBildranderreichthat,istdurchdenzweiten senkrechtenBalkenmarkiert.DieEinschwingphase,bisdieEntfernungzurWandabgeschatzt<br />
Abbildung6.7zeigtdievomAlgorithmusgeschatztenEntfernungen.DiegeschatzteEnt-<br />
Abstand [m]<br />
2.6<br />
2.5<br />
2.4<br />
2.3<br />
2.2<br />
2.1<br />
geschaetzte Entfernung<br />
tatsaechliche Entfernung<br />
2<br />
0 5 10 15<br />
Bild Nummer<br />
20 25 30<br />
Abstand [m]<br />
2.7<br />
2.6<br />
2.5<br />
2.4<br />
2.3<br />
2.2<br />
2.1<br />
geschaetzte Entfernung<br />
tatsaechliche Entfernung<br />
2<br />
0 5 10 15<br />
Bild Nummer<br />
20 25 30
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 83<br />
t=827421945.792s, z=2.00m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90007.000mdeg, theta2=0.000mdeg, theta3=-7.000mdeg<br />
dottheta1=-8.188mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=827421946.433s, z=2.62m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=-7.659mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=827421947.084s, z=2.77m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-10.064mdeg/s, dottheta2=0.000mdeg/s, dottheta3=7.548mdeg/s<br />
t=827421946.005s, z=2.00m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90003.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=-10.305mdeg/s, dottheta2=0.000mdeg/s, dottheta3=10.305mdeg/s<br />
t=827421946.640s, z=2.77m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=-7.659mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=827421947.313s, z=2.77m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-6.027mdeg/s<br />
t=827421946.223s, z=2.00m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90003.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=-10.305mdeg/s, dottheta2=0.000mdeg/s, dottheta3=10.305mdeg/s<br />
t=827421946.856s, z=2.83m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-10.064mdeg/s, dottheta2=0.000mdeg/s, dottheta3=7.548mdeg/s<br />
t=827421947.535s, z=2.83m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-6.027mdeg/s<br />
Abbildung6.5:Bilder0bis14einerSequenz(Sequenz3derAppendix),beidersichdieK<strong>am</strong>era translatorischentlangeinerWandmitTiefendierenzbewegt.<br />
t=827421947.748s, z=2.74m v=500.000mm/s, w=0.000mrad/s<br />
t=827421947.962s, z=2.74m v=500.000mm/s, w=0.000mrad/s<br />
t=827421948.161s, z=2.92m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=8.103mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=8.103mdeg/s<br />
t=827421948.363s, z=2.92m v=500.000mm/s, w=0.000mrad/s<br />
t=827421948.558s, z=2.92m v=500.000mm/s, w=0.000mrad/s<br />
t=827421948.753s, z=2.92m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-8.455mdeg/s dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-8.455mdeg/s dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 84<br />
t=827421948.953s, z=2.94m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=827421949.552s, z=2.94m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=8.154mdeg/s<br />
t=827421950.154s, z=2.74m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=827421949.154s, z=2.94m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=827421949.753s, z=2.94m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=8.154mdeg/s<br />
t=827421950.372s, z=2.47m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=827421949.349s, z=2.94m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=827421949.952s, z=2.86m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-7.903mdeg/s<br />
t=827421950.579s, z=2.22m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
Abbildung6.6:Bilder15bis29einerSequenz(Sequenz3derAppendix),beidersichdie K<strong>am</strong>eratranslatorischentlangeinerWandmitTiefendierenzbewegt.<br />
t=827421950.787s, z=1.60m v=500.000mm/s, w=0.000mrad/s<br />
t=827421951.006s, z=1.60m v=500.000mm/s, w=0.000mrad/s<br />
t=827421951.222s, z=1.53m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=6.594mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=6.594mdeg/s<br />
t=827421951.436s, z=1.53m v=500.000mm/s, w=0.000mrad/s<br />
t=827421951.641s, z=1.54m v=500.000mm/s, w=0.000mrad/s<br />
t=827421951.852s, z=1.56m v=500.000mm/s, w=0.000mrad/s<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=-3.000mdeg<br />
theta1=89996.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-8.133mdeg/s dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-8.133mdeg/s dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=7.903mdeg/s
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 85<br />
Abbildung6.7:BeideSchaubilderzeigendiegeschatzte<strong>und</strong>dietatsachlicheEntfernungder<br />
3.2<br />
K<strong>am</strong>erazumHintergr<strong>und</strong>.DieK<strong>am</strong>erawaraufeineWandgerichtet,andersichKalibrierungs- DerzweiteBalkenmarkiertdasBild,indemdiekunstlicheWanddenlinkenBildranderreicht BalkenmarkiertdasBild,indemeinekunstlicheWandindenSichtbereichderK<strong>am</strong>erakommt. blatterbefanden.AusderGroedieserBlatterwurdedietatsachlicheEntfernungberechnet.<br />
wurde,betragtfurdieSequenzohnebewegtesObjektsechsBilder<strong>und</strong>funfBilderbeider derK<strong>am</strong>era. hat.InderSequenzdesrechtenSchaubildesbefandsicheinbewegtesObjektimSichtbereich DieK<strong>am</strong>erabewegtesichbeideMaletranslatorischnachrechtsmit0:5ms.De<strong>rer</strong>stesenkrechte<br />
SequenzmitbewegtemObjekt.NachdemdiekunstlicheWandindenSichtbereichderK<strong>am</strong>era derBilder),diederAlgorithmusbenotigt,umsichandieveranderteEntfernungzumHinter- zumHintergr<strong>und</strong>mitabzuschatzen.WichtigisthierdieGeschwindigkeit(gemesseninAnzahl kommt,istdasProgr<strong>am</strong>mEMObeibeidenVideosequenzeninderLage,dieneueEntfernung gr<strong>und</strong>anzupassen.OhnebewegtesObjektwirddieEntfernungmiteinerZeitverschiebungvon etwavierBildernangepat.InderSequenzmitbewegtemObjektbetragtdieZeitverschiebung etwafunfBilder. n<strong>am</strong>lichmudieEntfernungkontinuierlichangepatwerden.IstdemAlgorithmusdiekorrekte desFahrzeugesangepat.Umzuprufen,obdieEntfernungindiesemFallkorrektabgeschatzt EntfernungzumHintergr<strong>und</strong>bekannt,dannwirddieEntfernungaufgr<strong>und</strong>derEigenbewegung wird,wurdeeineweitereSequenzaufgenommen.IndieserSequenzfahrtdasFahrzeugdirekt sindwiederKalibrierungsblatterangebracht,mitderenHilfedietatsachlicheEntfernungvon aufeineWandzu.EsbendensichkeinebewegtenObjekteinderSequenz.AnderWand derK<strong>am</strong>erazumHintergr<strong>und</strong>berechnetwerdenkann.DieWandfulltdenSichtbereichder Problematischwirdesallerdings,wennderAlgorithmusdirektaufeineWandzufahrt.Dann<br />
K<strong>am</strong>eravollstandigaus. ZudiesemZeitpunktbetrugdietatsachlicheEntfernungzumHintergr<strong>und</strong>1.89m.DasBild imletztenBildfalschlicherweiseeinTeildeslinkenKalibrierungsblattesalsbewegtesObjekt. expandierteaufgr<strong>und</strong>dergeringenEntfernungsehrstark.EMOwardannnichtmehrinder gezeigt.DaslinkeSchaubildzeigtdieEntferungenfurdieebenbeschriebeneSequenz.Ineinem<br />
Lage,korrektdieEigenbewegungzukompensieren. InAbbildung6.8istdasletzteBildderSequenzgezeigt.DasProgr<strong>am</strong>mEMOextrahierte InAbbildung6.9sinddiegeschatzten<strong>und</strong>dietatsachlichenEntfernungenzumHintergr<strong>und</strong><br />
Abstand [m]<br />
3<br />
2.8<br />
2.6<br />
2.4<br />
2.2<br />
2<br />
1.8<br />
1.6<br />
geschaetzte Entfernung<br />
tatsaechliche Entfernung<br />
1.4<br />
0 5 10 15<br />
Bild Nummer<br />
20 25 30<br />
Abstand [m]<br />
3.2<br />
3<br />
2.8<br />
2.6<br />
2.4<br />
2.2<br />
2<br />
1.8<br />
1.6<br />
geschaetzte Entfernung<br />
tatsaechliche Entfernung<br />
1.4<br />
0 5 10 15<br />
Bild Nummer<br />
20 25 30
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 86<br />
Abbildung6.8:LetztesBildeinerSequenz,beiderdasFahrzeugmit0:5msaufeineWand AlgorithmusnichtmehrinderLage,dieEigenbewegungderK<strong>am</strong>erakorrektzukompensieren. mitKalibrierungsblatternzugefahrenist.EinTeildeslinkenKalibrierungsblatteswirdvon EMOfalschlicherweisealsbewegtesObjektextrahiert.BeimletztenBildderSequenzwarder<br />
t=827429178.025s, z=1.22m v=500.000mm/s, w=0.000mrad/s<br />
theta1=0.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
5<br />
5<br />
geschaetzte Entfernung<br />
geschaetzte Entfernung<br />
4.5<br />
tatsaechliche Entfernung<br />
4.5<br />
tatsaechliche Entfernung<br />
4<br />
4<br />
3.5<br />
3.5<br />
Schaubildesgegeben.<br />
K<strong>am</strong>erazumHintergr<strong>und</strong>.DieK<strong>am</strong>erawaraufeineWandgerichtet,andersichKalibrie- rechtenSchaubildeswurdedemAlgorithmusnurjedesvierteBildausderSequenzdeslinken Abbildung6.9:BeideSchaubilderzeigendiegeschatzte<strong>und</strong>dietatsachlicheEntfernungder rungsblatterbefanden.AusderGroedieserBlatterwurdedietatsachlicheEntfernungberechnet.DieK<strong>am</strong>erabewegtesichbeideMaleaufdieWandmit0:5mszu.InderSequenzdes 3<br />
3<br />
2.5<br />
2.5<br />
2<br />
2<br />
1.5<br />
1.5<br />
1<br />
1<br />
0.5<br />
0.5<br />
0 5 10 15 20 25 30<br />
0 1 2 3 4 5 6 7<br />
Bild Nummer<br />
Bild Nummer<br />
Abstand [m]<br />
Abstand [m]
gestellt.IndiesemFallistdieExpansionvoneinemBildzumnachstendeutlichgroer.Die geschatztenEntfernungensindimrechtenSchaubildgezeigt.Aufgr<strong>und</strong>dergroerenBewegung KAPITEL6.EXPERIMENTEUNDERGEBNISSE weiterenVersuchwurdedemAlgorithmusnurjedesvierteBildausderSequenzzurVerfugung desFahrzeugesvoneinemBildzumnachsteninderBildsequenzdesSchaubildesaufderrechten SeitevonAbbildung6.9kanndieEntfernungindiesemFallgenauerbestimmtwerden,alsbei 87<br />
derBildsequenzdeslinkenSchaubildes.BeibeidenSequenzenwurdedieEntfernungzum Hintergr<strong>und</strong>furdasersteBildauf5mgesetzt. BestehenineinerSzenegroeTiefenunterschiedederbetrachtetenObjekte,dannkanndie 6.4EinuderPerspektive<br />
dabeiaufdieWandgerichtet.AufdemBodendesLabors,dersichimSichtbereichderK<strong>am</strong>era SzenenichtdurcheineninkonstanterEntfernungvonderK<strong>am</strong>erabendlichenHintergr<strong>und</strong><br />
DabeihandeltessichumeinePerson,diesichanderWandentlangmitetwadergleichen befand,lageneinigeSchaumstoteile.InderVideosequenzisteinbewegtesObjektzusehen. approximiertwerden.DiePradiktiondereinzelnenPunktedesHintergr<strong>und</strong>esistdannumso<br />
GeschwindigkeitwiedasFahrzeugbewegt. schlechter,jestarkerdietatsachlicheEntfernungderPunktezurK<strong>am</strong>eravondergeschatzten Entfernungabweicht.<br />
extrahiertdiePersonkorrektalsbewegtesObjekt.AllerdingsextrahiertderAlgorithmusauch DasFahrzeugfuhraneineretwa8mentferntenWandmit0:5msentlang.DieK<strong>am</strong>erawurde DievonEMOextrahiertenbewegtenObjektesindinAbbildung6.10visualisiert.EMO EswurdeeineBildsequenzaufgenommen,indergroeTiefenunterschiedevorhandenwaren.<br />
VergleichzurgeschatztenEntfernungzumHintergr<strong>und</strong>,naheanderK<strong>am</strong>era.Daheristdas einSchaumstoteil,dassichparallelzurBlickrichtungaufdemBodenbendet.DasSchaumstoteilwirdextrahiert,weildiePradiktioneinegeschatzteEntfernungzumHintergr<strong>und</strong>von 3mimerstenBild<strong>und</strong>5.58mimletztenBildannimmt.DasSchaumstoteilbendetsich,im Progr<strong>am</strong>mEMOnichtinderLage,dieBewegungdesSchaumstoteilsvorherzusagen.Durch herauszultern,verwendenSmithetal.dieForm<strong>und</strong>dasBewegungsmodelldesObjektes. eineandereModellierungdesHintergr<strong>und</strong>eskonntederEinuderPerspektiveverringertwer- optischenFlusegmentieren.In[Smithetal.95]extrahierensieeinenTeilderStraenach demSegmentierungsschritt.DieserTeilwirdaberspaterherausgeltert.UmsolcheObjekte schiedebeeinut.Smithetal.[Smithetal.95]extrahierenbewegteObjekte,indemsiedenden.AuchandereVerfahren,bewegteObjektezuextrahieren,werdendurchstarkeTiefenunterfolgenderBildermachtedabeinurnochetwadiehalbeBildbreiteaus. EsfuhralsoimKreisherum.DieK<strong>am</strong>eraschwenktezusatzlichnochvonlinksnachrechtsmit einerWinkelgeschwindigkeitvon21s.Dergemeins<strong>am</strong>betrachteteBereichzweieraufeinander- 6.5EinugroerBewegungenderK<strong>am</strong>era<br />
dasentstandenist,nachdemdiekorrektiveVerschiebungdurchgefuhrtwurde,istebenfallsin Abbildung6.11zusehen.WieinAbbildung6.11zusehenist,gelangesdemAlgorithmussogar<br />
DerEinugroerK<strong>am</strong>erabewegungenwurdeebenfallsanhandeinerVideosequenzgetestet. DasFahrzeugbewegtesichmit0:5msvorwarts<strong>und</strong>drehtesichdabeimit0:25mrad DievonEMOextrahiertenObjektesindinAbbildung6.11zusehen.DasDierenzbild, snachrechts.
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 88<br />
t=826047669.139s, z=3.00m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=18.000mdeg<br />
dottheta1=-19.511mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826047670.070s, z=3.38m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=18.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826047671.058s, z=3.84m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-10.712mdeg/s<br />
t=826047669.442s, z=3.00m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=18.000mdeg<br />
dottheta1=-19.511mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826047670.400s, z=3.84m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-10.842mdeg/s<br />
t=826047671.360s, z=4.99m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=18.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=20.213mdeg/s<br />
t=826047669.749s, z=3.00m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=18.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826047670.741s, z=3.84m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=14.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=826047671.668s, z=4.99m v=500.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=7.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-29.689mdeg/s<br />
schieden.DieK<strong>am</strong>erabewegtsichtranslatorischmiteinerGeschwindigkeitvon0:5msnachAbbildung6.10:ExtrahiertebewegteObjekteauseinerVideosequenzmitgroenTiefenunter- t=826047672.330s, z=5.02m v=500.000mm/s, w=0.000mrad/s<br />
t=826047672.707s, z=5.28m v=500.000mm/s, w=0.000mrad/s<br />
t=826047673.229s, z=5.28m v=500.000mm/s, w=0.000mrad/s<br />
rechts.EswirddiePersonkorrektalsbewegtesObjektextrahiert.Allerdingswirdauch<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=10.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=8.043mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
einSchaumstoteil,dassichaufdemBodenbendet,falschlicherweisealsbewegtesObjekt extrahiert.<br />
t=826047673.552s, z=5.50m v=500.000mm/s, w=0.000mrad/s<br />
t=826047673.865s, z=5.55m v=500.000mm/s, w=0.000mrad/s<br />
t=826047674.174s, z=5.58m v=420.000mm/s, w=0.000mrad/s<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=7.000mdeg<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=3.000mdeg<br />
theta1=90000.000mdeg, theta2=0.000mdeg, theta3=3.000mdeg<br />
dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-8.106mdeg/s dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-11.017mdeg/s dottheta1=0.000mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-11.017mdeg/s
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 89<br />
t=821362354.400s, z=4.93m v=500.000mm/s, w=-250.000mrad/s<br />
theta1=13010.000mdeg, theta2=0.000mdeg, theta3=3.000mdeg<br />
dottheta1=-21867.845mdeg/s, dottheta2=0.000mdeg/s, dottheta3=6.817mdeg/s<br />
t=821362355.424s, z=3.76m v=500.000mm/s, w=-250.000mrad/s<br />
theta1=-10375.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-21732.481mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=821362354.735s, z=4.04m v=500.000mm/s, w=-250.000mrad/s<br />
theta1=5140.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-20784.366mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-7.923mdeg/s<br />
t=821362355.768s, z=3.40m v=500.000mm/s, w=-250.000mrad/s<br />
theta1=-18684.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-22462.463mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=821362355.079s, z=3.90m v=500.000mm/s, w=-250.000mrad/s<br />
theta1=-2595.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-21560.675mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=821362356.113s, z=3.27m v=500.000mm/s, w=-250.000mrad/s<br />
theta1=-26488.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-21095.341mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
Abbildung6.11:KompensationderEigenbewegungfurgroeK<strong>am</strong>erabewegungen.<br />
t=821362354.735s, z=4.04m v=500.000mm/s, w=-250.000mrad/s<br />
t=821362355.079s, z=3.90m v=500.000mm/s, w=-250.000mrad/s<br />
t=821362355.424s, z=3.76m v=500.000mm/s, w=-250.000mrad/s<br />
theta1=5140.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=-2595.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=-10375.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-20784.366mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-7.923mdeg/s dottheta1=-21560.675mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s dottheta1=-21732.481mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
t=821362355.768s, z=3.40m v=500.000mm/s, w=-250.000mrad/s<br />
t=821362356.113s, z=3.27m v=500.000mm/s, w=-250.000mrad/s<br />
theta1=-18684.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=-26488.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-22462.463mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s dottheta1=-21095.341mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 90<br />
4.5<br />
4<br />
3.5<br />
3<br />
Abbildung6.12:GemittelteLaufzeiteinerIterationdesAlgorithmusesfurein384288groes<br />
2.5<br />
BildbeiverschiedeneSkalierungsfaktoren.<br />
2<br />
1.5<br />
1<br />
0.5<br />
DasLaufzeitverhaltendesProgr<strong>am</strong>msEMOwurdeanhandderinAbbildung6.2<strong>und</strong>Abbildung beiVerschiebungen,diedieHalftedesBildesausmachten,dieEigenbewegungderK<strong>am</strong>erazu kompensieren. 6.6Zeitmessungen<br />
0<br />
0.4 0.5 0.6 0.7 0.8 0.9 1<br />
folgendendieverstricheneEchtzeitgemeint,diederAlgorithmusbenotigt.DieLaufzeiten 6.3gezeigtenBildsequenzfurverschiedeneSkalierungsfaktorengetestet.MitLaufzeitwirdim<br />
Skalierungsfaktor<br />
0.7,0.8,0.9<strong>und</strong>1.0aufeinerBildsequenzmiteinerBildgroevon384288durchgefuhrt. 6.12zus<strong>am</strong>mengefat.EswurdenLaufzeitmessungenfurdieSkalierungsfaktoren0.4,0.5,0.6, Insges<strong>am</strong>twurden30LaufzeitenfureineSequenzgemessen.Inde<strong>rer</strong>stenIterationwird wurdenaufeinemSun20Computergemessen.DasErgebnisdieserAnalyseistinAbbildung berucksichtigt.Eswurdeuberdieverbleibenden29Laufzeitengemittelt.Diesegemittelten DabeiwurdenurdieLaufzeit,diezurBearbeitungeinesBildesbenotigtwurde,berucksichtigt. DieZeit,diezumGrabbenoderEinlesendesBildesbenotigtwird,isthiernichtenthalten. LaufzeitensindinAbbildung6.12graphischdargestellt. lediglichdieInitialisierungdesAlgorithmusesvorgenommen.DaherwirddieseLaufzeitnicht kleinerenBildgroeauchdieverwendetenOperatorenskaliertwerden.Dochistdiesnurbiszu einembestimmtenGradmoglich.DiekleinsteGroederStrukturelementedermorphologischen Bildesnichtsinnvollgewesenware.DasProgr<strong>am</strong>mwurdezwarsoentwickelt,dabeieiner OperatorenbetragtzumBeispiel33. AlskleinsterSkalierungsfaktorwurdehier0.4gewahlt,daeineweitereVerkleinerungdes DasquadratischeZeitverhaltenistdeutlichzuerkennen.Dasheit,eineVerkleinerungdes<br />
Laufzeit einer Iteration [s]<br />
Laufzeit einer Iteration
KAPITEL6.EXPERIMENTEUNDERGEBNISSE 91<br />
Abbildung6.13:ExtraktionbewegtenObjektesbeirotatorischerK<strong>am</strong>erabewegung.Hiersind nurdieBilder20bis25derSequenzabgebildet(Sequenz6derAppendix).<br />
t=829586359.962s, z=1.43m v=0.000mm/s, w=0.000mrad/s<br />
t=829586360.109s, z=1.44m v=0.000mm/s, w=0.000mrad/s<br />
t=829586360.256s, z=1.44m v=0.000mm/s, w=0.000mrad/s<br />
theta1=10803.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=5436.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=5436.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-14716.443mdeg/s, dottheta2=0.000mdeg/s, dottheta3=-8.286mdeg/s dottheta1=-14239.001mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s dottheta1=-14239.001mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
Bildesauf50%ergibteineviermalschnellereLaufzeit.NaturlichistdieLaufzeitdesAlgo- benotigtwird,istjedochdeutlichgroer.DennbeiderKorrelationmarkanterPunktewird imBildabhangig.DieLaufzeit,diedurchdieAnwendungderBildverarbeitungsoperatoren rithmusesauchvonderAnzahlderbewegtenObjekte<strong>und</strong>derAnzahldermarkantenPunkte jeweilsnureineRegiondesBildesbetrachtet,<strong>und</strong>diebewegtenObjektewerdendurchdie PunkteihresumschlieendenPolygonsreprasentiert.<br />
t=829586360.401s, z=0.90m v=0.000mm/s, w=0.000mrad/s<br />
t=829586360.547s, z=0.91m v=0.000mm/s, w=0.000mrad/s<br />
t=829586360.690s, z=0.74m v=0.000mm/s, w=0.000mrad/s<br />
6.7Ergebnisse<br />
theta1=5436.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=-230.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
theta1=-230.000mdeg, theta2=0.000mdeg, theta3=0.000mdeg<br />
dottheta1=-14239.001mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s dottheta1=-14849.545mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s dottheta1=-14849.545mdeg/s, dottheta2=0.000mdeg/s, dottheta3=0.000mdeg/s<br />
keinbewegtesObjektbendet.DemAlgorithmusgelingtesineinigenVideosequenzenauch DerentwickelteAlgorithmusistinderLage,translatorische<strong>und</strong>rotatorischeK<strong>am</strong>erabewegun- FallenwerdenaberauchfalschlicherweisebewegteObjekteextrahiert,obwohlsichanderStelle einbewegtesObjektzuextrahiert,obwohldasbewegteObjektteilweiseverdecktwirdoder genzukompensieren.Abbildung6.13zeigtdieAusgabedesAlgorithmusesbeieiner<strong>Dr</strong>ehbewe bewegteObjekteextrahiert,sindinderAppendixzus<strong>am</strong>mengefat(sieheAbbildungenE.1bis E.8).DieVideosequenzenzeigen,daderAlgorithmusbewegteObjekteextrahiert.Ineinigen denSichtbereichderK<strong>am</strong>eraverlat.<br />
gungderK<strong>am</strong>eraumdieSchwenk-Achse.WeitereVideosequenzen,aufdenenderAlgorithmus
Kapitel7<br />
EswurdeeinrobusterAlgorithmusentwickelt,derbewegteObjekteauseinermitdyn<strong>am</strong>ischer Zus<strong>am</strong>menfassung<strong>und</strong>Ausblick K<strong>am</strong>eraaufgenommenenVideosequenzextrahiert.Verschiedene,bereitsausderLiteraturbekannteVerfahrenbewegteObjektezuextrahieren<strong>und</strong>VeranderungeneinerBildsequenzzu detektieren,wurdenvorgestellt.EineBewertungderVerfahrenwurdevorgenommen.Der AnsatzvonMurrayetal.[Murrayetal.94a]zunachstdieEigenbewegungderK<strong>am</strong>erazu [Murrayetal.94a]eingesetzt,umFehlerinderPradiktionderK<strong>am</strong>erabewegungzuunter- kompensierenwurdegewahlt.MorphologischeOperationenwerdenwiebeiMurrayetal. K<strong>am</strong>erabewegungenkompensieren,beliebigeK<strong>am</strong>erabewegungenkompensiert. drucken.IndervorliegendenArbeitwurdeimGegensatzzuMurrayetal.,dienurrotatorische zumstationarenHintergr<strong>und</strong>groistimVergleichzudenTiefenunterschiedeninnerhalbdes K<strong>am</strong>er<strong>am</strong>odelliert.DieEntfernungzumHintergr<strong>und</strong>wirdausdenBilddaten<strong>und</strong>derEigen- stationarenHintergr<strong>und</strong>es.DiebetrachteteSzenewirdalsEbeneinkonstantemAbstandzur DieseVerschiebungdesBildeskannfureinfacheK<strong>am</strong>erabewegungenauchdenEinuvon ungenauenDateninderBerechnungderK<strong>am</strong>erabewegungverringern.UmdieEntfernung bewegungderK<strong>am</strong>eraabgeschatzt. UmbeliebigeK<strong>am</strong>erabewegungenzukompensieren,wirdangenommen,dadieEntfernung<br />
zumHintergr<strong>und</strong>abzuschatzen<strong>und</strong>eineeventuellerforderlicheVerschiebungdesBildeszu berechnen,werdenmarkantePunkteausdenBildernextrahiert<strong>und</strong>diesedurchKorrelation einanderzugeordnet. SchwingungenderK<strong>am</strong>erawerdendurcheineeinfacheVerschiebungdesBildeseliminiert.<br />
SequenzwerdendieVeranderungendurchdieBerechnungdesDierenzbildesermittelt.Es K<strong>am</strong>eraaufgenommenenBildsequenzweitergearbeitetwerden.ZwischenjezweiBildernder wurdenVerfahrenausderLiteraturgesucht,dieRegionendesDierenzbildeszubewegtenObsen.Zwischendenzus<strong>am</strong>mengefatenRegionenwirdeineBewegungshypotheseaufgestellt. derbewegteObjekteextrahiert.EswurdeeineHeuristikentwickelt,Regionen,diedurchdie jektenzus<strong>am</strong>menzufassen.AusdenverschiedenenVerfahrenwurdeeinAlgorithmusentwickelt,AnwendungmorphologischerOperationengetrenntwurdenzueinemObjektzus<strong>am</strong>menzufas- DadieEigenbewegungderK<strong>am</strong>erakompensiertwird,kannwieaufeinermitstationa<strong>rer</strong><br />
TritdieHypothesezu,dasheit,diePradiktiondesObjektesenthaltVeranderungenim zus<strong>am</strong>menzufassen. lidiertwerdenkonnen,hatderAlgorithmuseinbewegtesObjekterkannt.Bereitsextrahierte bewegteObjektewerdennachAnwendungderHeuristikeingesetzt,dieRegionennochmals Dierenzbild,sowirddieHypothesevalidiert.FallsdieHypotheseninfolgendenBildernva- 92
KAPITEL7.ZUSAMMENFASSUNGUNDAUSBLICK EswurdeeineReihevonunterschiedlichenVideosequenzenmitderSchwarz-Wei-K<strong>am</strong>erades K<strong>am</strong>era<strong>und</strong>desFahrzeugswurdedieTransformationsmatrixderK<strong>am</strong>erabewegungberechnet. FahrzeugesAthosaufgenommen.DasVerhaltendesAlgorithmuswurdeanhanddieserSequen- K<strong>am</strong>era<strong>und</strong>dasFahrzeugdesRobotik-Laborsmodelliert.AusdenStatusinformationender DerAlgorithmuswurdeinANSI-CaufeinerSun20implementiert.DazuwurdedieStereo- 93<br />
zengetestet<strong>und</strong>verbessert.DiedurchgefuhrtenExperimentewurdenausfuhrlichbeschrieben. EineIterationdesAlgorithmusesbenotigtzurZeitetwa6saufeinerSun20miteinerBildgroe von384288. ratorenkonnenparalellisiertwerden[Braunletal.95].FurdieBildverarbeitungkonntezum<strong>und</strong>somitdieAusfuhrungszeiteinerIterationzuverkurzen.EinzelneBildverarbeitungsope- BeipielderMas-ParParallelrechnereingesetztwerden.NebenderParallelisierungeinzelner tenkonntendieBilderinkurzenZeitabstandenaufgenommenwerden,wahrendsiebeilangs<strong>am</strong> OperatorenistaucheinPipeliningderOperatorenmoglich. bewegtenObjekteninlangenZeitabstandenaufgenommenwerdenkonnten. EsgibtnocheineVielzahlvonMoglichkeiten,denentwickeltenAlgorithmuszuoptimieren<br />
([Fermuller95],[Born94]).DannwarederAlgorithmusauchaufBildsequenzeneinsetzbar, derK<strong>am</strong>erazuberechnen,konntedieEigenbewegungausderBildsequenzberechnetwerden dienichtmiteinemFahrzeugdesRobotik-Laborsaufgenommenwurden. EineAufmerks<strong>am</strong>keitssteuerungkonnteentwickeltwerden.BeischnellenbewegtenObjek-<br />
zurBerechnungderEigenbewegungderK<strong>am</strong>eradirektdieDatenausdemKontrollalgorithmus desFahrzeuges<strong>und</strong>derK<strong>am</strong>eraherangezogenwerden.InteressantwareauchdieAnwendung desAlgorithmusesbeieinerdemAugenachempf<strong>und</strong>enenHardware[Wallace94].<br />
AnstattdieEigenbewegungdesFahrzeugesausdenStatusinformationendesFahrzeuges<strong>und</strong> FallsdieAusfuhrungszeitdesAlgorithmuseshinreichendverringertwerdenkann,sollten
AnhangA<br />
imPGM-Format[Murrayetal.94b]abgespeichert.DasPGM-FormatbeginntmitderZeichenketteP5inde<strong>rer</strong>stenZeile.EskonneneinigeZeilenmitKommentarenfolgen.Eine EMOermoglichtes,dieaufgenommenenBildsequenzenabzuspeichern.DieBilderwerden KommentarzeilehatalserstesZeichenein#.DanachfolgteineZeilemitderBreite<strong>und</strong>Hohe DasEMO-Bildformat<br />
sindzeilenweisegespeichert. desBildes<strong>und</strong>demmaximalenGrauwertdesBildesalsnormalerText.NachdieserZeile beginntdaseigentlicheBild.JedesPixeldesBildeshat8Bit.DieeinzelnenPixeldesBildes<br />
#t=821361181.153742,fr<strong>am</strong>e=565 gespeichert.ImfolgendenisteinBeispielfureinEMO-Bildkopfgegeben. tungderBilderubereinesdergebrauchlichenBildbetrachtungsprogr<strong>am</strong>meleichtmoglichist. DiefurEMOwichtigenStatusinformationenwerdeninKommentarzeilenalsnormalerText P5 #EMO-PictureFileVersion1.0 DieBildereinerSequenzwerdenimPGM-Formatgespeichert,dasoeineeinfacheBetrach-<br />
384288221 ...InderzweitenZeilestehtdieVersionsnummerdesEMO-Moduls.DieZeit(inSek<strong>und</strong>en), #theta1=0.000000,theta2=0.000000,theta3=0.000000,theta4=0.000000 #dotTheta1=0.000000,dotTheta2=0.000000,dotTheta3=0.000000,dotTheta4=-8.114852 #v=500.000000,w=-250.000000 #model=stereo2,f=792.000000<br />
<strong>und</strong>dieWinkelgeschwindigkeitinMilliradproSek<strong>und</strong>e. zuderdasBildaufgenommenwurde,folgtinderdrittenZeile.NebenderZeitistnochdie k<strong>und</strong>e.AlsletztesfolgtdielineareGeschwindigkeitdesFahrzeugesinMillimeterproSek<strong>und</strong>eK<strong>am</strong>eragelenkeinMilligrad<strong>und</strong>dieGeschwindigkeitenderK<strong>am</strong>eragelenkeinMilligradproSe- K<strong>am</strong>er<strong>am</strong>odellistdieBrennweiteinPixelnangegeben.EsfolgenschlielichdiePositionder Fr<strong>am</strong>enummerdesFr<strong>am</strong>egrabbersangegeben.IndernachstenZeileistdanndasverwendeteK<strong>am</strong>er<strong>am</strong>odellangegeben.EsexistierendiefolgendenK<strong>am</strong>er<strong>am</strong>odellestereo1,stereo2. Dabeibezeichnetstereo1bzw.stereo2dielinkebzw.rechteStereok<strong>am</strong>era.Nachdem<br />
94
AnhangB<br />
UmdievonEMOaufgenommenenBildsequenzenzubetrachtenwurdeeinBetrachtungspro- vonPar<strong>am</strong>eternbeimAufrufdesProgr<strong>am</strong>msubergebenwerden.DiePar<strong>am</strong>eterwerdendurch gr<strong>am</strong>mgeschrieben.DasProgr<strong>am</strong>mhatdenN<strong>am</strong>enshow.DemProgr<strong>am</strong>mkonneneineReihe-Xpar<strong>am</strong>eterinbeliebigerReihenfolgespeziziert.DabeistehtXfurdenN<strong>am</strong>endesPar<strong>am</strong>e- Bildsequenzbetrachtungsprogr<strong>am</strong>m<br />
Par<strong>am</strong>eterkonnenspeziziertwerden. ters<strong>und</strong>par<strong>am</strong>etergibtdenStringan,deralsPar<strong>am</strong>eterXubergebenwird.Diefolgenden FSpeziziertdenDatein<strong>am</strong>endesBildes.AndenDatein<strong>am</strong>enfugtdasProgr<strong>am</strong>mshow<br />
LGibtdieAnzahlderBilderan,diemaximaleingelesenwerden.IstdieserPar<strong>am</strong>eter TSpeziziertdieZeit,diezwischendemAnzeigenaufeinanderfolgenderBildergewartet sowirdnichtgewartet. beginnendmitderNummer0derReihenacheingelesen. dieErweiterungN.pgman.DabeistehtNfurdieNummerdesBildes.DieBilderwerden wird.DieZeitwirdinNanosek<strong>und</strong>enangegeben.IstdieserPar<strong>am</strong>eternichtspeziziert,<br />
EinAufrufdesProgr<strong>am</strong>mskonntezumBeispielwiefolgtaussehen: WGibtdieGroedesFenstersan,indemdieBildsequenzangezeigtwird.DieGroe dieHohedesBildes. wirdinderFormw,hangegeben.DabeistehtwfurdieBreitedesBildes<strong>und</strong>hstehtfur nichtspeziziert,sowerdenalleBilderbeginnendbei0eingelesen.Hochstensjedoch100 Bilder.<br />
DasProgr<strong>am</strong>mwartet1msbevordasnachsteBildangezeigtwird.DasFenster,indemdie show-Fbild-T1000000-L20-W384,288 DieserAufrufliestderReihenachdieBilderbild0.pgmbismaximalBildbild20.pgmein. Bildsequenzangezeigtwird,hatdieGroe384288.<br />
95
AnhangC<br />
aufgeteilt. jektverwaltung[Vogtetal.96]eingecheckt.DerSource-CodewurdeindiefolgendenDateienDiefurdievorliegendeArbeitentwickelteSoftwarewurdeunterdemN<strong>am</strong>enEMOindiePro- AufbaudesProgr<strong>am</strong>ms class.c emoerror.hInclude-Dateizuemoerror.c class.h emo.c emoedges.cVista-Erweiterungen,diePolygonebearbeiten emoedges.hInclude-Dateizuemoedges.c emoerror.cRoutinenfurdieFehlerbehandlung Hauptprogr<strong>am</strong>mvonEMO RoutinenfurdieVerwaltungvonAquivalenzklassen<br />
emolib.h emolib.c RoutinenderEMO-Bibliothek Include-Dateizuemolib.c Include-Dateizuclass.c<br />
emoprocess.cRoutinen,furdieVerarbeitungzweierBildereinerIteration emovista.hInclude-Dateizuemovista.c emoprocess.hInclude-Dateizuemoprocess.c emovista.cVista-Erweiterungen,dieBilderbearbeiten emotest.c matrix.c matrix.h shared.c shared.h show.c timer.c timer.h Demo-Progr<strong>am</strong>mzurBenutzungderEMO-Bibliothek<br />
view.c RoutinenzurMatrix-Rechnung<br />
VIEW.h Include-Dateizumatrix.c<br />
EMO.h RoutinenzurErzeugungvonShared-Memory-Segmenten Include-Dateizushared.c Bildbetrachtungsprogr<strong>am</strong>m RoutinenfurdieZeitmessung Include-DateizurEMO-Bibliothek Include-Dateizutimer.c RoutinenderVIEW-Bibliothek Include-Dateizuview.c<br />
96
Progr<strong>am</strong>mentwicklung AnhangD<br />
UmdieEntwicklungdesbeschriebenenAlgorithmuseszurExtraktionbewegterObjektezu VIEW-Visualisierungfurdie<br />
unterstutzen,wurdeeinVisualisierungsprogr<strong>am</strong>mgeschrieben.DadasProgr<strong>am</strong>mjedochauch zurEntwicklungande<strong>rer</strong>BilderverarbeitenderSoftwareeingesetztwerdenkann,solldasProgr<strong>am</strong>mhierkurzbeschriebenwerden.ImfolgendenwirddiesesProgr<strong>am</strong>mkurzVIEWge OperatorenhangeninderRegelvoneinigenPar<strong>am</strong>eternab.DochwelchePar<strong>am</strong>etersindfur werdengeglattetoderStorungenentfernt,umnureinigewenigeBeispielezunennen.Die ratorenaufdieBilderangewandt,umdiesezubearbeiten.Kantenwerdenextrahiert,Bilder dievorliegendenDatendierichtigen?WiestarksolltedasBildgeglattetwerden?Solltenviele nannt. Kantenodernurdiestarkstenbestimmtwerden?WerdenalleStorungenunterdruckt?Konnen dieErgebnissedereinzelnenBearbeitungsschrittedirekt<strong>am</strong>Bildschirmverfolgtwerden,soist demEntwicklereineEntscheidunghilfebeidergenauenWahlderPar<strong>am</strong>etergegeben. IneinemAlgorithmus,derBilderverarbeitet,werdeninderRegelvieleverschiedeneOpe-<br />
<strong>und</strong>Vista[Popeetal.94a].DasProgr<strong>am</strong>mVIEWwurdeentwickelt,umunabhangigvonder Moglichkeit,Bilderzuvisualisieren.DieseMoglichkeitbestehtzumBeispielbeidenfurdievor- eingesetztenBildverarbeitungssoftware,Grauwertbilderzuvisualisieren.Dabeiwurdedarauf liegendeArbeitzurVerfugungstehendenBildverarbeitungsprogr<strong>am</strong>menHORUS[Eckstein94] werden.MochtederEntwicklereinesProgr<strong>am</strong>msbeieinemTestlaufeinigeBildernureinmal geachtet,dadieRoutinenzurVisualisierungrelativezientimplementiertwurden.DasInterfacewurdeeinfachgehalten.DemAnwendervonVIEWsollmoglichstvielArbeitabgenommen ExistierendeSoftwarezurBildverarbeitunggebendemAnwenderinderRegelauchdie<br />
kurzzurvisuellenKontrolleausgeben,sosolltediessoeinfachwiemoglichsein.Daherist dasexpliziteOneneinesFensternbeiVIEWnichtnotig.IstdasFenstergeschlossen,sowird verwaltet.ZurDarstellungderBilddatenwurdeXlib[Nye93],[Nye92]eingesetzt. einemFensternochdieMoglichkeitgegeben,Punkte,Linien,Rechtecke<strong>und</strong>Kreiseinvorde- esvonVIEWgeonet.DieFensterwerdenmitXView[Heller93],[Raalte93]geonet<strong>und</strong> derFensterkummern.DemAnwenderwirdnebenderDarstellungderBildinformationenin einBildgerneetwasgroerdargestellthaben,sokannderBetrachterdasFensteraufdie derverkleinertodervergroert.DerAnwenderbrauchtsichnichtumeineGroenveranderunggewunschteGroebringen.JenachgewunschterGroedesFensterswerdendieDatenentwe- DieGroederFensterkannvomBetrachterverandertwerden.MochtederBetrachter<br />
97
Koordi<strong>nat</strong>enderPunkte,Linien,Rechtecke<strong>und</strong>KreisewerdenimmerrelativzudenvomAnwendereingesetztenBildgroenspeziziert.FallsnotigwerdendieKoordi<strong>nat</strong>envonVIEW ANHANGD.VIEW-VISUALISIERUNGFURDIEPROGRAMMENTWICKLUNG98 VIEWGREEN,VIEWRED,VIEWBLACK,VIEWGRAY<strong>und</strong>VIEWWHITEstehenzurVerfugung.Die internentsprechendderaktuellenFenstergroeangepat. viewType*viewinit(char*image,intimageW,intimageH); niertenFarbenineinFenstereinzuzeichnen.DiefolgendenFarbenVIEWYELLOWVIEWBLUE,<br />
UmdasVIEW-Modulbenutzenzukonnen,mueszunachstdurcheinenAufrufderRoutine<br />
h,unsignedchar*data); viewinitinitialisiertwerden.AlsPar<strong>am</strong>eterimagewirdderRoutineeinZeigeraufeinIcon ubergeben.DieGoedesIconswirdmitdenPar<strong>am</strong>eternimageW<strong>und</strong>imageHangegeben.<br />
MitderRoutineviewaddGrayWindowkanneinGrauwertbildineinemFensterangezeigtwer- windViewType*viewaddGrayWindow(viewType*view,char*n<strong>am</strong>e,intshow,intw,int gewunschtwird.DerAnwende<strong>rer</strong>halteinsog.Handlezuruck,dasfurweitereRoutinen benotigtwird. AlsPar<strong>am</strong>eterimagekannauchderWertVIEWNOICONubergebenwerden,wennkeinIcon<br />
geonet.AndernfallsbleibtdasFensterzunachstgeschlossen. den.AlsPar<strong>am</strong>eterwirdderRoutinedasHandleviewubergeben.MitdemPar<strong>am</strong>etern<strong>am</strong>e wiederreferenzieren.IstderPar<strong>am</strong>etershowaufTRUEgesetzt,sowirddasFenstergleich wirdderN<strong>am</strong>edesFenstersangegeben.FallsdasFensternochnichtexistiert,wirdeinFenster mitdemN<strong>am</strong>enn<strong>am</strong>egeonet.UberdenN<strong>am</strong>endesFensterskannderAnwenderesspater<br />
windViewType*viewaddSizedGrayWindow(viewType*view,char*n<strong>am</strong>e,intshow,int GrakdatendenierteGroe. denPar<strong>am</strong>eterw,dieHohedurchdenPar<strong>am</strong>eterhangegeben.DasFensterhatdiedurchdie denWert255erzeugt<strong>und</strong>SchwarzdurchdenWert0.DieBreitederGrakdatenwirddurch Adressezeilenweiseabgelegtsein.EinBytestellteinPixeldesBildesdar.Weiwirddurch Fensterangezeigt.DieanzuzeigendeGrakmuabderdurchdenZeigerdataangegebenen ExistiertdasFensterbereits,sowirdlediglichdasGrauwertbildindembereitsexistierenden<br />
FensterdiedurchdiePar<strong>am</strong>eterwindowW<strong>und</strong>denPar<strong>am</strong>eterwindowHangegebeneGroe. dargestelltwerdenkann. einFenstergeonetwerden<strong>und</strong>einGrauwertbildangezeigtwerden.Allerdingsbekommtdas windowW,windowH,intw,inth,unsignedchar*data);<br />
voidviewdrawPoint(windViewType*windintx,inty,intcol); DasBildwirdentsprechendderGroedesFenstersskaliert,d<strong>am</strong>itesvollstandigimFenster AnalogzurRoutineviewaddGrayWindowkannmitderRoutineviewaddSizedGrayWindow<br />
voidviewdrawLine(windViewType*windintx1,inty1,intx2,inty2,intcol); ZeichneteineLinevomPunktmitdendurchx1<strong>und</strong>y1speziziertenKoordi<strong>nat</strong>enzumPunkt FarbedesPunkteswirddurchdenPar<strong>am</strong>etercolangegeben. mitdendurchx2<strong>und</strong>y2speziziertenKoordi<strong>nat</strong>enimFensterwind.DieFarbederLiniewird<br />
ZeichneteinenPunktmitdendurchx<strong>und</strong>yspeziziertenKoordi<strong>nat</strong>enimFensterwind.Die
ANHANGD.VIEW-VISUALISIERUNGFURDIEPROGRAMMENTWICKLUNG99<br />
ziertenKoordi<strong>nat</strong>enbendet.DasRechteckhatdieBreitew<strong>und</strong>dieHoheh.DieFarbedesZeichneteinRechteckdessenlinkeobereEckesichimPunktmitdendurchx<strong>und</strong>yspezi- RechteckswirddurchdenPar<strong>am</strong>etercolangegeben. durchdenPar<strong>am</strong>etercolangegeben.<br />
voidviewdrawCirc(windViewType*windintx,inty,intw,inth,intcol); voidviewdrawRect(windViewType*windintx,inty,intw,inth,intcol);<br />
DielinkeobereEckedesRechtecksbendetsichimPunktmitdendurchx<strong>und</strong>yspezizierten DieaktuelleBreitedesFensterswindkannmitderRoutineviewwindWidthabgefragtwerden. Koordi<strong>nat</strong>en.DasRechteckhatdieBreitew<strong>und</strong>dieHoheh.DieFarbedesKreiseswirddurch ZeichneteinenKreis.DieGoedesKreiseswirddurcheinumschlieendesRechteckangegeben. denPar<strong>am</strong>etercolangegeben.<br />
DieaktuelleBreitedesFensterswindkannmitderRoutineviewwindHeightabgefragtwerden. int*viewwindHeight(windViewType*wind); int*viewwindWidth(windViewType*wind);<br />
DieimFensterwinddargestelltenDatenkonnenmitderRoutineviewwind2Grayausgelesen int*viewwind2Gray(windViewType*wind,unsignedchar*s); werden.DasGrauwertbildwirdanderdurchsangegebenenAdresseabgelegt.Eventuellfarbig geonetenFenster,fallsnotwendig,neugezeichnet. voidviewrefreshWindow(windViewType*wind); MitdemAufrufderRoutineviewrefreshwerdenalledurchdasuberdasHandleview voidviewrefresh(viewType*view); dargestelltePunkte,Linien,Rechtecke<strong>und</strong>KreisewerdenmitweienGrauwertengespeichert.<br />
MitdemAufrufderRoutineviewrefreshWindowwirddasdurchdenPar<strong>am</strong>eterwindspezi-<br />
intviewcloseWindow(viewType*view,char*n<strong>am</strong>e); DieRoutineviewfindWindowliefertdasHandledesFenstersmitdemN<strong>am</strong>enn<strong>am</strong>e.Der Routinewirdalsweite<strong>rer</strong>Par<strong>am</strong>eterdasHandleviewubergeben. windViewType*viewfindWindow(viewType*view,char*n<strong>am</strong>e); zierteFenster,fallsnotig,neugezeichnet.<br />
iconisiertwerden.DerRoutinewirdalsweite<strong>rer</strong>Par<strong>am</strong>eterdasHandleviewubergeben.<br />
MitderRoutineviewcloseWindowkanndasdurchdenN<strong>am</strong>enn<strong>am</strong>espezizierteFenster
ANHANGD.VIEW-VISUALISIERUNGFURDIEPROGRAMMENTWICKLUNG100<br />
MitderRoutineviewdestroyWindowkanndasdurchwindangegebeneFenstergeloschtwer- intviewopenWindow(viewType*view,char*n<strong>am</strong>e);<br />
ben.den.DasFensterwirdgeschlossen<strong>und</strong>dervondemFensterbelegteSpeicherwiederfreigege RoutinewirdalsPar<strong>am</strong>eterdasHandleview<strong>und</strong>derN<strong>am</strong>en<strong>am</strong>edesFenstersubergeben. EiniconisiertesFensterkannmitderRoutineviewopenWindowwiedergeonetwerden.Der<br />
void*viewexit(viewType*view); windViewType*viewdestroyWindow(windViewType*wind);<br />
WennderAnwenderdasModulVIEWnichtmehrbenotigt,sowerdenmiteinemAufrufvon viewexitalleFenstergeschlossen<strong>und</strong>belegterSpeicherbereichfreigegeben.
AnhangE<br />
gr<strong>am</strong>mEMOausdenVideosequenzenextrahierte,sinddurcheineweieKonturmarkiert.Der Videosequenzen AufdenfolgendenSeitensindeinigeVideosequenzen.DiebewegtenObjekte,diedasProBewegungsvektordesObjektesinderBildebeneistalsLinieindasbewegteObjekteingezeichnet. AbbildungE.1:Sequenz1<br />
101
ANHANGE.VIDEOSEQUENZEN 102<br />
AbbildungE.2:Sequenz2
ANHANGE.VIDEOSEQUENZEN 103<br />
AbbildungE.3:Sequenz3
ANHANGE.VIDEOSEQUENZEN 104<br />
AbbildungE.4:Sequenz4<br />
AbbildungE.5:Sequenz5
ANHANGE.VIDEOSEQUENZEN 105<br />
AbbildungE.6:Sequenz6
ANHANGE.VIDEOSEQUENZEN 106<br />
AbbildungE.7:Sequenz7<br />
AbbildungE.8:Sequenz8
[Adobe90]AdobeSystems.PostScriptLanguageReferenceManual2nded..Addison- Literaturverzeichnis [Aggarwal86]J.K.Aggarwal.MotionandTime-VaryingImagery-AnOverview.Work- [Aloimonos93]YiannisAloimonos(ed.).ActivePerception.LawrenceErlbaumAssociates, WesleyPublishingCompany,Inc.,Reading,Massachusetts,1990.<br />
[Anetal.88]ChaeH.An,ChristopherG.AtkesonandJohnM.Hollerbach.Model-Based ston/SC,pp.1-6,May,1986.shoponMotion:RepresentationandAnalysis,KiawahIslandResort,Charle [Anconaetal.95]NicolaAnconaandTomasoPoggio.OpticalFlowfrom1-DCorrelation: Inc.,Publishers,Hillsdale,NewJersey,1993.<br />
[Bassmannetal.89]HenningBassmann<strong>und</strong>PhilippW.Besslich.KonturorientierteVerfahren ControlofaRobotManipulator.TheMITPress,C<strong>am</strong>bridge,Massachusetts, ApplicationtoaSimpleTime-to-CrashDetector.Inter<strong>nat</strong>ionalJournalofCom- 1988.<br />
[Bichsel1994]MartinBichsel.SegmentingSimplyConnectedMovingObjectsinaStatic puterVision,14,pp.131-146,KluwerAcademicPublishers,Boston,1995.<br />
[Born94] Scene.IEEETransactionsonPatternAnalysisandMachineIntelligence,Vol. inderdigitalenBildverarbeitung.Springer-Verlag,Berlin,1989.<br />
[Bouthemyetal.93]PatrickBouthemyandEdouardFrancois.MotionSegmentationandQua- ChristofBorn.DeterminingtheFocusofExpansionbyMeansofFloweld 16,No.11,pp.1138-1142,Nov.1994.<br />
[Bouthemyetal.93]PatrickBouthemyandPatrickLalande.Recoveryofmovingobjectmasks Projections.inW.G.Kropatsch<strong>und</strong>H.Bischof(Hrsg.):TagungsbandMustelitativeDyn<strong>am</strong>icSceneAnalysisfromanImageSequence.Inter<strong>nat</strong>ionalJournal<strong>rer</strong>kennung,pp.711-719,1994. [Braunl95]ThomasBraunl.ScriptumRobotikI,Manipulatoren.UniversitatStuttgart, ofComputerVision,10:2,pp.157-182,KluwerAcademicPublishers,1992. InstrumentationEngineers,Jun.1993. ticalEngineerings,Vol.32,No.6,pp.1205-1212,SocietyofPhoto-Opticalinanimagesequenceusinglocalspatiotemporalcontextualinformation.Op- <strong>Institut</strong>furParallele<strong>und</strong>VerteilteHochstleistungsrechner(IPVR),1995. 107
[Braunletal.95]ThomasBraunl,StefanFey<strong>rer</strong>,WolfgangRapf,<strong>und</strong>MichaelReinhardt.Par- LITERATURVERZEICHNIS [Braunl96]ThomasBraunl.ScriptumRobotikII,MobileRoboter.UniversitatStuttgart, alleleBildverarbeitung.Addison-WesleyPublishingCompany,Bonn,1995. <strong>Institut</strong>furParallele<strong>und</strong>VerteilteHochstleistungsrechner(IPVR),1996. 108<br />
[Carpenter88]RogerH.S.Carpenter.MovementsoftheEyes,2ndEdition.PionLimited, [Cormenetal.90]ThomasH.Cormen,CharlesE.LeisersonandRonaldL.Rivest.Introduc- [Craig89]JohnJ.Craig.Introductiontorobotics:mechanicsandcontrol,2nded.. [Daniilidisetal.95]K.Daniilidis,M.Hansen,Ch.Krauss<strong>und</strong>G.Sommer.AufdemWeg London,1988. tiontoAlgorithms.TheMITPress,C<strong>am</strong>bridge,Massachusetts,1990. Addison-WesleyPublishingCompany,Inc.,Reading,Massachusetts,1989. zumkunstlichenaktivenSehen:ModellfreieBewegungsverfolgungdurchKa[Dubuissonetal.95]Marie-PierreDubuissonandAnilK.Jain.ContourExtractionofMo-<br />
[Donohoeetal.1988]GregoryW.Donohoe,DonR.HushandNasirAhmed.ChangeDetection meranachfuhrung.inInformatikaktuell:G.Sage<strong>rer</strong>,S.Posch<strong>und</strong>F.Kummert (Hrsg.):Muste<strong>rer</strong>kennung1995,pp.277-284,Springer,1995. Acoustics,SpeechSignalProcessing,pp1084-1087,NewYork,1988. vingObjectsinComplexOutdoorScenes.Inter<strong>nat</strong>ionalJournalofComputer forTargetDetectionandClassicationinVideoSequences.Proc.Int.Conf.<br />
[Fennemaetal.79]ClaudeL.FennemaandWilli<strong>am</strong>B.Thompson.VelocityDetermi<strong>nat</strong>ion [Eckstein94]W.Eckstein.HORUS/CBenutzerhandbuch.<strong>Institut</strong>furInformatikTechnische UniversitatMunchen,Mar.1994. Vision,14,pp.83-105,KluwerAcademicPublishers,1995.<br />
[Fermuller95]CorneliaFermuller.PassiveNavigationasaPatternRecognitionProblem. [Francoisetal.91]EdouardFrancoisandPatrickBouthemy.Multifr<strong>am</strong>e-basedidentication inScenesContainingSeveralMovingObjects.ComputerGraphicsandImage Processing,9,pp.301-315,AcademicPress,Inc.,1979. Inter<strong>nat</strong>ionalJournalofComputerVision,14,pp.147-158KluwerAcademic<br />
[Frazieretal.90]J.FrazierandR.Nevatia.DetectingMovingObjectsfrom<strong>am</strong>ovingPlat- Publishers,Boston,1995. 166-172,June,1991 SocietyConferenceonComputerVisionandPatternRecognition,Hawaii,pp. ofmobilecomponentsofascenewith<strong>am</strong>ovingc<strong>am</strong>era.IEEEComputer<br />
[Gall91] DidierLeGall.MPEG:AVideoCompressionStandardforMultimediaAppform.Proc.DARPAImageUnderstandingWorkshop,Pittsburgh,PA,pp. 348-355,1990. lications.CommunicationsoftheACM,Vol.34,No.4,pp.46-58,Apr1991
[Gonzalesetal.92]RafaelC.GonzalezandRichardE.Woods.DigitalImageProcessing. LITERATURVERZEICHNIS [Grithsetal.76]H.B.Griths<strong>und</strong>P.J.Hilton.Klassische<strong>Mathematik</strong>ineeitgemaer Addison-WesleyPublishingCompany,Inc.,Reading,Massachusets,1992. Darstellung,Band1:Gr<strong>und</strong>lagen,Mengenlehre<strong>und</strong>Arithmetik.Vandenhoeck 109<br />
[Heller93]DanHeller,UpdatedforXViewVersion3.2byThomasVanRaalte.TheDe- [Horn86] &Ruprecht,Gottingen,1976.<br />
[Hornetal.81]BertholdK.P.HornandBrianG.Schunck.DeterminingOpticalFlow.ArtiBertholdKlaus<strong>Paul</strong>Horn.RobotVision.TheMITPressC<strong>am</strong>bridge,Massa- ManualforXViewVersion3.2,3rdEdition.O'Reilly&Associates,Inc.,Aug 1993. chusetts,1986.nitiveGuidestotheXWindowSystem:VolumeSeven.XViewProgr<strong>am</strong>ming [Hsuetal.84]Y.Z.Hsu,H.-H.Nagel,andG.Rekers.NewLikelihoodTestMethodsfor [Huang81]ThomasS.Huang(ed.).ImageSequenceAnalysis.Springer-VerlagBerlin, ChangeDetectioninImageSequences.ComputerVision,Graphics,andImage 1981. Processing,26,pp.73-106,AcademicPress,Inc.1984. cialIntelligence,17,pp.185-203,1981.<br />
[Jain84] [Huang83]ThomasS.Huang(ed.).ImageSequenceProcessingandDyn<strong>am</strong>icSceneAna- R<strong>am</strong>eshC.Jain.SegmentationofFr<strong>am</strong>eSequencesObjtainedbyaMoving lysis.Springer-VerlagBerlin,1983.<br />
[Jainetal.79a]R<strong>am</strong>eshJainandH.-H.Nagel.OntheAnalysisofAccumulativeDierence [Jainetal.95]R<strong>am</strong>eshJain,RangacharKasturiandBrianG.Schunck.MachineVision. Observer.IEEETransactionsonPatternAnalysisandMachineIntelligence, Vol.PAMI-6,No.5,pp.624-629,1984.<br />
[Jainetal.79b]R<strong>am</strong>eshJain,W.N.Martin,andJ.K.Aggarwal.Segmentationthroughthe 1979. PatternAnalysisandMachineIntelligence,Vol.PAMI-1,No.2,pp.206-214, McGraw-Hill,Inc.,NewYork,1995.<br />
DetectionofChangesDuetoMotion.ComputerGraphicsandImageProcessing,11,pp.13-34,AcademicPress,Inc.,1979. PicturesfromImageSequencesofRealWorldScenes.IEEETransactionson<br />
[Jonesetal.93]JosephL.JonesandAnitaM.Flynn.MobileRobotsInspirationtoImple- [Lee90] Hsi-JianLeeandHsi-ChouDeng.Three-Fr<strong>am</strong>eCornerMatchingandMoving ImageProcessing,52,pp.210-238,AcademicPress,Inc.,1990.<br />
mentation.AKPetersWellesley,Massachusetts,1993. ObjectExtractioninaSequenceofImages.ComputerVision,Graphics,and
[<strong>Levi</strong>93] LITERATURVERZEICHNIS [<strong>Levi</strong>etal.95]<strong>Paul</strong><strong>Levi</strong>,ThomasBraunl,HaraldBayer,SusanneGerl,GunterM<strong>am</strong>ier, <strong>Paul</strong><strong>Levi</strong>.Radiometrische<strong>und</strong>fotometrischeGr<strong>und</strong>lagenderBildentstehung. inBerndRadig(Hrsg.):Verarbeiten<strong>und</strong>VerstehenvonBildern,R.Oldenbourg VerlagGmbH,Munchen,pp.67-105,1993. 110<br />
MatthiasMuscholl,AlexanderRausch,MarcoSommerau,MichaelVogt,ThiloWill.COMROSCooperativeMobileRobotersystemeStuttgart:Basis- [McKerrow91]PhillipJohnMcKerrow.IntroductiontoRobotics.Addison-WesleyPublishing [Marr82] DavidMarr.Vision:AComputationalInvestigationintotheHumanRepreDokumentation.BerichtderFakultatInformatik,Nr.7/95,UniversitatStuttsentationandProcessingofVisualInformation.W.H.FreemanandCompany,gart,Sept.1995. [Meyeretal.94]FrancoisG.MeyerandPatrickBouthemy.Region-BasedTrackingUsing Company,Inc.,Sydney,Wokingh<strong>am</strong>,1991. NewYork,1982.<br />
[Meyeretal.92]FrancoisG.MeyerandPatrickBouthemy.Region-BasedTrackinginan Vol.60,No.2,Sept,pp.119-140,AcademicPress,Inc.,1994. AneMotionModelsinLongImageSequences.CVGIP:ImageUnterstanding,<br />
[Milgr<strong>am</strong>79]D.L.Milgr<strong>am</strong>.RegionExtractionUsingConvergentEvidence.Computer [Moravec77]HansP.Moravec.TowardsAutomaticVisualObstacleAvoidance.inProc. ImageSequence.inG.Sandini(Ed.):ProceedingsoftheSecondEuropean GraphicsandImageProcessing,11,pp.1-12,AcademicPress,Inc.,1979. May1992. 5thInter<strong>nat</strong>ionalJointConferenceonArticialIntelligence,Vision-1:p.584, ConferenceonComputerVision,pp.476-484,SantaMargheritaLigure,Italy,<br />
[Murrayetal.94a]DonMurrayandAnupBasu.MotionTrackingwithanActiveC<strong>am</strong>era. [Murrayetal.94b]J<strong>am</strong>esD.MurrayandWilli<strong>am</strong>vanRyper.EncyclopediaofGraphicsFile 1977.<br />
[Nagel86]Hans-HellmutNagel.ImageSequences-Ten(octal)Years-FromPhenomeno- 5,pp.449-459,May1994. IEEETransactionsonPatternAnalysisandMachineIntelligence,Vol.16,No.<br />
[Nelson91]RandalC.Nelson.QualitativeDetectionofMotionbyaMovingObserver. Formats.O'Reilly&Associates,Inc.,Sebastopol,CA,Jul1994. logytowardsaTheoreticalFo<strong>und</strong>ation.ProceedingsoftheEighthInter<strong>nat</strong>io<br />
[Nye92] AdrianNye(Ed.).TheDenitiveGuidestotheXWindowSystem:Volume Inter<strong>nat</strong>ionalJournalofComputerVision,7:1,pp.33-46,KluwerAcademic nalConferenceonPatternRecognition,Paris,France,pp.1174-1185.October Publishers,1991. 1986.<br />
Associates,Inc.,Jun1992.<br />
Two.XlibReferenceManualforVersion11R4/R5,3rdEdition.O'Reilly&
[Nye93] [Oswaldetal.96]NorbertOswald,SusanneGerl<strong>und</strong>MarcEbner.Detectingmovingobjects LITERATURVERZEICHNIS AdrianNye.TheDenitiveGuidestotheXWindowSystem:VolumeOne. XlibProgr<strong>am</strong>mingManualforVersion11R4/R5,3rdEdition.O'Reilly& Associates,Inc.,Jul1993. 111<br />
[Picton89]P.D.Picton.TrackingandSegmentationofMovingObjectsinaScene.Proc. [Pope94] byadyn<strong>am</strong>icc<strong>am</strong>era.(eingereichtzurBritishMachineVisionConference),<br />
[Popeetal.94a]ArthurR.PopeandDavidG.Lowe.Vista:ASoftwareEnvironmentfor 1996.<br />
[Popeetal.94b]ArtPope,DanielKoandDavidLowe.IntroductiontoVistaProgr<strong>am</strong>ming. ArtPope.VistaContributor'sGuide.VistaDokumentation,Jun,1994. 3rdInt.Conf.ImageProcessinganditsApplicat.,Coventry,England,pp.389- 393,1989.<br />
[Raalte93]ThomasVanRaalte(Ed.).TheDenitiveGuidestotheXWindowSystem: ComputerVisionResearch.VistaDokumentation,auchinCVPR,1994. VistaDokumentation,Jun,1994.<br />
[Rauschetal.95]AlexanderRausch,NorbertOswaldand<strong>Paul</strong><strong>Levi</strong>.Cooperativecrossingof [Radig81]B.M.Radig.ImageRegionExtractionofMovingObjects.inT.S.Huang CompaniontoVolume7.XViewReferenceManualforXViewVersion3.2. O'Reilly&Associates,Inc.,Aug1993. (ed.):ImageSequenceAnalysis,Springer-Verlag,Berlin,pp.311-354,1981. tracintersectionsinadistributedrobotsystem.SPIESensorFusionand<br />
[Sedgewick92]RobertSedgewick.Algorithmen.TitelderenglischenAusgabe:Algorithms [Robosoft94b]Robosoft.TO-40V1.0User'sManual.Robosoft,Neuilly-Plaisance,France, [Robosoft94a]Robosoft.RobuterUser'sManualV4.0.Robosoft,Neuilly-Plaisance,France, Jul1994. Jan1994. NetworkedRoboticsVIII,Vol.2589,pp.218-229,Oct.1995.<br />
[Shahetal.84]MubarakA.ShahandR<strong>am</strong>eshJain.DetectingTime-VaryingCorners.Compu[Shioetal.91]AkioShioandJackSklansky.SegmentationofPeopleinMotion.IEEEWork- Addison-WesleyPublishingCompany,Bonn,1992.<br />
[Skifstadetal.89]KurtSkifstadandR<strong>am</strong>eshJain.Illumi<strong>nat</strong>ionIndependentChangeDetecterVision,Graphics,andImageProcessing,28,pp.345-355,AcademicPress, Inc.,1984. shoponVisualMotion,Princeton,NJ,pp325-332,1991. Processing,46,pp.387-399,AcademicPress,Inc.,1989.<br />
tionforRealWorldImageSequences.ComputerVision,Graphics,andImage
[Smithetal.94]S.M.SmithandJ.M.Brady.ASceneSegmenter;VisualTrackingofMoving LITERATURVERZEICHNIS [Smithetal.95]S.M.SmithandJ.M.Brady.ASSET-2:Real-TimeMotionSegmentation Vehicles.EngineeringApplicationsofArticialIntelligence,Vol.7,No.2,pp. 191-204,ElsevierScienceLtd.,1994. 112<br />
[Sugimotoetal.86]SatoshiA.Sugimoto,HiroshiMatsuki,andYoshikiIchioka.Implementa- [Thompson80]Willi<strong>am</strong>B.Thompson.CombiningMotionandContrastforSegmentation. andShapeTracking.IEEETransactionsonPatternAnalysisandMachine Intelligence,Vol.17,No.8,pp.814-820,Aug1995.<br />
[Thompsonetal.87]Willi<strong>am</strong>B.ThompsonandTing-ChuenPong.DetectingMovingObjects. 2,No.6,pp.543-549,Nov.1980. tionoftrackingandextractionofmovingobjectsinsuccessivefr<strong>am</strong>es.Applied IEEETransactionsonPatternAnalysisandMachineIntelligence,Vol.PAMI- Optics,Vol.25,No.6,pp.990-996,Mar1986.<br />
[Vogtetal.96]MichaelVogt,MarcoSommerau<strong>und</strong>MatthiasMuscholl.DiePraxisderPro[Ullman79]ShimonUllman.TheInterpretationofVisualMotion.TheMITPressC<strong>am</strong>jektverwaltung-KongurationsmanagementimRobotik-Projekt.Universitat IEEEInter<strong>nat</strong>ionalConferenceonComputerVision,London,England,pp. bridge,Massachusetts,1979. 201-208,1987.<br />
[Wallace94]RichardS.Wallace.MiniatureDirect<strong>Dr</strong>iveRotaryActuatorsII:Eye,Finger [Walletal.84]KarinWallandPer-ErikDanielsson.AFastSequentialMethodforPolygonal Stuttgart,<strong>Institut</strong>furParallele<strong>und</strong>VerteilteHochstleistungsrechner(IPVR), Processing,28,pp.220-227,AcademicPress,1984. ApproximationofDigitizedCurves.ComputerVision,Graphics,andImage 1996.<br />
[Wengetal.92]JuyangWeng,NarendraAhujaandThomasS.Huang.MatchingTwoPerspec- andLeg.inProceedings1994IEEEInter<strong>nat</strong>ionalConferenceonRobotics<br />
[Westberg92]LarsWestberg.HierarchicalContour-BasedSegmentationofDyn<strong>am</strong>icScenes. California,May,1994. andAutomation,pp.1496-1501,IEEEComputerSocietyPress,LosAl<strong>am</strong>itos,<br />
[Willi<strong>am</strong>s80]ThomasD.Willi<strong>am</strong>s.DepthfromC<strong>am</strong>eraMotioninaRealWorldScene.IEEE tiveViews.IEEETransactionsonPatternAnalysisandMachineIntelligence, Vol.14,No.8,pp.806-825,Aug1992.<br />
[Yal<strong>am</strong>anchilietal.82]S.Yal<strong>am</strong>anchili,W.N.Martin,andJ.K.Aggarwal.Extractionof 9,pp.946-952,Sep1992. IEEETransactionsonPatternAnalysisandMachineIntelligence,Vol.14,No. TransactionsonPatternAnalysisandMachineIntelligence,Vol.PAMI-2,No. 6,pp.511-516,Aug1980. MovingObjectDescriptionsviaDierencing.ComputerGraphicsandImage Processing,18,pp.188-201,AcademicPress,Inc.1982.
[Zhengetal.95]QinfenZhengandR<strong>am</strong>aChellappa.AutomaticFeaturePointExtractionand LITERATURVERZEICHNIS TrackinginImageSequencesforArbitraryC<strong>am</strong>eraMotion.Inter<strong>nat</strong>ionalJour- 1995.<br />
nalofComputerVision,15,pp.31-76,KluwerAcademicPublishers,Boston, 113
Change language