Kamera Kalibrierung

Tracking Tracking = „Mitfolgen“ Genauigkeit ´optisches Tracking´ -´magnetisches Tracking´ (1-2 mm -> 1-2 cm) - Einflussfaktor Temperatur Welches Tracking ist schneller ? Passives – Aktives (IR) Tracking - Problem beim aktiven Tracking - Beleuchtung beim passiven Tracking2

Kamera Kalibrierung Häufig wird die Kalibrierung auf dieErmittlung einer 3D – 2D Transformationreduziert. Das entspricht lediglich der Bestimmung derinneren und äußeren Kameraparameter. DerenKenntnis ermöglicht es, die Bilder so zutransformieren, dass sie den Bildern idealerKameras entsprechen.3

Kamera Modelle Lochkamera (pinhole(camera)Wir nehmen an, wir haben das einfachsteModell einer Kamera, die s.g. Lochkamera(pinhole camera). Das heisst, wir nehmen an,dass die Kamera statt eines Onjektives einkleines kreisförmiges Loch trägt. DieLochmitte ist das Projektionszentrum C derLochkamera. In der durch den Rahmengegebenen Bildebene entsteht das Bild.4

Lochkamera (pinhole(camera) τ nach PCc M´P´ r´ H´Abb. 1 LochkameraBildhauptpunkt H`; H`C – Aufnahmerichtungr` = c tan τAbb.2 BildM´=H´5

Projektive Kamera (projective(camera)Mit der Lochkamera enthält man eine „ideale Abbildung“.Tatsächlich gibt es weder eine für die Praxis brauschbareLochkamera, noch eine ideale Abbildung.Das Herz der Kamera ist das Objektiv. Es besteht aus einerAnzahl von Einzellinsen.Die Erfahrung im Umgang mit Kameras hat gezeigt, dass esbei der Abbildung eines Weltpunktes in einen Bildpunkt eineVerzerrung gibt. Also entspricht ein Kamerabild nicht demBild, welches eine ideale Lochkamera erzeugen würde. Undeine relativ kleine Verzerrung des Bildes könnte zu einer relativgroßen Verfälschung von Messdaten führen.6

Beispiele für Verzerrung Es gibt 2 wichtige Arten von geometrischenVerzerrungen: radiale und tangentialeVerzerrung Radiale VerzerrungDie radialeVerzerrung skaliert den Abstanddes Bildpunktes zum Fokus, dem Zentrumder Verzerrung (siehe Abb.) Der vom Fokusausgehende Richtungsvektor bleibt erhalten. Mathematisch lässt sich die radialeVerzerrung so vorstellen:Pv = Pu x lk (|Pu|), wobei lk = 1 + k2.r^2 2 +k4.r ^4Pu - der unverzerrte BildpunktPv - der verzerrte Bildpunktk2 - Verzerrungskoeffizientlk - Verzerrungsfunktion7

VerzerrungTangentiale VerzerrungDie tangentiale Verzerrung (siehe Abb.),die tangential zu dem Vektor von demZentrum des Bildes auftritt, resultiert vorallem aus der Dezentralisierung derLinsen der Objektive. Im Vergleich zurradialen ist der Einfluss der tangentialenVerzerrung sehr gering und bei hohenGenauigkeitsanforderungenmitzubestimmen.Wie die radiale, wächst die tangentialeVerzerrung mit dem Abstand vomoptischen Zentrum, aber diesmal wirdnicht entlang des Radius sondern entlangder Tangentialen verzerrt.8

Kamera ParameterAbb. 3 3D->2D Abbildung9

Äußere ParameterDie extrinsischen Parameter definieren den Zusammenhang zwischendem 3D-Kamerakoordinatensystem und dem 3D-Weltkoordinatensystem und die Orientierung: Welt ->Kamerakoordinaten.Also beschreiben sie die äußere Orientierung der Kamera, nämlichderen Position (siehe Abb.4.1 (a)) und deren Richtung (siehe Abb.4.1 (b)) bzgl. eines gegebenen Weltkoordinatensystems.Dabei entspricht die Position der Kamera dem optischen Zentrumund der Richtung der optischen Achse, die äquivalent zur z-Achsedes Kamerakoordinatensystems ist.10

Äußere ParameterDie Transformation von Weltkoordinatensystem in Kamera-koordinatensystembesteht aus einer Rotation und einer Translation. Diese Transformation hat 6Freiheitsgrade, 3 für die Rotation und 3 für die Translation.Wenn Pw die Koordinaten von einem Punkt sind, bestimmt in demWeltkoordinatensystem, und Pk - die Koordinaten, bestimmt in demKamerakoordinaten-system, dann ist Pk = R (Pw) + t, wo t die Translation istund R die Rotation. Die Unbekannten, die berechnet werden müssen sind hier derTranslationsvektor t und die Rotationsmatrix R.Abb. 4.1.aAbb. 4.1.b11

Innere Parameter Die intrinsischen Parameter definieren die Abbildung zwischen dem 3D-Kamerakoordinatensystem (metrisch) und dem 2D-Bildkoordinatensystem(in Pixel) und beschreiben die Orientierung: Kamera – Bild (z.B. dieBrennweite f). Sie beschreiben also die interne Geometrie der Kamera.(siehe Abb. 5.1a und Abb.5.1b)Abb.5.1. Innere Parameter ohne Berücksichtigung der Verzerrung12

Innere ParameterAbb.5.2. Innere Parameter mit Berücksichtigung der Verzerrung13

Innere Parameter Die inneren Parameter sind die Brennweite f(Zoom= die Entfernung vom Zentrum derProjektion zur Bildebene), Pixelkoordinaten derBildmitte Ox O und Oy, O , sowie Pixelskalierung inhorizontaler und vertikaler Richtung sx s und sy. s14

Bestimmen der inneren undäusseren KameraparameterMathematischer HintergrundEin 3D-Punkt (X,Y,Z) T im Raum kann auf der Bildebene auf dem Punkt(fX/Z, fY/Z, f) Tabgebildet werden. Wenn wir die Z-Koordinateignoriereren,(X,Y,Z)T(fX/Z, fY/Z) T (1)bekommen wir die Abbildung der euklidischen Raumkoordinaten R3 ineuklidischen Bildkoordinaten R2.In homogenen Koordinaten kann die obige Abbildung in der Form :XfX f 0 XYZ fY Z= f 0 1 0 Y Z(2)1 1geschrieben werden.15

Bestimmen der inneren und äusserenParameterDer Ausdruck (1) hat in der Praxis die Form(X,Y,Z)T(fX/Z+px, fY/Z+py) Twobei (px, py) T die Koordinaten des Hauptpunktes sind.Die Gleichung (2) kann dann bequem in homogenen Koordiantengeschrieben werden :XfX+Zpx f px 0 XY fY+Zpy = f py 0 Y (3)Z Z 1 0 Z1 116

Bestimmen der inneren und äusserenfpxParameterK = f py (4)1Die Matrix K heisst Kamera-Kalibrierungsmatrix. Es ist vorausgesetzt, dasssich die Kamera in dem Zentrum des Euklidischen Koordinatensystemsbefindet.Wenn wir die Verzerrung der Linsen mitberücksichtigen, nimmt die Matrix Kfolgende Form:f s pxK = f py (5)1wobei f- Brennweite, s= Verzerrung (skew Parameter).17

Bestimmen der inneren und äusserenParameterAllgemein werden Punkte im Raum in euklidischen Koordinatenausgedruckt. Über die Translation, die Skalierung und die Rotation wirdimmer wieder die Darstellung auf die homogenen Koordinaten erweitert.18

Bestimmen der inneren und äusserenParameter Die 3D-2D Abbildung kann allgemein in der Form :x = PXgeschrieben werden, wobeix2D-Koordinaten des Punktes auf der EbeneX3D-Koordinaten vom Punkt im RaumPKMf s px RtK = f py M =1 0 119

Bestimmen der inneren und äusserenParameterf s px 0 R t Xx = PX= f py 0 0 1 Y= A1 0 Z3 x 4 4 x 4 4 x 11r1 r2 r3 txR = r4 r5 r6 t =r7 r8 r9 tzty20

SVD – MethodeSingulärwertzerlegung (SVD= SingularValueDecomposition)Die Singulärwertzerlegung bewirkt eine Aufspaltung einer mxn - Matrix A in diedrei Matrizen U, S und V, , die folgende Eigenschaften besitzen:21

SVD – Methode Als Lösung des Minimierungsproblems Ax –b b = minerhalten wir demnach:22

SVD – Methode Beispiel23

SVD – Methode Beispiel24

Tsai KalibrierungDie 11 Parameter nach Tsai sind in 6 extrinsische und 5 intrinsischeParameter unterteilt. Drei der extrinsischen Parameter sind dieEulerwinkel, mit denen sich eine Rotation im dreidimensionalenRaum darstellen lässt, sie gehen in die 3x3 Rotationsmatrix R (fürdie Richtung) ein. Die anderen drei bilden den TranslationsvektorT (für die Position), der eine Verschiebung beschreibt.Die 5 intrinsischen Parameter sind:- die Brennweite f- der Verzerrungskoeffizient k für radiale Verzerrung (siehe Abb.6)- der Skalierungsfaktor sxs- die Koordinaten des Zentrums der Verzerrung (Cx, Cy) bzgl. desverzerrten Kamerabildes25

Tsai Kalibrierung- Pw bezeichnet den Punkt (xw, yw, zw)im Weltkoordinatensystem- Diesem Punkt entspricht (x, y, z) imKamerakoordinatensystem (Achsenxk, yk, zk)das Zentrum Ok. Ok stehtfür das optische Zentrum.- Das Bildkoordinatensystem(Achsen xb,yb, Zentrum Ob) liegt parallel zur xK-yK-Ebene imKamerakoordinatensystem imAbstand f (Brennweite).In idealem Fall (Lochkameramodell)schneidet eine Gerade durch OK undP das Bild-koordinatensystem imPunkt(xu, yu). Aufgrund derLinsenverzerrung liegt dieser Punktnäher an OB. Hier: Punkt (xv,yv).26

Die vier Schritte der Tsai-Kalibrierung1.Schritt Weltkoordinatensystem ->KamerakoordinatensystemPw→ Pk(xw, yw, zw) → (xk, yk, zk)Zuerst Ursprung desWeltkoordinatensystems durchTranslation insProjektionszentrum (= Ursprungdes Kamerakoordinatensystems)verschieben, dann passend drehen,dass es mit demKamerakoordinatensystemzusammenfällt.Gesucht : die Kalibrationsparameter Rund t.27

Die vier Schritte der Tsai-Kalibrierung2.SchrittKamerakoordinatensystem -> unverzerrtesBildkoordinatensystemPk → Pu(xk, yk, zk) → (xu, yu ,zu)Gesucht: der Kalibrationsparameter f (die Brennweite)(ohne Berechnung der Linsenverzerrung)28

Die vier Schritte der Tsai-Kalibrierung3.SchrittPu → PvBerücksichtigung der Linsenverzerrung[(xu, , yu) y → (xv, , yv)] yxv+Dx= = xuxyv+Dy= = yuywobei:Dx = xu.(k1rx.(k1r^22 + k2r ^4 4 + …)Dy = yu.(k1r y^ 2 + k2r ^4 4 + …)r= √ xv ^ 2 +yv ^2Gesucht: : die Kalibrationsparameter k1, k2, ...(oder nur k1)In der Praxis ist es ausreichend, wenn lediglich der erste Termbestimmt wird.29

Die vier Schritte der Tsai-Kalibrierung4.Schritt metrisches Bildkoordinatensystem -> Pixel-BildkoordinatensystemPu → Pv[(xv, , yv) y → (xb, , yb)] yxb = (sx .xv) ) / dx + x0xyb = yv y / dy d + y0ywobei:(xB, yB) Pixel – Zeile und Pixel – Spalte des Bildes im Framebuffer(x0, y0) Pixel – Zentrum des Bildes im Framebufferund dx d und dy d herstellerspezifische Informationen darstellenGesucht: : der Kalibrationsparameter sx s (horizontalerSkalierungsfaktor)30

Tsai – Kalibrierung allgemeinDie Methode von Tsai versucht am Anfang so viele Parameterwie möglich durch die linearen Methoden der kleinstenQuadrate zu bestimmen. In diesem ersten Schritt,Beschränkungen zwischen den Parametern sind nicht imAnspruch genommen und das, was minimiert ist, ist nicht denFehler in der Bildebene, sondern eine Menge, die die Analysevereinfacht und zu linearen Gleichungen führt. Das hat keineEffekte auf dem Endresultat, sobald diese abgeschätztenParameter nur als Startwerte für die endgültige Optimierungbenutzt werden. Folgend wird den Rest von den anderenParametern durch eine nichtlineare Optimierungsmethodebestimmt, die die beste Anpassung zwischen den betrachtetenBildpunkten und diese von dem Muster findet. Parameter, dieim ersten Schritt abgeschätzt wurden, sind verfeinert in diesemProzess.Die Details der Kalibrierung für ein 2D- und ein 3D-Targetsehen unterschiedlich aus.31

Andere Kalibrierungsmethoden Man unterscheidet im wesentlichen drei Kalibrierungs-verfahren, die sich durch das Referenzobjekt sowiedurch Ort und Zeitpunkt der Kalibrierungcharakterisieren lassen: LaborkalibrierungDie Laborkalibrierung ist nur für Messkameras sinnvoll. Dieinnere Orientierung wird mit Hilfe eines Goniometersbestimmt, in dem Richtungen oder Winkel der Bildstrahlendurch das Objektiv der Kamera hindurch gemessen werden.Laborkalibrierungen können normalerweise vom Anwendernicht selbst durchgeführt werden und haben daher fürSysteme der Nahbereichsphotogrammetrie praktisch keineBedeutung.32

Andere Kalibrierungsmethoden TestfeldkalibrierungBei der Testfeldkalibrierung wird ein geeignetObjektpunktfeld mit bekannten Koordinaten oderStrecken von mehreren Standpunkten ausformatfüllend und mit ausreichenderStrahlenschnittgeometrie aufgenommen.33

Testfeldkalibrierung34

Simultankalibrierung SimultankalibrierungDas Testfeld wird durch das eigentliche Messobjektersetzt, das unter vergleichbaren Bedingungenaufgenommen werden muss. Der wesentliche Vorteilder Simultankalibrierung liegt darin, dass die innereOrientierung exakt für den Zeitpunkt derObjektaufnahme bestimmt wird und somit höchsteGenauigkeit bie der Objektauswertung erlaubt.35

Simultankalibrierung36

LiteraturLiteratur:1/ Zissermann, , Hartley – Multiple View Geometry in computer vision2/ Thomas Luhmann – Nahbereichsphotogrammetrie , 20003/ www.ai.mit.edu/people/bkph/papers/tsaiexplain.pdf [BertholdK.P. Horn;“Tsai’s s calibration method revisited”]4/ Sebastian Kreuzer; „Kamera- und Videoprojektorkalibration in medizinischenAnwendungen“ In Informatik in der Medizin. . Universität Karlsruhe, Institut fürProzessrechentechnik, Automation und Robotik, 2002.5/ www-cs.engr.ccny.cuny.edu/~zhu/CSCI6716/CVVC_Part2_CameraModels.ppt[ZhigangZhu; „Introdctionto computer vision“; ; Department of Computer ScienceUniversity of Massachusetts at Amherst]37