Kamera Kalibrierung - TUM
Kamera Kalibrierung - TUM Kamera Kalibrierung - TUM
Kamera Kalibrierung Hauptseminar Augmented Reality TUM -Lehrstuhl Klinker / Navab Betreuer Tobias Sielhorst Student Iliana Dimitrova 1
- Seite 2 und 3: Tracking �� Tracking = „Mitfo
- Seite 4 und 5: Kamera Modelle �� Lochkamera (p
- Seite 6 und 7: Projektive Kamera (projective ( pro
- Seite 8 und 9: �� Tangentiale Verzerrung Verze
- Seite 10 und 11: Äußere Parameter �� Die extri
- Seite 12 und 13: Innere Parameter �� Die intrins
- Seite 14: Innere Parameter �� Die inneren
- Seite 18 und 19: Bestimmen der inneren und äusseren
- Seite 20 und 21: Bestimmen der inneren und äusseren
- Seite 22 und 23: SVD - Methode �� Als Lösung de
- Seite 24 und 25: SVD - Methode Beispiel 24
- Seite 26 und 27: Tsai Kalibrierung - Pw bezeichnet d
- Seite 28 und 29: Die vier Schritte der Tsai-Kalibrie
- Seite 30 und 31: Die vier Schritte der Tsai-Kalibrie
- Seite 32 und 33: Andere Kalibrierungsmethoden ��
- Seite 34 und 35: Testfeldkalibrierung 34
- Seite 36 und 37: Simultankalibrierung 36
<strong>Kamera</strong> <strong>Kalibrierung</strong><br />
Hauptseminar Augmented Reality<br />
<strong>TUM</strong> -Lehrstuhl Klinker / Navab<br />
Betreuer Tobias Sielhorst<br />
Student Iliana Dimitrova<br />
1
Tracking<br />
�� Tracking = „Mitfolgen Mitfolgen“<br />
�� Genauigkeit ´optisches Tracking´ -<br />
´magnetisches Tracking´ (1-2 mm -> 1-2 cm)<br />
�� - Einflussfaktor Temperatur<br />
�� Welches Tracking ist schneller ?<br />
�� Passives – Aktives (IR) Tracking<br />
�� - Problem beim aktiven Tracking<br />
�� - Beleuchtung beim passiven Tracking<br />
2
<strong>Kamera</strong> <strong>Kalibrierung</strong><br />
�� Häufig wird die <strong>Kalibrierung</strong> auf die<br />
Ermittlung einer 3D – 2D Transformation<br />
reduziert.<br />
�� Das entspricht lediglich der Bestimmung der<br />
inneren und äußeren <strong>Kamera</strong>parameter. Deren<br />
Kenntnis ermöglicht es, die Bilder so zu<br />
transformieren, dass sie den Bildern idealer<br />
<strong>Kamera</strong>s entsprechen.<br />
3
<strong>Kamera</strong> Modelle<br />
�� Lochkamera (pinhole ( pinhole camera) camera<br />
�� Wir nehmen an, wir haben das einfachste<br />
Modell einer <strong>Kamera</strong>, die s.g. Lochkamera<br />
(pinhole camera). Das heisst, wir nehmen an,<br />
dass die <strong>Kamera</strong> statt eines Onjektives ein<br />
kleines kreisförmiges Loch trägt. Die<br />
Lochmitte ist das Projektionszentrum C der<br />
Lochkamera. In der durch den Rahmen<br />
gegebenen Bildebene entsteht das Bild.<br />
4
��<br />
Lochkamera (pinhole ( pinhole camera) camera<br />
C<br />
P´ r´ H´<br />
τ<br />
Abb. 1 Lochkamera<br />
nach P<br />
c M´<br />
Abb.2 Bild<br />
Bildhauptpunkt H`; H`;<br />
H`C – Aufnahmerichtung M´=H´<br />
r` = c tan τ<br />
5
Projektive <strong>Kamera</strong> (projective ( projective camera) camera<br />
�� Mit der Lochkamera enthält man eine „ideale ideale Abbildung“. Abbildung<br />
Tatsächlich gibt es weder eine für die Praxis brauschbare<br />
Lochkamera, noch eine ideale Abbildung.<br />
�� Das Herz der <strong>Kamera</strong> ist das Objektiv. Es besteht aus einer<br />
Anzahl von Einzellinsen.<br />
�� Die Erfahrung im Umgang mit <strong>Kamera</strong>s hat gezeigt, dass es<br />
bei der Abbildung eines Weltpunktes in einen Bildpunkt eine<br />
Verzerrung gibt. Also entspricht ein <strong>Kamera</strong>bild nicht dem<br />
Bild, welches eine ideale Lochkamera erzeugen würde. Und<br />
eine relativ kleine Verzerrung des Bildes könnte zu einer relativ<br />
großen Verfälschung von Messdaten führen.<br />
6
Beispiele für Verzerrung<br />
�� Es gibt 2 wichtige Arten von geometrischen<br />
Verzerrungen: radiale und tangentiale<br />
Verzerrung<br />
�� Radiale Verzerrung<br />
Die radialeVerzerrung skaliert den Abstand<br />
des Bildpunktes zum Fokus, dem Zentrum<br />
der Verzerrung (siehe Abb.) Der vom Fokus<br />
ausgehende Richtungsvektor bleibt erhalten.<br />
�� Mathematisch lässt sich die radiale<br />
Verzerrung so vorstellen:<br />
Pv = Pu x lk (|Pu|), wobei lk = 1 + k2.r^2 k2.r 2 +<br />
k4.r ^4<br />
Pu - der unverzerrte Bildpunkt<br />
Pv - der verzerrte Bildpunkt<br />
k2 - Verzerrungskoeffizient<br />
lk - Verzerrungsfunktion<br />
7
�� Tangentiale Verzerrung<br />
Verzerrung<br />
�� Die tangentiale Verzerrung (siehe Abb.),<br />
die tangential zu dem Vektor von dem<br />
Zentrum des Bildes auftritt, resultiert vor<br />
allem aus der Dezentralisierung der<br />
Linsen der Objektive. Im Vergleich zur<br />
radialen ist der Einfluss der tangentialen<br />
Verzerrung sehr gering und bei hohen<br />
Genauigkeitsanforderungen<br />
mitzubestimmen.<br />
�� Wie die radiale, wächst die tangentiale<br />
Verzerrung mit dem Abstand vom<br />
optischen Zentrum, aber diesmal wird<br />
nicht entlang des Radius sondern entlang<br />
der Tangentialen verzerrt.<br />
8
<strong>Kamera</strong> Parameter<br />
Abb. 3 3D->2D Abbildung<br />
9
Äußere Parameter<br />
�� Die extrinsischen Parameter definieren den Zusammenhang zwischen<br />
dem 3D-<strong>Kamera</strong>koordinatensystem und dem 3D- 3D-<br />
Weltkoordinatensystem und die Orientierung: Welt -><br />
<strong>Kamera</strong>koordinaten.<br />
Also beschreiben sie die äußere Orientierung der <strong>Kamera</strong>, nämlich<br />
deren Position (siehe Abb.4.1 (a)) und deren Richtung (siehe Abb.<br />
4.1 (b)) bzgl. eines gegebenen Weltkoordinatensystems.<br />
Dabei entspricht die Position der <strong>Kamera</strong> dem optischen Zentrum<br />
und der Richtung der optischen Achse, die äquivalent zur z-Achse<br />
des <strong>Kamera</strong>koordinatensystems ist.<br />
10
Äußere Parameter<br />
�� Die Transformation von Weltkoordinatensystem in <strong>Kamera</strong>-koordinatensystem<br />
besteht aus einer Rotation und einer Translation. Diese Transformation hat 6<br />
Freiheitsgrade, 3 für die Rotation und 3 für die Translation.<br />
�� Wenn Pw die Koordinaten von einem Punkt sind, bestimmt in dem<br />
Weltkoordinatensystem, und Pk - die Koordinaten, bestimmt in dem<br />
<strong>Kamera</strong>koordinaten-system, dann ist Pk = R (Pw) + t, wo t die Translation ist<br />
und R die Rotation. Die Unbekannten, die berechnet werden müssen sind hier der<br />
Translationsvektor t und die Rotationsmatrix R.<br />
�� Abb. 4.1.a<br />
Abb. 4.1.b<br />
11
Innere Parameter<br />
�� Die intrinsischen Parameter definieren die Abbildung zwischen dem 3D-<br />
<strong>Kamera</strong>koordinatensystem (metrisch) und dem 2D-Bildkoordinatensystem<br />
(in Pixel) und beschreiben die Orientierung: <strong>Kamera</strong> – Bild (z.B. die<br />
Brennweite f). Sie beschreiben also die interne Geometrie der <strong>Kamera</strong>.<br />
(siehe Abb. 5.1a und Abb.5.1b)<br />
Abb.5.1. Innere Parameter ohne Berücksichtigung der Verzerrung<br />
12
Innere Parameter<br />
�� Abb.5.2. Innere Parameter mit Berücksichtigung der Verzerrung<br />
13
Innere Parameter<br />
�� Die inneren Parameter sind die Brennweite f<br />
(Zoom= die Entfernung vom Zentrum der<br />
Projektion zur Bildebene), Pixelkoordinaten der<br />
Bildmitte Ox O und Oy, O , sowie Pixelskalierung in<br />
horizontaler und vertikaler Richtung sx s und sy.<br />
s<br />
14
Bestimmen der inneren und äusseren<br />
f px<br />
Parameter<br />
K = f py 1<br />
(4)<br />
�� Die Matrix K heisst <strong>Kamera</strong>-<strong>Kalibrierung</strong>smatrix. Es ist vorausgesetzt, dass<br />
sich die <strong>Kamera</strong> in dem Zentrum des Euklidischen Koordinatensystems<br />
befindet.<br />
�� Wenn wir die Verzerrung der Linsen mitberücksichtigen, nimmt die Matrix K<br />
folgende Form:<br />
f s px<br />
K = f py 1<br />
(5)<br />
wobei f- Brennweite, s= Verzerrung (skew Parameter).<br />
17
Bestimmen der inneren und äusseren<br />
Parameter<br />
�� Allgemein werden Punkte im Raum in euklidischen Koordinaten<br />
ausgedruckt. Über die Translation, die Skalierung und die Rotation wird<br />
immer wieder die Darstellung auf die homogenen Koordinaten erweitert.<br />
18
Bestimmen der inneren und äusseren<br />
Parameter<br />
�� Die 3D-2D Abbildung kann allgemein in der Form :<br />
x = PX<br />
geschrieben werden, wobei<br />
x 2D-Koordinaten des Punktes auf der Ebene<br />
X 3D-Koordinaten vom Punkt im Raum<br />
P K<br />
M<br />
f s px R t<br />
K = f py M =<br />
1 0 1<br />
19
Bestimmen der inneren und äusseren<br />
Parameter<br />
f s px 0 R t X<br />
x = PX= f<br />
py 0 0 1 Y = A<br />
1 0 Z<br />
1<br />
3 x 4 4 x 4 4 x 1<br />
r1 r2 r3 tx<br />
R = r4 r5 r6 t = ty<br />
r7 r8 r9 tz<br />
20
SVD – Methode<br />
�� Singulärwertzerlegung (SVD SVD = Singular ingular Value alue Decomposition)<br />
ecomposition)<br />
Die Singulärwertzerlegung bewirkt eine Aufspaltung einer mxn - Matrix A in die<br />
drei Matrizen U, , S und V, , die folgende Eigenschaften besitzen:<br />
21
SVD – Methode<br />
�� Als Lösung des Minimierungsproblems Ax –b b = min<br />
erhalten wir demnach:<br />
22
SVD – Methode Beispiel<br />
23
SVD – Methode Beispiel<br />
24
Tsai <strong>Kalibrierung</strong><br />
Die 11 Parameter nach Tsai sind in 6 extrinsische und 5 intrinsische<br />
Parameter unterteilt. Drei der extrinsischen Parameter sind die<br />
Eulerwinkel, mit denen sich eine Rotation im dreidimensionalen<br />
Raum darstellen lässt, sie gehen in die 3x3 Rotationsmatrix R (für<br />
die Richtung) ein. Die anderen drei bilden den Translationsvektor<br />
T (für die Position), der eine Verschiebung beschreibt.<br />
Die 5 intrinsischen Parameter sind:<br />
- die Brennweite f<br />
- der Verzerrungskoeffizient k für radiale Verzerrung (siehe Abb.6)<br />
- der Skalierungsfaktor sx s<br />
- die Koordinaten des Zentrums der Verzerrung (Cx, Cy) bzgl. des<br />
verzerrten <strong>Kamera</strong>bildes<br />
25
Tsai <strong>Kalibrierung</strong><br />
- Pw bezeichnet den Punkt (xw, yw, zw)<br />
im Weltkoordinatensystem<br />
- Diesem Punkt entspricht (x, y, z) im<br />
<strong>Kamera</strong>koordinatensystem (Achsen<br />
xk, yk, zk)das Zentrum Ok. Ok steht<br />
für das optische Zentrum.<br />
- Das Bildkoordinatensystem(Achsen xb,<br />
yb, Zentrum Ob) liegt parallel zur xK-<br />
yK-Ebene im<br />
<strong>Kamera</strong>koordinatensystem im<br />
Abstand f (Brennweite).<br />
In idealem Fall (Lochkameramodell)<br />
schneidet eine Gerade durch OK und<br />
P das Bild-koordinatensystem im<br />
Punkt(xu, yu). Aufgrund der<br />
Linsenverzerrung liegt dieser Punkt<br />
näher an OB. Hier: Punkt (xv,yv).<br />
26
Die vier Schritte der Tsai-<strong>Kalibrierung</strong><br />
1.Schritt Weltkoordinatensystem -><br />
<strong>Kamera</strong>koordinatensystem Pw<br />
→ Pk<br />
(xw, yw, zw) → (xk, yk, zk)<br />
Zuerst Ursprung des<br />
Weltkoordinatensystems durch<br />
Translation ins<br />
Projektionszentrum (= Ursprung<br />
des <strong>Kamera</strong>koordinatensystems)<br />
verschieben, dann passend drehen,<br />
dass es mit dem<br />
<strong>Kamera</strong>koordinatensystem<br />
zusammenfällt.<br />
Gesucht : die Kalibrationsparameter R<br />
und t.<br />
27
Die vier Schritte der Tsai-<strong>Kalibrierung</strong><br />
2.Schritt <strong>Kamera</strong>koordinatensystem -> unverzerrtes<br />
Bildkoordinatensystem<br />
Pk → Pu<br />
(xk, yk, zk) → (xu, yu ,zu)<br />
Gesucht: der Kalibrationsparameter f (die Brennweite)<br />
(ohne Berechnung der Linsenverzerrung)<br />
28
Die vier Schritte der Tsai-<strong>Kalibrierung</strong><br />
3.Schritt Berücksichtigung der Linsenverzerrung<br />
Pu → Pv<br />
[(xu, [(x , yu) y ) → (xv, (x , yv)] y )]<br />
xv+D +Dx= = xu x<br />
yv+D +Dy= = yu y<br />
wobei:<br />
Dx = xu.(k1r x .(k1r^2 2 + k2r ^4 4 + …)<br />
Dy = yu.(k1r y .(k1r ^ 2 + k2r ^4 4 + …)<br />
r= √ xv v ^ 2 +yv<br />
^2<br />
Gesucht: Gesucht:<br />
die Kalibrationsparameter k1, k2, ...(oder nur k1)<br />
In der Praxis ist es ausreichend, wenn lediglich der erste Term<br />
bestimmt wird.<br />
29
Die vier Schritte der Tsai-<strong>Kalibrierung</strong><br />
4.Schritt metrisches Bildkoordinatensystem -> Pixel- Pixel-<br />
Bildkoordinatensystem<br />
Pu → Pv<br />
[(xv, [(x , yv) y ) → (xb, (x , yb)] y )]<br />
xb = (sx (s .xv) .x ) / dx + x0 x<br />
yb = yv y / dy d + y0 y<br />
wobei: wobei<br />
(xB, yB) Pixel – Zeile und Pixel – Spalte des Bildes im Framebuffer<br />
(x0, y0) Pixel – Zentrum des Bildes im Framebuffer<br />
und dx d und dy d herstellerspezifische Informationen darstellen<br />
Gesucht: Gesucht:<br />
der Kalibrationsparameter sx s (horizontaler<br />
Skalierungsfaktor)<br />
30
Tsai – <strong>Kalibrierung</strong> allgemein<br />
�� Die Methode von Tsai versucht am Anfang so viele Parameter<br />
wie möglich durch die linearen Methoden der kleinsten<br />
Quadrate zu bestimmen. In diesem ersten Schritt,<br />
Beschränkungen zwischen den Parametern sind nicht im<br />
Anspruch genommen und das, was minimiert ist, ist nicht den<br />
Fehler in der Bildebene, sondern eine Menge, die die Analyse<br />
vereinfacht und zu linearen Gleichungen führt. Das hat keine<br />
Effekte auf dem Endresultat, sobald diese abgeschätzten<br />
Parameter nur als Startwerte für die endgültige Optimierung<br />
benutzt werden. Folgend wird den Rest von den anderen<br />
Parametern durch eine nichtlineare Optimierungsmethode<br />
bestimmt, die die beste Anpassung zwischen den betrachteten<br />
Bildpunkten und diese von dem Muster findet. Parameter, die<br />
im ersten Schritt abgeschätzt wurden, sind verfeinert in diesem<br />
Prozess.<br />
�� Die Details der <strong>Kalibrierung</strong> für ein 2D- und ein 3D-Target<br />
sehen unterschiedlich aus.<br />
31
Andere <strong>Kalibrierung</strong>smethoden<br />
�� Man unterscheidet im wesentlichen drei <strong>Kalibrierung</strong>s<strong>Kalibrierung</strong>sverfahren,<br />
die sich durch das Referenzobjekt sowie<br />
durch Ort und Zeitpunkt der <strong>Kalibrierung</strong><br />
charakterisieren lassen:<br />
charakterisieren lassen:<br />
�� Laborkalibrierung<br />
Die Laborkalibrierung ist nur für Messkameras sinnvoll. Die<br />
innere Orientierung wird mit Hilfe eines Goniometers<br />
bestimmt, in dem Richtungen oder Winkel der Bildstrahlen<br />
durch das Objektiv der <strong>Kamera</strong> hindurch gemessen werden.<br />
Laborkalibrierungen können normalerweise vom Anwender<br />
nicht selbst durchgeführt werden und haben daher für<br />
Systeme der Nahbereichsphotogrammetrie praktisch keine<br />
Bedeutung.<br />
32
Andere <strong>Kalibrierung</strong>smethoden<br />
�� Testfeldkalibrierung<br />
Bei der Testfeldkalibrierung wird ein geeignet<br />
Objektpunktfeld mit bekannten Koordinaten oder<br />
Strecken von mehreren Standpunkten aus<br />
formatfüllend und mit ausreichender<br />
Strahlenschnittgeometrie aufgenommen.<br />
33
Testfeldkalibrierung<br />
34
Simultankalibrierung<br />
�� Simultankalibrierung<br />
Das Testfeld wird durch das eigentliche Messobjekt<br />
ersetzt, das unter vergleichbaren Bedingungen<br />
aufgenommen werden muss. Der wesentliche Vorteil<br />
der Simultankalibrierung liegt darin, dass die innere<br />
Orientierung exakt für den Zeitpunkt der<br />
Objektaufnahme bestimmt wird und somit höchste<br />
Genauigkeit bie der Objektauswertung erlaubt.<br />
35
Simultankalibrierung<br />
36
Literatur<br />
Literatur: Literatur<br />
1/ Zissermann, Zissermann,<br />
Hartley – Multiple View Geometry in computer vision<br />
2/ Thomas Luhmann – Nahbereichsphotogrammetrie , 2000<br />
3/ www.ai.mit.edu/people/bkph/papers/tsaiexplain.pdf [Berthold [ Berthold K.P. Horn;<br />
“Tsai Tsai’s s calibration method revisited”] revisited<br />
4/ Sebastian Kreuzer; „<strong>Kamera</strong>- <strong>Kamera</strong>- und Videoprojektorkalibration in medizinischen<br />
Anwendungen“ Anwendungen In Informatik in der Medizin. Medizin.<br />
Universität Karlsruhe, Institut für<br />
Prozessrechentechnik, Automation und Robotik, 2002.<br />
5/ wwwwwwcs.engr.ccny.cuny.edu/~zhu/CSCI6716/CVVC_Part2_CameraModels.ppt [Zhigang Zhigang Zhu; „Introdction Introdction to computer vision“; vision ; Department of Computer Science<br />
University of Massachusetts at Amherst]<br />
37