2009 - Thèse soutenue par Nicolas RAGOT - ESIGELEC
2009 - Thèse soutenue par Nicolas RAGOT - ESIGELEC
2009 - Thèse soutenue par Nicolas RAGOT - ESIGELEC
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
Conception d’un capteur de<br />
stéréovision omnidirectionnelle :<br />
architecture, étalonnage et applications<br />
à la reconstruction de scènes 3D<br />
Travaux de <strong>Thèse</strong><br />
présentés <strong>par</strong> <strong>Nicolas</strong> <strong>RAGOT</strong><br />
Le 7 Avril <strong>2009</strong><br />
Directeur de thèse : Bélahcène MAZARI<br />
Co-encadrement : Jean-Yves ERTAUD & Xavier SAVATIER
Contexte de travail<br />
‣ programme de recherche européen : OmniViss<br />
‣ conception et évaluation d’un outil de reconstruction et d’analyse de<br />
scènes 3D<br />
‣ <strong>par</strong>tenaires : IRSEEM (FR) & dpt. Electronique de l’Université du KENT (GB)<br />
MES TRAVAUX DE<br />
THESE<br />
1 2<br />
3<br />
CONCEPTION<br />
CAPTEUR<br />
ETALONNAGE<br />
CAPTEUR<br />
RECONSTRUCTION<br />
3D DE SCENES<br />
Cahier des<br />
charges<br />
‣ mesure non-intrusive (discrétion)<br />
‣ perception large de la scène<br />
‣ traitements temps-réel<br />
2
Plan<br />
1. Conception du capteur<br />
A. Systèmes pour la numérisation de scènes 3D<br />
B. Solution matérielle<br />
2. Etalonnage géométrique d’un capteur catadioptrique<br />
A. Etalonnage <strong>par</strong>amétrique<br />
B. Etalonnage non-<strong>par</strong>amétrique<br />
C. Méthode de pré-dimensionnement de la mire d’étalonnage<br />
3. Reconstruction 3D <strong>par</strong> vision stéréoscopique<br />
omnidirectionnelle<br />
A. Reconstruction 3D volumétrique statique<br />
B. Reconstruction 3D volumétrique dynamique<br />
4. Conclusions générales et perspectives<br />
3
Plan<br />
1. Conception du capteur<br />
A. Systèmes pour la numérisation de scènes 3D<br />
B. Solution matérielle<br />
2. Etalonnage géométrique d’un capteur catadioptrique<br />
A. Etalonnage <strong>par</strong>amétrique<br />
B. Etalonnage non-<strong>par</strong>amétrique<br />
C. Méthode de pré-dimensionnement de la mire d’étalonnage<br />
3. Reconstruction 3D <strong>par</strong> vision stéréoscopique<br />
omnidirectionnelle<br />
A. Reconstruction 3D volumétrique statique<br />
B. Reconstruction 3D volumétrique dynamique<br />
4. Conclusions générales et perspectives<br />
4
Solutions pour la numérisation de scènes 3D<br />
Conception du capteur<br />
Technologies pour la numérisation de scènes 3D<br />
‣ Solutions actives : télémétrie et projection d’un motif lumineux<br />
mesure intrusive<br />
‣ Solutions passives : les systèmes de vision<br />
non-intrusif<br />
<br />
quantité d’information importante instantanément<br />
champ d’observation limité<br />
<br />
Champ de vue large<br />
pour les applications de<br />
l’étude<br />
5
Conception du capteur<br />
Solutions pour augmenter le champ d’observation<br />
Objectif fish-eye<br />
Capteur cylindrique ou sphérique<br />
Pas de centre de projection unique<br />
Réseau de caméras<br />
COMMENT ?<br />
Traitements temps-réel difficiles<br />
Capteur CATADIOPTRIQUE<br />
Caméra-Miroir<br />
Traitements temps-réel difficiles<br />
6
Capteur catadioptrique : généralités<br />
Conception du capteur<br />
Capteurs centraux<br />
Unicité du centre de projection 2<br />
Modélisation plus aisée du capteur<br />
Une solution :<br />
hyperboloïde à 2 nappes<br />
+ caméra perspective<br />
Deux classes<br />
Nappe 2<br />
la caméra<br />
Nappe 1<br />
le miroir<br />
Capteurs non-centraux<br />
Plusieurs centres de projection<br />
(surface caustique 1 )<br />
Modélisation mathématique<br />
plus délicate<br />
[1] : S. H. Ieng and R. Benosman. Les surfaces caustiques <strong>par</strong> la géométrie. Applications aux capteurs catadioptriques. Traitement du Signal, 22(5) :<br />
433-442, Décembre 2005<br />
[2] : S. Baker and S. K. Nayar. A theory of catadioptric image formation. In IEEE International Conference on Computer Vision, pages 3542, Bombay,<br />
India, January, 1998<br />
7
Capteurs catadioptriques et reconstruction 3D<br />
Conception du capteur<br />
Un système de vision ne permet pas<br />
de déterminer la géométrie 3D<br />
AU MOINS 2 points de vue nécessaires :<br />
STEREOVISION<br />
Architecture stéréoscopique à<br />
capteurs catadioptriques<br />
configuration verticale (co-axiale)<br />
Optimisation du champ de vue commun aux 2<br />
capteurs <strong>par</strong> rapport aux applications envisagées<br />
Processus d’ap<strong>par</strong>iement des pixels facilité<br />
8
359mm<br />
73.14mm<br />
300mm<br />
Conception du capteur<br />
Système de stéréovision omnidirectionnelle formé<br />
de 2 capteurs catadioptriques co-axiaux<br />
‣ caméra Marlin-F-145C :<br />
monoCCD couleur<br />
Z<br />
Φ≈73.5°<br />
CCD<br />
1 2<br />
Y<br />
‣ miroir hyperboloïde :<br />
2 2 2<br />
z x <br />
<br />
y<br />
789.3274 548.1440<br />
1<br />
60mm<br />
X<br />
Φ’=16°<br />
‣ potence réglable en X,Y,Z <strong>par</strong><br />
des vis micrométriques<br />
‣ focale : 6.5mm<br />
Base capteur<br />
9
Unicité du centre de projection - Méthode de<br />
Zivkovic & Booij 1<br />
Conception du capteur<br />
Objectifs<br />
Positionner FM en F et PPC en F’<br />
PPC<br />
F’<br />
Méthode<br />
Etalonnage de la caméra seule<br />
Estimation de la projection de l’empreinte<br />
du miroir dans l’image<br />
Réglage mécanique pour faire coïncider le<br />
miroir avec la trace pré-estimée<br />
FM<br />
FM<br />
R P<br />
F<br />
Estimation de<br />
l’empreinte du miroir<br />
[1] : Z. Zivkovic and O. Booij. How did we built our hyperbolic mirror omnidirectional camera - practical issues and basic geometry. Technical report<br />
IAS-UVA-05-04, University of Amsterdam, April 2005.<br />
10
Plan<br />
1. Conception du capteur<br />
A. Systèmes pour la numérisation de scènes 3D<br />
B. Solution matérielle<br />
2. Etalonnage géométrique d’un capteur catadioptrique<br />
A. Etalonnage <strong>par</strong>amétrique<br />
B. Etalonnage non-<strong>par</strong>amétrique<br />
C. Méthode de pré-dimensionnement de la mire d’étalonnage<br />
3. Reconstruction 3D <strong>par</strong> vision stéréoscopique<br />
omnidirectionnelle<br />
A. Reconstruction 3D volumétrique statique<br />
B. Reconstruction 3D volumétrique dynamique<br />
4. Conclusions générales et perspectives<br />
11
Etalonnage géométrique : généralités<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
« étape incontournable [...] dès lors qu'il faut établir une relation entre l'image et le monde 3D »<br />
Etalonnage Fort<br />
Utilisation d’une mire 3D<br />
Procédure supervisée, hors-ligne<br />
Primitives : points, droites<br />
1 Etalonnage non-<strong>par</strong>amétrique 2<br />
Etalonnage <strong>par</strong>amétrique<br />
Association (point 2D-ligne de vue 3D)<br />
Estimation des <strong>par</strong>amètres du<br />
Aspect discret :<br />
modèle 3D/2D<br />
échantillonnage des relations 3D/2D<br />
Problème de minimisation<br />
(cf. dimensions CCD)<br />
12
Etalonnage géométrique d’un capteur catadioptrique<br />
Modèle 3D/2D ad hoc 1<br />
Q<br />
2 2 2<br />
z<br />
e x y<br />
Q: <br />
<br />
‣<br />
‣ W<br />
<br />
2 2<br />
1<br />
R<br />
M M<br />
<br />
t<br />
<br />
Q<br />
M<br />
<br />
Paramètres<br />
extrinsèques<br />
R W<br />
R C<br />
‣ Q' : Q L<br />
L<br />
Q<br />
QC<br />
M<br />
<br />
: L | L OM<br />
QM,<br />
<br />
R<br />
' M<br />
‣<br />
‣<br />
<br />
R<br />
C C<br />
<br />
t<br />
<br />
K<br />
P q<br />
Q<br />
C<br />
<br />
Paramètres<br />
intrinsèques<br />
Q W<br />
R M ,t M<br />
K P<br />
R P<br />
Q’ M<br />
q<br />
R C ,t C<br />
2e<br />
Point 2D<br />
Point 3D<br />
u XW<br />
<br />
<br />
v<br />
1 <br />
ZW<br />
<br />
1<br />
KP<br />
R R<br />
Y t<br />
<br />
t<br />
<br />
<br />
<br />
C M W M C<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
R M<br />
χ<br />
<br />
<br />
K<br />
, R , t<br />
P M M<br />
<br />
[1] : T. Svoboda. Central Panoramic Cameras : Design, Geometry, Egomotion. Phd, Czech Technical University, 1999 13
Stratégie de minimisation<br />
Formulation du problème de minimisation<br />
J<br />
χ<br />
<br />
Sous la contrainte :<br />
<br />
<br />
K<br />
min<br />
, R , t<br />
P M M<br />
I<br />
<br />
i1<br />
χ<br />
1<br />
χ qi<br />
qi<br />
χ<br />
2<br />
T<br />
M<br />
R R<br />
(obtenue <strong>par</strong> une SVD :<br />
M<br />
J<br />
I<br />
<br />
<br />
† T T<br />
M M <br />
R AV R A V<br />
Stratégie de minimisation<br />
‣ Algorithme itératif (Levenberg-Marquardt)<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
2<br />
)<br />
‣ Vecteur des estimées initiales :<br />
χ<br />
<br />
<br />
<br />
<br />
<br />
0 M0<br />
33<br />
z<br />
tM<br />
0,0, t M<br />
<br />
R<br />
<br />
K<br />
P<br />
0<br />
I<br />
0 0<br />
?<br />
<br />
T<br />
0<br />
<br />
T<br />
W<br />
<br />
+<br />
1<br />
K W W W X<br />
P<br />
Connus de <strong>par</strong>t la<br />
géométrie du capteur<br />
T<br />
14
La mire d’étalonnage<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Caractéristiques<br />
Cylindre de révolution pour tirer profit de<br />
la symétrie axiale du capteur<br />
Dimensions :<br />
R300mm,<br />
H<br />
1400mm<br />
Points d’intérêt<br />
Ré<strong>par</strong>tition<br />
• cercles directeurs (C m )<br />
• génératrices<br />
• C m défini <strong>par</strong> 8 points d’intérêt équiré<strong>par</strong>tis<br />
ap<strong>par</strong>tenant aux génératrices<br />
LED blanche<br />
• Angle de diffusion : α>70°<br />
• Diffuseur à LED<br />
LED<br />
LED<br />
C m<br />
Vue en coupe<br />
Vue de face<br />
15
Extraction des points d’intérêt<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Projection d’une LED : halo lumineux<br />
Critère d’extraction : Intensité lumineuse – Luminance<br />
Transformation : RGB CIE L*a*b*<br />
Segmentation régions homogènes (R) – 8-connexité<br />
R : q d L , L<br />
<br />
i i i1<br />
<br />
s<br />
Halo lumineux approximé à une projection ponctuelle :<br />
<br />
T<br />
le barycentre du halo<br />
<br />
q<br />
uv<br />
, <br />
<br />
Moyenne pondérée <strong>par</strong> les <strong>par</strong>amètres de luminance<br />
u <br />
I<br />
<br />
i1<br />
I<br />
<br />
i1<br />
uL<br />
i<br />
L<br />
i<br />
i<br />
v <br />
I<br />
<br />
i1<br />
I<br />
<br />
i1<br />
vL<br />
i<br />
L<br />
i<br />
i<br />
16
Dispositif d’aide à l’étalonnage<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Interface graphique<br />
‣ Réglages des <strong>par</strong>amètres des caméras<br />
‣ Récupération du flux vidéo en sortie des caméras<br />
‣ Pilotage des LED à l'allumage et à l'extinction<br />
‣ Réglage des intensités lumineuses suivant 16 niveaux<br />
Carte électronique<br />
‣ Carte maître (carte microcontrôleur PIC)<br />
‣ Cartes esclaves (MAX6956 driver de LED)<br />
‣ Communication PIC MAX6956 : I2C<br />
17
Etalonnage géométrique d’un capteur catadioptrique<br />
Précision d’un étalonnage : les mesures<br />
Erreur moyenne de projection<br />
‣ Mesure d’erreur en 2D (en pixels)<br />
1<br />
M d qm,<br />
qm<br />
M<br />
i1<br />
<br />
<br />
Erreurs moyennes de rétro-projection<br />
et de reconstruction<br />
‣ Mesure d’erreur en 3D (en mètre)<br />
N<br />
1<br />
d<br />
Q , Q<br />
N i 1<br />
‣ Pour un système multi-caméras : points 3D estimés <strong>par</strong> triangulation de<br />
primitives 2D ap<strong>par</strong>iées (méthode du mid-point)<br />
Q <br />
min<br />
1, 2<br />
, O O L L<br />
1 2<br />
L L<br />
<br />
n<br />
1 2<br />
L L <br />
n<br />
<br />
1 2<br />
18
Environnement de simulation<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Utilisation du logiciel POV-Ray<br />
Modélisation :<br />
• Capteur de stéréovision omnidirectionnelle<br />
• Mire d’étalonnage 3D<br />
• LEDs : cylindres lumineux blancs<br />
19
Protocole d’étalonnage<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Etalonnage dissocié des 2 capteurs<br />
Données pour étalonner 1 capteur :<br />
• Coordonnées des points 3D dans le repère Mire<br />
• Images d’étalonnage : 1 image ≡ 1 cercle allumé<br />
1768 points d’intérêt<br />
20
Résultats<br />
Phase d’initialisation<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Après le Levenberg-Marquardt<br />
En bleu : Points<br />
2D extraits<br />
En rouge : Points<br />
2D estimés<br />
K P R M (en °) t M (en mm)<br />
α u α v u 0 v 0 α x α y α z t M<br />
x<br />
t M<br />
y<br />
t M<br />
Z<br />
Théorie 1315.8 1315.8 640.0 480.0 0.00 0.00 15.00 0.0 0.0 359.0<br />
Estimation 1313.1 1313.1 639.5 476.9 0.00 -0.02 14.99 0.0 -0.1 359.8<br />
Erreur moyenne de projection<br />
estimés sur 1768 points<br />
0.02 0.29pix<br />
21
Etalonnage géométrique d’un capteur catadioptrique<br />
Conclusions : « étalonnage <strong>par</strong>amétrique »<br />
‣ Méthode d’étalonnage <strong>par</strong>amétrique <strong>par</strong> un modèle ad hoc<br />
‣ Mire 3D : cylindre de révolution pour tirer profit des spécificités du capteur<br />
‣ Résultats :<br />
Valeurs estimées coïncident avec les valeurs théoriques<br />
Résultat attendu puisque réalisé en simulation (cas <strong>par</strong>fait)<br />
Validation de la méthode<br />
Validation de l’approximation de la projection d’une LED<br />
‣ En pratique<br />
Unicité du centre de projection est difficile à mettre en œuvre<br />
Prise en compte de systèmes bas-coût (défaut d’usinage)<br />
Proposition d’une méthode alternative d’étalonnage<br />
utilisant une approche non-<strong>par</strong>amétrique<br />
22
Plan<br />
1. Conception du capteur<br />
A. Systèmes pour la numérisation de scènes 3D<br />
B. Solution matérielle<br />
2. Etalonnage géométrique d’un capteur catadioptrique<br />
A. Etalonnage <strong>par</strong>amétrique<br />
B. Etalonnage non-<strong>par</strong>amétrique<br />
C. Méthode de pré-dimensionnement de la mire d’étalonnage<br />
3. Reconstruction 3D <strong>par</strong> vision stéréoscopique<br />
omnidirectionnelle<br />
A. Reconstruction 3D volumétrique statique<br />
B. Reconstruction 3D volumétrique dynamique<br />
4. Conclusions générales et perspectives<br />
23
Principe<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Constat<br />
Il existe une relation telle que :<br />
<br />
f<br />
<br />
<br />
<br />
ρ<br />
Proposition<br />
‣ Méthode d’étalonnage fort<br />
‣ Mire 3D préalablement utilisée<br />
‣ Méthode non-<strong>par</strong>amétrique<br />
Φ<br />
24
Formulation du problème (1)<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Postulat<br />
R I<br />
ρ<br />
θ<br />
q<br />
<br />
<br />
<br />
<br />
Q , ,<br />
T<br />
q <br />
<br />
,<br />
<br />
T<br />
: un point 3D en sphérique<br />
dans R M<br />
: un point 2D en polaire<br />
dans R I<br />
Γ<br />
Φ<br />
Q<br />
Θ<br />
R M<br />
25
Formulation du problème (2)<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Fonctions de projection et rétro-projection<br />
Projection g :<br />
Q<br />
q<br />
g :<br />
<br />
g<br />
<br />
,<br />
<br />
<br />
R I<br />
ρ<br />
θ<br />
q<br />
Q<br />
Rétro-projection g* :<br />
q L<br />
g * :<br />
‣ g et g * fonctions d’un nouvel espace de représentation<br />
<strong>par</strong>amétré <strong>par</strong> le triplet de variables , ,<br />
:<br />
<br />
Q, q V, ,<br />
<br />
<br />
<br />
*<br />
g ,<br />
<br />
Γ<br />
Φ<br />
Θ = θ<br />
‣ g et g* sont connues en un nombre fini de points<br />
Définition d’un maillage sur le ce nouvel espace :<br />
<br />
i 1, , I Q , q V , , <br />
i i i i i i<br />
R M<br />
Comment projeter et rétro-projeter<br />
dans ce nouvel espace discret ?<br />
26
Etalonnage géométrique d’un capteur catadioptrique<br />
Projection pour l’étalonnage non-<strong>par</strong>amétrique (1)<br />
Formulation du problème<br />
<br />
<br />
q <br />
<br />
Q , ,<br />
<br />
<br />
,<br />
<br />
<br />
T<br />
<br />
T<br />
Le problème :<br />
: un point 3D connu dans R M<br />
: approximation de Q dans R I<br />
q g Q?<br />
Q, q V <br />
Q<br />
?<br />
Interpolation numérique locale<br />
aux voisinages des points connus<br />
Méthode linéaire <strong>par</strong> une<br />
triangulation de Delaunay<br />
27
Etalonnage géométrique d’un capteur catadioptrique<br />
Projection pour l’étalonnage non-<strong>par</strong>amétrique (2)<br />
1. Q, q V, ,<br />
<br />
Q, q V , ,<br />
<br />
2. Projection des points dans le plan<br />
V<br />
<br />
O<br />
<br />
ρ<br />
ρ<br />
ρ<br />
3. Triangulation de Delaunay sur les<br />
points projetés<br />
V<br />
4. Sélection des {V 1 ,V 2 ,V 3 } tel que la<br />
projection de V soit inclus dans le<br />
triangle de Delaunay<br />
Π<br />
5. {V 1 ,V 2 ,V 3 } définissent un plan Π :<br />
<br />
<br />
V1 , V2 , V3 Π<br />
ssi : <br />
j<br />
j<br />
j<br />
<br />
θ<br />
θ<br />
θ<br />
O<br />
O<br />
V 1<br />
O<br />
^<br />
V<br />
V 3<br />
V 3<br />
^<br />
V V^<br />
V 1<br />
V 2<br />
V 2<br />
Φ<br />
Φ<br />
Φ<br />
6. VΠ<br />
ssi : <br />
28
Etalonnage géométrique d’un capteur catadioptrique<br />
Rétro-projection pour l’étalonnage non-<strong>par</strong>amétrique<br />
<br />
<br />
q <br />
<br />
,<br />
<br />
<br />
<br />
d ,<br />
<br />
T<br />
<br />
T<br />
: un point 2D connu dans R I<br />
: approximation du vecteur directeur de la<br />
ligne de vue L dans R M<br />
Le problème :<br />
d<br />
g<br />
*<br />
q<br />
?<br />
Q, q V<br />
<br />
?<br />
q<br />
Principe d’estimation similaire au<br />
processus de projection<br />
• Interpolation locale sur le modèle discret<br />
• Méthode linéaire utilisant une triangulation de Delaunay<br />
29
Plan<br />
1. Conception du capteur<br />
A. Systèmes pour la numérisation de scènes 3D<br />
B. Solution matérielle<br />
2. Etalonnage géométrique d’un capteur catadioptrique<br />
A. Etalonnage <strong>par</strong>amétrique<br />
B. Etalonnage non-<strong>par</strong>amétrique<br />
C. Méthode de pré-dimensionnement de la mire d’étalonnage<br />
3. Reconstruction 3D <strong>par</strong> vision stéréoscopique<br />
omnidirectionnelle<br />
A. Reconstruction 3D volumétrique statique<br />
B. Reconstruction 3D volumétrique dynamique<br />
4. Conclusions générales et perspectives<br />
30
Etalonnage géométrique d’un capteur catadioptrique<br />
Conception d’une mire adaptée : principe<br />
Position du problème<br />
‣ g et g * sont connues pour un nombre fini de points<br />
‣ La précision de l’étalonnage dépendant :<br />
du nombre de correspondances 3D/2D<br />
ré<strong>par</strong>tition des points d’intérêt sur la mire<br />
Distribution verticale<br />
des cercles sur le<br />
cylindre d’étalonnage<br />
Nombre de points d’intérêt<br />
<strong>par</strong> cercle directeur<br />
31
Nombre de points d’intérêt <strong>par</strong> cercle<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Méthodologie<br />
Objectif<br />
Re-créer des couples<br />
point 3D-point 2D supplémentaires<br />
Projection d’un cercle 3D : un cercle en 2D<br />
Si désalignement : une ellipse<br />
Estimation d’une conique ω<br />
A<br />
a<br />
<br />
b<br />
<br />
2 2<br />
c <br />
xi 2xi yi yi 2xi 2yi<br />
1 <br />
0<br />
d<br />
<br />
e <br />
2 2<br />
xI 2xI yI yI 2xI 2yI<br />
1 f <br />
<br />
2 2<br />
x1 2x1 y1 y1 2x1 2y1<br />
1 <br />
ω<br />
: pb de minimisation<br />
I6<br />
<br />
<br />
ω min J ω<br />
a, b, c, d , e,<br />
f<br />
<br />
T T<br />
J<br />
ω<br />
ω A Aω<br />
T<br />
ω ω 1<br />
<br />
<br />
<br />
1. Estimation des équations des<br />
projections des cercles de mire<br />
2. Sur-échantillonnage iso-angulaire<br />
des projections estimées<br />
R P<br />
ω : vecteur propre normé de A A<br />
correspondant à la plus petite<br />
des valeurs propres<br />
j<br />
j1<br />
ω<br />
<br />
, q :<br />
Echantillonnage iso-angulaire : <br />
j1<br />
q<br />
j<br />
T<br />
j1<br />
j<br />
Aux points 2D nouvellement créés correspondent des points 3D<br />
qui ap<strong>par</strong>tiennent au cercle 3D préalablement projeté<br />
32
Etalonnage géométrique d’un capteur catadioptrique<br />
Conception d’une mire adaptée : principe<br />
Position du problème<br />
‣ g et g * sont connues pour un nombre fini de points<br />
‣ La précision de l’étalonnage dépendant :<br />
du nombre de correspondances 3D/2D<br />
ré<strong>par</strong>tition des points d’intérêt sur la mire<br />
Distribution verticale<br />
des cercles sur le<br />
cylindre d’étalonnage<br />
Nombre de points d’intérêt<br />
<strong>par</strong> cercle directeur<br />
33
Distribution verticale des cercles<br />
Objectif<br />
Définir une distribution verticale<br />
adaptée des cercles sur la mire<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Maillage uniforme en 3D :<br />
ré<strong>par</strong>tition uniforme des<br />
points 3D d’intérêt<br />
Maillage uniforme en 2D :<br />
Nouvelle ré<strong>par</strong>tition des<br />
cercles sur la mire<br />
Données d’étalonnage du<br />
maillage uniforme en 3D<br />
34
ΔZ<br />
Principe<br />
‣ Deux cercles 3D contigus :<br />
‣ Avec ΔZ petit :<br />
Maillage dense<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Distribution verticale des cercles : maillage uniforme<br />
en 3D<br />
C <br />
C Z<br />
Garantie une précision importante de l’étalonnage<br />
m<br />
1<br />
m<br />
C m<br />
C 3<br />
C 2<br />
C 1<br />
35
‣ Deux cercles 2D contigus :<br />
c c <br />
n<br />
<br />
1<br />
1<br />
‣ Lignes de vue associées à<br />
n<br />
et<br />
q<br />
n<br />
<br />
, q :<br />
q n<br />
n1<br />
:<br />
<br />
n n<br />
<br />
n1<br />
n<br />
<br />
Ln Ο sin 0 cos T<br />
n M n n<br />
Possible grâce aux données d’étalonnage obtenues précédemment<br />
(cf. ré<strong>par</strong>tition uniforme en 3D)<br />
C , , ,<br />
1<br />
C C<br />
‣ Intersection avec le cylindre : <br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Distribution verticale des cercles : maillage uniforme<br />
en 2D Principe<br />
n<br />
N<br />
<br />
C n<br />
c n<br />
c 3<br />
Δρ<br />
c 2<br />
c 1<br />
C 3<br />
C 2<br />
C 1<br />
36
Résultats<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Distribution régulière<br />
des points d’intérêt 3D<br />
en simulation<br />
Distribution régulière<br />
des points d’intérêt 3D<br />
en réel<br />
Distribution adaptée<br />
des points d’intérêt<br />
3D en simulation<br />
PROTOCOLE D’EVALUATION<br />
Erreur de rétro-projection<br />
Cylindre de révolution<br />
3 cercles échantillonnés en 35 points<br />
Projection des points 3D PUIS rétroprojection<br />
sur la surface du cylindre<br />
Evaluation processus d’étalonnage<br />
pour un capteur<br />
Erreur de reconstruction<br />
2 capteurs calibrés<br />
Points 3D ré<strong>par</strong>tis aléatoirement dans une<br />
scène (5m*5m*5m)<br />
Triangulation des lignes de vue associées<br />
aux projections des points 3D<br />
Evaluation pour le banc<br />
stéréoscopique<br />
37
Etalonnage géométrique d’un capteur catadioptrique<br />
Résultats : distribution régulière en simulation<br />
‣ 221 cercles d’étalonnage<br />
espacés de ΔZ=5mm<br />
‣ Pas d’échantillonnage Δθ=1°<br />
1768 points d’intérêt +<br />
79560 re-créés<br />
38
Etalonnage géométrique d’un capteur catadioptrique<br />
Résultats : distribution régulière pour le système<br />
réel<br />
‣ Ré<strong>par</strong>tition des cercles ΔZ=25mm<br />
‣ Pas d’échantillonnage : Δθ=1°<br />
360 points d’intérêt +<br />
16200 re-créés<br />
39
Etalonnage géométrique d’un capteur catadioptrique<br />
Résultats : distribution adaptée en simulation (1)<br />
‣ Erreur moyenne de projection<br />
évaluée 29 points test<br />
Nombre de cercles 3D sur la mire<br />
Nombre de cercles sur<br />
la mire 3D<br />
5 10 15 20 30 40<br />
Erreur moyenne de<br />
projection + Ecart type 2.47 1.31<br />
0.69 0.32 0.40 0.20 0.32 0.19 0.17 0.10<br />
(pix)<br />
0.16 0.10<br />
40
Etalonnage géométrique d’un capteur catadioptrique<br />
Résultats : distribution adaptée en simulation (2)<br />
‣ 20 cercles d’étalonnage<br />
‣ Pas d’échantillonnage Δθ=1°<br />
160 points d’intérêt +<br />
7200 re-créés<br />
41
Résultats : synthèse<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Erreur moyenne de<br />
rétro-projection<br />
Erreur moyenne de<br />
reconstruction en mm<br />
Erreur moyenne de<br />
reconstruction en % de la<br />
distance aux points test<br />
Distribution régulière des points d’intérêt<br />
Simulation<br />
1.77 1.27mm<br />
14.93 12.45mm<br />
% 0.46%<br />
Cas réel<br />
<br />
2.08 2.01mm<br />
Pas d’erreur de reconstruction correspondante car impossible<br />
de connaître avec exactitude les coordonnées de points 3D<br />
Distribution adaptée des points d’intérêt<br />
Simulation<br />
1.70 1.17mm<br />
90.25 16.08mm<br />
% 2.74%<br />
42
Remarques<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
Position du problème<br />
Hypothèse contraignante de la méthode<br />
d’étalonnage proposée :<br />
Pose mire-capteur supposée connue : R M ,t M ?<br />
Problème d’estimation de pose délicat du<br />
fait du caractère non-<strong>par</strong>amétrique de l’étalonnage<br />
R M ,t M<br />
?<br />
Méthode<br />
Projection d’un cercle 3D en une ellipse en 2D<br />
Modification itérative des coordonnées des<br />
points 3D pour qu’un cercle 3D se projette en un<br />
cercle 2D<br />
43
Conclusions : « étalonnage non-<strong>par</strong>amétrique et<br />
méthode de pré-dimensionnement de la mire »<br />
‣ Méthode d’étalonnage non-<strong>par</strong>amétrique pour des capteurs catadioptriques<br />
Nouvel espace de représentation<br />
Maillage : aspect discret<br />
Interpolation numérique aux voisinages des points de référence<br />
‣ Pré-dimensionnement d’une mire 3D adaptée à la résolution du capteur<br />
Utilisation des spécificités des projections des points de mire<br />
‣ Résultats :<br />
Approche empirique<br />
Validation de la méthode<br />
Etalonnage géométrique d’un capteur catadioptrique<br />
CONCEPTION<br />
CAPTEUR<br />
ETALONNAGE<br />
CAPTEUR<br />
RECONSTRUCTION<br />
3D DE SCENES<br />
44
Plan<br />
1. Conception du capteur<br />
A. Systèmes pour la numérisation de scènes 3D<br />
B. Solution matérielle<br />
2. Etalonnage géométrique d’un capteur catadioptrique<br />
A. Etalonnage <strong>par</strong>amétrique<br />
B. Etalonnage non-<strong>par</strong>amétrique<br />
C. Méthode de pré-dimensionnement de la mire d’étalonnage<br />
3. Reconstruction 3D <strong>par</strong> vision stéréoscopique<br />
omnidirectionnelle<br />
A. Reconstruction 3D volumétrique statique<br />
B. Reconstruction 3D volumétrique dynamique<br />
4. Conclusions générales et perspectives<br />
45
Reconstruction 3D <strong>par</strong> vision stéréoscopique omnidirectionnelle<br />
Principes et méthodes de reconstruction 3D<br />
(e 1,1 , e 1,2 )<br />
O 2<br />
E 2<br />
q 2<br />
Q 2<br />
R3D <strong>par</strong> mise en correspondances<br />
de primitives 2D :<br />
2D 3D<br />
Recherche des pixels stéréocorrespondants<br />
: Géométrie épipolaire<br />
Triangulation des primitives 2D ap<strong>par</strong>iées<br />
R,t<br />
(e 1,1 , e 1,2 )<br />
E 1<br />
q 1<br />
n<br />
Π<br />
Q<br />
R3D Volumétrique :<br />
3D 2D<br />
Discrétisation d’une zone d’espace<br />
en volumes élémentaires (voxels)<br />
O 1<br />
Q 1<br />
Mesure de la similarité entre les<br />
images : photo-consistance<br />
Décision quant à la nature du<br />
voxel : trans<strong>par</strong>ent, vide, opaque<br />
46
Notion de photo-consistance<br />
Reconstruction 3D <strong>par</strong> vision stéréoscopique omnidirectionnelle<br />
Définition<br />
Similarité colorimétrique des<br />
projections d’objets dans les images<br />
Voxel photo-consistant<br />
Voxel non-photo-consistant<br />
Test de similarité<br />
Test de similarité<br />
47
Reconstruction 3D <strong>par</strong> vision stéréoscopique omnidirectionnelle<br />
Reconstruction volumétrique statique (1)<br />
V<br />
Position fixe du<br />
capteur<br />
Plan image<br />
capteur Haut<br />
q H i<br />
ν i<br />
Photo-consistance<br />
des projections ?<br />
q B i<br />
Plan image<br />
capteur Bas<br />
48
Reconstruction volumétrique statique (2)<br />
Projection d’un voxel<br />
‣ Projection voxel en une surface < surface pixel<br />
projection du centre de gravité<br />
Reconstruction 3D <strong>par</strong> vision stéréoscopique omnidirectionnelle<br />
q H<br />
‣ Projection voxel en une surface > surface pixel<br />
projection des 8 sommets<br />
approximation <strong>par</strong> un rectangle englobant<br />
q B<br />
Mesure de photo-consistance associée<br />
<br />
d q<br />
B<br />
, q<br />
H<br />
<br />
‣ dans l’espace RGB<br />
B H B H B H<br />
<br />
2 2 2<br />
R R G G B B s<br />
‣ Ecart-type d’un ensemble colorimétrique<br />
c , , 1<br />
c , i<br />
cIdes rectangles R B et R H<br />
2<br />
<br />
s<br />
<br />
2<br />
0<br />
(σ 0 Ecart-type d’une<br />
surface homogène)<br />
R H<br />
R B<br />
49
Résultats (1)<br />
Reconstruction 3D <strong>par</strong> vision stéréoscopique omnidirectionnelle<br />
‣ Volume de reconstruction :<br />
500*500*200 voxels<br />
‣ Voxel : cellule 3D infinitésimale<br />
10*10*10mm 3 approximé <strong>par</strong> son<br />
centre de gravité<br />
50
Résultats (2)<br />
Reconstruction 3D <strong>par</strong> vision stéréoscopique omnidirectionnelle<br />
‣ Suppression des voxels de luminance élevée<br />
‣ Vue en coupe dans le plan YOZ<br />
51
Résultats (3)<br />
Reconstruction 3D <strong>par</strong> vision stéréoscopique omnidirectionnelle<br />
‣ Volume de reconstruction :<br />
200*200*100 voxels<br />
‣ Voxel : cellule 3D non-infinitésimale<br />
50*50*50mm 3 approximé <strong>par</strong> ses 8<br />
sommets<br />
52
Reconstruction 3D <strong>par</strong> vision stéréoscopique omnidirectionnelle<br />
Principe d’une reconstruction 3D volumétrique<br />
dynamique<br />
Définition<br />
‣ Intersection des reconstructions volumétriques statiques obtenues<br />
aux instants <br />
t, , t nt, , t Nt<br />
dyn<br />
N<br />
<br />
R3 D t : R3D t n t<br />
n0<br />
stat<br />
53
Résultats<br />
Reconstruction 3D <strong>par</strong> vision stéréoscopique omnidirectionnelle<br />
‣ Volume de reconstruction :<br />
200*200*100 voxels<br />
‣ Voxel : cellule 3D non-infinitésimale<br />
50*50*50mm 3 approximé <strong>par</strong> ses 8<br />
sommets<br />
54
Conclusions : « reconstruction 3D <strong>par</strong> vision<br />
stéréoscopique omnidirectionnelle »<br />
‣ Méthode alternative de reconstruction 3D pour des capteurs catadioptriques<br />
‣ Reconstruction 3D statique<br />
Volume de reconstruction peu creusé car peu de points de vue<br />
Reconstruction des objets sous forme de cônes dans l’espace 3D<br />
‣ Reconstruction 3D dynamique<br />
Evaluation sur un cas simple : déplacements élémentaires<br />
Silhouettes des objets reconstruits sont affinées<br />
55
Plan<br />
1. Conception du capteur<br />
A. Systèmes pour la numérisation de scènes 3D<br />
B. Solution matérielle<br />
2. Etalonnage géométrique d’un capteur catadioptrique<br />
A. Etalonnage <strong>par</strong>amétrique<br />
B. Etalonnage non-<strong>par</strong>amétrique<br />
C. Méthode de pré-dimensionnement de la mire d’étalonnage<br />
3. Reconstruction 3D <strong>par</strong> vision stéréoscopique<br />
omnidirectionnelle<br />
A. Reconstruction 3D volumétrique statique<br />
B. Reconstruction 3D volumétrique dynamique<br />
4. Conclusions générales et perspectives<br />
56
Conclusions générales (1)<br />
Conclusions générales et perspectives<br />
CONCEPTION<br />
CAPTEUR<br />
ETALONNAGE<br />
CAPTEUR<br />
RECONSTRUCTION<br />
3D DE SCENES<br />
Système de stéréovision<br />
omnidirectionnelle <strong>par</strong> capteurs<br />
catadioptriques<br />
Solution pertinente car elle permet de reconstruire en 3D à un instant t et<br />
pour des environnements dynamiques<br />
Solution pertinente pour des applications nécessitant :<br />
• Un champ d’observation important<br />
(ex. navigation de robots mobiles autonomes<br />
<strong>Thèse</strong> de Rémi Boutteau depuis septembre 2006)<br />
57
Conclusions générales (2)<br />
Conclusions générales et perspectives<br />
CONCEPTION<br />
CAPTEUR<br />
ETALONNAGE<br />
CAPTEUR<br />
RECONSTRUCTION<br />
3D DE SCENES<br />
Méthode d’étalonnage non<strong>par</strong>amétrique<br />
<strong>par</strong> un modèle discret<br />
Solution permettant de relâcher les contraintes inhérentes aux modèles<br />
Résultats pertinents qui permettent de valider l’approche<br />
Ajustement faisceaux, etc. sont délicats à mettre en œuvre<br />
58
Conclusions générales (3)<br />
Conclusions générales et perspectives<br />
CONCEPTION<br />
CAPTEUR<br />
ETALONNAGE<br />
CAPTEUR<br />
RECONSTRUCTION<br />
3D DE SCENES<br />
Reconstruction 3D volumétrique pour<br />
un capteur de stéréovision<br />
omnidirectionnelle<br />
Méthode permettant de pallier les problèmes d’ap<strong>par</strong>iement de points 2D<br />
En statique : volume peu creusé car pas assez de points de vue<br />
En dynamique : résultats concluants… mais pour des déplacements simples<br />
‣ Production scientifique : 1 article revue<br />
4 articles de conférences internationales<br />
2 <strong>par</strong>ticipations à des journées GdR<br />
59
Perspectives<br />
Conclusions générales et perspectives<br />
‣ Vérification de la pertinence de la procédure d’estimation de pose<br />
mire-capteur pour l’étalonnage non-<strong>par</strong>amétrique<br />
‣ Evaluation de la méthode d’étalonnage non-<strong>par</strong>amétrique pour des<br />
systèmes présentant des défauts d’usinage, des miroirs dont les équations<br />
ne sont pas connues ou encore des systèmes caméra-miroir désalignés<br />
‣ Réalisation d’un banc d’essai des méthodes d’étalonnage (<strong>par</strong>amétrique,<br />
non-<strong>par</strong>amétrique, modèle ad hoc, unifié, etc.)<br />
‣ Généralisation de la méthode volumétrique dynamique et implémentation sur<br />
des architectures temps-réel dédiées (<strong>Thèse</strong> de Romain Rossi depuis<br />
septembre 2006)<br />
60
Merci pour votre attention<br />
61
73.143mm<br />
45.665mm<br />
Calcul de la focale<br />
36.571mm<br />
f<br />
36.571mm<br />
28.095mm<br />
α<br />
δ/2<br />
Δ<br />
f<br />
<br />
<br />
<br />
<br />
6.579mm<br />
Ø=60mm<br />
Ø/2<br />
62
Erreurs de rétro-projection<br />
Profils d’erreur de rétro-projection<br />
spécifiques :<br />
Arches de sinusoïde<br />
Variations entre les diamètres<br />
des projections 2D opposées<br />
Cercle Ellipse<br />
Points test proche des points<br />
de référence du maillage<br />
Cercle<br />
Ellipse<br />
63