Introduccion al uso de OpenCV (2) - Cimat

Introduccion al uso de OpenCV (2) 

Dr. J.B. Hayet 

CENTRO DE INVESTIGACIÓN EN MATEMÁTICAS 

Agosto 2007 

, 

J.B. Hayet OpenCV parte 2, Agosto 2007 1 / 64

Outline 

1 OpenCV : funcionalidades de procesamiento de imágenes 

2 OpenCV : funcionalidades de geometría 

3 OpenCV y IPP 

4 Usando scripts : los wrappers Python 

5 Tricks 

, 


Procesamiento de imágenes con OpenCV 

OpenCV contiene un gran numero de funcionalidades entre las mas 

clásicas de procesamiento de imágenes : filtrados, derivación, 

operadores morfológicos. . . 

Recorrer la documentación para verificar si una función dada esta 

implementada o no. 

, 


Image Processing 

Gradients, Edges and Corners 

Sampling, Interpolation and Geometrical Transforms 

Morphological Operations 

Filters and Color Conversion 

Pyramids and the Applications 

Image Segmentation, Connected Components and Contour 

Retrieval 

Image and Contour Moments 

Special Image Transforms 

Histograms 

Matching 

, 


Structural Analysis 

Contour Processing 

Computational Geometry 

Planar Subdivisions 

, 


Motion Analysis and Object Tracking 

Accumulation of Background Statistics 

Motion Templates 

Object Tracking 

Optical Flow 

Estimators 

, 


Pattern Recognition 

Object Detection 

, 


Camera Calibration and 3D Reconstruction 

Camera Calibration 

Pose Estimation 

Epipolar Geometry 

, 


OpenCV : funcionalidades de procesamiento de imágenes 

Outline 





5 Tricks 

, 



Conversión entre espacios de color 

void c v C v t C o l o r ( const CvArr ∗ s r c , CvArr ∗ dst , 

i n t code ) ; 

Con el code de la forma siguiente CV ESPA12ESPA2, donde ESPA1 

y ESPA2 pueden ser entre : BGR, RGB, XYZ, YCrCb, HSV 

, 



Umbral 

Umbral : 

double c v T h r e s h o l d ( const CvArr ∗ s r c , 

CvArr ∗ dst , double t h r e s h o l d , 

double max val , i n t t h r e s h t y p e ) ; 

, 



Filtros 

void c v F i l t e r 2 D ( const CvArr ∗ s r c , CvArr ∗ dst , 

const CvMat∗ k e r n e l , 

CvPoint anchor=c v P o i n t ( −1 , −1)); 

Ejemplo de uso: 

CvMat∗ k e r n e l = cvCreateMat ( 1 1 , 1 1 , CV 32F ) ; 

cvSet ( k e r n e l , 

c v S c a l a r ( 1 . / ( k e r n e l −>rows ∗ k e r n e l −>c o l s ) ) ) ; 

c v F i l t e r 2 D (A, B, k e r n e l , 

c v P o i n t ( k e r n e l −>c o l s /2 , 

k e r n e l −>rows / 2 ) ) ; 

, 



Filtros : smoothing 

Una función de smoothing mas especializada que cvFilter2D : 

void cvSmooth ( const CvArr ∗ s r c , CvArr ∗ dst , 

i n t smoothtype=CV GAUSSIAN , 

i n t param1=3, i n t param2=0, 

double param3=0, double param4=0 ) ; 

, 



Filtros : smoothing 

Tipos de filtraje con cvSmooth: 

# CV BLUR NO SCALE 

# CV BLUR ( s i m p l e b l u r ) 

# CV GAUSSIAN ( g a u s s i a n b l u r ) 

# CV MEDIAN ( median b l u r ) 

# CV BILATERAL 

, 



Derivadas y bordos 

Sobel, Canny 

void c v S o b e l ( const CvArr ∗ s r c , CvArr ∗ dst , 

i n t xorder , i n t yorder , 

i n t a p e r t u r e s i z e =3); 

void cvCanny ( const CvArr ∗ image , CvArr ∗ edges , 

double t h r e s h o l d 1 , 

double t h r e s h o l d 2 , i n t a p e r t u r e s i z e =3); 

, 




, 




, 



Laplaciano 

, 



Imágenes integrales 

Pueden revelarse muy útiles para cálculos muy rápidos de sumas 

sobre ventanas (las Haar wavelets por ejemplo). 

void c v I n t e g r a l ( const CvArr ∗ image , CvArr ∗ sum , 

CvArr ∗ sqsum=NULL , CvArr ∗ t i l t e d s u m=NULL ) ; 

, 



Pirámides gausianas 

Muy útiles para razonamiento multi-escala : 

Down-sampling y filtrado gausiano : 

void cvPyrDown ( const CvArr ∗ s r c , CvArr ∗ dst , 

i n t f i l t e r =CV GAUSSIAN 5x5 ) ; 

Up-sampling : 

void cvPyrUp ( const CvArr ∗ s r c , CvArr ∗ dst , 

i n t f i l t e r =CV GAUSSIAN 5x5 ) ; 

, 



Pirámides gausianas 

, 



Morfología matemática 

Flexibilidad en la definición del elemento estructurante 

I p l C o n v K e r n e l ∗ c v C r e a t e S t r u c t u r i n g E l e m e n t E x ( 

i n t c o l s , i n t rows , 

i n t anchx , i n t anchy , 

i n t shape , 

i n t ∗ v a l u e s=NULL ) ; 

c v R e l e a s e S t r u c t u r i n g E l e m e n t ( I p l C o n v K e r n e l ∗∗ e l ) ; 

Elemento no necesariamente simétrico (anchor) 

, 




Formas soportadas 

CV SHAPE RECT 

CV SHAPE CROSS 

CV SHAPE ELLIPSE 

CV SHAPE CUSTOM 

En caso de CUSTOM, se usan los valores del arreglo values 

, 




Operadores básicos : 

void cvErode ( const CvArr ∗ s r c , CvArr ∗ dst , 

I p l C o n v K e r n e l ∗ element=NULL , i n t i t e r a t i o n s =1); 

void c v D i l a t e ( const CvArr ∗ s r c , CvArr ∗ dst , 

I p l C o n v K e r n e l ∗ element=NULL , i n t i t e r a t i o n s =1); 

, 




, 



Puntos de interés 

Todos los métodos implementados son basados en la matriz de 

autocorrelación : 

void cvCornerMinEigenVal ( const CvArr ∗ img , CvArr ∗ eig , 

i n t b l o c k s i z e , i n t a p s i z e =3); 

void c v C o r n e r H a r r i s ( const CvArr ∗ image , CvArr ∗ dst , 

i n t b l o c k s i z e , i n t a p s i z e =3, 

double k =0.04 ) ; 

void cvFindCornerSubPix ( const CvArr ∗ img , 

CvPoint2D32f ∗ c o r n e r s , 

i n t count , 

CvSize win , CvSize z e r o z o n e , 

C v T e r m C r i t e r i a c r i t e r i a ) ; 

, 



LK tracking 

Método de Lucas-Kanade para el seguimiento de puntos de interés 

(funciona bien para puntos de tipo esquinas, detectados por los 

operadores vistos antes) 

void cvCalcOpticalFlowLK ( const CvArr ∗ prev , 

const CvArr ∗ c u r r , 

CvSize w i n s i z e , 

CvArr ∗ v e l x , CvArr ∗ v e l y ) ; 

, 



LK tracking 

, 



Histogramas 

typedef s t r u c t CvHistogram { 

i n t type ; 

CvArr ∗ b i n s ; 

f l o a t t h r e s h [ CV MAX DIM ] [ 2 ] ; /∗ uniform h i s t . ∗/ 

f l o a t ∗∗ t h r e s h 2 ; /∗ non−uniform h i s t . ∗/ 

CvMatND mat ; /∗ m a t r i x header f o r a r r a y h i s t . ∗/ 

} CvHistogram ; 

, 



Histogramas 

CvHistogram ∗ c v C r e a t e H i s t ( i n t dims , i n t ∗ s i z e s , 

i n t type , 

f l o a t ∗∗ r a n g e s=NULL , 

i n t uniform=1 ) ; 

void c v R e l e a s e H i s t ( CvHistogram ∗∗ h i s t ) ; 

void c v N o r m a l i z e H i s t ( CvHistogram ∗ h i s t , double f a c t o r 

void c v C a l c H i s t ( I p l I m a g e ∗∗ image , CvHistogram ∗ h i s t , 

i n t accumulate =0, const CvArr ∗ mask=N 

#define cvQueryHistValue 1D ( h i s t , i d x 0 ) \ 

cvGetReal1D ( ( h i s t )−>bins , ( i d x 0 ) ) 

#define cvQueryHistValue 2D ( h i s t , idx0 , i d x 1 ) \ 

cvGetReal2D ( ( h i s t )−>bins , ( i d x 0 ) , ( i d x 1 ) ) 

#define cvQueryHistValue 3D ( h i s t , idx0 , idx1 , i d x 2 ) 

cvGetReal3D ( ( h i s t )−>bins , ( i d x 0 ) , ( i d x 1 ) , ( i d x 2 ) 

, 



Histogramas : ejemplo 

, 



Histogramas : comparación 

Varias métricas para histogramas : 

double cvCompareHist ( const CvHistogram ∗ h i s t 1 , 

const CvHistogram ∗ h i s t 2 , 

i n t method ) ; 

CV COMP CORREL 

CV COMP CHISQR 

CV COMP INTERSECT 

CV COMP BHATTACHARYYA 

, 



Transformada de Hough 

Método clásico de acumulación para la detección de objetos 

parametrizados : 

CvSeq∗ cvHoughLines2 ( CvArr ∗ img , void ∗ l i n e s t o r a g e , 

i n t method , 

double rho , double theta , 

i n t t h r e s h , 

double par1 =0, double par2 =0); 

CvSeq∗ c v H o u g h C i r c l e s ( CvArr ∗ img , void ∗ c i r c s t o r a g e , 

i n t method , 

double dp , double m i n d i s t , 

double par1 =100 , 

double par2 =100 , 

i n t m i n r a d i u s =0, 

i n t m a x r a d i u s =0); 

, 



Transformada de Hough : lineas rectas 

, 



Transformada de Hough : círculos 

, 



Detección de caras 

Un ejemplo que viene por default con OpenCV: 

, 



Ada-boost con Haar wavelets 

, 



Ada-boost con Haar wavelets 

La idea es hacer detección de objetos de una clase dada usando una 

cascada de clasificadores débiles (típicamente, por una de las Haar 

wavelets) 

CvSeq∗ c v H a a r D e t e c t O b j e c t s ( const CvArr ∗ image , 

C v H a a r C l a s s i f i e r C a s c a d e ∗ c 

CvMemStorage∗ s t o r a g e , 

double s c a l e f a c t o r =1.1 , 

i n t m i n n e i g h b o r s =3, 

i n t f l a g s =0, 

CvSize m i n s i z e=c v S i z e ( 0 , 0 ) 

, 


Outline 

OpenCV : funcionalidades de geometría 





5 Tricks 

, 


Calibración 


Por el momento, viene implementado un metodo clásico basado en 

motivo 3D (Tsai) para estimar parametros intrinsecos y extrinsecos. 

Ademas tiene las herramientas necesarias para usarla muy 

simplemente en casos planos (detección de motivos de tipo ajedrez) 

, 




Función de calibración : 

void c v C a l i b r a t e C a m e r a 2 ( const CvMat∗ o b j e c t p o i n t s , 

const CvMat∗ i m a g e p o i n t s , 

const CvMat∗ p o i n t c o u n t s , 

CvSize i m a g e s i z e , 

CvMat∗ i n t r i n s i c m a t r i x , 

CvMat∗ d i s t o r t i o n c o e f f s , 

CvMat∗ r o t v e c t o r s=NULL , 

CvMat∗ t r a n s v e c t o r s=NULL , 

i n t f l a g s =0 ) ; 

, 




, 



Calibración: distorsión radial y tangencial 

Corrección de la distorsión : 

void c v U n d i s t o r t 2 ( const CvArr ∗ s r c , CvArr ∗ dst , 

const CvMat∗ i n t r i n s i c m a t r i x , 

const CvMat∗ d i s t o r t i o n c o e f f s ) ; 

, 



Calibración : distorsión radial y tangencial 

, 



Calculo de transformaciones geométricas 

void cvFindHomography ( const CvMat∗ s r c p o i n t s , 

const CvMat∗ d s t p o i n t s , 

CvMat∗ homography ) ; 

i n t cvFindFundamentalMat ( const CvMat∗ p o i n t s 1 , 

const CvMat∗ p o i n t s 2 , 

CvMat∗ f u n d a m e n t a l m a t r i x , 

i n t method=CV FM RANSAC , 

double param1 =1. , 

double param2 =0.99 , 

CvMat∗ s t a t u s=NULL ) ; 

, 



Estimación de la pose (cámara calibrada) 

void cvPOSIT ( CvPOSITObject∗ p o s i t o b j e c t , 

CvPoint2D32f ∗ i m a g e p o i n t s , 

double f o c a l l e n g t h , 

C v T e r m C r i t e r i a c r i t e r i a , 

CvMatr32f r o t a t i o n m a t r i x , 

CvVect32f t r a n s l a t i o n v e c t o r ) ; 

La estructura CvPOSITObject contiene los puntos 3D del objeto 

sobre el cual nos localizamos. 

, 



Geometría epipolar 

Lineas epipolares correspondientes de unos puntos 2D 

void c v C o m p u t e C o r r e s p o n d E p i l i n e s ( 

const CvMat∗ p o i n t s , 

i n t which image , 

const CvMat∗ f u n d a m e n t a l m a t r i x , 

CvMat∗ c o r r e s p o n d e n t l i n e s ) ; 

, 


Outline 

OpenCV y IPP 





5 Tricks 

, 


IPP 


IPP (Integrated Performance Primitives) es una parte de las 

bibliotecas de computo desarrolladas por Intel para aprovechar 

de las características mas avanzadas de sus procesadores 

(SIMD) 

Provee funciones soportando el multi-core, y muy bien 

optimizadas 

Soporte 64 bits 

, 



IPP : ¿ dónde esta la magia ? 

Funcionalidad SIMD (single instruction, multiple data) : 

registros de 64 o 128 bits. 

Un registro de 128 bits puede contener 4 int, 4 float 

Intel: MMX y luego SSE (Streaming SIMD extension) 

En general, adaptado a toda clase de problemas vectorizables 

(muchos tratamientos locales independientes 

Cuidado al alineamiento de los datos 

, 


IPP: Scope 


Video encoding/deco- Audio decoding/en- Compresión de datos 

dingcoding 

Procesamiento de Vision Procesamiento de 

imagenes 

señal 

Vectores y matrices JPEG/JPEG2000 Criptografia 

Procesamiento del hablar 

Rendido ... 

, 


Ejemplo 


I p p S t a t u s ippiRGBToGray ( 

const Ipp∗ pSrc , i n t s r c S t e p , 

Ipp∗ pDst , i n t dstStep , I p p i S i z e r o i S i z e ) ; 

Valores de mod: 

8u C3C1R 16u C3C1R 16 s C3C1R 32 f C3C1R 

8u AC4C1R 16u AC4C1R 16s AC4C1R 32 f AC4C1R 

, 



Cuanto se mejoran las performancias 

Tipo de funcionalidad Incremento de velocidad 

Piramides gausianas ≈ 3× 

Morfología ≈ 3 − 7× 

Convolucion linear ≈ 2 − 8× 

Conversion color ≈ 1 − 3× 

Detección de esquinas ≈ 1.8× 

, 


IPP y OpenCV 


Llamadas a funciones están integradas a una gran parte de 

OpenCV 

Se decide en el tiempo de la ejecución si se usa o no IPP 

Para que se use, se necesita poner unas variables de entorno 

(de tal manera que las librerías de IPP estén en el path) 

, 


IPP y OpenCV 

Verificar que sí se usa IPP: 


const char ∗ p l u g i n i n f o= 0 ; 

cvGetModuleInfo (0 ,0 ,& p l u g i n i n f o ) ; 

i p p i s u s e d= ( p l u g i n i n f o != 0) && 

s t r s t r ( p l u g i n i n f o , ”ipp” )!=0; 

Apagar el uso de IPP y ponerlo otra vez: 

cvUseOptimized ( 0 ) ; . . . cvUseOptimized ( 1 ) ; 

, 


Outline 

Usando scripts : los wrappers Python 





5 Tricks 

, 



Python y OpenCV 

Uso de Python ideal para prototipos, preparar demos 

Wrappers generados automáticamente (SWIG) 

Instalado automáticamente (necesita SWIG) 

Memoria manejada automáticamente 

, 




No hay IplImage acá, solo CvMat 

Iteratores 

x = cvCreateMat (m, n , type ) 

f o r row i n x : 

# row i s same as t h a t r e t u r n e d by cvGetRow 

o : 

f o r c o l i n x . c o l r a n g e ( ) : 

# c o l i s same as t h a t r e t u r n e d by cvGetCol 

, 




Aceso por el operador [], notaciones a la Matlab 

c o l = x [ : , i ] 

s l i c e = x [ 0 : 1 0 , 0 : 1 0 ] 

elem1 = x [ i , j ] 

elem2 = x [ i ] [ j ] 

x [ : , : ] = 1 

x [ 0 : 1 0 , i ] = [ 0 , 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 , 9 ] 

, 




Información muy útil en cuanto a la interfase Python : 

http://opencvlibrary.sourceforge.net/PythonInterface 

, 


Outline 

Tricks 





5 Tricks 

, 


Uso de la memoria 

Tricks 

La memoria esta manejada ”à la C”: cuidado de bien liberar los 

espacios reservados por las funciones de tipo Create o Clone. 

c v R e l e a s e I m a g e 

cvReleaseMat 

. . . 

, 


Tricks 

Soporte de funciones en sitio 

Checar en la documentacion si la funcion que se usa soporta un 

procesamiento en sitio (dst=src). Una mayoría de funciones sí lo 

soportan. 

, 


Alineación de datos 

Tricks 

Para optimizar el tratamiento de los datos, es mejor alinear las lineas 

sobre 4 o 8 octetos (es automático con funciones de tipo create) 

,

Introduccion al uso de OpenCV (2) - Cimat

Create successful ePaper yourself

Delete template?

Save as template?