Processamento e Análise de Imagem em Engenharia Biomédica ...

Processamento e Análise de Imagem em 

Engenharia Biomédica 

João Manuel R. S. Tavares 

tavares@fe.up.pt www.fe.up.pt/~tavares 

Bragança 

18 Março 2010

Conteúdo 

• Apresentação 

• Introdução 

• Tarefas e Aplicações 

– Segmentação 

– Seguimento 

– Emparelhamento, Alinhamento e Morphing 

– Reconstrução 3D 

• Conclusões 

• Equipa 

João Manuel R. S. Tavares Processamento e Análise de Imagem em Engenharia Biomédica 2

Apresentação

Apresentação 

• Prof. Auxiliar no Dep. de Eng. Mecânica (DEMec) da Fac. de 

Eng. da Universidade do Porto (FEUP) 

• Investigador Sénior e Coordenador de Projecto no Lab. de 

Óptica e Mecânica Experimental (LOME) do Instituto de Eng. 

Mecânica e Gestão Industrial (INEGI) 

• Doutorado e Mestre em Eng. Electrotécnica e de Computadores 

(FEUP) (com Tese e Dissertação na área do Processamento e Análise de 

Imagem) 

• Licenciado em Eng. Mecânica (FEUP) 

• Áreas de Investigação: Processamento e Análise de Imagem 

(segmentação, seguimento, emparelhamento, alinhamento e reconstrução 

3D), Interfaces Homem/Máquina (visualização de dados e percepção 

humana), Desenvolvimento de Produto (sistemas protótipos 

biomédicos) 


Processamento e Análise de Imagem em Engenharia Biomédica 

4

Introdução

Processamento e Análise de Imagem 

• O sistema sensorial da visão tem elevada importância para 

grande parte dos seres vivos 

– Podendo disponibilizar informações de índole mais básica, como 

verificar a existência ou não de obstáculos, ou mais complexa, 

como o seguimento e análise de movimento 

– Operações comuns: identificação (segmentação), seguimento de 

movimento (seguimento e análise), correspondência e 

alinhamento (emparelhamento e alinhamento), obtenção da 

forma 3D (reconstrução 3D) 



• Os investigadores desta área do conhecimento tentam 

desenvolver algoritmos computacionais para realizar de 

forma automática, ou semi-automática, operações e 

tarefas desenvolvidas pelos (complexos) sistemas de 

visão dos seres vivos 

Imagens 

Modelo 3D obtido 

originais voxelizado poligonizado 

Azevedo et al. (2009), Computer Methods in Biomechanics and Biomedical Engineering (in press) 



• Exemplos de tarefas mais comuns usando algoritmos de 

Processamento e Análise de Imagem são: remoção de 

ruído, correcção geométrica, compressão, segmentação 

(2D/3D), seguimento e análise de movimento (2D/3D), 

emparelhamento e alinhamento (2D/3D), reconstrução 

3D, etc. 

• Domínios em que são frequentes algoritmos de 

Processamento e Análise de Imagem: Medicina, Industria, 

Engenharia, Biomecânica, Realidade Virtual, etc. 


Processamento e Análise de Imagem - Sumário 

imagens 

melhoramento 

de imagem 

processamento de 

imagem 

análise de 

movimento 

análise de imagem 

segmentação/ extracção 

de características 

seguimento 

emparelhamento 

alinhamento 

morphing 

reconstrução 3D 


Tarefas e Aplicações: 

Segmentação

Segmentação 

• Pretende-se identificar de forma automática, ou semiautomática, 

as estruturas presentes numa imagem (2D/3D) 

• As metodologias mais comuns são baseadas em 

modelizações geométricas, estatísticas e físicas 

• É uma das operações mais usuais em Processamento e 

Análise de Imagem, sendo frequentemente a primeira 

“grande” tarefa considerada 

• Problemas envolvidos: ruído, baixa resolução, reduzido 

contraste, formas não conhecidas, oclusões parciais, 

múltiplas estruturas presentes, etc. 


contact layer 

+ glass 

Segmentação 

• Exemplo: segmentação de contornos em pedobarografia 

dinâmica (Otsu, operadores morfológicos) 

mirror 

lamp 

camera 

pressure 

reflected light 

opaque layer 

transparent 

layer 

glass 

lamp 

Imagens originais 

Bastos & Tavares (2004), Lecture Notes in Computer Science 3179:39-50 

Após segmentação 


Segmentação 

• Exemplo: segmentação de massas em imagens de 

mamografia (transformada de Hough) 

Chagas et al. (2007), VIPimage 2007 

Imagem original Após segmentação 


Segmentação 

• Exemplo: segmentação de características faciais 

(image template matching) 

Imagem original 

( ) 

ift 2D 

CC 

Carvalho & Tavares (2005), CMNI 2005 

fft fft 

× 

max CC 

João Manuel R. S. Tavares Processamento e Análise de Imagem em Engenharia Biomédica 14 

ift 

Imagem template 

( ) 

ift 3D 

CC

Segmentação 

• Exemplo: segmentação de características 

faciais (protótipos geométricos deformáveis) 

Imagem original e dos campos 

de forças considerados 

Carvalho & Tavares 2006, CompIMAGE 2006 

Carvalho & Tavares 2007, VipIMAGE 2007 

Segmentação da íris usando um 

protótipo deformável (circulo) 

Determinação do 

olho usando um 

protótipo deformável 


Segmentação 

• Exemplo: segmentação de faces 

(modelos estatísticos de pele) 

Amostras de zonas de pele 

usadas para construir o modelo 

Carvalho & Tavares (2005), CMNI 2005 

Função de probabilidade 

usada 

Imagem original e imagem 

após segmentação 


Segmentação 

• Exemplo: segmentação em movimento humano 

(modelos estatísticos background/foreground) 

Método de subtracção do background 

Método de segmentação do foreground 

Vasconcelos & Tavares 2008, WCCM8 / ECCOMAS 2008 


Segmentação 

• Exemplo: segmentação de mãos e faces 

(modelos pontuais de distribuição) 

Etapas da segmentação numa nova imagem 

Vasconcelos & Tavares (2008), Computer Modeling in Engineering & Sciences 36(3):213-241 


Segmentação 

• Exemplo: segmentação para análise da forma do tracto 

vocal (modelos pontuais de distribuição) 

Imagem etiquetada Forma original Forma segmentada 

Vasconcelos et al. (2010), Journal of Voice (submitted) 


Segmentação 

• Exemplo: segmentação em imagens médicas 

(modelos físicos deformáveis - contornos activos - snakes) 

Imagem original e 

contorno inicial 

Contorno final 

obtido 

Tavares et al. (in press), International Journal for Computational Vision and Biomechanics 


Segmentação 

• Exemplo: segmentação de objectos 

(modelos físicos deformáveis - FEM, eq. de Lagrange) 

borracha 

k = 200N/m 

14s 

Imagem original e contorno inicial Contorno final 

Gonçalves et al. (2008), Computer Modeling in Engineering & Sciences 32(1):45-55 


Segmentação 

• Exemplo: segmentação em imagens médicas 

(modelos físicos deformáveis - level-sets) 

Imagem original Segmentação inicial Segmentação final 

Perdigão et al. (2005), Encontro_1_Biomecânica 


Segmentação 

• Exemplo: plataforma computacional para segmentação de 

estruturas em imagens médicas (VTK, ITK, OpenCV) 

Ma et al. (2008), CMBBE2008 

Interface da plataforma 


Segmentação 

• Exemplo: segmentação de estruturas da cavidade pélvica 

usando a plataforma computacional desenvolvida em 

imagens de ressonância magnética 

Region Growing Watershed 

Geodesic Active Contour 

Malladi’s Algorithm 

Ma et al. (in press), Computer Methods in Biomechanics and Biomedical Engineering 



Seguimento

Seguimento 

• Pretende-se seguir o movimento e/ou a deformação de 

estruturas em sequências de imagem (2D/3D) 

• Nesta área, destacam-se as metodologias baseadas em 

emparelhamento de blocos e em métodos estocásticos 

• Usualmente, envolve a estimativa do movimento 

envolvido, a gestão das entidades seguidas, a análise 

do movimento seguido bem como a sua quantificação 

• Problemas envolvidos: movimento não rígido, distorção 

geométrica, condições de iluminação, oclusão, ruído, 

múltiplas estruturas, etc. 


Processamento e Análise de Imagem em Engenharia Biomédica 

26

Seguimento 

• Exemplo: seguimento humano em sequências de imagem 

(Kalman, optimização) 

Predição Área de incerteza Medição Correspondência Resultado 

Pinho et al. (2005), ICCB 2005, 915-926 

Pinho & Tavares (2009), Computer Modeling in Engineering & Sciences 46(1):51-75 


Seguimento 

• Exemplo: análise da marcha com 

detecção de eventos 

(Kalman, optimização) 

Sousa et al. (2007), ISHF2007, 331-340 

Sousa et al. (2007), ICCB 2007, 291-296 


Seguimento 

• Exemplo: seguimento de ratos em sequências de imagem 

(Kalman, optimização, modelo de gestão) 

Pinho et al. (2005), LSCCS, Vol. 4A:463-466 

Pinho et al. (2007), International Journal of Simulation Modelling 6(2):84-92 

(547 frames) 



Emparelhamento, 

Alinhamento e Morphing

Emparelhamento, Alinhamento e Morphing 

• Emparelhamento 

– É uma das tarefas mais usuais em Processamento e Análise de 

Imagem, por exemplo, para alinhar estruturas, reconhecer 

estruturas, obter informação 3D, analisar movimento, etc. 

– Geralmente é conseguido através da consideração de 

características invariantes, como a curvatura, ou de deslocamentos 

em espaços globais, como no espaço modal ou de Fourier 

– Problemas envolvidos: oclusão, deformações não rígidas, 

variações elevadas de forma, etc. 



• Alinhamento 

– É uma tarefa habitualmente necessária para comparar estruturas 

representadas em imagens adquiridas em instantes de tempo 

distintos ou segundo diferentes condições/técnicas 

– O alinhamento é essencial, por exemplo, em medicina para 

analisar a evolução de patologias a partir de imagens 

– Geralmente é conseguido através da consideração de 

características invariantes, pontos de curvatura máxima, 

emparelhamento e estimativa da transformação envolvida 

– Problemas envolvidos: características não determinadas 

facilmente, deformações não rígidas, variações elevadas de forma, 

etc. 



• Morphing 

– É uma tarefa muito usada em Computação Gráfica mas também 

muito útil em Processamento e Análise de Imagem, por exemplo, 

para estimar a deformação existente entre duas estruturas distintas 

ou entre dois instantes de uma mesma estrutura, estimar as 

transições entre duas formas adquiridas com espaçamento 

temporal elevado, etc. 

– Geralmente é conseguida através da consideração de 

transformações geométricas 

– No entanto, quando se deve considerar o comportamento físico 

das estruturas envolvidas, devem ser usadas metodologias e 

modelizações físicas (por exemplo, usando FEM) 

• Dificuldades comuns são relativas à estimativas das forças envolvidas 

e das propriedades adoptadas para os materiais (virtuais) 

• Fase de emparelhamento das estruturas torna-se crucial 


Emparelhamento 

• Exemplo: emparelhamento em pedobarografia dinâmica 

(modelização física - FEM, análise modal, optimização) 

Imagem de 

pedobarografia 

dinâmica 

Objecto Inicial Objecto Final Emparelhamento 

obtido 

Tavares & Bastos (2005), Electronic Letters on Computer Vision and Image Analysis 5(3):1-20 


Emparelhamento 

• Exemplo: emparelhamento em pedobarografia dinâmica 

(modelização física - FEM, análise modal, optimização) 

Emparelhamentos obtidos 

entre iso-contornos 

Emparelhamentos obtidos 

entre superficies 

Tavares & Bastos (2005), Electronic Letters on Computer Vision and Image Analysis 5(3):1-20 


Alinhamento 

• Exemplo: alinhamento de imagens de pedobarografia 

(modelação geométrica, optimização, programação dinâmica) 

Imagens e contornos originais Contornos e imagens antes e 

após o alinhamento 

Oliveira et al. (2009), Journal of Biomechanics 42(15):2620-2623 


Alinhamento 

• Exemplo: alinhamento de imagens de pedobarografia 

(transformada de Fourier) 

Imagens originais Imagens antes e após 

o alinhamento 

Oliveira et al. (in press), Computer Methods in Biomechanics and Biomedical Engineering 


Alinhamento 

• Exemplo: alinhamento espacial e temporal de imagens de 

pedobarografia dinâmica 

(em curso) 

Imagens originais Pré-alinhamento 

Imagens 

pré-processadas 

Pós-alinhamento 


Morphing 

• Exemplo: morphing de objectos em imagens 

(modelização física - FEM, emparelhamento modal, eq. de Lagrange) 

Emparelhamentos Deformações estimadas 

Tavares & Pinho (2005), InfoComp 4(1):9-18 

Gonçalves et al. (2008), Computer Modeling in Engineering & Sciences 32(1):45-55 


Emparelhamentos Deformações estimadas 


Morphing 

• Exemplo: morphing de objectos em imagens 

(modelização física - FEM, 

emparelhamento modal, 

eq. de Lagrange) 


Gonçalves et al. (2008), Computer Modeling in Engineering & Sciences 

32(1):45-55 

Emparelhamentos 

obtidos 

Deformações 

estimadas 



Reconstrução 3D

Reconstrução 3D 

• Pretende-se obter a forma 3D de estruturas a partir de 

imagens 2D 

• Nesta área, destacam-se as metodologias baseadas em: 

1) formas exteriores: técnicas activas (com projecção de 

energia ou movimento relativo), passivas (sem projecção 

de energia ou movimento relativo) e de escavação 

espacial; 2) formas interiores: segmentação 2D (contornos, 

por exemplo) e interpolação 

• Usualmente, envolve tarefas de calibração, segmentação, 

emparelhamento, triangulação e interpolação 

• Problemas envolvidos: distorção geométrica, condições de 

iluminação, oclusão, ruído, formas complexas, etc. 



• Exemplo: reconstrução 3D a partir de imagens de 

ressonância magnética da cavidade pélvica 

(modelos deformáveis, interpolação) 

Slices Segmentação Pavimento pélvico 

reconstruído 

Pimenta et al. (2006), CompIMAGE 2006, 343-348 

Alexandre et al. (2007), VipIMAGE 2007, 359-362 

Estruturas da cavidade 

pélvica reconstruídas 



• Exemplo: reconstrução 3D a partir de imagens de médicas 

(modelos deformáveis - level-sets, interpolação) 

Segmentação obtida num slice e 

reconstrução 3D obtida 

Perdigão et al. (2005), CMNI 2005 

Algumas estruturas do braço reconstruídas 3D 



• Exemplo: reconstrução 3D de objectos a partir de pares de 

imagem 2D 

(técnicas de visão activa) 

Par de imagens original 

Azevedo et al. (2006), VISAPP 2006, 383-388 

Mapa de disparidade obtido 



• Exemplo: reconstrução 3D de estruturas anatómicas 

(escavação temporal) 

Imagens originais Modelo 3D obtido 

voxelizado 


poligonizado 

Azevedo et al. (2008), Advances in Computational Vision and Medical Image Processing: Methods and 

Applications, 117-136 






voxelizado 

Azevedo et al. (in press), Computer Methods in Biomechanics and Biomedical Engineering 


poligonizado 






voxelizado 


poligonizado 

Azevedo et al. (in press), Computer Methods in Biomechanics and Biomedical Engineering 


Conclusões

Conclusões 

• O Processamento e Análise de Imagem é uma área 

multidisciplinar com elevada aplicabilidade em vários 

domínios 

• Existem inúmeros desafios associados: imagens de baixa 

qualidade, estruturas complexas e com variações 

topológicas, falta de conhecimento apriori, movimento não 

rígido, múltiplas estruturas, oclusão, etc. 

• Muito trabalho já foi desenvolvido, mas muito há ainda a 

fazer, inclusive na validação em contexto real 

• Um domínio no qual existe um vasto número de aplicações 

é o da Engenharia Biomédica: análise da marcha, 

pedobarografia, sistemas CAD, telemedicina, cirurgia 

assistida e virtual, etc. 


Equipa

Equipa (Processamento e Análise de Imagem) 

• Alunos de Doutoramento (14): 

– Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos, 

Ilda Reis, Teresa Azevedo, Daniel Moura, Zhen Ma, Elza Chagas, 

Victor Albuquerque, Francisco Oliveira, Eduardo Ribeiro, Eduardo 

Gomes, João Nunes, Alex Araujo 

• Alunos de Mestrado (12): 

– Em curso: Carlos Faria, Elisa Barroso, Ana Jesus, Pedro Ferreira 

– Finalizados: Daniela Sousa, Francisco Oliveira, Teresa Azevedo, 

Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, 

Jorge Gonçalves 

• Alunos de Licenciatura (2) 

– Finalizados: Ricardo Ferreira, Soraia Pimenta 



• Colaboradores 

– Renato Natal Jorge, Luisa Sousa, Fernanda Gentil, Mário Vaz, 

Miguel Correia, Jorge Barbosa, Francisco Freitas (FEUP) 

– Luís Durão (ISEP) 

– Emília Mendes (CRPG) 

– Diana Miranda, Georgeta Oliveira, Ricardo Duarte (HPH) 

– Durval C. Costa (HPP-Medicina Molecular, SA.) 

– Ana Mafalda Reis, Manuel Laranjeira (ICBAS) 

– Adelino Leite-Moreira (FMUP) 

– Filipa Sousa, João Paulo Vilas-Boas (FCDUP) 

– Isabel Figueiredo (UC) 

– Adélia Cerqueira (IST) 



• Colaboradores 

– Chandrajit Bajaj (UTA, USA) 

– Todd Pataky (Shinshu University, Japan) 

– Chris Constantinou (Stanford University of Medicine, USA) 

– Denilson Rodrigues (PUC - Minas Gerais, Brasil) 

– João Paulo Papa (Universidade Estadual Paulista, Brasil) 

– Aledir Silveira Pereira (Universidade Estadual Paulista, Brasil) 

– … 


Muito Obrigado pela 

Vossa Atenção! 

Processamento e Análise de Imagem em 

Engenharia Biomédica 


tavares@fe.up.pt www.fe.up.pt/~tavares 

Bragança 

18 Março 2010 

Colaborações são 

Bem-Vindas!

Processamento e Análise de Imagem em Engenharia Biomédica ...

Create successful ePaper yourself

Delete template?

Save as template?