slides in Portuguese - Vision at IME-USP

Introdução 

Fundamentos Teóricos 

Metodologia Proposta 

Conclusão 

Rastreamento de Objetos Baseado em 

Reconhecimento Estrutural de Padrões 

Defesa de Dissertação de Mestrado 

Ana Beatriz Vicentim Graciano 

Orientador: 

Colaboradora: 

Roberto Marcondes Cesar Jr. Isabelle Bloch (ENST - Paris) 

Depto. de Ciência da Computação - IME - USP 

Agência de fomento patrocinadora: CNPQ 

São Paulo, 23 de Março de 2007. 

abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 1)

Introdução 



Conclusão 

Contexto 

Objetivos 

Motivações 

Introdução 


Contexto 

Introdução 



Conclusão 

Contexto 

Objetivos 

Motivações 

uso de vídeo digital (ou seqüências de imagens) em 

sistemas de visão computacional para aplicações diversas: 

vigilância automatizada 

recuperação de informação em bancos de dados 

multimídia 

edição de vídeo (ex: chroma-key digital) 

interfaces homem-máquina inteligentes 


Introdução 



Conclusão 

Contexto 

Objetivos 

Motivações 

Operações sobre vídeo digital 

Reconhecimento de Objetos: 

classificação/rotulação de um ou vários objetos 

envolve algoritmos e técnicas de Visão Computacional, 

Reconhecimento de Padrões e Inteligência Artificial 

abordagem baseada em modelo: 

conhecimento prévio a respeito do(s) objeto(s) de interesse 

identificação de determinado(s) objeto(s) segundo modelo 


Introdução 



Conclusão 

Contexto 

Objetivos 

Motivações 

Operações sobre vídeo digital 

Rastreamento de Objetos 

processo de determinação da posição de certo(s) objeto(s) 

ao longo do tempo numa seqüência de imagens 

exemplo: localização da bola em vídeo de um jogo de 

futebol, para posterior tira-teima. 


Objetivos 

Introdução 



Conclusão 

Contexto 

Objetivos 

Motivações 

reconhecer e rastrear objetos em vídeo digital através de 

uma metodologia em que: 

informação a priori é introduzida por um modelo de objetos 

descrito por partes 

objetos subdivididos em partes são representados por 

grafos relacionais com atributos (ARGs) 

tarefa de reconhecimento é realizada por técnica de 

casamento inexato entre grafos 

tarefa de rastreamento é baseada no reconhecimento 

efetuado 


Introdução 



Conclusão 

Exemplo - Objeto e Partes 

Contexto 

Objetivos 

Motivações 

Modelo de 

referência 

Quadros a serem 

classificados 

Reconhecimento/ 

Rastreamento 


Motivações 

Introdução 



Conclusão 

Contexto 

Objetivos 

Motivações 

utilização de uma representação abrangente para objetos 

através de grafos: descrição de características dos objetos 

e de relações (estrutural, temporal) entre eles 

modelo contém informação estrutural e quantitativa sobre 

os objetos e suas partes componentes 

imprecisões entre modelo e entrada são consideradas 


Introdução 



Conclusão 

Representação de Imagens Digitais 

Processo de Reconhecimento 



Introdução 



Conclusão 



Estruturas de Dados 

Representação por Grafos 

vértices do grafo representam regiões (ou pixels) de uma 

imagem, enquanto arestas denotam relações entre as 

mesmas 

aplicações em morfologia matemática [2] e 

reconhecimento estrutural de padrões [3] 


Introdução 



Conclusão 



Representação por Grafos (cont.) 

Em Reconhecimento Estrutural de Padrões... 

grafos relacionais: modelagem de relações apenas 

grafos relacionais com atributos (ARGs, do inglês, 

attributed relational graphs): modelagem de relações e 

propriedades dos objetos 

neste mestrado, proposição de dois tipos de ARGs para 

uso em vídeo digital: 

ARG intra-quadros (ARG-intra) 

ARG inter-quadros (ARG-inter) 


Introdução 



Conclusão 



ARG Intra-quadros (ARG-intra) 

Definição 

Grafo G intra = (V , E, µ, ν) representante de objetos presentes 

numa única imagem (modelo ou quadro de um vídeo): 

V : conjunto de vértices (objetos, partes ou subpartes dos 

mesmos) 

E: conjunto de arestas (relações entre os elementos 

supracitados) 

µ: vetor de atributos associados a cada vértice 

ν: vetor de atributos associados a cada aresta 


Atributos 

Introdução 



Conclusão 



Vetor de atributos de objeto (ou de vértice) 

µ(v) = (g(v), c(v), l(v), t(v)) , v ∈ V 

g(v) = nível de cinza médio da região da imagem associada 

ao vértice v 

c(v) = coordenadas (em pixels) do centróide dessa região 

l(v) = rótulo único atribuído ao vértice v 

t(v) = índice equivalente a um instante de tempo do quadro do 

vídeo 


Atributos 

Introdução 



Conclusão 



Vetor de atributos relacional (ou de aresta) 

ν(v, w) = ( −→ v ), com −→ −−−−−−−−−−→ 

(c(w) − c(v)) 

v = 

d max 

v, w = vértices de G intra 

d max = módulo do maior vetor calculado entre dois vértices 

adjacentes de G 


Introdução 



Conclusão 

ARG Inter-quadros (ARG-inter) 



Definição 

grafo representante de objetos presentes num subconjunto 

de quadros consecutivos I t , . . . , I t+n 

introduz informação espaço-temporal compartilhada por 

objetos em quadros distintos através de arestas temporais 


Introdução 



Conclusão 

ARG Inter-quadros (ARG-inter) 



Definição (cont.) 

Dados G t = (V t , E t , µ t , ν t ), . . . , G t+n = (V t+n , E t+n , µ t+n , ν t+n ): 

G inter = (V , E, µ, ν, ν inter ) 

V = ⋃ t+n 

i=t 

V i (objetos, partes ou subpartes dos mesmos) 

E = ( ⋃ t+n 

i=t 

E i ) ∪ E inter (relações espaciais ou temporais 

entre os elementos supracitados) 

E inter = conjunto de arestas temporais 

(e inter = (v, w) ∈ E inter se v ∈ V i , w ∈ V j , i ≠ j, e 

d e (centroide(v), centroide(w)) ≤ ε) 

µ, ν, ν inter : vetores de atributos 


Introdução 



Conclusão 



Atributos 

Vetores de atributos de objeto (ou de vértice) e relacional (ou 

de aresta) 

Equivalentes aos vetores de atributos de objeto e relacional de 

um ARG-intra 

Vetor de atributos temporais 

ν inter (v i , v j ) = ( −→ v , dt), com dt = |t(v i ) − t(v j )| 

ν inter (v i , v j ) = distância absoluta entre dois vértices do 

ARG-inter, em termos de quadros. 


Introdução 



Conclusão 



Reconhecimento 

Problema 

Se objetos em duas imagens (ex.: um quadro e um modelo) 

são representados através de grafos, como se dá o processo 

de reconhecimento 

Solução 

Reconhecimento = correspondência (ou casamento) adequada 

entre os vértices de um dos grafos e os vértices do outro. 


Introdução 



Conclusão 



Reconhecimento 

Problema 

Se objetos em duas imagens (ex.: um quadro e um modelo) 

são representados através de grafos, como se dá o processo 

de reconhecimento 

Solução 

Reconhecimento = correspondência (ou casamento) adequada 

entre os vértices de um dos grafos e os vértices do outro. 


Introdução 



Conclusão 

Casamento entre Grafos 



Casamento entre dois grafos G 1 e G 2 . 


Introdução 



Conclusão 



Abordagens para Classificação baseadas em Grafos 

Casamento Exato entre Grafos 

Consideremos dois grafos G 1 = (V 1 , E 1 , µ 1 , ν 1 ) e 

G 2 = (V 2 , E 2 , µ 2 , ν 2 ). 

mapeamento f : V 1 → V 2 que preserva a presença de 

arestas, ou seja: 

Se v 1 , w 1 ∈ V 1 e (v 1 , w 1 ) ∈ E 1 , então (f (v 1 ), f (w 1 )) ∈ E 2 

formulação rígida (respostas "binárias") 

algoritmos com custo computacional (tempo e memória) 

elevado 


Introdução 



Conclusão 



Abordagens para Classificação baseadas em Grafos 

(cont.) 

Casamento Inexato entre Grafos 

abordagem [1, 4, 5] permite que seja violada a condição 

de preservação de arestas 

mais tolerante a erros e à variabilidade entre dois dados 

grafos 

algoritmos podem encontrar uma solução ideal ou 

aproximada (similaridade entre grafos) em tempo 

polinomial ou não 


Introdução 



Conclusão 

Pré-Processamento e Segmentação 

Vídeo digital: representação por ARGs 

Casamento Inexato entre ARGs 

Rastreamento 

Resultados 



Visão Geral 

Introdução 



Conclusão 




Rastreamento 

Resultados 

Fluxograma 

da 

metodologia. 


Pré-Processamento 

Introdução 



Conclusão 




Rastreamento 

Resultados 

Técnicas adotadas 

podem variar de acordo com a aplicação 

Nos exemplos . . . 

suavização por filtragem Gaussiana 

operadores morfológicos: 

gradiente morfológico 

dilatação, erosão 

abertura, fechamento 


Introdução 



Conclusão 

Segmentação dos Objetos 




Rastreamento 

Resultados 

Fase I - remoção de fundo 

seleção de pixels de objeto através de algoritmos para 

remoção de fundo (podem variar de acordo com a 

aplicação) 

nos exemplos: 

limiarização global 

estimação de fundo a partir da média dos quadros 

componentes de um vídeo, seguido de subtração de 

imagens 

Fase II - segmentação das regiões de interesse 

segmentação pelo algoritmo de Watershed (imagens 

supersegmentadas) 


Introdução 



Conclusão 

Segmentação dos Objetos 




Rastreamento 

Resultados 

Exemplo 

Objetos selecionados e supersegmentados. 


Introdução 



Conclusão 

Criação de ARG-intra modelo 




Rastreamento 

Resultados 

Imagem de 

referência. 

Máscara-modelo 

rotulada. 

ARG-intra modelo. 

Imagem de referência + Máscara-modelo rotulada = ARG-intra 

modelo G model = (V model , E model , µ model , ν model ) 


Introdução 



Conclusão 




Rastreamento 

Resultados 

Criação de ARG-intra referente a um quadro I t 

Quadro original. 

Objeto 

supersegmentado 

(watershed). 

ARG-intra relativo 

ao quadro. 

Quadro I t + segmentação = ARG-intra G t = (V t , E t , µ t , ν t ) 


Introdução 



Conclusão 




Rastreamento 

Resultados 

Criação de ARG-inter a partir de n quadros 

Arestas coloridas = subconjunto de arestas temporais 


Introdução 



Conclusão 

Etapa de classificação 




Rastreamento 

Resultados 

mapeamento (função) de vários vértices de G inter num 

mesmo vértice de G model 

casamento inexato entre G inter e G model 


Introdução 



Conclusão 

Etapa de classificação 




Rastreamento 

Resultados 

Algoritmo de Otimização 

busca em árvore (tree-search), similar ao descrito em [1] 

custo associado a cada correspondência entre vértices e 

arestas, calculado com base em atributos 

solução encontrada através da minimização de uma 

função custo: 

f ( ˜G S ) = 

α 

|V S | 

∑ 

(a 1 ,a 2 )∈V S 

c V (a 1 , a 2 ) + 

c V e c E : medidas de dissimilaridade 

α: fator de ponderação 

(1 − α) 

|E S | 

∑ 

e∈E S 

c E (e) 


Introdução 



Conclusão 

Função Custo (cont.) 




Rastreamento 

Resultados 

Custo de associação entre vértices 

c V (a 1 , a 2 ) = γ V |g(a 1 ) − g(a 2 )| + (1 − γ V ) d e (c(a 1 ), c(a 2 )) 

γ V : fator de ponderação 

g(a 1 ), g(a 2 ): níveis de cinza médios 

c(a 1 ), c(a 2 ): centróides 


Introdução 



Conclusão 

Função Custo (cont.) 




Rastreamento 

Resultados 

Custo de associação entre arestas 

⎧ 

w( −→ v ), se ∃e 2 ∈ E model 

⎪⎨ 

0, se ∄e 1 ∈ E e ∄e 2 ∈ E model 

c E (e) = 

ou ∃e 2 = (a 2 , a 2 ) ∈ E model 

⎪⎩ 

∞, c.c. 

w( −→ v ) = 

{ 

γE |‖ −→ v 1 ‖ − ‖ −→ | cos θ−1| 

v 2 ‖| + (1 − γ E ) 

2 

, se e 1 ∉ E inter 

1 

dt(e 1 )+1 (γ E |‖ −→ v 1 ‖ − ‖ −→ | cos θ−1| 

v 2 ‖| + (1 − γ E ) 

2 

), c.c. 

γ E : fator de ponderação 


Introdução 



Conclusão 

Processo de Rastreamento 




Rastreamento 

Resultados 

ARG-modelo atualizado através de transformação afim: 

−→ q = α(A 

−→ s + 

−→ b ) 


Introdução 



Conclusão 

Seqüência real I - Modelo 




Rastreamento 

Resultados 

Imagem de referência 

Máscara modelo binária 

Máscara modelo rotulada 

ARG-modelo resultante 


Seqüência real I 

Introdução 



Conclusão 




Rastreamento 

Resultados 

Segmentações obtidas com n = 1, 3 e 5 - coerência 

espaço-temporal. 


Introdução 



Conclusão 

Seqüência real II - Modelo 




Rastreamento 

Resultados 

Imagem de referência 

Máscara modelo binária 

Máscara modelo rotulada 

ARG-modelo resultante 


Seqüência real II 

Introdução 



Conclusão 




Rastreamento 

Resultados 

Segmentações obtidas com n = 1, 3 e 5 - coerência 

espaço-temporal. 


Introdução 



Conclusão 

Conclusão 


Introdução 



Conclusão 

Considerações Finais 

Resumo 

metodologia para rastrear e reconhecer objetos em vídeo 

digital: 

abordagem através de grafos relacionais com atributos 

modelo descrito por partes 

dificuldades: 

etapas inter-dependentes ao longo do processamento 

características de vídeo digital (oclusões, deformações, 

coerência espaço-temporal, etc.) 


Introdução 



Conclusão 


Contribuições 

proposta de uma abordagem original para reconhecimento 

e rastreamento de objetos baseado em modelo 

grafos relacionais com atributos: formulação dos conceitos 

de ARG intra-quadros e, principalmente, ARG 

inter-quadros 

incorporação de informação temporal: otimizações sobre o 

algoritmo de busca em árvore e modificações na 

função-custo adotada 

conseqüências: 

melhorias na manutenção da coerência espaço-temporal na 

classificação e rastreamento entre os quadros 


Introdução 



Conclusão 


Trabalhos futuros 

pesquisa sobre topologia do grafo e sua utilização na 

função custo 

seleção automática de pesos na função custo 

otimizações para atingir processamento em tempo real 

extensão para vídeos 3D 

desenvolvimento de medidas para avaliação automática 

da classificação 


Artigos publicados 

Introdução 



Conclusão 

1 Homomorfismo entre grafos para segmentação e 

reconhecimento de características faciais em sequências 

de vídeo: Resultados preliminares, SIBGRAPI, 2003. 

2 Inexact Graph Matching for Facial Feature Segmentation 

and Recognition in Video Sequences: Results on Face 

Tracking, CIARP, 2003. 


Apêndice 

Referências Bibliográficas 

Fim 

Referências Bibliográficas I 

[1] R. Cesar, E. Bengoetxea, P. Larranaga and I. Bloch. 

Inexact graph matching for model-based recognition: 

Evaluation and comparison of optimization algorithms 

Pattern Recognition, vol. 38, n. 11, pp. 2099-2113, 2005. 

Some Press, 1990. 

[2] L. Vincent. 

Graphs and Mathematical Morphology. 

Signal Processing, vol. 16, pp. 365-368, 1989. 

[3] M. Vento, D.Conte, et. al. 

Graph Matching Applications in Pattern Recognition and 

Image Processing. 

Proceedings of ICIP’03. 


Apêndice 


Fim 

Referências Bibliográficas II 

[4] H. Bunke. 

Recent developments in graph matching. 

Em ICPR, pp. 2117-2124, 2000. 

[5] H. Bunke. 

Graph matching: Theoretical foundations, algorithms, and 

applications. 

Em Proceedings of Vision Interface 2000, Montreal, pp. 82 

- 88, 2000. 


Apêndice 


Fim 

Obrigada!

slides in Portuguese - Vision at IME-USP

Create successful ePaper yourself

Delete template?

Save as template?