slides in Portuguese - Vision at IME-USP
slides in Portuguese - Vision at IME-USP
slides in Portuguese - Vision at IME-USP
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Rastreamento de Objetos Baseado em<br />
Reconhecimento Estrutural de Padrões<br />
Defesa de Dissertação de Mestrado<br />
Ana Be<strong>at</strong>riz Vicentim Graciano<br />
Orientador:<br />
Colaboradora:<br />
Roberto Marcondes Cesar Jr. Isabelle Bloch (ENST - Paris)<br />
Depto. de Ciência da Computação - <strong>IME</strong> - <strong>USP</strong><br />
Agência de fomento p<strong>at</strong>roc<strong>in</strong>adora: CNPQ<br />
São Paulo, 23 de Março de 2007.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 1)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Contexto<br />
Objetivos<br />
Motivações<br />
Introdução<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 2)
Contexto<br />
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Contexto<br />
Objetivos<br />
Motivações<br />
uso de vídeo digital (ou seqüências de imagens) em<br />
sistemas de visão computacional para aplicações diversas:<br />
vigilância autom<strong>at</strong>izada<br />
recuperação de <strong>in</strong>formação em bancos de dados<br />
multimídia<br />
edição de vídeo (ex: chroma-key digital)<br />
<strong>in</strong>terfaces homem-máqu<strong>in</strong>a <strong>in</strong>teligentes<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 3)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Contexto<br />
Objetivos<br />
Motivações<br />
Operações sobre vídeo digital<br />
Reconhecimento de Objetos:<br />
classificação/rotulação de um ou vários objetos<br />
envolve algoritmos e técnicas de Visão Computacional,<br />
Reconhecimento de Padrões e Inteligência Artificial<br />
abordagem baseada em modelo:<br />
conhecimento prévio a respeito do(s) objeto(s) de <strong>in</strong>teresse<br />
identificação de determ<strong>in</strong>ado(s) objeto(s) segundo modelo<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 4)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Contexto<br />
Objetivos<br />
Motivações<br />
Operações sobre vídeo digital<br />
Rastreamento de Objetos<br />
processo de determ<strong>in</strong>ação da posição de certo(s) objeto(s)<br />
ao longo do tempo numa seqüência de imagens<br />
exemplo: localização da bola em vídeo de um jogo de<br />
futebol, para posterior tira-teima.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 5)
Objetivos<br />
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Contexto<br />
Objetivos<br />
Motivações<br />
reconhecer e rastrear objetos em vídeo digital <strong>at</strong>ravés de<br />
uma metodologia em que:<br />
<strong>in</strong>formação a priori é <strong>in</strong>troduzida por um modelo de objetos<br />
descrito por partes<br />
objetos subdivididos em partes são representados por<br />
grafos relacionais com <strong>at</strong>ributos (ARGs)<br />
tarefa de reconhecimento é realizada por técnica de<br />
casamento <strong>in</strong>ex<strong>at</strong>o entre grafos<br />
tarefa de rastreamento é baseada no reconhecimento<br />
efetuado<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 6)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Exemplo - Objeto e Partes<br />
Contexto<br />
Objetivos<br />
Motivações<br />
Modelo de<br />
referência<br />
Quadros a serem<br />
classificados<br />
Reconhecimento/<br />
Rastreamento<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 7)
Motivações<br />
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Contexto<br />
Objetivos<br />
Motivações<br />
utilização de uma representação abrangente para objetos<br />
<strong>at</strong>ravés de grafos: descrição de características dos objetos<br />
e de relações (estrutural, temporal) entre eles<br />
modelo contém <strong>in</strong>formação estrutural e quantit<strong>at</strong>iva sobre<br />
os objetos e suas partes componentes<br />
imprecisões entre modelo e entrada são consideradas<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 8)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Fundamentos Teóricos<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 9)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Estruturas de Dados<br />
Representação por Grafos<br />
vértices do grafo representam regiões (ou pixels) de uma<br />
imagem, enquanto arestas denotam relações entre as<br />
mesmas<br />
aplicações em morfologia m<strong>at</strong>emática [2] e<br />
reconhecimento estrutural de padrões [3]<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 10)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Representação por Grafos (cont.)<br />
Em Reconhecimento Estrutural de Padrões...<br />
grafos relacionais: modelagem de relações apenas<br />
grafos relacionais com <strong>at</strong>ributos (ARGs, do <strong>in</strong>glês,<br />
<strong>at</strong>tributed rel<strong>at</strong>ional graphs): modelagem de relações e<br />
propriedades dos objetos<br />
neste mestrado, proposição de dois tipos de ARGs para<br />
uso em vídeo digital:<br />
ARG <strong>in</strong>tra-quadros (ARG-<strong>in</strong>tra)<br />
ARG <strong>in</strong>ter-quadros (ARG-<strong>in</strong>ter)<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 11)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
ARG Intra-quadros (ARG-<strong>in</strong>tra)<br />
Def<strong>in</strong>ição<br />
Grafo G <strong>in</strong>tra = (V , E, µ, ν) representante de objetos presentes<br />
numa única imagem (modelo ou quadro de um vídeo):<br />
V : conjunto de vértices (objetos, partes ou subpartes dos<br />
mesmos)<br />
E: conjunto de arestas (relações entre os elementos<br />
supracitados)<br />
µ: vetor de <strong>at</strong>ributos associados a cada vértice<br />
ν: vetor de <strong>at</strong>ributos associados a cada aresta<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 12)
Atributos<br />
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Vetor de <strong>at</strong>ributos de objeto (ou de vértice)<br />
µ(v) = (g(v), c(v), l(v), t(v)) , v ∈ V<br />
g(v) = nível de c<strong>in</strong>za médio da região da imagem associada<br />
ao vértice v<br />
c(v) = coordenadas (em pixels) do centróide dessa região<br />
l(v) = rótulo único <strong>at</strong>ribuído ao vértice v<br />
t(v) = índice equivalente a um <strong>in</strong>stante de tempo do quadro do<br />
vídeo<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 13)
Atributos<br />
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Vetor de <strong>at</strong>ributos relacional (ou de aresta)<br />
ν(v, w) = ( −→ v ), com −→ −−−−−−−−−−→<br />
(c(w) − c(v))<br />
v =<br />
d max<br />
v, w = vértices de G <strong>in</strong>tra<br />
d max = módulo do maior vetor calculado entre dois vértices<br />
adjacentes de G<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 14)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
ARG Inter-quadros (ARG-<strong>in</strong>ter)<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Def<strong>in</strong>ição<br />
grafo representante de objetos presentes num subconjunto<br />
de quadros consecutivos I t , . . . , I t+n<br />
<strong>in</strong>troduz <strong>in</strong>formação espaço-temporal compartilhada por<br />
objetos em quadros dist<strong>in</strong>tos <strong>at</strong>ravés de arestas temporais<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 15)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
ARG Inter-quadros (ARG-<strong>in</strong>ter)<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Def<strong>in</strong>ição (cont.)<br />
Dados G t = (V t , E t , µ t , ν t ), . . . , G t+n = (V t+n , E t+n , µ t+n , ν t+n ):<br />
G <strong>in</strong>ter = (V , E, µ, ν, ν <strong>in</strong>ter )<br />
V = ⋃ t+n<br />
i=t<br />
V i (objetos, partes ou subpartes dos mesmos)<br />
E = ( ⋃ t+n<br />
i=t<br />
E i ) ∪ E <strong>in</strong>ter (relações espaciais ou temporais<br />
entre os elementos supracitados)<br />
E <strong>in</strong>ter = conjunto de arestas temporais<br />
(e <strong>in</strong>ter = (v, w) ∈ E <strong>in</strong>ter se v ∈ V i , w ∈ V j , i ≠ j, e<br />
d e (centroide(v), centroide(w)) ≤ ε)<br />
µ, ν, ν <strong>in</strong>ter : vetores de <strong>at</strong>ributos<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 16)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Atributos<br />
Vetores de <strong>at</strong>ributos de objeto (ou de vértice) e relacional (ou<br />
de aresta)<br />
Equivalentes aos vetores de <strong>at</strong>ributos de objeto e relacional de<br />
um ARG-<strong>in</strong>tra<br />
Vetor de <strong>at</strong>ributos temporais<br />
ν <strong>in</strong>ter (v i , v j ) = ( −→ v , dt), com dt = |t(v i ) − t(v j )|<br />
ν <strong>in</strong>ter (v i , v j ) = distância absoluta entre dois vértices do<br />
ARG-<strong>in</strong>ter, em termos de quadros.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 17)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Reconhecimento<br />
Problema<br />
Se objetos em duas imagens (ex.: um quadro e um modelo)<br />
são representados <strong>at</strong>ravés de grafos, como se dá o processo<br />
de reconhecimento<br />
Solução<br />
Reconhecimento = correspondência (ou casamento) adequada<br />
entre os vértices de um dos grafos e os vértices do outro.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 18)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Reconhecimento<br />
Problema<br />
Se objetos em duas imagens (ex.: um quadro e um modelo)<br />
são representados <strong>at</strong>ravés de grafos, como se dá o processo<br />
de reconhecimento<br />
Solução<br />
Reconhecimento = correspondência (ou casamento) adequada<br />
entre os vértices de um dos grafos e os vértices do outro.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 19)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Casamento entre Grafos<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Casamento entre dois grafos G 1 e G 2 .<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 20)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Abordagens para Classificação baseadas em Grafos<br />
Casamento Ex<strong>at</strong>o entre Grafos<br />
Consideremos dois grafos G 1 = (V 1 , E 1 , µ 1 , ν 1 ) e<br />
G 2 = (V 2 , E 2 , µ 2 , ν 2 ).<br />
mapeamento f : V 1 → V 2 que preserva a presença de<br />
arestas, ou seja:<br />
Se v 1 , w 1 ∈ V 1 e (v 1 , w 1 ) ∈ E 1 , então (f (v 1 ), f (w 1 )) ∈ E 2<br />
formulação rígida (respostas "b<strong>in</strong>árias")<br />
algoritmos com custo computacional (tempo e memória)<br />
elevado<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 21)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Representação de Imagens Digitais<br />
Processo de Reconhecimento<br />
Abordagens para Classificação baseadas em Grafos<br />
(cont.)<br />
Casamento Inex<strong>at</strong>o entre Grafos<br />
abordagem [1, 4, 5] permite que seja violada a condição<br />
de preservação de arestas<br />
mais tolerante a erros e à variabilidade entre dois dados<br />
grafos<br />
algoritmos podem encontrar uma solução ideal ou<br />
aproximada (similaridade entre grafos) em tempo<br />
pol<strong>in</strong>omial ou não<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 22)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Metodologia Proposta<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 23)
Visão Geral<br />
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Fluxograma<br />
da<br />
metodologia.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 24)
Pré-Processamento<br />
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Técnicas adotadas<br />
podem variar de acordo com a aplicação<br />
Nos exemplos . . .<br />
suavização por filtragem Gaussiana<br />
operadores morfológicos:<br />
gradiente morfológico<br />
dil<strong>at</strong>ação, erosão<br />
abertura, fechamento<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 25)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Segmentação dos Objetos<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Fase I - remoção de fundo<br />
seleção de pixels de objeto <strong>at</strong>ravés de algoritmos para<br />
remoção de fundo (podem variar de acordo com a<br />
aplicação)<br />
nos exemplos:<br />
limiarização global<br />
estimação de fundo a partir da média dos quadros<br />
componentes de um vídeo, seguido de subtração de<br />
imagens<br />
Fase II - segmentação das regiões de <strong>in</strong>teresse<br />
segmentação pelo algoritmo de W<strong>at</strong>ershed (imagens<br />
supersegmentadas)<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 26)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Segmentação dos Objetos<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Exemplo<br />
Objetos selecionados e supersegmentados.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 27)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Criação de ARG-<strong>in</strong>tra modelo<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Imagem de<br />
referência.<br />
Máscara-modelo<br />
rotulada.<br />
ARG-<strong>in</strong>tra modelo.<br />
Imagem de referência + Máscara-modelo rotulada = ARG-<strong>in</strong>tra<br />
modelo G model = (V model , E model , µ model , ν model )<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 28)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Criação de ARG-<strong>in</strong>tra referente a um quadro I t<br />
Quadro orig<strong>in</strong>al.<br />
Objeto<br />
supersegmentado<br />
(w<strong>at</strong>ershed).<br />
ARG-<strong>in</strong>tra rel<strong>at</strong>ivo<br />
ao quadro.<br />
Quadro I t + segmentação = ARG-<strong>in</strong>tra G t = (V t , E t , µ t , ν t )<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 29)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Criação de ARG-<strong>in</strong>ter a partir de n quadros<br />
Arestas coloridas = subconjunto de arestas temporais<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 30)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Etapa de classificação<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
mapeamento (função) de vários vértices de G <strong>in</strong>ter num<br />
mesmo vértice de G model<br />
casamento <strong>in</strong>ex<strong>at</strong>o entre G <strong>in</strong>ter e G model<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 31)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Etapa de classificação<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Algoritmo de Otimização<br />
busca em árvore (tree-search), similar ao descrito em [1]<br />
custo associado a cada correspondência entre vértices e<br />
arestas, calculado com base em <strong>at</strong>ributos<br />
solução encontrada <strong>at</strong>ravés da m<strong>in</strong>imização de uma<br />
função custo:<br />
f ( ˜G S ) =<br />
α<br />
|V S |<br />
∑<br />
(a 1 ,a 2 )∈V S<br />
c V (a 1 , a 2 ) +<br />
c V e c E : medidas de dissimilaridade<br />
α: f<strong>at</strong>or de ponderação<br />
(1 − α)<br />
|E S |<br />
∑<br />
e∈E S<br />
c E (e)<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 32)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Função Custo (cont.)<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Custo de associação entre vértices<br />
c V (a 1 , a 2 ) = γ V |g(a 1 ) − g(a 2 )| + (1 − γ V ) d e (c(a 1 ), c(a 2 ))<br />
γ V : f<strong>at</strong>or de ponderação<br />
g(a 1 ), g(a 2 ): níveis de c<strong>in</strong>za médios<br />
c(a 1 ), c(a 2 ): centróides<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 33)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Função Custo (cont.)<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Custo de associação entre arestas<br />
⎧<br />
w( −→ v ), se ∃e 2 ∈ E model<br />
⎪⎨<br />
0, se ∄e 1 ∈ E e ∄e 2 ∈ E model<br />
c E (e) =<br />
ou ∃e 2 = (a 2 , a 2 ) ∈ E model<br />
⎪⎩<br />
∞, c.c.<br />
w( −→ v ) =<br />
{<br />
γE |‖ −→ v 1 ‖ − ‖ −→ | cos θ−1|<br />
v 2 ‖| + (1 − γ E )<br />
2<br />
, se e 1 ∉ E <strong>in</strong>ter<br />
1<br />
dt(e 1 )+1 (γ E |‖ −→ v 1 ‖ − ‖ −→ | cos θ−1|<br />
v 2 ‖| + (1 − γ E )<br />
2<br />
), c.c.<br />
γ E : f<strong>at</strong>or de ponderação<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 34)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Processo de Rastreamento<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
ARG-modelo <strong>at</strong>ualizado <strong>at</strong>ravés de transformação afim:<br />
−→ q = α(A<br />
−→ s +<br />
−→ b )<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 35)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Seqüência real I - Modelo<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Imagem de referência<br />
Máscara modelo b<strong>in</strong>ária<br />
Máscara modelo rotulada<br />
ARG-modelo resultante<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 36)
Seqüência real I<br />
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Segmentações obtidas com n = 1, 3 e 5 - coerência<br />
espaço-temporal.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 37)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Seqüência real II - Modelo<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Imagem de referência<br />
Máscara modelo b<strong>in</strong>ária<br />
Máscara modelo rotulada<br />
ARG-modelo resultante<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 38)
Seqüência real II<br />
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Pré-Processamento e Segmentação<br />
Vídeo digital: representação por ARGs<br />
Casamento Inex<strong>at</strong>o entre ARGs<br />
Rastreamento<br />
Resultados<br />
Segmentações obtidas com n = 1, 3 e 5 - coerência<br />
espaço-temporal.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 39)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Conclusão<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 40)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Considerações F<strong>in</strong>ais<br />
Resumo<br />
metodologia para rastrear e reconhecer objetos em vídeo<br />
digital:<br />
abordagem <strong>at</strong>ravés de grafos relacionais com <strong>at</strong>ributos<br />
modelo descrito por partes<br />
dificuldades:<br />
etapas <strong>in</strong>ter-dependentes ao longo do processamento<br />
características de vídeo digital (oclusões, deformações,<br />
coerência espaço-temporal, etc.)<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 41)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Considerações F<strong>in</strong>ais<br />
Contribuições<br />
proposta de uma abordagem orig<strong>in</strong>al para reconhecimento<br />
e rastreamento de objetos baseado em modelo<br />
grafos relacionais com <strong>at</strong>ributos: formulação dos conceitos<br />
de ARG <strong>in</strong>tra-quadros e, pr<strong>in</strong>cipalmente, ARG<br />
<strong>in</strong>ter-quadros<br />
<strong>in</strong>corporação de <strong>in</strong>formação temporal: otimizações sobre o<br />
algoritmo de busca em árvore e modificações na<br />
função-custo adotada<br />
conseqüências:<br />
melhorias na manutenção da coerência espaço-temporal na<br />
classificação e rastreamento entre os quadros<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 42)
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
Considerações F<strong>in</strong>ais<br />
Trabalhos futuros<br />
pesquisa sobre topologia do grafo e sua utilização na<br />
função custo<br />
seleção automática de pesos na função custo<br />
otimizações para <strong>at</strong><strong>in</strong>gir processamento em tempo real<br />
extensão para vídeos 3D<br />
desenvolvimento de medidas para avaliação automática<br />
da classificação<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 43)
Artigos publicados<br />
Introdução<br />
Fundamentos Teóricos<br />
Metodologia Proposta<br />
Conclusão<br />
1 Homomorfismo entre grafos para segmentação e<br />
reconhecimento de características faciais em sequências<br />
de vídeo: Resultados prelim<strong>in</strong>ares, SIBGRAPI, 2003.<br />
2 Inexact Graph M<strong>at</strong>ch<strong>in</strong>g for Facial Fe<strong>at</strong>ure Segment<strong>at</strong>ion<br />
and Recognition <strong>in</strong> Video Sequences: Results on Face<br />
Track<strong>in</strong>g, CIARP, 2003.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 44)
Apêndice<br />
Referências Bibliográficas<br />
Fim<br />
Referências Bibliográficas I<br />
[1] R. Cesar, E. Bengoetxea, P. Larranaga and I. Bloch.<br />
Inexact graph m<strong>at</strong>ch<strong>in</strong>g for model-based recognition:<br />
Evalu<strong>at</strong>ion and comparison of optimiz<strong>at</strong>ion algorithms<br />
P<strong>at</strong>tern Recognition, vol. 38, n. 11, pp. 2099-2113, 2005.<br />
Some Press, 1990.<br />
[2] L. V<strong>in</strong>cent.<br />
Graphs and M<strong>at</strong>hem<strong>at</strong>ical Morphology.<br />
Signal Process<strong>in</strong>g, vol. 16, pp. 365-368, 1989.<br />
[3] M. Vento, D.Conte, et. al.<br />
Graph M<strong>at</strong>ch<strong>in</strong>g Applic<strong>at</strong>ions <strong>in</strong> P<strong>at</strong>tern Recognition and<br />
Image Process<strong>in</strong>g.<br />
Proceed<strong>in</strong>gs of ICIP’03.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 45)
Apêndice<br />
Referências Bibliográficas<br />
Fim<br />
Referências Bibliográficas II<br />
[4] H. Bunke.<br />
Recent developments <strong>in</strong> graph m<strong>at</strong>ch<strong>in</strong>g.<br />
Em ICPR, pp. 2117-2124, 2000.<br />
[5] H. Bunke.<br />
Graph m<strong>at</strong>ch<strong>in</strong>g: Theoretical found<strong>at</strong>ions, algorithms, and<br />
applic<strong>at</strong>ions.<br />
Em Proceed<strong>in</strong>gs of <strong>Vision</strong> Interface 2000, Montreal, pp. 82<br />
- 88, 2000.<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 46)
Apêndice<br />
Referências Bibliográficas<br />
Fim<br />
Obrigada!<br />
abvg@ime.usp.br Rastreamento de Objetos baseado em Grafos (slide 47)