PDF Full-Text - Revista IEEE America Latina

Integration of Tracking Systems to the
Development of Applications Based
on Virtual Reality
D. F. L. Souza, L. S. Machado, Member, IEEE and R. M. Moraes
Abstract— The use of intuitive interaction in virtual reality
(VR) systems is a factors that affect the sense of immersion of the
users in virtual environments. Difficulties related to the
incorporation of devices and their costs has motivated research
using low-cost devices and high-level tools such as frameworks to
development of VR applications. This paper presents the design
and integration of a module for spatial tracking in a framework
for development of virtual reality applications. The module
provides ways to incorporate several tracking techniques and
low-cost devices used to obtain the spatial position of objects.
Keywords— Virtual Reality, Signal Processing, Tracking,
Interactive Computing.
I. INTRODUÇÃO
REALIDADE Virtual (RV) é uma área de pesquisa que
Aoferece
simulações em tempo real com características de
imersão e interação para permitir que o usuário navegue e
observe cenários tridimensionais (3D) realistas em tempo real
[1]. Este realismo relaciona-se à exploração não apenas do
sentido visual, mas também dos sentidos do tato, audição e
olfato [2]. Dessa forma, a simulação deve utilizar, além de um
sistema de visualização, um sistema de interação que permita
ao usuário atuar de forma intuitiva sobre os objetos virtuais.
O uso de Ambientes Virtuais (AVs) tem demonstrado
potencial de simulação e observação em diversas áreas do
conhecimento [3]. Ambientes com alto grau de interação
podem prover um espaço de trabalho virtual para o usuário
onde, por exemplo, as mãos podem ser utilizadas para
manipular objetos virtuais em espaços complexos [4]. Com o
objetivo de permitir a navegação e imersão em ambientes
tridimensionais, muitos dispositivos comerciais foram
desenvolvidos, como os head-mounted-displays (HMDs),
rastreadores eletro-magnéticos, além das luvas de dados e
outros dispositivos que podem ser manipulados pelo usuário
[5].
Nos dias atuais, o tipo de interação mais comum entre
Os autores agradecem o suporte do Conselho Nacional de
Desenvolvimento Científico e Tecnológico – CNPQ, através do projeto
506480/2004-6, e à Financiadora de Estudos e Projetos através do convênio
01.04.1054.000
D.F.L. Souza, Universidade Federal da Paraíba, João Pessoa/PB, Brasil,
danieltidus@gmail.com
L.S. Machado, Universidade Federal da Paraíba, João Pessoa/PB,
Brasil, liliane@di.ufpb.br
R.M. Moraes, Universidade Federal da Paraíba, João Pessoa/PB, Brasil,
ronei@de.ufpb.br
humanos e computadores é feito através de dispositivos
conhecidos como dispositivos convencionais, como mouse,
teclado, telas sensíveis ao toque, caneta óptica, etc. Um dos
problemas nesta forma de interação está relacionado ao
crescimento da complexidade de certas aplicações, o que torna
tal interação insuficiente sob o ponto de vista da imersão e do
envolvimento do usuário. Alguns exemplos são a visualização
de dados em indústrias, a realização de procedimentos
médicos não presenciais ou, até mesmo, a simples
manipulação de objetos virtuais no espaço utilizando
dispositivos bidimensionais (2D) [6].
Outra problemática está relacionada aos dispositivos de
rastreamento espacial: os altos custos e a dificuldade de
programação desses dispositivos. Tal situação torna, em
muitos casos, inviável o acesso a tais tecnologias. A
diversidade de APIs (Application Programming Interface)
específicas de programação faz com que o usuário
desenvolvedor despenda muito tempo com o aprendizado de
técnicas e bibliotecas específicas de dispositivos. Estes fatores
têm sido utilizados como motivação para a pesquisa e
desenvolvimento de dispositivos mais acessíveis aos usuários
e de ferramentas de programação que abstraiam as
especificidades das APIs de programação.
A proposta do presente trabalho é permitir a integração de
rastreadores diversos dentro de um framework para
desenvolvimento de aplicações de RV. Assim, visou à
especificação e o desenvolvimento de um sistema que
permitiu a integração de dispositivos de rastreamento a
ambientes de realidade virtual, bem como a implementação de
uma série de técnicas de rastreamento que permitissem a
integração de dispositivos de baixo custo aos mesmos. Este
sistema foi integrado ao CyberMed [7], um framework livre e
de código aberto para o desenvolvimento de ambientes de RV
com o objetivo de apoiar a educação e o treinamento de
procedimentos médicos.
Na seção II são descritos alguns trabalhos correlatos ao
tema da pesquisa apresentada neste artigo, explicitando o seu
diferencial em relação a trabalhos anteriores. A seção III
contém conceitos relacionados a características e técnicas para
rastreamento espacial de objetos. Na seção IV é apresentada a
concepção do sistema de rastreamento e sua integração com o
framework CyberMed. Na seção V são apresentados
resultados relacionados às técnicas de rastreamento espacial
implementadas, além de um comparativo entre o tempo de
execução destas. Finalmente, na seção VI há considerações

sobre o trabalho desenvolvido e uma discussão sobre
perspectivas para sua extensão.
II. TRABALHOS RELACIONADOS
De forma geral, aplicações que utilizam rastreamento
espacial vêm sendo desenvolvidas com um número abrangente
de finalidades. Uma das áreas que utiliza técnicas de
rastreamento é a área cinematográfica [8], particularmente nos
processos de animação de personagens. Porém, mais
recentemente, um número maior de aplicações com tal
tecnologia começou a surgir, como o rastreamento espacial
para desenvolver novas interfaces de interação com
computadores e a utilização de tais técnicas na de treinamento
médico [9]. O trabalho de Fernández et al. [10] apresenta a
implementação de um ponteiro 3D baseado no rastreamento
de uma caneta, cuja direção determina um raio projetado na
tela do usuário. Com este mecanismo os autores criaram um
sistema que possibilita ao usuário a execução de eventos do
tipo seleção e manipulação de objetos do cenário virtual. Um
trabalho mais robusto foi apresentado por Ribo et al. (2001)
[4] onde a proposta foi também de uma interface de interação
para manipulação de objetos. Nesse trabalho, não só foi
utilizado o rastreamento espacial para interagir com o
computador, como também foi construído um sistema para
que o usuário trabalhe imerso em um ambiente de Realidade
Aumentada (RA). O trabalho desenvolvido por Ledermann et
al. (2002) [11] propõe um ambiente onde o rastreamento
óptico é feito de forma dinâmica. Neste sistema não há
necessidade que todas as câmeras do ambiente detectem os
marcadores. As câmeras que conseguirem rastrear o marcador,
irão compartilhar as informações adquiridas com todas as
outras câmeras do sistema.
Outra pesquisa que se assemelha à proposta deste trabalho
foi a de Silva (2004) [12], na qual foi proposta a integração de
um dispositivo óptico para a interação em uma ferramenta de
desenvolvimento de aplicações baseadas em realidade virtual.
O estudo englobou a implementação do dispositivo de
rastreamento óptico e sua integração com a ferramenta ViRAL
(Virtual Reality Abstraction Layer) [13].
A diferença deste trabalho para os citados acima é que estes
propõem a integração de um determinado dispositivo e/ou
técnica a fim de solucionar problemas específicos. Isto exige
tempo para aprendizado de tais técnicas, manipulação dos
dispositivos e desenvolvimento das soluções. O presente
trabalho, por sua vez, visou integrar rastreadores e técnicas
dentro de um framework chamado CyberMed para
desenvolvimento de aplicações de RV. A inclusão de técnicas
de rastreamento a este framework permite que
desenvolvedores construam aplicações diversas em um espaço
menor de tempo. A opção para integração de dispositivos de
baixo custo permite, em um primeiro momento, que possam
ser construídas aplicações com suporte a rastreamento que não
necessitem da aquisição de dispositivos com valor muito
elevado. Por fim, o suporte a estas técnicas torna-se um
diferencial do CyberMed, visto que não existem bibliotecas
livres para o desenvolvimento de aplicações baseadas em RV
que suportem a utilização de rastreadores de diferentes
tecnologias e custos.
III. MOTION TRACKING
Motion Tracking pode ser definido como o processo de
obter as coordenadas de objetos em movimento em tempo real
[14]. Em muitos casos, tanto a posição quanto a orientação
destes objetos podem ser recuperadas, compondo sistemas de
interação com seis graus de liberdade. Uma vez que
aplicações de realidade virtual e aumentada exigem geração
em tempo real de cenas tridimensionais a taxas maiores de 30
Hz, sistemas de rastreamento devem rastrear os objetos
desejados sem comprometimento do processo de geração
destas cenas [15]. Algumas das principais tarefas onde
sistemas de rastreamento podem ser utilizados em aplicações
de RV são:
• Controle de Visualização – o rastreamento de objetos
pode prover o controle da posição e orientação de uma
câmera virtual para processamento gráfico (rendering)
dos objetos utilizando dispositivos como HMDs ou telas
de projeção.
• Navegação – os dispositivos de rastreamento auxiliam um
usuário na navegação através de mundos virtuais.
• Rastreamento de Instrumentos: o rastreamento de
ferramentas e instrumentos permite combinar
•
representações virtuais destas com suas características
físicas. Este tipo de rastreamento é utilizado em cirurgias
assistidas por computador ou montagens mecânicas [16].
Seleção e Manipulação de Objetos: dispositivos portáteis
de rastreamento permitem que usuários possam selecionar
e manipular intuitivamente objetos virtuais. Como um
exemplo, pode-se considerar luvas de dados que podem
ser rastreadas atuando como representantes virtuais de
mãos de um usuário, deixando o mesmo manipular
objetos virtuais diretamente.
• Animação de avatar: rastreamento para capturar o
movimento de seres humanos e animais, bastante
utilizado na indústria de filmes para a produção de efeitos
especiais.
Para aplicações de realidade virtual (RV) e realidade
aumentada (RA), sistemas de rastreamento devem atender a
requisitos mínimos para que não comprometam o desempenho
destas aplicações. Tais requisitos mínimos estão relacionados
ao comportamento do dispositivo em relação às múltiplas
interações do usuário, bem como ao estado particular de
quando o usuário não interage com o dispositivo. A seguir são
citados alguns dos principais requisitos que devem estar
presentes em um sistema de rastreamento ideal [14]:
1. Accuracy (Precisão/Exatidão): principalmente para RA,
são requeridos sistemas com alta precisão, uma vez que o
conteúdo da cena virtual deve ser mapeado na cena real.
Sistemas ideais devem oferecer precisão de
2.
aproximadamente 1mm para a posição dos objetos e erros
de orientação menores que 0,1 grau.
Jitter (Pertubação): prevê que as informações de
rastreamento devem ser constantes quando não há

movimentação.
3. Robustness (Robustez): determina que pequenos
movimentos devam sempre implicar em pequenas
modificações na cena. Assim, movimentos fora do espaço
de atuação da aplicação devem ser descartados.
Operações de rastreamento precisam ser contínuas ao
longo do tempo, de forma que não haja perdas
significativas da trajetória rastreada.
4. Mobility (Mobilidade): usuários devem apresentar
mobilidade irrestrita dentro do espaço de atuação do
sistema. Um sistema ideal seria aquele no qual não se
utilizam cabos conectados aos dispositivos e que as partes
que compõem o sistema móvel são leves. Com o objetivo
de oferecer mobilidade total, nenhuma das partes deve
estar atrelada a algum tipo de plataforma.
5. Prediction (Predição): uma vez que o processamento de
uma nova posição demanda tempo, a predição de
posições futuras se faz necessária. Através da predição
evita-se a inserção de atrasos no rastreamento e
apresentação dos objetos, principalmente em momentos
em que há uma rápida movimentação do objeto rastreado.
IV. CONCEPÇÃO DO SISTEMA DE RASTREAMENTO
O sistema de rastreamento é um conjunto de bibliotecas que
permitem o acesso às funcionalidades dos dispositivos
integrados ao CyberMed, bem como às informações de
posição 3D dos objetos rastreados. Para que o sistema
idealizado pudesse ser robusto o bastante para dar suporte a
diversos dispositivos foi preciso criar um conjunto de normas
que definissem a forma como novos dispositivos deveriam ser
integrados ao mesmo. Estas normas estão expressas no
sistema através de duas classes abstratas que definem as
operações que os dispositivos devem oferecer para que haja
uma perfeita integração, bem como as regras para
inicialização destes dispositivos dentro do sistema. Em termos
mais técnicos, pode-se dizer que estão disponíveis aos
usuários duas classes: a CybTracker, classe abstrata
responsável pelas regras de implementação e integração de
dispositivos, e a CybTrackerFactory, responsável pelas regras
de construção e inicialização das instâncias de CybTracker.
A classe CybTrackerFactory foi incluída ao sistema em
função da possível complexidade que venha a existir quanto à
instanciação e inicialização de um dado dispositivo. Desta
forma, independentemente do dispositivo utilizado, os
desenvolvedores que integrarem novos métodos ao CyberMed
poderão oferecer uma forma simplificada de instanciação de
suas respectivas classes. Tal fato, evita que o usuário final
precise conhecer detalhadamente o funcionamento destes
dispositivos e técnicas.
Outra classe que integra o sistema de rastreamento do
CyberMed é a CybTrackerFacade que tem por objetivo
disponibilizar uma interface para as inúmeras funcionalidades
previstas pelos sistemas de rastreamento que serão integrados.
Como vantagens esta classe simplifica o entendimento e uso
do sistema de rastreamento, além de reduzir as dependências
do restante do CyberMed com os dispositivos e suas
respectivas API's comerciais. Através desta fachada os
usuários do CyberMed terão acesso aos métodos de
rastreamento e controle dos dispositivos.
As integrações de novos dispositivos e métodos podem ser
feitas através da herança das duas classes abstratas
responsáveis pela construção e execução (CybTrackerFactory
e CybTracker). Uma vez implementados os métodos destas
duas classes, basta invocar o método setTracker da fachada
(CybTrackerFacade) para acessar as funcionalidades
disponíveis através de um novo dispositivo. A Fig. 1 apresenta
um esquema de como esta integração é feita, utilizando como
exemplo a integração de um suposto tracker inercial. Na
expansão em questão a classe CybIntertialTracker herda os
métodos da classe CybTracker e os adapta para funcionar com
o tracker inercial. A Fig. 2 apresenta um diagrama geral de
como foi concebido o sistema de rastreamento e o seu
esquema de integração. A classe CybTracker sempre é
herdada quando se deseja adicionar novos técnicas e
dispositivos de rastreamento ao CyberMed.
Figura 1. Diagrama de classes que demonstra a integração de novos trackers
ao sistema, supondo a integração de um tracker inercial hipotético.
Figura 2. Visão geral do sistema de rastreamento incorporado ao CyberMed.
A. Sistema de Rastreamento Óptico
O sistema de rastreamento óptico foi desenvolvido para
validar a arquitetura proposta, bem como incorporar esta
técnica ao CyberMed. Atualmente o sistema oferece suporte a
dois métodos: rastreamento por blobs e rastreamento
utilizando funções de Haar. Os métodos de rastreamento
propostos têm por finalidade oferecer uma forma simples e de
baixo custo para que o usuário do CyberMed possa trabalhar
com rastreadores espaciais. Desta forma, a proposta do projeto
foi desenvolver métodos de rastreamento óptico que possam
oferecer estas facilidades. O rastreamento óptico foi escolhido
pelo baixo custo do equipamento que pode utilizar para dar
suporte ao usuário. De fato, com apenas duas webcams
convencionais é possível que o usuário possa utilizar tal
método.

1) Rastreamento por Blobs
O método de rastreamento por blobs tem por objetivo
detectar elipses em imagens capturadas pelas webcams.
Alguns algoritmos para a extração de blobs foram propostos
por Kim et al., (2002) [17] e Chan e Siu, (1990) [18]. O
algoritmo utilizado neste trabalho foi o proposto por Mulder et
al. (2003) [16]. Este método se divide em duas etapas. A
primeira está relacionada à aquisição e segmentação da
imagem. Para tanto, é feito um processamento nas imagens
adquiridas das webcams de forma que se possa identificar o
objeto a ser rastreado. Este processamento utiliza um filtro
desenvolvido para extração de cor baseado no espaço HSV.
Basicamente, este filtro recebe como entrada uma imagem e
extrai a cor indicada pelo usuário. Na Fig. 3 pode ser
observada a imagem de um objeto e a imagem resultante
depois de aplicado o filtro de extração de cor. Uma vez
extraída a cor desejada, as imagens resultantes passam pelo
filtro de detecção de elipses. Pode-se verificar na Fig. 4 o
resultado do rastreamento da região vermelha dos óculos nas
duas webcams utilizadas.
Figura 3. Extração da cor vermelha utilizando algoritmo baseado no espaço de
cores HSV.
Figura 4. Rastreamento da região vermelha dos óculos, utilizando o filtro de
extração de cor e o algoritmo para detecção de elipses.
2) Rastreamento utilizando funções de Haar
Outra técnica utilizada para a detecção de objetos é a
proposta por Viola e Jones (2001) [19] e melhorada por
Lienhart et al. (2002) [20] que utiliza as funções de Haar
propostas por Papageorgiou (1998) [21] para a detecção de
padrões nas imagens. Este método codifica a existência de
contrastes orientados entre regiões de uma imagem. Um
conjunto destas características pode ser usado para codificar
os contrastes, por exemplo, da face de um humano e seus
relacionamentos espaciais [22]. O problema desta técnica é a
etapa de aprendizado que o classificador terá que passar.
Porém, uma vez adquiridos os dados para a classificação, esta
pode ser feita em taxas que podem variar entre 15 e 20
quadros por segundo, valor suficiente para que tenhamos um
bom desempenho do sistema de rastreamento. Na Fig. 5 podese
notar o resultado do processamento de uma imagem
utilizando esta técnica. Neste caso, o classificador foi treinado
para detectar faces humanas.
Figura 5. Exemplo de detecção de face utilizando o classificador de Haar.
3) Calibração das Câmeras
A calibração das câmeras é um dos passos necessários para
a reconstrução 3D da posição do objeto que se deseja rastrear.
Através deste processo é possível extrair informações métricas
de imagens 2D, além de mensurar informações relacionadas a
câmera que estamos utilizando. A técnica utilizada neste
trabalho foi proposta por Zhang [23]. Para a sua execução a
técnica necessita apenas que as câmeras observem um padrão
que deve estar contido nas imagens que forem adquiridas em,
no máximo, duas orientações diferentes. Um padrão que
geralmente se utiliza é um tabuleiro de xadrez. O usuário deve
movimentar este tabuleiro no espaço, sem que seja necessário
conhecer previamente sua trajetória. Quando uma mesma
orientação é identificada por todas as câmeras é feita a
extração das propriedades intrínsecas (distância focal,
distorção da lente) e extrínsecas (rotação e translação) das
mesmas.
Basicamente, a técnica utilizada constrói o modelo de
calibração baseado em uma matriz chamada matriz de
calibração. Esta matriz é formada de modo a representar as
propriedades provenientes do modelo de câmeras utilizadas,
como em:
Nesta matriz os elementos α e β representam o fator de
escala que será aplicado nos vetores u e v que representam o
plano da imagem. Os elementos u0 e v0 representam as
coordenadas do ponto principal na imagem adquirida. Por fim

o elemento γ descreve a assimetria entre os eixos u e v da
imagem. Esta matriz também é conhecida como matriz de
parâmetros intrínsecos da câmera, pois ela representa as
propriedades intrínsecas provenientes do sistema de projeção
de uma câmera em particular. Detectados estes parâmetros
intrínsecos, é possível detectar também os parâmetros
extrínsecos.
4) Aquisição da posição 3D
A etapa final no processo de rastreamento espacial
utilizando sensores ópticos é a aquisição da posição 3D do
objeto. Realizado o processo de calibração das câmeras, é
possível processar as imagens de forma a adquirir a posição
3D do objeto desejado. Para tanto, utiliza-se uma referência
em cada uma das imagens que foram extraídas de cada
câmera. De posse das informações correspondentes em cada
imagem é possível reconstruir a posição 3D do objeto.
Para entender como extrair a posição do objeto é necessário
antes apresentar o modelo de projeção perspectiva que é
utilizado como base teórica, chamado de modelo “pin hole”,
que não considera as características das lentes da câmera [24].
Na Fig. 6 é apresentado o modelo de projeção que é utilizado
neste trabalho. O ponto P0 representa as coordenadas do
objeto pontual na cena. O ponto PI representa as coordenadas
de projeção do objeto na imagem, enquanto que PC representa
o centro de projeção da câmera. Deve ser observado também
que f é o fator de escala entre o objeto e a imagem.
Figura 6. Modelo de projeção de uma câmera ([25] pág 34).
Se adotado PC como origem do sistema, isto é, PC(0,0,0), e
analisado o conjunto de triângulos semelhantes provenientes
deste modelo chega-se ao seguinte modelo algébrico para
representar o modelo de câmeras:
onde X1, Y1, X0, Y0 e Z0 são coordenadas do objeto
provenientes da relação entre os lados dos triângulos extraídos
do modelo geométrico. Aplicando coordenadas homogêneas
ao sistema apresentado acima é possível reescrevê-lo da
seguinte forma:
Desta forma, encontra-se a relação entre os pontos PI, P0 e a
profundidade Z0 do objeto. A profundidade do objeto que
multiplica PI pode ser entendida como um fator de escala, uma
constante arbitrária, pois o que se pode saber de fato sobre a
posição do objeto é que este está contido na reta p, que é a reta
que contém os pontos PC, PI e P0. A partir deste ponto é
necessário apenas calcular a equação de uma reta que passa
pelos pontos PC, PI e P0. No caso em questão PC que é a
origem do sistema, é conhecido de forma que suas
coordenadas são (0,0,0). O ponto PI, por sua vez, é resultante
da identificação do rastreamento do objeto projetado na
imagem acrescido do fator de escala f. Deve-se, então, ter
cuidado para transformar as coordenadas dos pixels em
coordenadas de um sistema que deve incluir o objeto real.
Devem ainda ser levadas em consideração as características de
distorção das lentes. Como estão sendo utilizadas duas
câmeras, este processo deve ser repetido para cada uma delas.
As retas p1 e p2 (Fig. 7) provenientes dos dois sistemas devem
residir em um único espaço de coordenadas, pois é no
cruzamento que estará o objeto rastreado. Desse modo, é
necessário que haja uma referência única para as duas
câmeras. O plano formado pelas retas p1, p2 e o ponto de
cruzamento formam um plano epipolar. Em função deste
plano é construído o sistema de referência para tratar as
câmeras, bem como através dele pode-se mensurar o erro
proveniente do rastreamento. Na Fig. 7 é apresentado o
modelo completo que é utilizado para a reconstrução 3D do
objeto a ser rastreado.
Figura 7. Plano epipolar formado pela interseção das duas retas originadas em
cada câmera. A variável d12 indica o erro no rastreamento ([25] pág 37).
B. Integração do Sistema de Rastreamento Óptico
As técnicas de rastreamento óptico utilizando o algoritmo
de rastreamento de elipses e classificadores de Haar, foram
desenvolvidas e integradas ao CyberMed como especificado
na arquitetura proposta (Fig. 1). Na Fig. 8 pode-se observar a
integração de um tracker óptico que utiliza a técnica de
detecção de elipses nas imagens capturadas. A classe
CybBlobTracker encapsula esta técnica. De forma análoga à
integração da técnica de detecção de elipses, foi desenvolvida

e integrada a classe que encapsula a técnica de rastreamento
utilizando classificadores de Haar. Esta classe foi denominada
CybHaarTracker e assim como a classe CybBlobTracker,
possui todas as características referentes a um rastreador
óptico, além das particularidades referentes à técnica de Haar.
Figura 8. Integração do subsistema de rastreamento por blobs ao sistema de
rastreamento do Cybermed.
Quanto à aquisição da posição 3D, esta tarefa é feita pela
classe CybStereo. Basicamente, esta classe é a entidade que
encapsula os métodos responsáveis por reconstruir a posição
3D. Para que a reconstrução seja feita de forma correta é
preciso passar pela etapa de calibração das câmeras
apresentada anteriormente. Calibradas as câmeras, é
necessário informar os parâmetros intrínsecos e extrínsecos,
descobertos na etapa de calibração, a CybStereo e então iniciar
a reconstrução da posição 3D do objeto. Na Fig. 9 é
apresentado o diagrama referente à integração da CybStereo
ao CyberMed, bem como seus principais métodos.
Figura 9. Integração entre as classes de rastreamento e a classe de geração da
posição 3D.
Por fim, foi desenvolvido o sistema de calibração em duas
fases: para aquisição dos dados através da ferramenta
Calibrationtools e para calibração de fato das câmeras
envolvidas no processo. Uma quantidade maior de câmeras
poderia ainda ser utilizada para, por exemplo, detectar a
orientação do objeto rastreado em 6DOF.
V. RESULTADOS
Alguns testes foram construídos para validar a arquitetura
proposta bem como as ferramentas desenvolvidas para a
calibração das câmeras. Na Fig. 10 pode ser observada a
utilização da ferramenta Calibrationtools detectando o padrão
no tabuleiro de xadrez utilizado para o rastreamento. Através
de repetidas identificações deste padrão em vários ângulos a
ferramenta gera os parâmetros necessários para a calibração
das câmeras.
Figura 10. Ferramenta CalibrationTools detectando um padrão na imagem.
Outra aplicação foi construída com o objetivo de avaliar o
desempenho dos métodos de rastreamento óptico incorporados
ao CyberMed através do subsistema de rastreamento. Na Fig.
11, observam-se janelas de depuração mostrando o
classificador de Haar detectando padrões nas imagens
capturadas pelas webcams. Neste caso, o classificador é
utilizado para a detecção da face humana.
Figura 11. Rastreador baseado no classificador de Haar detectando a face
humana.
Como prova de conceito o sistema de rastreamento foi
integrado a uma aplicação de RV desenvolvida com o
CyberMed. A aplicação em questão, chamada Anatomi3D,
simula um atlas anatômico no qual os usuários podem
explorar as partes do corpo humano através da decomposição
dos modelos virtuais apresentados. Informações sobre as
partes do corpo que estão sendo estudadas são apresentadas no
lado direto da janela da aplicação (ver Fig. 12). Esta aplicação
possui suporte a três tipos de visualização, uma visualização
monoscópica e mais duas estereoscópicas pelos métodos de
anaglifo e luz polarizada. Quanto à interação, o usuário pode
utilizar o mouse para selecionar, transladar e rotacionar os
modelos apresentados. A incorporação do rastreamento óptico
espacial permitiu a inclusão de outra forma de interação
utilizando as mãos. O método de Haar foi utilizado para a
classificação de um modelo que representasse uma mão
fechada. O usuário utiliza sua mão para manipular os modelos
apresentados no atlas.

Figura 12. Visualização do modelo do coração humano utilizando o
Anatomi3D. Ao lado a descrição de partes do modelo.
Na Fig. 13 observam-se as janelas que exemplificam o
rastreamento em tempo real das mãos do usuário pelas duas
câmeras utilizadas pela aplicação. À medida que o usuário
move sua mão, o modelo apresentado no atlas também se
movimenta e tem sua escala alterada, seguindo o mesmo
padrão da mão humana. Esta forma de interação ofereceu
benefícios para a utilização do atlas em salas de visualização
com um espaço de trabalho maior, pois possibilitou a
locomoção do usuário pelo ambiente, dispensando a
necessidade de estar atrelado a um dispositivo de interação
fixo.
Figura 13. Rastreador óptico utilizando classificadores de Haar para detectar a
mão do usuário.
Foram elaborados alguns testes de desempenho para
determinar a velocidade com que os métodos desenvolvidos
eram executados, fator importante em aplicações que
necessitam de resposta em tempo real, como é o caso da RV.
A tabela 1 apresenta os resultados de desempenho para uma,
duas e três imagens. Pode-se observar que em todos os casos
as rotinas conseguem trabalhar em um tempo que permite
construir aplicações em tempo real.
TABELA 1
RESULTADO DE DESEMPENHO DOS MÉTODOS INTEGRADOS AO SISTEMA DE
RASTREAMENTO
Nº
Imagens/
Método
Blob Tracker Haar
Tracker
Estéreo Estéreo/
Blob
Estéreo/
Haar
1 ~2.5 ms ~9.8 ms - - -
2 ~6.3 ms ~20.1ms ~0.9 ms ~7.4 ms ~21.1 ms
3 ~20.7 ms ~30.4 ms ~1.9 ms ~22.2 ms ~31.7 ms
A técnica de rastreamento por blobs supera a que utiliza o
classificador de Haar. Vale notar, porém, que à medida que
mais imagens vão sendo processadas, a técnica de
rastreamento por blobs perde em desempenho, enquanto a
técnica que utiliza classificadores cresce em desempenho.
Desta forma, uma vez gerados os dados pelo classificador de
Haar, a detecção do marcador por esta técnica torna-se viável.
VI. CONCLUSÕES
Um dos objetivos das pesquisas na área de interação
humano-computador é a criação de meios que permitam aos
usuários interagirem de forma intuitiva com os computadores.
A adição de dispositivos de rastreamento pode melhorar o
grau de interação entre a aplicação e o usuário. Um dos
problemas em se incorporar este tipo de dispositivo é o
conhecimento prévio necessário para utilização de suas APIs
padrão. Outro problema que vale ser citado é o alto custo de
certos dispositivos de rastreamento, o que contribui para a não
popularização destas tecnologias. A criação de interfaces mais
intuitivas e a utilização de dispositivos com custo acessível
são fatores que irão determinar a difusão deste tipo de
tecnologia.
O sistema de rastreamento apresentado permite a utilização
de dispositivos e técnicas de rastreamento para oferecer novas
formas de interação para o usuário da API. Através da
utilização deste sistema os usuários poderão construir
aplicações que integrem rastreamento espacial sem a
necessidade de conhecerem a fundo as técnicas utilizadas para
tal. A forma como o sistema foi construído permite que
múltiplos dispositivos sejam integrados e mesmo assim as
formas de acesso aos métodos permaneçam as mesmas. Esta
característica possibilita a reutilização de código visto que o
desenvolvedor não precisará modificar ou adicionar muitas
linhas em seu programa para integrar um novo dispositivo.
O sistema de rastreamento foi integrado ao CyberMed,
oferecendo, desta forma, mais um mecanismo de interação aos
desenvolvedores de aplicações de RV que utilizem esta API
livre. Este fato diferencia o CyberMed de outras bibliotecas
para RV, visto que nenhum outra biblioteca livre para RV
integra tecnologias de rastreamento que suportem tanto
dispositivos de alto quanto de baixo custo.
Como atividade futura pretende-se desenvolver as
funcionalidades de mapeamento entre o volume gráfico e o
volume real disponível para interagir com os dispositivos. A
possibilidade de se interagir de forma colaborativa utilizando
este tipo de interface mostra-se bastante promissora. A
concepção de mecanismos que facilitem a criação de
aplicações que utilizem o conceito de hand gesture, onde o
usuário utiliza linguagem corporal (no caso em questão a mão)
para se comunicar com aplicações, também é algo que se
deseja explorar futuramente.
REFERÊNCIAS
[1] L. Rosemblum, G. Burdea and S. Tachi, “VR Reborn”, CG & Applications,
vol. 3, no. 2, pp. 21-23, 1998.
[2] A. V. Netto, L. S. Machado, M. C. F. Oliveira, Realidade Virtual, vol I,
Florianópolis: Visual Books, 2002, p. 19.
[3] M. Wögerbauer and A. L. Fuhrmann, “Wheelie – Using a Scroll-Wheel
Pen in a Complex Virtual Environment Applications”, Journal of WSCG, The

14-th Int. Conf. in Central Europe on CG, Visualization and Computer Vision,
pp. 41-44, 2006.
[4] M. Ribo; A. Pinz; A. Fuhrmann "A New Optical Tracking System for
Virtual and Augmented Reality Applications", IEEE Instrumentation and
Measurement Tech. Conf., Hungary, pp. 1932-1936, 2001.
[5] C. Manresa, J. Varona, R. Mas, F. Perales. “Hand tracking and gesture
recognition for human-computer interaction,” ELCVIA, vol. 5, no. 3, pp. 96–
104, 2005.
[6] E. C. Lopes, “Determinando a posição e orientação da mão através de
imagens de vídeo”. Dissertação de Mestrado, Fac. de Informática, PUCRS,
Porto Alegre, 2005.
[7] L.S. Machado, R.M. Moraes, D.F. Souza, L.C. Souza, I.L.L. Cunha. A
Framework for Development of Virtual Reality-Based Training Simulators.
Studies in Health Technology and Informatics, vol. 142, pp. 174-176, 2009.
[8] J. D. Foley, A. V. Dam, S. K. Feiner, J. F. Hughes, “Computer Graphics:
Principles and Pratice”, 2nd Ed in C, Addison-Wesley Longman Publishing
Co., Inc., Boston, MA, 1990.
[9] J. Climent, P. Mares, "Real-time Tracking System for Assisted Surgical
Operations", IEEE Latin America Transactions, Vol. 1, No. 1, pp. 8-14, Oct.
2003.
[10] M. L. Fernández, A. B. Raposo, M. Gattas, “Implementação de um
Ponteiro 3D para Desktop Usando Rastreamento Óptico”. Anais do III
Workshop de Realidade Aumentada (WRA, 2006), p. 87-90, Brasil, 2006.
[11] F. Ledermann, G. Reitmayr, D. Schmalstieg, “Dynamically shared
optical tracking” , Proc. of the IEEE First International Workshop on
ARToolKit, pp. 80, 2002.
[12] R. J. M. Silva, “Integração de um Dispositivo Óptico de Rastreamento
a uma Ferramenta de Realidade Virtual”. Dissertação de Mestrado,
Departamento de Informática, PUC-Rio, Brasil, 2004.
[13] T. A. Bastos, R. J. M. Silva, A. B. Raposo, M. Gattass, “ViRAL: Um
Framework para o Desenvolvimento de Aplicações de Realidade Virtual”.
Proc. of Symposium on Virtual Reality (SVR 2004), p.51-62., Brasil, 2004.
[14] G. Welch and E. Foxlin, “Motion Tracking: No Silver Bullet, but a
Respectable Arsenal”. IEEE CG&A, v. 22, n. 6, pp 24-38, 2002.
[15] B. Schwald, and H. Seibert, “Registration Tasks for a Hybrid Tracking
System for Medical Augmented Reality”. In Journal of WSCG, pp. 411–418,
2004.
[16] J. D. Mulder, J. Jansen, A. V. Rhijn, “An affordable optical head
tracking system for desktop VR/AR systems”. Proc. of the workshop on
Virtual environments, p.215-223, Switzerland , 2003.
[17] E. Kim, M. Haseyanma, H. Kitajima, "Fast and Robust Ellipse
Extraction from Complicated Images," International Conference on
Information Technology & Applications (ICITA 2002), pp 138-135, 2002.
[18] R. Chan and W. C. Siu, “Fast Detection of Ellipses Using Chord
Bisectors”. International Conference on Acoustics, Speech, and Signal
Processing, pp. 2201-2204, April, 1990.
[19] P. Viola and M. Jones, “Robust Real-Time Object Detection”. Proc of
II International Wokshop on Statistical and Computional Theories of Vision –
Modeling, Learning, Computing and Sampling, Vancouver, Canadá, 2001.
[20] R. Lienhart, A. Kuranov, V. Pisarevsky, “Empirical analysis of
detection cascades of boosted classifiers for rapid object detection”. MRL
Technical Report, Intel Labs, 2002.
[21] C. Papageorgiou, M. Oren, T. Poggio, “ A general framework for object
detection”. In International Conference on Computer Vision, pp. 555-562,
1998.
[22] J. Barreto, P. Menezes, J. Dias, “Human-Robot Interaction based on
Haar-like Features and Eigenfaces”. In International Conference on Robotics
and Automation, New Orleans, pp. 1888- 1893, 2004.
[23] Z. Zhang, “Motion and structure from two perspective views: From
essential parameters to euclidean motion via fundamental matrix”. Journal of
the Optical Society of America,vol. 14, no. 11, pp. 2938–2950, 1997.
[24] Y. Ma, S. Soatto, J. Kosecka, S. Sastry, “An Invitation to 3D Vision.
From Images to Geometric Models”, Springer, pp. 526, 2004.
[25] L.A. Consularo, R.C. Coelho, N. Calonego Jr., “Rastreamento Óptico
para Sistemas de Realidade Virtual e Aumentada”. In Realidade Virtual e
Aumentada, pp 34. SBC. 2007.
Daniel Faustino é graduado em Ciências da Computação
(2008). Atualmente é mestrando em Ciências da Computação
pelo Programa de Pós-Graduação em Informática da pela
Universidade Federal da Paraíba. Possui experiência com o
desenvolvimento de sistemas baseados em realidade virtual
com foco em sistemas hápticos e com suporte a rastreamento.
Seu interesse de pesquisa compreende as áreas de realidade
virtual e aumentada, bem como adaptação de ambientes desta natureza para
sistemas embarcados.
Liliane dos Santos Machado é professora do Departamento
de Informática da Universidade Federal da Paraíba. Doutora
em Engenharia Elétrica pela Escola Politécnica da
Universidade de São Paulo (2003), Mestre em Computação
Aplicada pelo Instituto Nacional de Pesquisas Espaciais
(1997) e Bacharel em Ciencias da Computação (1994),
coordena projetos na linha de realidade virtual, jogos
educacionais e tecnología educacional junto ao Laboratorio de Tecnologías
para o Ensino Virtual e Estatística (LabTEVE). Membro IEEE e IEEE
Computer, seu interesse de pesquisa compreende as áreas de realidade virtual,
sistemas hápticos, sistemas colaborativos, avaliação online, jogos e
tecnologias educacionais.
Ronei Marcos de Moraes é professor associado da
Universidade Federal da Paraíba. Possui pós-doutorado na
Engenharia Elétrica da Escola Politécnica da Universidad de
São Paulo (2001), doutorado em Computação Aplicada pelo
Instituto Nacional de Pesquisas Espaciais (1998), mestrado
em Engenharia Elétrica pela Universidade Federal da Paraíba
(1992) e graduação em Estatística pela Universidade Estadual
de Campinas (1988). É atuante na área interdisciplinar, nos seguintes temas:
métodos estatísticos e geoestatísticos em saúde pública, conjuntos nebulosos,
ensino virtual, educação a distância, jogos educacionais, realidade virtual e
métodos de avaliação de treinamento baseados em realidade virtual. Participa
do corpo editorial do Open Virtual Reality Journal.