texto completo - Iris.sel.eesc.sc.usp.br - USP

Construção de Mosaicos de Imagens Aéreas Agrícolas e Comparaçãocom Outras MetodologiasAndré de Souza Tarallo 1, Francisco Assis da Silva 1 , Alan Kazuo Hiraga 2 , Maria StelaVeludo de Paiva 1 , Lúcio André de Castro Jorge 31 Escola de Engenharia de São Carlos - Universidade de São Paulo - USP, Depto. de Engenharia Elétrica,São Carlos-SP.2 Universidade Federal de São Carlos – UFSCar, Depto. de Computação, São Carlos – SP.3 Embrapa Instrumentação Agropecuária, São Carlos – SP.andre.tarallo@gmail.com, chfran@hotmail.com, alanhiraga@hotmail.com,mstela@sc.usp.br, lucio@cnpdia.embrapa.brAbstractThe automatic generation of mosaics of aerialagricultural images increases efficiency in the analysis ofagricultural areas and in decisions-making related topests control, diseases and deforestation. This paperpresents a tool for automatic construction of sequentialimages mosaics. The main features that interfere with theperformance of the tool are building mosaics withoutdistortion and the computational cost. Ten mosaics wereobtained from two hundred agricultural images andcompared with those obtained with commercials software,showing better quality and less distortion. After they werevisually inspected by a professional, which confirmed thequality of the tool developed.Keywords: computational cost, aerial agriculturalimages, high-resolution images, automatic mosaics.1. IntroduçãoAté o presente momento, a construção demosaicos de imagens na agricultura vem sendo feita demaneira semiautomática, necessitando obter o modelodigital do terreno, fazer a ortorretificação das imagens ecolocação manual de bandeirinhas (marcadores), para queum software possa reconstruir esta área e gerar ummosaico deste terreno. Deste modo, a construção demosaicos é demorada e trabalhosa, podendo demorar umdia todo ou mais dias. Isto também envolve uma grandedemanda de pessoal para fazer as marcações na área emquestão, além de poder gerar um mosaico com poucaprecisão.Com os mosaicos, é possível direcionar vistoriasde campo durante o ciclo do cultivo ou em datasposteriores à colheita, possibilitando fornecer umdiagnóstico preciso da área de cultivo. A partir daí, podemser elaborados os mapas de recomendações:descompactação, fertilidade e aplicação de insumos emtaxa variável.Mais recentemente, aplicações na agriculturapassaram a exigir maior rapidez na construção destesmosaicos, para possibilitar a obtenção mais rápida deinformações para tomada de decisões relativas ao controlede pragas, doenças ou queimadas.Estes fatos levaram à construção de umametodologia apresentada neste artigo, para a construçãoautomática de mosaicos de imagens digitais naagricultura. As imagens são fotos aéreas, obtidas com umacâmera de alta resolução acoplada em um avião. A altaresolução da câmera minimiza possíveis problemas dedistorção nas imagens, causados pela distância entre aaeronave e o solo.Para a implementação desta metodologia, foiutilizada a Transformada SIFT (Scale Invariant FeatureTransform) para a extração de características das imagens,o algoritmo BBF (Best-Bin-First) para determinar pontoscorrespondentes entre pares de imagens e o algoritmoRANSAC (Random Sample Consensus) para filtrar osfalsos pontos correspondentes entre os pares de imagens.Por fim, após a aplicação destas técnicas, os pares deimagens foram unidos.O uso da SIFT para a implementação demosaicos pode ser encontrado nos trabalhos de Bei eHaizhen (2009) e Li e Geng (2010). Outra técnica usadapara este fim é a PCA-SIFT, encontrada no trabalho deSukthankar e Ke (2004). Uma técnica mais recente que aSIFT, a SURF, tem-se destacado por ter menor custocomputacional (HONG et.al., 2009). No entanto, deacordo com o trabalho de Juan e Gwun (2009), que fazuma comparação destas técnicas (SIFT, PCA-SIFT eSURF), a Transformada SIFT apresenta melhorestabilidade quanto à invariância à escala e rotação, apesardesta transformada ter um custo computacional maiselevado do que as outras técnicas. De acordo com Lowe(2004), as técnicas BBF e RANSAC, após aplicação daSIFT, são as mais indicadas para encontrarem os pontoscorrespondentes entre pares de imagens.O restante deste artigo esta estruturado daseguinte maneira: na seção 2 é apresentada aFundamentação Teórica, na seção 3 é detalhada ametodologia utilizada, na seção 4 são apresentados osresultados, na seção 5 são apresentadas as discussões econclusões.

2 Fundamentação TeóricaNesta seção será apresentado como foi construídaa base de dados de imagens aéreas bem como a descriçãodas principais técnicas utilizadas neste artigo.2.1 O Banco de Dados de Imagens AéreasAs imagens contêm áreas de pastagens, lavourase áreas urbanas, obtidas na região de Santa Rita doSapucaí – MG em Setembro de 2007, com o auxílio de umavião de pequeno porte, contendo uma câmera acoplada aum suporte. A base de imagens é composta por 200imagens sequenciais. As imagens foram adquiridas comdimensão de 3504 x 2336 pixels, com 24 bits por pixelcom 72 dpi (pontos por polegada) no formato JPG,utilizando 8 Megapixels de resolução. A Figura 1 ilustraum exemplo de imagem usada no projeto.Figura 1– Exemplo de imagem usada no projeto.As imagens foram obtidas seguindo um padrãode aquisição (para evitar distorções), que inclui osseguintes itens:• A câmera foi posicionada horizontalmente emrelação ao solo;• O avião percorreu sempre a mesma distância,fazendo movimentos horizontais na área demarcada, paraobtenção das imagens (Figura 2);• A obtenção da sequência de imagens foi feita comum tempo determinado e síncrono, entre a imagemanterior e a posterior, para gerar regiões de sobreposição.Para gerar um mosaico com a mínima distorçãopossível, é de extrema importância que seja seguido opadrão apresentado para a obtenção das imagens.2.2. SIFTA Transformada SIFT (LOWE, 2004) é capaz detransformar uma imagem em uma coleção de vetores decaracterísticas locais (descritores de características) e cadaum desses vetores são invariantes à escala, rotação eparcialmente invariante à mudanças de iluminação e pontode vista.Região 1 para obtenção das imagensRegião 2 para obtenção das imagensRegião 3 para obtenção das imagensRegião 4 para obtenção das imagensFigura 2 – Padrão de rota do avião.As características fornecidas pela TransformadaSIFT são bem localizadas em ambos os domínios, o dafrequência e o do espaço, reduzindo assim a probabilidadede não haver correspondência das características poroclusão ou ruído. As características são altamentedistintas, permitindo que uma simples característica sejacorretamente correspondida com alta probabilidade diantede um grande banco de dados de características,possibilitando assim, uma base para o reconhecimento deobjetos e cenas.O custo de extrair essas características éminimizado por meio de uma abordagem de filtragem emcascata, na qual as operações com maior custo operacionalsão executadas apenas em locais que passaram em testesiniciais.Os quatro principais estágios que compõem aTransformada SIFT para gerar o conjunto decaracterísticas de imagens são:• Detecção de extremos no Espaço Escala: Nesteprimeiro estágio é feito a procura por todas as escalas elocais de uma imagem. Para isto é utilizada uma funçãoconhecida como Diferença da Gaussiana, paraidentificação dos potenciais pontos de interesse que sãoinvariantes à escala e orientação. Esta é a parte maiscustosa do algoritmo.• Localização dos pontos chave: Para cada localcandidato, é determinada a sua posição e escala. Os pontoschave são selecionados baseados em medidas de suaestabilidade.• Definição da Orientação: Uma ou maisorientações são atribuídas para cada ponto chavelocalizado, baseado em direções do gradiente. Todas asoperações posteriores são realizadas sobre os dados daimagem que foram considerados ponto chave e que foramtransformados em relação à orientação, escala elocalização, proporcionando invariância a estastransformações.

• Descritor dos Pontos Chave: Os gradientes daimagem são mensurados na escala selecionada, na regiãoao redor de cada ponto chave, sendo criados histogramasde orientações para compor o descritor.Com as características extraídas a partir de todasas imagens, as mesmas devem ser pareadas. Na Figura 3pode ser observado um exemplo da localização decaracterísticas através da Transformada SIFT.ordem de suas distâncias mais próximas a partir do localinvestigado.Uma razão para o algoritmo BBF (LOWE, 2004)funcionar bem é que somente são consideradascorrespondências nas quais o vizinho mais próximo émenor do que 0,8 vezes a distância do segundo vizinhomais próximo e, portanto não é necessário resolver oscasos mais difíceis, nos quais muitos vizinhos têm muitasdistâncias similares.2.4. RANSACFigura 3 – Localização de características com aTransformada SIFT.A Transformada SIFT converte dados da imagemem coordenadas invariantes à escala, relativas àscaracterísticas locais. Um aspecto importante é o grandenúmero de características geradas, que cobremdensamente toda a imagem (LOWE, 2004).2.3. BBFUma vez aplicada a Transformada SIFT sobre asimagens, é possível encontrar a correspondência entreduas imagens, de acordo com os pontos chave detectados.Há a comparação dos descritores das duas imagens,encontrando os melhores candidatos a serem seusequivalentes na outra imagem.O melhor candidato correspondente para cadaponto chave é encontrado, identificando os seus vizinhosmais próximos na base de dados dos pontos chave a partirde imagens de entrada. O vizinho mais próximo é definidocomo o ponto chave, com distância euclidiana mínimaentre os descritores em questão.A maneira mais eficaz de identificar o melhorponto candidato é obtida através da comparação dadistância do vizinho mais próximo ao de um segundovizinho mais próximo.Quando se procura classificar uma imagem emum extenso banco de dados de descritores para váriosobjetos, a busca exaustiva de vizinho mais próximo podeser demorada e para tal existe a técnica BBF (BEIS eLOWE, 1997) para acelerar a busca.O algoritmo BBF usa uma busca ordenadamodificada de um algoritmo k-d tree de modo que asposições no espaço de características são procuradas naApós a correspondência dos pontos chave, osmesmos são usados para calcular uma transformada quemapeia as posições dos pontos de uma imagem para asposições dos pontos correspondentes, na outra imagem, deum par de imagens.Às vezes acontece de pares encontradoscorresponderem a falsas correspondências, sendonecessário identificar estas falsas correspondências e deremovê-las. A solução para este problema envolve oconceito da geometria epipolar (ORAM, 2001) ehomografia (HARTLEY e ZISSERMAN, 2003). Comisso será reduzido o número de falsas correspondências ecalculada uma transformação para juntar duas imagenssequenciais.A correspondência de imagens fornece umconjunto de vetores de deslocamento relativo àscaracterísticas de um par de imagens obtidas, ou seja, cadavetor representa as coordenadas da mesma característicaem ambas as imagens. Com isso, é possível determinar omovimento entre tais imagens através da matrizhomográfica.2.4.1. Estimando a Matriz FundamentalRANSAC é um procedimento de estimaçãorobusto que usa um conjunto mínimo de correspondênciasamostradas, para estimar os parâmetros de transformaçãoda imagem e achar a solução que tem o melhor consensocom os dados. Os métodos clássicos procuram utilizar omaior número de pontos para obter uma solução inicial e,então, eliminar os pontos inválidos. O RANSAC, aocontrário desses métodos, utiliza apenas o número mínimoe suficiente de pontos necessários para uma primeiraestimativa, aumentando o conjunto com novos pontosconsistentes sempre que possível (FISCHLER e BOLLES,1981).Uma vantagem do RANSAC é a sua habilidadede realizar a estimativa de parâmetros de um modelo deforma robusta, ou seja, ele pode estimar parâmetros comum alto grau de acerto mesmo quando um númerosignificativo de outliers (pontos falsos) esteja presente nosdados analisados. Uma desvantagem do algoritmo é queele tem de possuir uma quantidade pré-estabelecida de

iterações e com isso a solução obtida pode não ser amelhor existente.Para o problema específico de remoção deoutliers na correspondência de imagens, a MatrizFundamental (H) pode ser determinada da seguintemaneira:• Selecionar randomicamente um subconjunto deoito pontos correlacionados, retirados do conjunto total depontos correlacionados;• Para cada subconjunto, indexado por j, calcular amatriz fundamental Fj através do algoritmo de oitopontos;• Para cada matriz Fj calculada, determinar onúmero de pontos com distância até a linha epipolar, ouresidual, menor que um limiar;• Selecionar a matriz F que apresenta o maiornúmero de pontos com residual inferior ao máximodefinido;• Recalcular a matriz F considerando todos ospontos inliers (pontos corretos).3. A MetodologiaPara se ter um padrão e reduzir o custocomputacional foram selecionadas 20 imagens por vezpara a construção dos mosaicos, resultando em 10 gruposde 20 imagens. A construção do mosaico se inicia pelaprimeira imagem (a esquerda do mosaico) em direção àúltima imagem (a direita do mosaico), do respectivogrupo. As junções são feitas por pares de imagens, ou seja,“imagem1” com “imagem2”, que na sequência é juntada à“imagem3” e assim por diante.Como as imagens foram obtidas de maneirasequencial, a primeira etapa consiste em extrair ascaracterísticas do primeiro par de imagens pela SIFT, criaros descritores desse primeiro par, fazer ascorrespondências destas características (pelo método dovizinho mais próximo, com auxílio da BBF para acelerareste processo). Na sequência é aplicado o RANSAC queestima a matriz homográfica, que é responsável porcorresponder partes comuns da primeira imagem com asegunda do par de imagens, eliminando falsos pontoscorrespondentes (Figura 4).Uma visão mais detalhada da relação doRANSAC com a geometria epipolar vai ser apresentada aseguir. Pela geometria epipolar, é possível calcular amatriz fundamental entre dois pares de imagens.Considere m= [x, y, 1] um ponto sobre o plano da imagemL e n= [x’, y’, 1] um ponto sobre o plano da imagem L’.Assim a equação 1 define a matriz fundamental.m T Fn = 0 (1)Diversos métodos para estimação da matrizfundamental são encontrados na bibliografia, contudo ométodo mais conhecido é o algoritmo de 8 pontos. Talmétodo estima a matriz fundamental de forma linear,considerando um conjunto com n ≥ 8 correspondências esolucionando a equação 2.∑nm T i Fn i 2i=1 (2)A estimação robusta da matriz fundamental éfeita ponderando o resíduo para cada ponto. O resíduo émostrado pela equação 3, sendo r o resíduo e i o númerodo par de pontos na lista de pontos correlacionados.Figura 4 – Exemplo de pontos correspondentes apósaplicação do RANSAC.Com isso é possível realizar a retificação (planarou cilíndrica) no par de imagens para corrigir possíveisdistorções de ângulo ou movimentação entre as imagens efazer a interpolação nas imagens para que as mesmaspossam ser unidas. Enfim, as imagens são unidas pelospontos correspondentes restantes, após a aplicação doRANSAC e estimação da matriz homográfica. Ummomento anterior de cada junção ser efetivada é aplicadoo algoritmo Blend Feathering para suavizar a região dejunção. A Figura 5 mostra um exemplo de mosaico semaplicação do Blend Feathering. Todo este processo érepetido para cada par de imagens, até formar um mosaicocompleto, incluindo as 20 imagens de cada grupo.r i =m i T Fn i (3)Para o cálculo das homografias neste projeto, éselecionado um conjunto mínimo de S=4correspondências de características e o processo é repetidoN vezes (N=200) para um limiar t (distância máxima domodelo que um dado pode estar para ser considerado uminlier) de 4 pixels.Figura 5 – Exemplo de mosaico sem aplicação do Blendnas junções.

A Figura 6 apresenta um diagrama com ametodologia empregada neste artigo.A Tabela 1 apresenta os tempos médios emsegundos de processamento para cada metodologia gerarum mosaico contendo 20 imagens.Tabela 1 – Tempo de Processamento dasmetodologias usadas.MetodologiaTempo (s)AutoStitch 48PTGui 39Metodologia Proposta 605. Discussões e ConclusõesFigura 6 – Diagrama da metodologia empregada.4. ResultadosPara gerar os resultados, inicialmente foi feitauma análise nas retificações (planar e cilíndrica), paradeterminar qual é a mais indicada para este projeto.Depois foi realizada a montagem dos mosaicos utilizandoa Metodologia Proposta (projeto), a metodologiacomercial livre desenvolvida por Brown & Lowe (2007) -Autostitch - e a metodologia comercial livre PTGui(2011). Por fim, os resultados finais foram comparadospara verificar a qualidade das junções e o tempo deprocessamento.A Figura 7 apresenta os resultados gerados paraum mesmo grupo de imagens (contendo 20 imagens),utilizando a retificação cilíndrica e planar. Observando asretificações realizadas por um profissional da área, foipossível verificar que em 90% dos mosaicos gerados, asretificações planar e cilíndricas geraram resultadossimilares.A Figura 8 apresenta um mosaico completo,composto por 20 imagens, que foi construído pelasmetodologias citadas anteriormente.Os mosaicos gerados pelo Autostitch e pelaMetodologia Proposta são visualmente semelhantes, comopode ser observado na Figura 8; já o mosaico gerado peloPTGui mostrou-se diferente.Os testes de retificações realizados, conformeexemplo da Figura 7, tiveram uma alta porcentagem deresultados similares devido ao fato de que astransformações se comportaram de maneira estável, pelomotivo de que as imagens obtidas sequencialmentepossuem pouca distorção angular entre uma e outraimagem; isto foi comprovado por inspeção visual, por umprofissional da área. Para evitar o possível surgimento deuma imagem de tamanho infinito, que reduz a precisão equalidade do mosaico resultante, neste projeto foiutilizada a retificação cilíndrica.Os mosaicos gerados pelas três metodologias(Autostitch, PTGui e Metodologia Proposta) apresentaramresultados visualmente similares, mas se for considerada adistorção na geração dos mosaicos, é possível verificarque os resultados das 3 metodologias diferem, como podeser observado na Figura 9. Para comprovar as distorçõesde cada metodologia, foram marcados 3 pontos comuns dejunção (ponto inicial, ponto médio e ponto final),conforme pode ser observado pela linha branca na Figura8 dada como exemplo. Pode-se observar que o pontoinicial e ponto final sempre foram marcados na mesmalocalização e que o ponto médio tem sua posição alterada.Na Figura 9 dada como exemplo, usando oGoogle Earth, foram feitas as mesmas marcações, nasmesmas posições que foram feitas na Figura 8 e mais umamarcação pelas coordenadas ideais do Google Earth.Pelas coordenadas de GPS, foi possível ter uma referênciaideal dos pontos marcados do Google Earth em relaçãoaos pontos marcados pelas 3 metodologias utilizadas paracomparação. Com isso, foi possível comparar qualmetodologia se aproxima mais da marcação do GoogleEarth (ideal) e, verificar qual metodologia gerou maisdistorção. De acordo com a Figura 9, a linha vermelhacorresponde às coordenadas do Google Earth, a linha azulà Metodologia Proposta (Projeto), a linha amarela aoAutoStitch e a linha verde ao PTGui. Na Tabela 2 sãoapresentadas as coordenadas GPS dos pontos marcados naFigura 9.Pelas informações da Tabela 2, é possívelverificar que os pontos médios pertencentes a cadametodologia variam e isto pode ser comprovado na Figura9. As metodologias AutoStitch e PTGui distorcem as

imagens para que as junções ocorram, não se preocupandocom a precisão do mosaico, mas visualmente aparentamser mosaicos de boa qualidade.Tabela 2 – Coordenadas GPS dos pontos marcados.Coordenadas GPS Ponto Metodologia-22,269857 -45,771812 Inicial-22,252313 -45,729144 Médio Autostich-22,252913 -45,729219 Médio Projeto-22,247868 -45,730388 Médio PTGui-22,239154 -45,691300 FinalFoi feita uma inspeção visual por um profissionalda área nos 10 mosaicos gerados por cada metodologiaempregada neste artigo. Então foi possível verificar qualmetodologia aproxima-se mais da coordenada ideal doGoogle Earth (Figura 9 exemplo). Com todas essasverificações e inspeções, foi possível comprovar que em85% dos casos é a Metodologia Proposta que se aproximamais da referência ideal do Google Earth.Com isto foi possível concluir que asmetodologias comerciais dão ênfase a um baixo tempo deprocessamento ao invés da precisão do mosaico a sergerado.De acordo com os resultados da Tabela 1 e pelaanálise apresentada anteriormente, é possível concluir quea Metodologia Proposta apresenta mosaicos com melhorqualidade e menor distorção em relação às metodologiascomerciais, mas com tempo de processamento maiselevado.Figura 7 – Exemplo da retificação cilíndrica e planar.Figura 8 – Exemplo de mosaicos gerados.

Figura 9 – Comparação das metodologias utilizadas.6. Referências BibliográficasBeis, J. & Lowe, D.G., Shape indexing usingapproximate nearest-neighbour search inhighdimensional spaces. Conference on ComputerVision and Pattern Recognition, Puerto Rico, pp. 1000-1006, 1997.Bei, L; Haizhen, Z. An algorithm of fabric imagemosaic based on SIFT feature matching. IEEEInternational Conference on Artificial Intelligence andComputational Intelligence. p. 435 – 438, 2009Brown, M. & Lowe, D. G., Automatic Panoramic ImageStitching using Invariant Features. International Journalof Computer Vision, 2007.Fischler, M. A. & Bolles, R. C., Random SampleConsensus: A Paradigm for Model Fitting withApplications to Image Analysis and AutomatedCartography. Conference of the ACM, v. 24, p. 381-395, 1981.Li, L.; Geng; N. Algorithm for Sequence ImageAutomatic Mosaic based on SIFT Feature. IEEE –International Conference on Information Engineering. P.203 -206, 2010.Lowe D. G., Distinctive Image Features from ScaleInvariant. International Journal of Computer Vision,2004.Pollefeys, M., Self-calibration and metric 3dreconstruction from uncalibrated image sequences,Ph.D. dissertation, 1999.Fusiello, A.; Trucco, E. & Verri, A. A compactalgorithm for rectification of stereo pairs, MachineVision and Applications, no. 12, 2000.Hartley, R. & Zisserman, A., Multiple View Geomerty inComputer Vision. Cambridge University Press, 2ª. ed,2003.Hong, J.; Lin, W.; Zhang, H; Li, L. Image Mosaic Basedon SURF Feature Matching, IEEE - The 1stInternational Conference on Information Science andEngineering ICISE, 2009Juan, L.;Gwun, O., A Comparison of SIFT, PCA-SIFTand SURF. International Journal of Image Processing(IJIP) Volume(3), Issue(4), 2009Ke, Y.; Sukthankar, R. PCA-SIFT: A More DistinctiveRepresentation for Local Image Descriptors. In IEEEConference on Computer Vision and Pattern Recognition,2004.Oram, D., Rectification for any epipolar geometry, inBritish Machine Vision Conference, 2001, pp. 653–662.Pollefeys, M.; Koch, R. & Van Gool, L. A simple andefficient rectification method for general motion, inComputer Vision, 1999. The Proceedings of the SeventhIEEE International Conference on, vol. 1, 1999, pp. 496–501 vol.1.PTGui. Graphical User Interface for Panorama Tools.Panoramic stitching software, 2011.