Miglioramento dell’analisi di immagine in GRASS tramite segmentazione

Segmentazione in GRASS
Miglioramento dell’analisi di immagine in GRASS
tramite segmentazione
Alfonso Vitti e Paolo Zatelli
Dipartimento di Ingegneria Civile ed Ambientale
Università di Trento
Italy
FOSS4G-it 2010
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 1 / 25

Segmentazione in GRASS
Outline
1 Analisi del segnale
2 Un accenno alla teoria
3 Il software
4 Applicazioni
5 Conclusioni e sviluppi futuri
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 2 / 25

Segmentazione in GRASS | Analisi del segnale
Introduzione
É spesso utile estrarre da una mappa o da un’immagine una sua
versione “semplificata”, in cui le regioni uniformi sono “lisciate” ed i loro
contorni ben definiti.
Un possibile approccio a questo problema é dato dalla
segmentazione.
La segmentazione può essere intuitivamente immaginata come il
processo per la partizione di un dominio in regioni omogenee e
distinte, secondo criteri prefissati.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 3 / 25

Segmentazione in GRASS | Analisi del segnale
Introduzione
Un esempio di segmentazione di immagini
Un’immagine di ciottoli e la sua segmentazione
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 4 / 25

Segmentazione in GRASS | Analisi del segnale
Segmentazione
L’output della segmentazione consiste in:
un insieme di regioni omogenee
un insieme di contorni
A seconda dell’applicazione, uno o entrambi gli insiemi sono
interessanti.
Il problema consiste nell’identificare le caratteristiche principali del
segnale, lisciando i dati di input, preservando al tempo stesso la
struttura del segnale (e le sue discontinuità).
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 5 / 25

Segmentazione in GRASS | Un accenno alla teoria
Segmentazione con approccio variazionale
Uno dei possibili modi per formulare il processo di segmentazione dal
punto di vista matematico é l’approccio variazionale, che identifica un
insieme di quantità la minimizzazione delle quali porta alla soluzione
cercata, che dipende ovviamente dalle caratteristiche di queste
quantità.
Queste quantità sono termini di penalizzazione legati alle
caratteristiche che si richiedono alla soluzione.
I coefficienti assegnati a questi termini sono il mezzo per controllare il
processo.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 6 / 25

Segmentazione in GRASS | Un accenno alla teoria
Modello variazionale di Mumford e Shah
Il modello variazionale di Mumford e Shah segue questo approccio,
richiedendo che:
1 la soluzione sia più vicina possibile ai dati di input
2 la soluzione sia più “liscia” possibile all’interno di ogni regione
omogenea
3 la lunghezza dei contorni sia la minima possibile
MS(u, K ) =
Ω\K
|u − g| 2
dx + λ |∇u|
Ω\K
2 dx + αH 1 (K )
where Ω ⊂ R n é un intervallo limitato aperto, g ∈ L inf (Ω) rappresenta i dati, λ e α sono
parametri positivi, H 1 é la misura di Hausdorff e K l’insieme dei contorni delle regioni.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 7 / 25

Segmentazione in GRASS | Un accenno alla teoria
Modello variazionale di Mumford e Shah
Ωi rappresenta una regione uniforme, g rappresenta i dati, u la sua approssimazione
e K é l’insieme dei contorni delle regioni.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 8 / 25

Segmentazione in GRASS | Un accenno alla teoria
Modello variazionale di Mumford e Shah
I principali problemi con questa formulazione sono:
sono presenti contemporaneamente integrali di superficie (2D) di
linea (1D)
il dominio di integrazione é una delle incognite del problema (free
discontinuity problem)
in questa forma non é possibile trovare una soluzione.
Quindi la formulazione é modificata in modo che
sono presenti solo integrali di superficie (2D) (formulazione
debole)
la “Γ convergence” é usata per riscrivere il termine che controlla le
discontinuità
si scrive il sistema di equazioni di Eulero associato alla nuova
formulazione, la soluzione é iterativa
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 9 / 25

Segmentazione in GRASS | Un accenno alla teoria
Estensione del modello di Mumford e Shah
Anche se la nuova formulazione rende l’implementazione del modello
possibile, rimangono alcuni problemi per la sua applicazione a segnali
reali:
controllare la regolarità attraverso le derivate prime può portare a
sovrasegmentazione (”ramp effect”)
le curve che rappresentano le discontinuità possono solo
terminare con una estremità libera o con una giunzione tripla
le discontinuità possono incontrare il confine del dominio solo
ortogonalmente
gli angoli non possono essere descritti da questo modello
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 10 / 25

Segmentazione in GRASS | Un accenno alla teoria
Estensione del modello di Mumford e Shah
É possibile rappresentare angoli modificando il funzionale
MSk(u) := |u − g|
Ω
2
dx + λ |∇u|
Ω
2
dx +
α + βk
Su
2
ds
dove k é la curvatura del contorno. Ora i parametri α e β controllano rispettivamente
l’elasticità e la rigidità delle curve:
se α → 0 ogni pixel tende a diventare una singola regione
se α é troppo grande i cerchi “collassano”, gli “angoli retti” sono smussati e si
ottiene una singola regione
se λ → ∞ la soluzione tende ad essere costante a tratti
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 11 / 25

Segmentazione in GRASS | Il software
La libreria seglib
É stata sviluppata in C una nuova libreria che implementa un set di
funzioni per la segmentazione.
La libreria, chiamata seglib, implementa sia il modello originale di
Mumford-Shah che il modello di Mumford-Shah con il termine di
curvatura.
Per entrambi i modelli la libreria implementa i metodi iterativi non
lineari di Jacobi Gauss-Seidel per risolvere il problema della
valutazione del gradiente discreto (“discrete gradient descent
problem”) associato alla discretizzazione alle differenze finite delle
equazioni di Eulero.
Il codice é rilasciato con licenza GNU3 General Public License.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 12 / 25

Segmentazione in GRASS | Il software
Il modulo r.seg per GRASS
Il modulo di GRASS r.seg fornisce l’accesso in ambiente GRASS alle
funzioni per la segmentazione di immagini contenute nella libreria
seglib.
La scelta di sviluppare un modulo di GRASS piuttosto che un
programma separato dipende principalmente dai vantaggi che si
hanno integrando questo tipo di analisi in un GIS.
Il codice é rilasciato con licenza GNU3 General Public License.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 13 / 25

Segmentazione in GRASS | Il software
L’interfaccia del modulo di GRASS r.seg
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 14 / 25

Segmentazione in GRASS | Il software
Parametri del modulo di GRASS r.seg I
I parametri del modulo di GRASS r.seg sono:
il nome della mappa raster di input da segmentare
i nomi delle mappe di output che contengono il raster segmentato
e i contorni individuati
i nomi delle mappe contenenti i valori iniziali delle funzioni u e z
il valore del parametro λ, che controlla la regolarità delle regioni
nella mappa segmentata
il valore del parametro α, che controlla la lunghezza dei contorni
delle regioni
il valore del parametro β, che controlla la “rigidità” dei contorni
delle regioni (la flag Activate MSK flag deve essere selezionata)
il valore della Convergence tolerance che definisce la massima
tolleranza, sull’intero dominio, tra i valori della soluzione (raster
segmentato) a due passi successivi
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 15 / 25

Segmentazione in GRASS | Il software
Parametri del modulo di GRASS r.seg II
il numero massimo di massimo di iterazioni (Max number of
iterations) dopo le quali il processo si ferma (se non ha raggiunto
la convergenza prima)
la flag Do not use GS method disattiva l’uso del metodo di
Gauss-Seidel e attiva quindi il metodo di Jacoby; questa opzione
é utile solo per test
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 16 / 25

Segmentazione in GRASS | Il software
Mappe di input per il modulo r.seg
Due mappe iniziali sono necessarie per innescare l’algoritmo iterativo:
la mappa per i valori iniziali della funzione u può essere uguale
alla mappa da segmentare (in input)
la mappa per i valori iniziali della funzione z deve contenere valori
(anche uniformi constante) nell’intervallo [0-1]
La mappa per i valori iniziali della funzione z può essere creata con il
modulo r.mapcal di GRASS.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 17 / 25

Segmentazione in GRASS | Applicazioni
Test
Il modulo r.seg é stato usato per analizzare alcune immagini di prova e
alcune immagini tipiche usate in ambiente GIS, per filtrare il rumore e
per pre processare le immagini prima della loro classificazione.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 18 / 25

Segmentazione in GRASS | Applicazioni
Pre-processamento di immagini
Ortofoto del colle di Tenna tra i laghi di Levico e Caldonazzo in Trentino, bande RGB, ris. 1m
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 19 / 25

Segmentazione in GRASS | Applicazioni
Image pre-processing
Immagine segmentata e discontinuità.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 20 / 25

Segmentazione in GRASS | Applicazioni
Classificazione di immagini
Classificazione unsupervised: immagine originale e segmentata.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 21 / 25

Segmentazione in GRASS | Applicazioni
Classificazione di immagini
Segmentazione e classificazione dell’alveo di un “braided river”: immagine originale e segmentata, la parte bagnata é in ciano.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 22 / 25

Segmentazione in GRASS | Applicazioni
Estrazione di contorni
Estrazione di contorni: i contorni dei canali sono in ciano.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 23 / 25

Segmentazione in GRASS | Conclusioni e sviluppi futuri
Conclusioni e sviluppi futuri
L’applicazione dei modelli di Mumford-Shah per la segmentazione
fornisce buoni risultati con immagini di tipo diverso. La nuova libreria
seglib ed il modulo r.seg sono affidabili e veloci.
L’uso di questo nuovo strumento come pre-processore di immagini e la
sua combinazione con altre procedure per l’analisi di immagini
disponibili in GRASS fornisce un evidente miglioramento rispetto alle
procedure standard.
Sono in corso di svolgimento test numerici per valutare
quantitativamente i benefici di questo approccio e per dare indicazioni
sulla scelta dei parametri λ, α e β.
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 24 / 25

Segmentazione in GRASS | Conclusioni e sviluppi futuri
Conclusioni e sviluppi futuri
Sviluppi futuri:
segmentazione diretta di immagini multibanda
studio del funzionale di Blake e Zisserman (che controlla le
derivate seconde, cioè la curvatura) in 2D per l’estrazione di
features dai Digital Surface Models (ad esempio tetti di edifici)
estensione del funzionale di Mumford e Shah con l’introduzione di
un termine che controlla l’esistenza ed il comportamento di punti
di estremità delle linee che rappresentano i contorni delle regioni
Il codice sorgente della versione attuale (di sviluppo, senza quasi
documentazione!) della libreria e del modulo di GRASS é disponibile
qui http://www.ing.unitn.it/~grass
c○2010 Alfonso Vitti e Paolo Zatelli, disponibile come
A. Vitti P. Zatelli | Università di Trento | FOSS4G-it 2010 25 / 25