25.08.2013 Views

Rezumat teza - Universitatea Tehnic?

Rezumat teza - Universitatea Tehnic?

Rezumat teza - Universitatea Tehnic?

SHOW MORE
SHOW LESS

You also want an ePaper? Increase the reach of your titles

YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.

Ing. Mihaela ȘUTEU (căsăt. CÎȘLARIU)<br />

CONTRIBUȚII LA RESTAURAREA, CORECȚIA ȘI<br />

ÎMBUNĂTĂȚIREA IMAGINILOR ȘI SECVENȚELOR<br />

VIDEO<br />

REZUMATUL TEZEI DE DOCTORAT<br />

Conducător științific:<br />

Prof.dr.ing. Aurel VLAICU<br />

UNIVERSITATEA TEHNICĂ<br />

CLUJ-NAPOCA


FACULTATEA DE ELECTRONICĂ, TELECOMUNICAȚII ȘI TEHNOLOGIA<br />

INFORMAȚIEI<br />

Ing. Mihaela ȘUTEU (căsăt.CÎȘLARIU)<br />

CONTRIBUȚII LA RESTAURAREA, CORECȚIA ȘI<br />

ÎMBUNĂTĂȚIREA IMAGINILOR ȘI SECVENȚELOR<br />

VIDEO<br />

REZUMATUL TEZEI DE DOCTORAT<br />

UNIVERSITATEA TEHNICĂ<br />

CLUJ-NAPOCA<br />

2011<br />

Conducător științific<br />

Prof.dr.ing.Aurel VLAICU


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Cuprins<br />

1.Introducere ............................................................................................................................................ 4<br />

2.Filtrarea adaptivă și inteligentă a zgomotului din imagini color ........................................................... 6<br />

2.1. Privire generală asupra filtrării zgomotului din imagini color ..................................................... 6<br />

2.2. Algoritm de filtrare mediană color cu sisteme de inferență fuzzy în spațiul HSV ....................... 7<br />

2.3. Algoritm nou de filtrare mediană color bazat pe o cascadă adaptivă de sisteme de inferenţă<br />

fuzzy .................................................................................................................................................... 11<br />

3.Soluții inteligente pentru detecția defectelor mici (de tip praf, zgârieturi) din imagini monocrome<br />

și color .................................................................................................................................................... 16<br />

3.1. Problematica detecției defectelor mici. Privire generală. ........................................................... 16<br />

3.2. Algoritm de detecție a defectelor mici bazat pe mașini cu vectori suport .................................. 16<br />

3.3. Algoritm fuzzy de detecţie defectelor de dimensiuni mici ......................................................... 20<br />

4.Corecția defectelor mari din imagini color – tehnici de tip inpainting (prin algoritmi de umplere<br />

bazați pe exemple) .................................................................................................................................. 24<br />

4.1. <strong>Tehnic</strong>ile de tip inpainting. Privire generală. ............................................................................. 25<br />

4.2. Algoritmul de umplere a spaţiilor din imaginile color bazat pe regiuni exemplu ...................... 25<br />

4.3. Algoritm fuzzy de umplere a regiunilor lipsă din imagini bazat pe regiuni-exemplu ................ 27<br />

4.4. Un nou algoritm de umplere a spaţiilor bazat pe regiuni-exemplu din zone sursă multiple ..... 34<br />

5. Aplicații ale metodelor de detecție și corecție a defectelor în imagini de patrimoniu cultural și<br />

arhive digitale ......................................................................................................................................... 38<br />

5.1. Problematica imaginilor de partimoniu cultural și arhive digitale. Privire generală. ................. 38<br />

5.2. Aplicații ale metodelor de detecție a defectelor de tip linii subţiri, praf, puncte izolate ............ 38<br />

5.3. Aplicația de corecție a defectelor de tip zone lipsă/degradate de dimensiuni mari .................... 41<br />

6.Contribuții personale și concluzii ........................................................................................................ 44<br />

3


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

1.Introducere<br />

4<br />

Scopul tezei. Problematica abordată.<br />

Tematica abordată în cadrul cercetării doctorale este cea a prelucrării imaginilor<br />

digitale în vederea restaurării, corecției și îmbunătățirii acestora.<br />

Restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video cuprinde atât<br />

metode clasice din domeniul prelucrărilor de imagini (care deja sunt consacrate de multă<br />

vreme în domeniu), cât şi metode noi, cum ar fi tehnicile de inpainting (completarea<br />

datelor-lipsă din imagini digitale) (ale căror începuturi semnificative se raportează din<br />

perioada 2000) şi tehnicile dedicate secvenţelor video care utilizează şi informaţia spaţială<br />

în restaurare şi corecţie.<br />

Ceea ce este cu precădere de noutate şi importanţă pentru domeniul abordat,<br />

explicând şi interesul crescut la nivelul cercetărilor actuale în domeniu, este cererea din<br />

sfera aplicaţiilor pentru această categorie de tehnici din domeniul prelucrărilor de imagini<br />

şi video, dintr-o gamă largă de domenii: prezervarea patrimoniului cultural în format<br />

digital; crearea arhivelor digitale de film şi fotografice; prelucrări cerute de cinematografia<br />

digitală; transmisia eficientă şi prelucrarea conţinutului multimedia; compresia şi<br />

codarea/decodarea eficientă a conţinutului video; supravegherea video în condiţiile<br />

protejării intimităţii personale; reconstrucţia obiectelor ascunse, atunci când sunt parţial<br />

acoperite de către alte obiecte, cu aplicaţii în reconstrucţia 3D a obiectelor, pentru diverse<br />

domenii – industriale, medicale.<br />

O alta direcţie recentă de interes în domeniu o reprezintă posibilitatea şi<br />

oportunitatea includerii de algoritmi de restaurare, corecţie şi îmbunătăţire a imaginilor<br />

statice în camere foto; acest tip de cerinţe venite de pe piaţa producătorilor de aparate foto<br />

necesită, din partea cercetătorilor în domeniu, elaborarea de noi algoritmi implementabili<br />

pe sisteme miniaturizate, cu capacitate de prelucrare limitată, care să ruleze în timp real, pe<br />

sisteme de achiziţie cu performanţe moderate.<br />

Din punct de vedere teoretic, cele mai importante aspecte vizează cercetarea şi<br />

dezvoltarea unor algoritmi şi metode de restaurare, corecţie şi îmbunătăţire a imaginilor şi<br />

secvenţelor video adaptabili claselor de aplicaţii, care să ofere o calitate perceptuală a<br />

imaginii/secvenţei rezultate superioară algoritmilor existenţi, cu eliminarea artefactelor,<br />

fără a creşte sensibil complexitatea de calcul. În acest context, sunt de remarcat tehnicile<br />

bazate pe inteligenţă artificială şi soft computing, utilizarea informaţiei temporale şi<br />

fuziunea mai multor modalităţi de achiziţie a imaginilor.<br />

Problemele care pot apărea în imaginile digitale color sunt:<br />

distorsiuni geometrice,<br />

distorsiuni ale culorii,<br />

alterare prin zgomot,<br />

zone lipsă,<br />

obiecte nedorite,<br />

obturare parțială a unor porțiuni din scenă.<br />

Specificul/dificultatea suplimentară apărută la restaurarea, îmbunătățirea și corecția<br />

imaginilor o prezintă nevoia de a prelucra imagini color. Defectele afectează toate<br />

componentele de culoare, iar pentru eliminarea defectului trebuie prelucrate fiecare din<br />

aceste componente din spațiul de culoare.


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Dintre acestea, <strong>teza</strong> tratează doar trei categorii de defecte:<br />

zgomot în impulsuri (color)<br />

defecte mici (de tip zgomot, praf, zgârieturi, crăpături)<br />

zone lipsă de dimensiuni mari<br />

care reprezintă defecte majore posibile să apară atât la achiziția și transmitere/redarea<br />

imaginilor și secvențelor video în format digital cât și în scena fizică în cazul filmelor,<br />

fotografiilor, obiectelor de patrimoniu cultural.<br />

Algoritmii propuși în cadrul lucrării sunt adecvați ambelor tipuri de situații, după<br />

cum se exemplifică prin aplicațiile prezentate.<br />

Elaborarea de algoritmi automaţi de filtrare a zgomotului şi algoritmi automaţi de<br />

identificare a zonelor nedorite în imagini digitale şi interpolarea acestor informaţii în<br />

regiuni spaţiale cu cea mai mare probabilitate, în contextul adaptării lor pentru diferite<br />

aplicaţii cum sunt cele menţionate mai sus, este o problematică actuală – aşa cum arată<br />

literatura de specialitate, dar şi proiectele de cercetare şi temele de doctorat propuse în<br />

diferite colective de prestigiu la nivel internaţional. Subiectul prezintă interes atât din<br />

punctul de vedere al cercetării fundamentale, cât şi aplicative, încadrându-se în cadrul<br />

prelucrării de imagini ce aparţine domeniului inginerie electronică şi telecomunicaţii.<br />

Lucrarea își propune prezentarea contribuțiilor personale în domeniile menționate.<br />

Aceste contribuții constau în elaborarea teoretică de noi algoritmi, noi aplicații și noi<br />

sisteme bazate pe fundamente matematice existente și extinderi ale unor algoritmi<br />

existenți.<br />

Contribuțiile prezentate în teză sunt raportate la stadiul actual din literatura de<br />

specialitate în domeniu, explicate teoretic și verificate experimental. În plus ele sunt<br />

validate printr-un număr de 5 lucrări științifice în reviste și volume ale conferințelor.<br />

5


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

2.Filtrarea adaptivă și inteligentă a zgomotului din<br />

imagini color<br />

2.1. Privire generală asupra filtrării zgomotului din imagini color<br />

În imaginile achiziționate sau recepționate poate apărea zgomot din diferite motive.<br />

Zogmotul degradează perceperea imaginii, motiv pentru care se doreşte înlăturarea<br />

acestuia. În general, calitatea imaginii prelucrate depinde mult de algoritmul de eliminare<br />

a zgomotului utilizat. Există un număr foarte mare de tehnici de eliminare a zgomotului<br />

bine cunoscute pentru imagini pe nivele de gri, însă adaptarea acestor tehnici pentru cazul<br />

imaginilor color şi obţinerea unor algoritmi performanţi calitativ nu este o sarcină foarte<br />

uşoară. Dacă problema eliminării zgomotului este în general mai uşor de soluţionat în<br />

imagini pe nivele de gri, unde este prezentă doar componenta de luminanţă, în imaginile<br />

color lucrurile se complică datorită necesităţii analizei simultane a mai multor componente<br />

care descriu culoarea. Uneori pentru aceasta este suficient de eficientă folosirea spaţiului<br />

RGB (spaţiul natural de reprezentare a culorii); alteori prelucrarea trebuie făcută în spaţii<br />

perceptual uniforme (cum ar fi spaţiile HLS sau HSV, care descriu culoarea prin nuanţa,<br />

saturaţia şi luminozitatea sa).<br />

6<br />

2.1.1. Filtrarea spaţială a zgomotului în imagini color prin tehnici mediene<br />

În general, zgomotul nu poate fi complet eliminat fără pierderea unor informaţii de<br />

detaliu din imagine, iar tendinţa algoritmilor de filtrare a zgomotului este de a furniza<br />

aparatul matematic adecvat înlăturării zgomotului sau reducerii sale sub limita de<br />

vizibilitate, în condiţiile păstrării detaliilor utile din imaginea prelucrată (sau deteriorării<br />

imperceptibile vizual a acestora). Una dintre abordările recente este bazată pe analiza<br />

imaginii preliminar filtrării, pentru a identifica pixelii de zgomot – definiţi intuitiv (cel<br />

puţin în cazul zgomotului în impulsuri din imagini pe nivele de gri) ca fiind pixelii<br />

nejustificat de „întunecoşi” sau „luminoşi”, în contextul spaţial local al imaginii.<br />

2.1.1.1. Filtrarea mediană în imagini color<br />

Extinderea conceptului filtrării mediane spaţiale în prelucrarea de imagini color nu<br />

este o procedură foarte simplă. Una din dificultăţile esenţiale în definirea medianei într-un<br />

set de valori ale vectorilor este lipsa unui concept „natural” de ordonare a vectorilor în<br />

cauză. O simplă generalizare a filtrării mediane la cazul imaginilor color prin ordonarea<br />

independentă a componentelor de culoare R, G şi B (respectiv prin aplicarea independentă<br />

a câte unui filtru median pe fiecare componentă primară de culoare) nu conduce la<br />

rezultate satisfăcătoare, deoarece, chiar dacă zgomotul afectează independent<br />

componentele de culoare, cele trei componente sunt puternic corelate, ca urmare nu pot fi<br />

prelucrate independent. Problema principală este generarea unor noi culori, neprezente în<br />

scena originală, în special în acele regiuni din imagine care nu au fost afectate de zgomot –<br />

problemă ilustrată în următorul exemplu.<br />

Fie trei pixeli color în spaţiul color RGB, definiţi prin trei vectori de culoare<br />

p1=(10,40,50) T , p2=(80,50,10) T , şi p3=(50,100,150) T . Dacă filtrul median este aplicat<br />

separat pe fiecare componentă a vectorului, vectorul rezultat este p’=(50,50,50) T . Acest<br />

vector nu există în datele de intrare şi reprezintă un pixel gri, care va modifica semnificativ


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

imaginea chiar dacă ea nu era iniţial afectată de zgomot. Din acest exemplu se observă că<br />

este posibil să apară distorsionarea culorilor imaginii la aplicarea separată a filtrului<br />

median pe fiecare componentă de culoare. Dacă totuşi se doreşte aplicarea separată a<br />

filtrului asupra componentelor scalare de culoare, atunci este bine să se utilizeze un spaţiu<br />

de culoare în care componentele să fie decorelate şi este necesară aplicarea secvenţială a<br />

filtrării mediane pe componente, fiind în prealabil stabilită o ordine în care vor fi<br />

comparate componentele.<br />

2.1.2. Filtrarea mediană bazată pe tehnici fuzzy<br />

În contextul filtrării imaginilor color pentru a înlătura zgomotul în impulsuri, un<br />

număr semnificativ de algoritmi folosesc tehnici fuzzy (cei mai mulți dintre acestia -<br />

mulţimi fuzzy şi reguli fuzzy, dar, de asemenea, unii dintre aceștia - sisteme cu logica<br />

fuzzy) şi acestea dovedesc o performanţă mai bună decât tehnicile tranşante (acest lucru,<br />

probabil se explică prin flexibilitatea de prelucrare - specifică matematicii fuzzy). Astfel, în<br />

[Andreadis2003] şi [Andreadis2005], autorii propun un algoritm de filtrare bazat pe o<br />

ordonare fuzzy a culorilor, decisă de un sistem cu logică fuzzy Mamdani, a cărui ieşire este<br />

cea mai plauzibilă „valoare a planului de ordonare” (OPV- ordering plane value) a culorii<br />

de intrare. Pentru acest algoritm de filtrare există şi o versiune ponderată.<br />

În ciuda unei mari varietăţi de metode fuzzy de filtrare color, puţine dintre ele se<br />

referă în mod explicit la particularităţile de filtrare a zgomotului color în impulsuri, spre<br />

deosebire de cazuri mai simple de zgomot în impulsuri monocrom. Deşi unele lucrări<br />

analizează performanţa de filtrare a zgomotului de culoare, ca şi<br />

[Morillas2006],[Schulte2007], cele mai multe dintre ele se limitează la zgomot de tip sare<br />

si piper. Experimentele efectuate arată că zgomotul în impulsuri color este mai greu de<br />

eliminat şi aceasta este una dintre motivaţiile noilor sisteme propuse.<br />

2.2. Algoritm de filtrare mediană color cu sisteme de inferență<br />

fuzzy în spațiul HSV<br />

În ceea ce urmează este prezentat un nou algoritm de filtrare color bazat pe logica<br />

fuzzy, conceput pentru spaţiul de culoare HSV, sub forma unei cascade de trei sisteme cu<br />

logică fuzzy, fiecare lucrând separat pe o componentă de culoare. Având în vedere<br />

configuraţia de cascadă şi utilizarea relaţiilor de ordonare fuzzy, performanţa filtrului<br />

propus privind filtrarea zgomotului color este superioară altor abordări fuzzy, după cum<br />

arată rezultatele experimentale. Contribuţia principală a algoritmului propus în<br />

[Suteu2009] este reducerea zgomotului color de tip impuls în imagini color utilizând o<br />

cascadă simplă de trei sisteme cu logică fuzzy<br />

2.2.1. Sistemul de inferenţă fuzzy pentru ordonarea componentelor culorilor<br />

Cel mai obişnuit mod de a reprezenta valoarea unui pixel dintr-o imagine color este<br />

prin componentele sale RGB. Acest tip de reprezentare nu este unul convenabil, deoarece<br />

componentele RGB sunt corelate. Spaţiul de culoare HSV a fost ales deoarece<br />

componentele sale sunt direct corelate cu percepţia umană de culoare. Hue (h) reprezintă<br />

lungimea de undă dominantă, (s) se referă la puritatea culorii şi valoarea (v) este o măsură<br />

a poziţiei culorii de-a lungul axei luminos-întunecat. Valorile h sunt de la 0 la 360,<br />

h [<br />

0,<br />

360)<br />

. Valorile s şi v variază de la 0 la 1, s [<br />

0,<br />

1]<br />

, v [<br />

0,<br />

1]<br />

.<br />

7


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

În [Koschan2001] autorii propun o schemă de ordonare a culorilor în spaţiul de<br />

culoare HSV. Pornind de la această propunere am considerat că potrivit percepţiei ochiului<br />

uman, o posibilitate de reducere a zgomotului color este prin aplicarea de filtre separat, mai<br />

întâi pe cea mai importantă componentă perceptuală de culoare, apoi pe a doua<br />

componentă ca importanţă şi ultima dată pe componenta de culoare cea mai puţin<br />

importantă perceptual, prin urmare, producând o cascadă de filtre. Această logică este de<br />

asemenea folosită în algoritmul descris din [Koschan2001], dar, probabil pentru că filtrul<br />

prezentat în acea lucrare este dedicat filtrării zgomotului alb-negru, componenta de valoare<br />

v este considerată a fi cea mai semnificativă componentă în filtrare. Acest lucru nu este<br />

însă valabil în cazul zgomotului color, unde importanţa din punct de vedere perceptual a<br />

fiecărei componente pentru viziunea umană trebuie să fie luată în considerare. În acest<br />

sens, componenta cea mai importantă perceptual pentru vizualizarea culorii în spaţiul HSV<br />

este nuanţa; următoarea ca importanţă este saturaţia (puritatea), iar cea mai puţin<br />

importantă este valoarea. Prin urmare, în cazul algoritmului propus, am avut în vedere<br />

definirea relaţiilor fuzzy de ordonare care urmează să fie aplicate mai întâi pe nuanţă h, în<br />

al doilea rând pe saturaţie s şi doar ultima dată pe valoare v. Aceasta îmbunătăţeşte<br />

aspectul vizual al imaginii filtrate.<br />

Fiecare relaţie fuzzy de ordonare este implementată sub forma unui singur sistem<br />

fuzzy cu o intrare - o ieşire Takagi-Sugeno, fiecare sistem fuzzy având exact aceeaşi<br />

structură, permiţând astfel o proiectare unitară. Sistemele fuzzy sunt implementate cu<br />

relaţii de ordonare între două culori pe o anumită componentă a culorii. Variabila de intrare<br />

a fiecărui sistem este diferenţa dintre cele două valori ale acelei componente a celor două<br />

culori. Domeniul de valori al diferenţelor este descris în sistemul fuzzy de trei valori<br />

lingvistice (reprezentate prin trei mulţimi fuzzy): NEGATIV, ZERO şi POZITIV.<br />

Ieşirea fiecărui sistem fuzzy este un indicator al plauzibilităţii că cele două culori sunt<br />

ordonate crescător. Pentru că sistemele fuzzy utilizate sunt sisteme Takagi-Sugeno, valorile<br />

de ieşire sunt constante numerice, care în algoritmul propus, au valorile posibile {-1, 0, 1}.<br />

Valoarea +1 este un indicator că prima culoare considerată este „aproximativ mai mare<br />

decât” cea de-a doua culoare; valoarea -1 este un indicator că prima culoare considerată<br />

este „aproximativ mai mică decât” cea de-a doua culoare; valoarea de 0 indică faptul că<br />

două culori sunt "aproximativ egale".<br />

8<br />

Să notăm oricare din cele trei componente de culoare cu cc, cc h, s,<br />

v<br />

. Fie ci şi ck<br />

două culori şi cci, cck - componente de culoare. Variaţia unei componente de culoare între<br />

cele două culori ci şi ck este notată prin dccik = cci-cck . Fie oik ieşirea sistemului fuzzy<br />

o 1;<br />

1.<br />

Regulile fuzzy folosite sunt descrise în cele ce urmează.<br />

ik<br />

NEGATIV<br />

-1<br />

dccik<br />

1<br />

ZERO POZITIV<br />

h/s/vNEGATIV 0 h/s/vPOZITIV 1<br />

3<br />

Fuzzificare<br />

Intrare<br />

fuzzificata<br />

Baza de reguli fuzzy:<br />

R1: Daca dccik este NEGATIV at oik =- 1<br />

R2: Daca dccik este ZERO at oik = 0<br />

R3: Daca dccik este POZITIV, at oik = +1<br />

3<br />

Takagi-Sugeno<br />

Inferenta fuzzy<br />

Figura 2.1 Sistem cu logica fuzzy diagrama bloc.<br />

1<br />

-1 0 +1<br />

3<br />

Valoarea de iesire, oik


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Fiecare dintre cele trei sisteme fuzzy folosite pentru a ordona o componentă anume<br />

(h,s,v) utilizează trei reguli, definite după cum urmează:<br />

a) baza de reguli fuzzy pentru ordonarea componentelor de nuanţă şi valoare:<br />

R1: Dacă dccik este NEGATIV atunci oik = - 1<br />

R2: Dacă dccik este ZERO atunci oik = 0<br />

R3: Dacă dccik este POZITIV atunci oik = +1<br />

unde cc { h,<br />

v}<br />

.<br />

b) baza de reguli fuzzy pentru ordonarea componentei saturaţie:<br />

R1: Dacă dccik este NEGATIV atunci oik = + 1<br />

R2: Dacă dccik este ZERO atunci oik = 0<br />

R3: Dacă dccik este POZITIV atunci oik = - 1<br />

pentru cc = s.<br />

Sistemul de inferenţă Takagi-Sugeno furnizează ieşirea sistemului cu logică fuzzy<br />

conform ecuaţiei:<br />

dccik 1 ZEROdcc<br />

ik 0 POZITIV<br />

dccik<br />

1<br />

dcc ZEROdcc<br />

POZITIV<br />

dcc <br />

NEGATIV<br />

oik<br />

. (2.1)<br />

NEGATIV ik<br />

ik<br />

ik<br />

unde NEGATIV(dccik) este gradul de apartenenţă a valorii dccik a mulţimii fuzzy<br />

NEGATIV, ZERO(dccik) este gradul de apartenenţă a valorii dccik a mulţimii fuzzy ZERO,<br />

şi POZITIV(dccik) este gradul de apartenenţă a valorii dccik a mulţimii fuzzy POZITIV.<br />

NEGATIV 1 ZERO POZITIV<br />

-1<br />

Gradul de<br />

apartenenta<br />

h/s/vNEGATIV h/s/vPOZITIV 0<br />

1<br />

Figura 2.2. Mulţimi fuzzy pentru valori de intrare ale hue/saturation/value.<br />

2.2.2. Arhitectura cascadei pentru filtrare color în spaţiul HSV<br />

Spre deosebire de lucrări similare, ca şi cele din [Koschan2001] şi [Andreadis2004],<br />

unde filtrarea mediană se realizează într-un singur pas (culorile pixelilor dintr-o fereastră<br />

dată sunt ordonate într-un singur pas, pe cele trei componente de culoare în spaţiul HSV),<br />

abordarea propusă aici poate fi văzută ca o cascadă de trei filtre mediane fuzzy aplicate pe<br />

imagini color afectate de zgomotul color. Deşi un uşor dezavantaj al acestei abordări este<br />

un oarecare efect de înceţoşare, eficienţa în înlăturarea zgomotului color este superioară<br />

algoritmilor similari menţionaţi anterior; perceptual, înceţoşarea nu este atât de<br />

supărătoare.<br />

9


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

10<br />

Schema bloc a algoritmului de filtrare în cascadă este prezentată în figura 2.3.<br />

Pe scurt, funcţionarea filtrului cascadat poate fi descrisă prin următoarele etape: în<br />

fiecare vecinătate de 3×3 pixeli din imagine:<br />

(1) Se sortează descrescător culorile de la cele cu cel mai mic h la cele cu cel mai<br />

mare h, folosind ieşirea oik a sistemului fuzzy având dhik la intrarea acestuia.<br />

Două culori ci şi ck sunt schimbate între ele în şir, în cazul în care oik


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

(d) (e) (f)<br />

Figura 2.4 (a) Imaginea originală: basalt; (b) zonă detaliu;(c) imaginea afectată de zgomot în<br />

impulsuri în proporţie de 20% ; (d) imaginea rezultat pentru filtrul propus cu o cascadă de filtre fuzzy<br />

;(e) imaginea rezultat pentru algoritmul propus în [Koschan2001] ; (f) imaginea rezultat pentru<br />

algoritmul fuzzy propus în [Andreadis2004] ;<br />

2.3. Algoritm nou de filtrare mediană color bazat pe o cascadă<br />

adaptivă de sisteme de inferenţă fuzzy<br />

Se prezintă un algoritm de filtrare [Cislariu2010] al cărui scop este reducerea<br />

zgomotului în impulsuri color în imagini color utilizând o cascadă adaptivă a trei sisteme<br />

cu logică fuzzy. Adaptarea se referă la configuraţia de cascadă: în zonele cromatice, o<br />

configuraţie de două sisteme fuzzy cascadate este suficientă pentru a elimina eficient<br />

zgomotul color (şi anume, pe componentele de nuanţă şi valoare în spaţiul de culoare<br />

HSV), în timp ce, în zonele preponderent acromatică (gri), trei filtre fuzzy sunt necesare,<br />

câte unul pe fiecare componentă de culoare (nuanţă, saturaţie şi valoare); în caz contrar<br />

pixelii de zgomot nu sunt eliminaţi în mod eficient în aceste regiuni. Trebuie să menţionăm<br />

că reducerea complexităţii cascadei de la de trei componente de filtrare (la fel ca în<br />

majoritatea metodelor existente), la numai două componente de filtrare, îmbunătăţeşte<br />

performanţa generală a filtrului cu privire la muchii în regiunile cromatice. Detalii cu<br />

privire la sistemul propus şi rezultatele experimentale care arată performanţele sale sunt<br />

prezentate în continuare.<br />

La fel ca si pentru algoritmul descris anterior cea mai potrivită reprezentare nu este în<br />

spaţiul RGB ci în spaţiul HSV.<br />

Fiecare relaţie fuzzy de ordonare este implementată sub forma unui sistem Takagi-<br />

Sugeno cu o intrare - o ieşire. Sistemele fuzzy implementate au exact aceeaşi structură,<br />

permiţând astfel un design unitar, aşa cum se arată în figura 2.1. Pentru fiecare sistem<br />

fuzzy variabila de intrare este diferenţă a două culori diferite din imagine pe aceeaşi<br />

componentă de culoare. La fel ca mai sus valorile diferenţelor sunt descrise în sistemul<br />

fuzzy de trei valori lingvistice: ZERO, NEGATIV şi POZITIV.<br />

Mulţimile de ieşire sunt formate din constante numerice care au fost stabilite ca {-1, 0,<br />

1}. Ieşirea fiecărui sistem fuzzy este un indicator al plauzibilităţii ca cele două culori să fie<br />

ordonate crescător. Valorile au aceleaşi semnificaţii ca mai sus.<br />

2.3.1. Arhitectura cascadei adaptive pentru filtrarea color în spaţiul HSV<br />

O modificare suplimentară a algoritmului de ordonare a culorilor iniţial, în afară de<br />

relaxarea relaţiilor de ordonare prin intermediul relaţiilor fuzzy, se referă la selectarea<br />

priorităţilor de ordonare a componentelor culorilor pentru filtrarea zgomotului.<br />

Filtrele în cascadă sunt aplicate în ordinea importanţei perceptuale a componentelor de<br />

culoare. Astfel considerăm aplicarea relaţiei de ordonare fuzzy întâi pe componenta de<br />

nuanţă h, apoi în al doilea rând pe componenta de saturaţie s, şi ultima dată pe componenta<br />

11


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

de valoare v. Acest mod de aplicare propus derivă din următoarele consideraţii cu privire la<br />

percepţia culorilor în regiunile cromatice („colorate”) şi regiunile acromatice („gri”):<br />

a) în regiunile locale de „gri” (acromatice) dintr-o imagine color afectată de zgomot<br />

color, componenta de saturaţie oferă un criteriu discriminativ în filtrare, din moment ce toţi<br />

pixelii din regiune, cu excepţia pixelului de zgomot au saturaţia aproape de zero; nuanţa h<br />

este la fel aproape de zero, dar acest lucru s-ar putea să nu fie suficient în filtrare, pentru că<br />

h=0 corespunde de asemenea pentru a culoarea roşie. Valoarea v de asemenea s-ar putea să<br />

nu fie de ajuns pentru a filtra zgomotul, cu excepţia zgomotului alb-negru. În acest caz,<br />

cele trei filtre (aplicate pe h, apoi pe s şi – în final – pe v) trebuie să fie aplicate în regiunile<br />

acromatice.<br />

b) în regiunile „colorate” (cromatice), într-o imagine color afectată de zgomot color,<br />

componentele de nuanţă şi valoare sunt cele care determină de obicei ca un pixel să fie<br />

perceput ca zgomot. În general nu luăm în seamă saturaţia pentru a „percepe” un pixel ca<br />

fiind un pixel de zgomot; de fapt, experimentele arată că, dacă un pixel de zgomot, cu<br />

nuanţă şi valoare similară cu pixelii din regiune dar cu o saturaţie diferită va rămâne<br />

nefiltrat, acest pixel va rămâne aproape nedetectabil pentru ochiul uman. Prin urmare, în<br />

acest caz, este suficient să se filtreze regiunile cromatice doar pe componentele de nuanţă<br />

si valoare, excluzând filtrul de saturaţie din cascadă.<br />

Pe scurt, cascada îşi poate adapta structura sa în funcţie de cromaticitatea regiunii<br />

curente din imagine, pe baza unei clasificări a cromaticităţii regiunii realizată în cadrul<br />

unei anumite vecinătăţi a pixelului curent. În cazul în care vecinătatea este dominant gri,<br />

atunci cascada va avea trei filtre; în cazul în care vecinătatea este color (cu o saturaţie<br />

suficient de diferită de zero), atunci cascada are nevoie doar de două filtre.<br />

12<br />

h1-h2<br />

Imaginea<br />

Intrare<br />

filtrul H<br />

Daca s<br />

este<br />

aproape 0<br />

s1-s2<br />

DA<br />

filtrul S<br />

NU<br />

v1-v2<br />

v1-v2<br />

Figura 2.5. Schema cascadei adaptive.<br />

filtrul V<br />

Imaginea<br />

Rezultat<br />

Pe scurt, funcţionarea cascadei de filtre poate fi descrisă prin următoarele etape,<br />

aplicate pe fiecare pixel din imagine:<br />

(1) Într-o vecinătate de 3×3 pixeli centrată în pixelul curent de prelucrat, se<br />

sortează descrescător culorile de la cele cu cel mai mic h la cele cu cel mai<br />

mare h, folosind ieşirea oik din sistemul de fuzzy având dhik la intrarea sa.<br />

Două culori ci şi ck sunt interschimbate în şir, în cazul în care oik


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

(2) Clasificarea pixelilor bazată pe cromaticitatea locală: Fie o fereastră de pixeli<br />

de mărime n×n, n>>3 – vecinătate locală a pixelului curent prelucrat.<br />

Cromaticitatea pixelului în conformitate cu această regiune locală este decisă<br />

astfel: în cazul în care cel puţin 90% din pixelii din această vecinătate au o<br />

saturaţie foarte mică (saturaţie „aproape de zero”) (percentila de 90% a<br />

saturaţiei s din regiunea de n 2 pixeli este mai mică decât un prag ajustat<br />

manual ts= 0.2), atunci pixelul este clasificat ca fiind într-o zonă de „gri”<br />

(acromatică). În caz contrar, pixelul se consideră a fi într-o zonă „colorată”.<br />

(3) În cazul în care pixelul este clasificat ca fiind într-o zonă de"gri" atunci filtrul<br />

aplică aceeaşi procedură ca în pasul (1) pe imaginea rezultată, după pasul (1),<br />

folosind de această dată de componenta de saturaţie, s, şi sistemul fuzzy<br />

corespunzător. În caz contrar, filtrul fuzzy pe saturaţie nu se aplică, şi se trece<br />

direct de la pasul (2) la pasul (4).<br />

(4) Se aplică aceeaşi procedură ca în pasul (1) pe imaginea rezultată obţinută fie<br />

de la pasul (3) (în cazul unui pixel clasificat ca fiind într-o regiune de „gri”),<br />

fie de la pasul (1) (în cazul unui pixel clasificat ca fiind într-o regiune<br />

„colorată”), utilizând componenta de valoare, v, şi sistemul fuzzy<br />

corespunzător<br />

2.3.2. Implementare şi rezultate experimenatale<br />

Filtrele propuse au fost implementate în Matlab, folosind Image Processing Toolbox şi<br />

funcţii ale Fuzzy Logic Toolbox. Pentru comparaţie, am implementat, de asemenea,<br />

abordările legate de filtrările prezentate în [Koschan2001] şi [Andreadis2004]. Pentru a<br />

testa performanţele filtrelor a fost ales un set de de imagini color standard; imaginile au<br />

fost deteriorate controlat cu nivele diferite de zgomot color în impulsuri, folosind o funcţie<br />

de generare de zgomot color în Matlab. Măsura cantitativă obiectivă utilizată pentru<br />

evaluarea performanţelor de filtrare este PSNR, definită pentru o imagine color.<br />

(a) (b)<br />

13


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

14<br />

(c)<br />

(d)<br />

(e)<br />

(f)


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Figura. 2.6. (a) Imaginea originală „Peppers”; (b) zonă detaliu;(c) imaginea afectată de zgomot în<br />

impulsuri color 20%; (d) imaginea rezultată pentru algoritmul propus cu cascada adaptivă; (e)<br />

imaginea rezultată pentru algoritmul cu filtrarea cascadată; (f) imaginea rezultat pentru algoritmul<br />

tranşant propus în [Koschan2001]; (g) imaginea rezultat pentru algoritmul fuzzy propus în<br />

[Andreadis2004].<br />

Tabel 2.2. Rezultate comparative în PSNR pentru diferite nivele de zgomot de tip impuls pentru<br />

următorii algoritmi: HSVmf – filtrul median în spațiul HSV [Koschan2001]; Fcmf – filtrul median<br />

color fuzzy [Andreadis2004]; HSVc – cascada de filtre în spațiul HSV [Suteu2009]; HSVac –<br />

cascada adaptivă în spațiul HSV [Cislariu2010].<br />

Imagine<br />

Basalt<br />

Peppers<br />

Baboon<br />

Nivel de zgomot PSNR<br />

(g)<br />

Tipul 3% 5% 10% 15% 20%<br />

Zgomot 18.34 17.38 14.34 12.19 11.03<br />

HSVmf 28.86 27.10 23.46 20.23 18.56<br />

Fcmf 31.31 30.37 23.53 22.03 19.13<br />

HSVc 31.95 32.01 29.06 28.91 30.04<br />

HSVac 32.64 31.64 29.93 29.49 28.98<br />

Zgomot 21.01 18.64 15.81 13.73 12.56<br />

HSVmf 26.80 25.11 22.23 19.46 16.92<br />

Fcmf 26.48 25.64 22.76 19.68 16.96<br />

HSVc 28.95 28.57 27.26 23.03 17.84<br />

HSVac 29.69 28.57 27.31 24.46 20.49<br />

Zgomot 20.62 18.43 15.33 13.59 12.38<br />

HSVmf 24.86 22.94 19.99 17.93 15.96<br />

Fcmf 25.88 23.71 20.58 18.25 15.93<br />

HSVc 28.85 27.96 26.27 22.69 19.05<br />

HSVac 34.42 30.40 26.66 28.79 19.26<br />

15


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

3.Soluții inteligente pentru detecția defectelor mici (de<br />

tip praf, zgârieturi) din imagini monocrome și color<br />

Din diferite motive în imagini pot apărea defecte de dimensiuni mici (ca zgârieturi,<br />

crăpături, puncte de praf). Aceste defecte sunt deranjante si prin urmare se dorește<br />

înlăturarea lor din imagini. Pentru o înlăturare eficientă este necesar mai întâi detectarea<br />

defectului, apoi în punctele detectate se aplică un algoritm de corecție. Scopul detecției<br />

defectului este păstrarea detaliilor utile din imagine prin aplicarea unei metode de filtrare<br />

doar asupra pixelilor detectați ca fiind de defect. Principala dificultate a detecției este<br />

detectarea defectelor în timp ce detaliiledetaliile din imagine nu ar trebui detectate (în mod<br />

eronat) ca defect. Etapa de corecție presupune înlocuirea pixelilor detectați ca defect din<br />

imagine și în final să avem o imagine fără defecte vizibile.<br />

16<br />

3.1. Problematica detecției defectelor mici. Privire generală.<br />

3.1.1. Defecte mici de tip linii subţiri, praf, puncte izolate<br />

În general în literatura de specialitate defectele care pot apărea în imagini sunt<br />

clasificate în două categorii:categoria defectelor de dimensiuni mari și categoria defectelor<br />

de dimensiuni mici, iar aceste două categorii sunt tratate separat. Categoria defectelor mici<br />

cuprinde defecte ca zgârieturi, praf, fire de păr, fisuri care pot fi detectate automat. Acestea<br />

de obicei odată detectate sunt restaurate utilizând tehnici de umplere bazate fie pe ecuaţii<br />

cu derivate parţiale fie cu tehnici bazate pe filtrare, acestea din urmă dovedindu-se foarte<br />

eficiente deoarece efectul defectelor mici poate fi comparat cu efectul zgomotului în<br />

imagini.<br />

Praful, zgârieturile sau firele de păr de pe imaginile originale sunt artefacte care apar<br />

distinct pentru privitor. Aceste artefacte sunt inestetice şi înlăturarea lor prezintă un interes<br />

pentru cercetare. Există diverse abordări a eliminării defectelor de dimeniuni mici precum<br />

praf şi zgârieturi. O modalitate este în timpul achiziţiei, de exemplu, în timp ce are loc<br />

scanarea unui suport fotografic. O altă modalitate este corectarea defectului dintr-o<br />

imagine digitală prin diverse prelucrări. Pentru fiecare dintre acestea, există o soluţie<br />

adecvată, cu cerinţe de diferite şi nivele diferite de interacţiune ale utilizatorului.<br />

3.2. Algoritm de detecție a defectelor mici bazat pe mașini cu vectori<br />

suport<br />

3.2.1. Extragerea trăsăturilor pentru defecte de tip praf, zgârieturi, crăpături<br />

Pentru eliminarea zgomotului de dimensiuni mici care poate apărea în imagini<br />

digitale (ca de exemplu praf, zgârieturi, crăpături) am propus un algoritm de detecție a<br />

defectelor urmat de o metodă standard de eliminare a defectelor detectate (folosind filtrul<br />

vector median în spațiul de culoare RGB[Koschan2001]). Ca metodă de eliminare a<br />

defectelor detectate pot fi folosite și alte metode de filtrare a imaginilor color ca de<br />

exemplu metoda de filtrare propusă in capitolul 2, filtrul bazat pe o cascadă de sisteme de<br />

inferență fuzzy.[Cislariu2010]. În general o detecție precisă a zonei de defect este partea<br />

cea mai dificilă pentru o eliminare a defectului de dimensiuni mici pentru a păstra și micile<br />

detalii din imagine. Acesta este motivul pentru care se discută în acest capitol doar partea


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

de detecție. În soluția propusă am definit detecția defectului de dimensiuni mici ca o<br />

problemă de clasificare a pixelilor în două categorii: „defect” și „ne-defect”. Din acest<br />

motiv această detecție devine o problemă de clasificare binară și pentru a o rezolva am<br />

propus folosirea clasificatoarelor SVM (mașini cu vector suport)[Vapnik1998], luând în<br />

considerare performanțele remarcabile pe care le au în clsificarea texturilor, dar și<br />

abilitatea lor de a învăța și a generaliza cu un set de date de antrenare destul de redus. O<br />

trăsătură simplă și discriminativă a pixelilor ce aparțin unui defect de dimensiuni mici (ca<br />

praf, zgârieturi, crăpături) a pixelilor nedegradați din imagine este introdusă de Bergman<br />

ș.a.în [Bergman2007] care efectiv măsoară intensitatea și diferența de contrast local dintre<br />

imaginea originală și o versiune a imaginii fitrată cu filtrul median (numită și imagine cu<br />

detalii puține).<br />

Dintre configurațile clasificatoarelor SVM studiate am ales (bazându-ne pe<br />

performanța lor în etapa de antrenare și validarea setului măsurată din punct de vedere al<br />

acurateței și al validării) să folosim un SVM neliniar cu o funcție RBF<br />

Gaussian[Vapnik1998].<br />

Extragerea trăsăturilor se face în următorul mod. Considerăm imaginea digitală<br />

reprezentată în spațiul de culoare RGB prin matricea intensităților celor trei componente de<br />

culoare I k [ H W<br />

], k R,<br />

G,<br />

B cu H și W fiind lungimea și lățimea în pixeli. Pe fiecare<br />

din cele trei componente de culoare se aplică un filtru median cu o fereastră spațială de<br />

M M , care în abordarea noastră a fost fixată la M=5 deoarece s-a dovedit a fi cea mai<br />

eficientă în testele efectuate. Am notat componentele de culoare filtrate median cu:<br />

I [ H W<br />

], k R,<br />

G,<br />

B . În fiecare locație spațială (i,j) din imaginea originală<br />

mf , k<br />

( i 0,<br />

1,...,<br />

H 1;<br />

j 0,<br />

1,...,<br />

W 1)<br />

, intensitatea corespunzătoare în componentele de culoare<br />

filtrate median R, G și B I i, j,<br />

k R,<br />

G,<br />

B este obținută ca valoarea mediană a șirului<br />

mf , k<br />

2<br />

ordonat a celor M intensități citite din fereastra spațială centrată în (i,j) pentru canalul k.<br />

Folosind matricile I [ W ] si I , [ H W<br />

], k R,<br />

G,<br />

B , sunt calculate două tipuri de<br />

k H mf k<br />

trăsături descriptive ale pixelului ce se găsește într-o zonă de defect de dimensiuni mici.<br />

Prima trăsătură este o simplă valoare absolută a diferențelor intensității (Idif,k) în<br />

locația spațială curentă (i,j) pentru fiecare componentă de culoare k, k=R,G,B :<br />

I<br />

j<br />

I i, j<br />

I i, j<br />

dif , k i, k<br />

mf , k<br />

i<br />

0,<br />

1,...,<br />

H 1,<br />

j 0,<br />

1,...,<br />

W 1,<br />

k R,<br />

G,<br />

B.<br />

,<br />

(3.1)<br />

Din moment ce componentele de culoare filtrate median au mai puține detalii de<br />

frecvență înaltă decât în imaginea originală, trăsăturile descrise de ecuația (3.1) va avea<br />

valori mai mari pentru pixelii ce se găsesc în zona defectului de dimensiuni mici ca pete,<br />

linii subțiri/crăpături și valori mai mici pentru pixelii nedegradați de defecte ce se găsesc în<br />

zone aproximativ uniforme. Valori mari pot apărea în jurul muchiilor și zonelor texturate și<br />

pentru aceasta o trăsătură în plus trebuie folosită pentru a putea distinge cele două zone.<br />

A doua tăsătură este diferența contrastului local calculat pentru componenta de<br />

culoare originală si filtrată, reprezentată de matricile C [ H W<br />

], k R,<br />

G,<br />

B și definită<br />

după cum urmează:<br />

dif , k<br />

17


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

18<br />

2<br />

( k ( i,<br />

j)<br />

<br />

mf , k ( i,<br />

j))<br />

C dif , k i, j<br />

<br />

, k R,<br />

G,<br />

B,<br />

2<br />

2<br />

(3.2)<br />

( ( i,<br />

j))<br />

( ( i,<br />

j))<br />

C<br />

k<br />

mf , k<br />

unde k ( i,<br />

j)<br />

este deviația standard a intensităților componentei de culoare k (R,G sau B)<br />

dintr-o fereastră spațială de M M pixeli centrată în jurul locației curente (i,j),<br />

i 0, 1,...,<br />

H 1;<br />

j 0,<br />

1,...,<br />

W 1<br />

; ( i,<br />

j)<br />

este deviația standard a intensităților din<br />

mf , k<br />

versiunea filtrată median a componentei de culoare k, (R,G sau B) dintr-o fereastră spațială<br />

de M M pixeli centrată în jurul locației curente (i,j), i 0, 1,...,<br />

H 1;<br />

j 0,<br />

1,...,<br />

W 1<br />

;C<br />

este o constantă de valorare mică introdusă pentru a evita împărțirea la zero (o alegere<br />

simplă ar fi C=1). ( i,<br />

j)<br />

și ( i,<br />

j)<br />

sunt calculate după cum urmează:<br />

si<br />

k<br />

( i,<br />

j)<br />

<br />

k<br />

M / 2<br />

unde ( i,<br />

j)<br />

<br />

<br />

mf , k<br />

unde <br />

k<br />

( i,<br />

j)<br />

<br />

mf , k<br />

<br />

mf , k<br />

k<br />

p,<br />

q<br />

M / 2<br />

( i,<br />

j)<br />

<br />

I ( i p,<br />

j q)<br />

( i,<br />

j)<br />

<br />

M / 2<br />

<br />

I<br />

k<br />

p,<br />

q<br />

M / 2<br />

M<br />

2<br />

1<br />

( i p,<br />

j q)<br />

M<br />

2<br />

k<br />

2<br />

, k R,<br />

G,<br />

B,<br />

M / 2<br />

I mf , k ( i p,<br />

j q)<br />

mf<br />

, k ( i,<br />

j)<br />

<br />

p,<br />

q<br />

M<br />

/ 2<br />

M / 2<br />

<br />

I<br />

mf , k<br />

p,<br />

q<br />

M<br />

/ 2<br />

M<br />

1<br />

( i p,<br />

j q)<br />

M<br />

2<br />

2<br />

2<br />

,<br />

, k R,<br />

G,<br />

B.<br />

,<br />

(3.3)<br />

(3.4)<br />

Intensitatea și diferența de contrast local pentru fiecare componentă de culoare pot<br />

da rezultate mult mai bune dacă sunt analizate împreună pentru a deosebi pixelii aflați în<br />

zona defectului de dimensiuni mici de pixelii aflați în zone neafectate de defect; de<br />

asemenea folosit de [Bergman2007] am combinat cele două tipuri de trăsături într-un<br />

produs aritmetic pentru fiecare locație spațială (i,j) prin reprezentarea vectorială ,<br />

3<br />

v <br />

sub forma:<br />

( 1)<br />

v<br />

( i,<br />

j)<br />

( 2)<br />

( k )<br />

v ( i,<br />

j)<br />

v(<br />

i,<br />

j)<br />

,<br />

v(<br />

i,<br />

j)<br />

I dif , k i, j<br />

Cdif<br />

, k i, j,<br />

( 3)<br />

<br />

v(<br />

i,<br />

j)<br />

<br />

k<br />

R,<br />

G,<br />

B,<br />

i 0,<br />

1,...,<br />

H 1,<br />

j 0,<br />

1,...,<br />

W 1.<br />

( i,<br />

j)<br />

(3.5)<br />

Fiecare pixel din imagine este reprezentat în spațiul de trăsături definit de ecuația<br />

(3.5) și este o dată de intrare într-o funcție de decizie a unui clasificator SVM binar<br />

antrenat anterior cu o parte dintr-o imagine unde sunt prezente diferite tipuri de defecte de<br />

dimensiuni mici (pete, crăpături, zgârieturi) și sunt marcate manual printr-o imagine<br />

mască. Ca rezultat a fazei de clasificare obținem o hartă binară în care sunt identificate


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

locațiile pixelilor de defect. După obținerea acestei măști pentru corecție am aplicat<br />

clasicul filtru vector median color doar în locațiile marcate în mască și astfel obținând o<br />

restaurare bună a defectului fără a altera semnificativ detaliile din imaginea originală.<br />

3.2.2. Implementare și rezultate<br />

Algoritmul a fost implementat în C++Builder iar partea de antrenare și clasificare a<br />

fost făcută cu ajutorul programului SVM Light. Pentru partea de antrenare în SVM Light<br />

am folosit imagini afectatde de un defect binecunoscut care a fost marcat manual de către<br />

utilizator. Rezultatul clasificării este o imagine binară, o hartă a defectului ce va fi folosită<br />

în partea de corecție a imaginii. Pentru partea de corecție am implementat atât filtrul vector<br />

median prezentat în [Koschan2001] cât si filtrul prezentat în lucrarea [Bergman2007]<br />

O parte din rezultatele experimentale sunt ilustrate în figurile de mai jos.<br />

(a) (b)<br />

(c) (d)<br />

Figura 3.1: FAR 10% FRR 18% (a)Imaginea originală; (b)Masca pixelilor clasificați ca defect;<br />

(c)Rezultatul corecției pixelilor detectați ca fiind defect folosind filtrul vector median. (d)Rezultatul<br />

corecției pixelilor detectați ca fiind defect folosind filtrul propus in [Bergman2007]<br />

(a) (b)<br />

19


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

20<br />

(c) (d)<br />

Figura 3.2: FAR 1.64 FRR 0.15 (a)Imaginea originală; (b)Masca pixelilor clasificați ca defect;<br />

(c)Rezultatul corecției pixelilor detectați ca fiind defect folosind filtrul vector median. (d)Rezultatul<br />

corecției pixelilor detectați ca fiind defect folosind filtrul propus in [Bergman2007]..<br />

(a) (b)<br />

(c) (d)<br />

Figura 3.3 (a)Imaginea originală; (b)Masca pixelilor clasificați ca defect; (c)Rezultatul corecției<br />

pixelilor detectați ca fiind defect folosind filtrul vector median. (d)Rezultatul corecției pixelilor<br />

detectați ca fiind defect folosind filtrul propus in [Bergman2007].<br />

3.3. Algoritm fuzzy de detecţie defectelor de dimensiuni mici<br />

În ceea ce urmează voi prezenta o nouă metodă propusă pentru detectarea<br />

defectelor mici, care foloseşte doi algoritmi „fuzzy c-means” modificaţi de clasificare<br />

pentru detectarea pixelilor care aparţin zonei de defect. Abordarea se dovedeşte a fi una cu<br />

o performanţă bună de detectare a defectelor. Acest algoritm a fost conceput pentru<br />

detecția zgomotului, dar el se pretează la fel de bine și pentru detecția defectelor de<br />

dimensiuni mici.<br />

3.3.1. Principiul algoritmului<br />

Fie X[H×W] intensitatea imaginii. Fiecare pixel dintr-o locaţie spaţială (i,j) fiind în<br />

acest caz, o valoare scalară x(i,j)∈ℛ. În cazul în care setul valorilor intensităţii este {x(i,j)|<br />

i=1,...,H, j=1,...,W} se aplică un algoritm fuzzy c-means modificat de clasificare<br />

[Koschan2001], pe baza distanţei euclidiene dintre intensitatea valorilor pixelilor X (fără a<br />

lua în seamă distribuţia spaţială a valorilor intensităţii în imagine), se obţine la sfârşitul<br />

iteraţiilor algoritmului fuzzy c-means, matricea partiţiei optime fuzzy U[C×HW], arătând


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

gradele de apartenenţă fuzzy ale membrilor fiecărei date x(i,j) la clasa C, şi prototipurile C<br />

a claselor vk (valorile intensităţilor, obţinute ca centrele de greutate a claselor<br />

corespunzătoare fuzzy), k =1,...,C. Pentru o descriere mai uşoară a algoritmului de rejecţie<br />

a pixelilor de zgomot bazat pe algoritmul fuzzy c-means modificat (aici referit ca NR-<br />

MFCM), luăm în considerare o reprezentare alternativă a gradelor de apartenenţă ale<br />

pixelilor X la clasele fuzzy C, sub forma unei matrici 3D, matricea ̃ , cu<br />

̃ gradul de apartenenţă a pixelului x(i,j) la clasa k, k=1,2,...,C. Uk[H×W] este<br />

"planul al k-lea" a matricei ̃, format din gradele de apartenenţă al pixelilor X la clasa k.<br />

Valorile optime ale gradelor de apartenenţă şi prototipurile fuzzy sunt găsite prin reducerea<br />

la minimum a funcţiei cost:<br />

̃ ∑ ∑ ∑ ̃<br />

unde m este un parametru ce controlează forma grupării rezultate, convergenţa problemei<br />

de optimizare este garantată pentru m>1. d este o măsură distanţă între x(i,j) şi vk - de<br />

obicei, distanţa euclidiană. Reducerea la minimum a lui Jm este rezolvată iterativ, pornind<br />

de la o partiţie fuzzy iniţială matricea U 0 sau un set iniţial de centre de ale grupului v 0 k,<br />

fiind actualizată în fiecare iteraţie t (până la convergenţă) cu următoarele expresii:<br />

̃ (∑ (<br />

∑ ∑ ̃<br />

∑ ∑ ̃<br />

)<br />

De obicei, într-o imagine fără defecte şi zgomot X, intensităţile x(i,j) nu se vor schimba<br />

brusc în vecinătăţi mici spaţiale şi, prin urmare, de asemenea, gradele de apartenenţă<br />

corespunzătoare vor fi similare în aceste vecinătăţi. Cu toate acestea, atunci când un pixel<br />

atipic (de exemplu, cu o intensitate mult mai diferit decât vecinii săi) apare în imagine,<br />

acest pixel va avea (cel puţin la una dintre clasele fuzzy k) un grad de apartenenţă mult mai<br />

diferit decât vecinii săi la această clasă.<br />

Fie w(i,j) [3×3] o fereastră spaţială centrată pe locaţia (i,j), peste un plan al gradelor de<br />

apartenenţă fuzzy la clasa k, Uk[H×W], şi A[3×3] - o matrice cu elementele ponderi<br />

pozitive, { } ∑ ∑<br />

cu<br />

cel puţin două elemente nenule. Apoi ̅<br />

este numit gradul de apartenenţă a pixelului x(i,j) la clasa k după cel de al t-lea<br />

pas de iteraţie şi se calculează după cum urmează:<br />

̅ ∑ ∑ ̃<br />

Aceste grade de apartenenţă mediate sunt folosite pentru re-actualizarea gradelor de<br />

apartenenţă ̃ şi valorile prototipurilor vk în fiecare iteraţie în algoritmul de rejecţie a<br />

pixelilor de zgomot bazat pe algoritmul fuzzy c-means modificat. Aceasta poate fi<br />

exprimată prin următorii paşi.<br />

)<br />

(3.6)<br />

(3.7)<br />

(3.8)<br />

(3.9)<br />

21


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Pasul 1. Iniţializare. Se definesc: m, C, măsura distanţă d, se fixează eroarea de<br />

convergenţă ε. Se selectează un exponent pentru a controla influenţa din medie în<br />

actualizarea gradelor de apartenenţă, n> 1. Se generează o matrice iniţială, partiţie fuzzy<br />

̃ . Se calculează valorile iniţiale ale prototipurilor vk în conformitate cu<br />

ecuaţiile 3.3 şi 3.4. Se setează pasul t=0.<br />

Pasul 2. Se trece la t=t+1. Se actualizează gradele de apartenenţă ̃ şi<br />

prototipurile în funcţie de ecuaţiile 3.3 şi 3.4.<br />

Pasul 3. Se calculează gradele de apartenenţă medii. Conform ecuaţiei 3.5, actualizarea<br />

gradelor de apartenenţă(propuse în [Wang2008])<br />

22<br />

̂<br />

̃ ̅<br />

∑ ̃ ̅<br />

(3.10)<br />

i=1,2,...,H; j =1,2,...,W; k=1,2,...,C, şi se copiază aceste valori în matricea cu valorile<br />

vechi ale gradelor de apartenenţă ̃ ̂ , i=1,2,...,H; j =1,2,...,W;<br />

k=1,2,...,C. Se actualizează în conformitate cu ecuaţiile 3.3 şi 3.4.<br />

Pasul 4. Dacă | ̃ ̃ | convergenţa a fost atinsă şi<br />

algoritmul se opreşte. Altfel se trece la pasul 2.<br />

Cu cât diferenţa de intensitate a unui pixel x(i,j) este mai mare decât vecinii săi din<br />

w(i,j), şi cu cât timpul de convergenţă este mai lung cu atât mai mari sunt grade cumulative<br />

de apartenenţă pentru a schimba clasificarea pixelilor în conformitate cu schimbarea<br />

cumulativă a gradelor de apartenenţă (CMDCD) la clasele fuzzy C. Această observaţie este<br />

foarte potrivită pentru detectarea defectelor, dacă vom defini caracteristica schimbării<br />

gradelor de apartenenţă cumulative (CMDC) în timpul algoritmul de rejecţie a pixelilor de<br />

zgomot bazat pe algoritmul fuzzy c-means modificat pentru fiecare pixel x(i,j) prin:<br />

̃<br />

∑ ∑ ̃ ̂<br />

(3.11)<br />

şi comparăm aceasta valoare cu un prag statistic θ (de exemplu, o percentilă de valoare<br />

mare). Pixelii a căror ̃ sunt foarte probabil a fii pixeli de defect, în timp ce<br />

ceilalţi sunt susceptibili de a fi „curaţi”. Această strategie este adoptată în sistemul nostru<br />

de detectare a defectelor menţionate pe scurt de acronimul FCMDC (schimbă gradul<br />

cumulativ de apartenenţă fuzzy), explicat pentru o imagine color în ceea ce urmează.<br />

3.3.2. Algoritmul propus pentru schimbarea gradului cumulativ de<br />

apartenență fuzzy<br />

Să presupunem o imagine color care conţine defecte mici ca zgârieturi, fire de păr,<br />

praf. Scopul este de a obţine o imagine fără defecte, fără a modifica detaliile imaginilor,<br />

dar această sarcină este adesea una dificilă, deoarece atât defectele cât şi detalii fine din<br />

imagine introduc componente spaţiale de frecvenţă înaltă şi prin urmare, orice procedură<br />

de filtrare trece jos (liniară sau neliniară) este predispusă să afecteze într-un fel toate<br />

frecvenţele spaţiale înalte în imagine. Prin urmare, o soluţie mai bună este de a identifica


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

mai întâi locaţiile pixelilor care aparţin zonei de defect este de a aplica o filtrare numai în<br />

aceste locaţii.<br />

Algoritmul propus de detecţie a defectelor este următorul. Fiecare plan de culoare a<br />

imaginii, de exemplu, R[H×W], G[H×W] şi B[H×W], este reprezentat ca o imagine<br />

intensitate (notate generic cu X anterior). Pe fiecare dintre cele trei plane de culoare,<br />

independente, vom aplica două metode ale algoritmului de rejecţie a pixelilor de zgomot<br />

bazat pe algoritmul fuzzy c-means modificat, care diferă în coeficienţii de filtrare<br />

consideraţi:<br />

1. Primul este un simplu filtru median între toate valorile din vecinătatea centrată<br />

pe fiecare pixel (i,j) în planul de culoare w(i,j), adică cu filtrul cu coeficienţii<br />

a(p,q)=1/9, p,q∈{1,2,3}. Notăm rezultatele algoritmului de rejecţie a<br />

pixelilor de zgomot bazat pe algoritmul fuzzy c-means modificat care folosesc<br />

acest filtru cu NR-MFCM1 (în figura 3.4), şi caracteristicile care rezultă din<br />

schimbarea gradelor de apartenenţă cumulative calculate de NR-MFCM1 cu<br />

ecuaţia 3.7 din △R/G/BNR-MFCM1[W×H].<br />

2. Cel de-al doilea calculează o medie a vecinilor pixelului centrat în (i,j) în<br />

planul de culoare, w(i,j), adică filtrul cu coeficienţii a(2,2)=0, şi (p,q)=1/8<br />

pentru alte valori ale lui p şi q. Notăm rezultatul algoritmului de rejecţie a<br />

pixelilor de zgomot bazat pe algoritmul fuzzy c-means modificat care foloseşte<br />

acest filtru cu NR-MFCM2 (în figura 3.4), şi NR-MFCM2 caracteristicile care<br />

rezultă calculate prin ecuaţia 3.7 cu △R/G/BNR-MFCM2 [H×W].<br />

NR-MFCM1 NR-MFCM2<br />

max<br />

Imaginea de<br />

intrare(RGB)<br />

R G B<br />

Masca de<br />

detectie R<br />

NR-MFCM1 NR-MFCM2<br />

max<br />

max<br />

Filtru selectiv<br />

Imagine<br />

rezultat<br />

Masca de<br />

detectie G<br />

Masca Globala<br />

Figura 3.4 Schema metodei propuse<br />

3.3.3. Implementare şi rezultate experimentale<br />

NR-MFCM1 NR-MFCM2<br />

max<br />

Masca de<br />

detectie B<br />

Algoritmii au fost implementaţi în C++Builder. Un set standard de imagini color au<br />

fost alese pentru a testa performanta acestui algoritm. Unele rezultate experimentale se pot<br />

observa mai jos.<br />

23


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

24<br />

(a) (b) (c)<br />

(d) (e) (f)<br />

(g) (h) (i)<br />

Figura 3.5 (a)Imaginea cu defect de tip zgârietură; (b) masca totală a pixelilor detectaţi de defect;<br />

(c)imaginea rezultat după aplicarea corecţiei utilizând filtrarea propusă; (d)component de R(roşu) a<br />

imaginii; (e) componenta de G (verde) a imaginii ; (f) componenta de B (albastru) a imaginii; (g) masca<br />

pixelilor de defect detectaţi pe componenta de roşu; (h) masca pixelilor de defect detectaţi pe<br />

componenta de verde; (i) masca pixelilor de defect detectaţi pe componenta de albastru.<br />

4.Corecția defectelor mari din imagini color – tehnici de<br />

tip inpainting (prin algoritmi de umplere bazați pe<br />

exemple)<br />

Inpainting este tehnica prin care se modifică o imagine prin înlăturarea unei zone mari<br />

(un obiect sau o zonă de defect) înșocuind cu un fundal plauzibil. În acest capitol am<br />

abordat metodele de inpainting bazate pe exemple urmând metoda propusă de Criminisi.<br />

Această metodă folosește ferestre din imagine pentru a umple zona de defect. Am propus o<br />

generalizare a acestui algoritm de inpainting bazat pe exemple prin folosirea unei ferestre<br />

fuzzy. Această fereastră fuzzy se folosește în căutarea celei mai potrivite ferestre pentru<br />

umplere. Rezultatele experimentale arată că metoda propusă aduce o îmbunătățire în


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

comparație cu lte metode. De asemenea am propus și extinderea zonei de căutarea a celei<br />

mai potrivite ferestre prin folositea a mai multor imagini ca zonă sursă.<br />

4.1. <strong>Tehnic</strong>ile de tip inpainting. Privire generală.<br />

Inpaintingul este metoda de a modifica o imagine în așa fel încât pentru un nou<br />

privitor noul rezultat pare a fi o imagine naturală. Aplicațiile algoritmilor de inpainting<br />

sunt foarte variate, de la înlocuirea unor obiecte din imagine până la restaurarea unor<br />

fotografii sau imagini ale obiectelor de artă (ca zone lipsă, pete pe fotografii vechi sau<br />

picturi).<br />

Termenul de „inpainting” este un termen preluat din domeniul artistic al cărui<br />

echivalent în prelucrarea imaginilor este interpolarea unor zone relativ mari din imagine.<br />

Problematica inpainting. Fie Ω o zonă de imagine, cel mai des întâlnit sub formă<br />

dreptunghiulară pe ecranul unui calculator sau mai general un dmeniu finit în R 2 . Anumiți<br />

factori, precum obturarea unor obiecte din câmpul vizual sau pierderea unor pachete în<br />

domeniul comunicațiilor wireless, duc la apariția unui subset G a lui Ω în care informația<br />

din imagine lipsește sau este deteriorată. Scopul algoritmului de inpainting este de a reface<br />

imaginea originală u pe întreg domeniul său Ω, bazându-se doar pe observarea parțială (de<br />

obicei distorsionată) u0|Ω\G. Deoarece majoritatea obiectelor nu sunt transparente,<br />

observatorul uman întâlnește deseori efectul obturării. Totuși vedem lumea ca perfect<br />

ordonată, cu obiecte întregi și nu ca părți separate din obiecte și peisaje cu bucăți mici<br />

independente unele de altele. Acesta este rezolvarea naturală la problematica inpaintigului.<br />

Cercetătorii în domenilu vizual și cognitiv cred că oamenii fără să fie conștienți de asta<br />

aplică mereu într-un mod inteligent regulile de interpolare.<br />

4.2. Algoritmul de umplere a spaţiilor din imaginile color bazat pe<br />

regiuni exemplu<br />

Esenţa algoritmului propus de Criminisi [Criminisi2003] este un proces de<br />

eşantionare a imagini. Este bine înţeles faptul că abordarea sintezei bazată pe exemple<br />

funcţionează bine pentru texturi bidimensionale.<br />

(a) (b)<br />

25


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

26<br />

(c) (d)<br />

Figura 4.1 Propagarea structuri în sin<strong>teza</strong> de textură bazată pe exemple. (a) Imaginea originală, cu<br />

regiunea ţintă Ω, conturul său δΩ, şi regiunea sursă Φ în mod clar marcate. (b) Dorim să sintetizăm<br />

zona delimitată de fereastra Ψp centrată pe punctul p <br />

. (c) găsirea celei mai probabile ferestre<br />

candidate ce se potriveşte pentru fereastra Ψp de-a lungul frontierei dintre cele două texturi în<br />

regiunea sursă, de exemplu, Ψq’ şi Ψq’’ . (d) Cea mai potrivită fereastră din setul de candidate a fost<br />

copiată în poziţia ocupată de Ψp, astfel făcându-se umplerea parţială a lui Ω. Se observă că atât textura<br />

cât şi structura au fost propagate în interiorul regiunii ţintă. Regiunea ţintă Ω s-a micşorat şi frontul<br />

δΩ şi-a schimbat forma.<br />

Având o fereastră Ψp centrată în punctul p pentru p <br />

(a se vedea fig.4.1), definim<br />

prioritatea P(p) ca un produs de cei doi termeni:<br />

P (p) C (p) D (p)<br />

(4.1)<br />

Prioritatea P(p) se calculează pentru fiecare fereastră de pe frontieră, cu ferestră<br />

distinctă pentru fiecare pixel de pe graniţa regiuni ţintă.<br />

Notăm C(p) termenul de încredere care reprezintă o măsură a credibilității în<br />

corectitudinea informației. C(p) se definește:<br />

C (p)<br />

unde | Ψp | este aria ferestrei Ψp.<br />

q p I<br />

(<br />

)<br />

<br />

p<br />

C(<br />

q)<br />

Funcţia C(p) este iniţializată (condiția la limită) la începutul algoritmului ca: C(p)=0,<br />

p <br />

şi C(p)=1 , p I .<br />

Termenul de încredere C(p), poate fi gândit ca o măsură a cantităţii de informaţie<br />

fiabile în jurul pixelului p<br />

(4.2)<br />

Numim D(p) termenul dependent de imagine este definit după cum urmează:<br />

p p<br />

<br />

n I<br />

<br />

<br />

D(<br />

p)<br />

<br />

unde α este un factor de normalizare (de exemplu, α = 255 tipic pentru imagini pe nivele de<br />

gri), np este un vector unitate ortogonal faţa de δΩ în punctul p şi ┴ denotă un operator<br />

ortogonal.<br />

(4.3)


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Pe de altă parte, algoritmul prezentat propagă textura imaginii prin prelevare de probe<br />

directe din regiunea sursă. Vom căuta în regiunea sursă fereastra cea mai asemănătoare cu<br />

.<br />

<br />

p<br />

arg min d( <br />

, q<br />

)<br />

q q<br />

p<br />

unde distanţa d( a , b<br />

) între două ferestre generice a şi b este pur şi simplu definită<br />

ca suma pătratelor diferenţelor pixelilor deja existenţi în cele două ferestre. Pixelii sunt<br />

reprezentaţi în spaţiul de culoare RGB.<br />

După ce am găsit sursa din zona de origine<br />

p | p'<br />

<br />

p<br />

(4.4)<br />

, valoarea fiecărui pixel de umplut<br />

<br />

q<br />

' este copiat din poziţia corespunzătoare în interiorul .<br />

<br />

După ce ferestrele <br />

p<br />

încredere C(p) este actualizat în zona delimitată de <br />

p<br />

<br />

p<br />

au fost completate cu noile valori ale pixelilor, termenul de<br />

<br />

C ( p)<br />

C(<br />

p),<br />

p<br />

<br />

.<br />

p<br />

după cum urmează:<br />

4.3. Algoritm fuzzy de umplere a regiunilor lipsă din imagini bazat pe<br />

regiuni-exemplu<br />

În inpaintingul bazat pe exemple pentru sintetizarea de texturi pot apărea<br />

distorsiuni sau artefacte de propagare. Dacă fereastra de propagare a texturii este mai mare<br />

decât elementul structural texel se poate întâmpla ca în fereastra de propagare a texturii să<br />

apară la început mici distorsiuni care apoi să se propage ca textură. Astfel imaginea<br />

rezultată nu va fi una verosimilă ci va fi o imagine nenaturală în care se observă o<br />

denaturare a imaginii un artefact nenatural. Se observă falsificarea imaginii dat fiind faptul<br />

că rezultatul final nu este unul plauzibil pentru un nou privitor care nu a văzut imaginea<br />

înainte de aplicarea algoritmului.<br />

4.3.1. Principiul algoritmului<br />

Acest algoritm va realiza o nouă imagine folosind algoritmi de tip inpainting care<br />

folosește o fereastră fuzzy pentru propagarea texturii. Avantajul ferestrei fuzzy ar fi luarea<br />

în considerare a unei regiuni spaţiale mai mari într-un grad subunitar ceea ce ar trebui să<br />

conducă la imagini mai „naturale” fiind o abordare compatibilă cu modul de percepţie<br />

uman al regiunilor spaţiale. În principiu abordarea fuzzy generalizează algoritmul tranşant<br />

de inpainting care poate fi privit ca o situaţie particulară rezultată din înlocuirea ferestrei<br />

fuzzy cu una tranşantă.<br />

(4.5)<br />

27


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Figura 4.2 Propagarea structuri - sin<strong>teza</strong> de textură folosind o fereastra fuzzy. (a) Imaginea originală,<br />

cu regiunea ţintă Ω, conturul său δΩ, şi regiunea sursă Φ în mod clar marcate. (b) Dorim să sintetizăm<br />

zona delimitată de fereastra fuzzy Ψp centrată pe punctul p <br />

. (c) găsirea celei mai probabile<br />

ferestre fuzzy candidata ce se potriveşte pentru Ψp de-a lungul frontierei dintre cele două texturi în<br />

regiunea sursă, de exemplu, Ψq’ şi Ψq’’ . (d) Cea mai potrivită fereastră din setul de candidate a fost<br />

copiată în poziţia ocupată de Ψp, astfel făcându-se umplerea parţială a lui Ω. Se observă că atât<br />

textura cât şi structura au fost propagate în interiorul regiunii ţintă. Regiunea ţintă Ω s-a micşorat şi<br />

frontul δΩ şi-a schimbat forma.<br />

28<br />

4.3.2. Formularea algoritmului<br />

Dată fiind imaginea de intrare, utilizatorul alege o regiune-ţintă, Ω, pentru a fi<br />

eliminată şi mai apoi completată. Avem regiunea sursă, Φ, ce este întreaga imagine minus<br />

regiunea ţintă.<br />

Pasul următor este alegerea mărimii ferestrei şablon Ψ. În cazul algoritmului<br />

tranşant bazat pe exemple, fereastra ψ poate fi interpretată ca o mulţime tranşantă<br />

bidimensională, toţi pixelii din fereastră aparţinându-i cu gradul 1, iar pixelii din afara<br />

ferestrei „aparţinându-i” în grad 0. În cazul unei ferestre fuzzy ̃ , vor exista pixeli care-i<br />

aparţin în gradul 1, în gradul 0, dar şi în alte grade între 0 şi 1 (apartenenţa parţială).<br />

Fereastra fuzzy bidimensională, cu funcţii de apartenenţă ̃ ℛ , unde ℛ<br />

reprezintă o regiune spaţială finită din imagine. Alegerea dimensiunii ferestrei şablon fuzzy<br />

̃ presupune atât specificarea regiunii spaţiale prototip a ferestrei (regiune ℛp care satisface<br />

̃ ℛ ), cât şi specificarea regiunii spaţiale - suport a ferestrei(regiune ℛs care


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

satisface ̃ ℛ ). În algoritmul propus, forma funcţiei de apartenenţă ̃ este liniară pe<br />

porţiuni (fiind o generalizare bidimensională a unui trapez isoscel, adică, un trunchi de<br />

piramidă patrulateră regulată). În alegerea dimensiunii ferestrei se tine cont ca dimensiunea<br />

să fie mai mare decât cel mai mare element de textură ce se poate distinge. După alegerea<br />

acestor parametri algoritmul efectuează în mod automat următorii paşi.<br />

Pentru fiecare fereastră centrată pe frontul de umplere a zonei lipsă se calculează<br />

prioritatea. Apoi se caută fereastra care are prioritatea maximă. După ce se află care este<br />

fereastra cu prioritate maximă se caută care este cea mai asemănătoare fereastră cu aceasta<br />

şi apoi se copiază pixelii corespunzători în partea de fereastră cu pixelii fără informaţie.<br />

Apoi se reactualizează termenul de încredere pentru aceşti pixeli completaţi.<br />

Fie o fereastră fuzzy<br />

fereastră, prioritatea ̃ este definită ca:<br />

̃ centrată în punctul p pentru p <br />

.<br />

Pentru această<br />

C (p) D (p)<br />

~ ~<br />

P (p) <br />

(4.6)<br />

Prioritatea ̃ se calculează pentru fiecare fereastră fuzzy centrată pe frontieră, cu<br />

ferestre fuzzy distincte pentru fiecare pixel de pe graniţa regiuni ţintă.<br />

Numim ̃ termenul fuzzy de încredere definit similar expresiei sale tranşante<br />

din subcapitolul 4.2, după cum urmează:<br />

C (p) ~<br />

q S p I <br />

(<br />

~ ) (<br />

)<br />

~<br />

C(<br />

q)<br />

<br />

~ p ( q)<br />

~<br />

<br />

p<br />

unde: ̃ reprezintă suportul mulţimii fuzzy ̃ (care este o mulţime tranşantă), ̃<br />

este gradul de apartenenţă al pixelului q la mulţimea fuzzy bidimensională care descrie<br />

fereastra fuzzy | ̃ | este cardinalul mulţimii fuzzy ̃ , | ̃ | ∑ ̃<br />

∈ℛ , cu ℛ<br />

̃<br />

(4.7)<br />

Funcţia ̃ este iniţializată la început ca: ̃ =0, p <br />

şi ̃ =1 , p I .<br />

Termenul de încredere ̃ , poate fi gândit ca o măsură a cantităţii de informaţie<br />

fiabile în jurul pixelului p. Intenţia este de a completa prima dată acele ferestre care au cei<br />

mai mulţi dintre pixeli lor deja completaţi, cu preferinţa de completare dată de pixeli care<br />

au fost deja completaţi mai devreme (sau care nu au făcut parte din regiunea ţintă).<br />

Acest termen ̃ impune ordinea de completare concentrică dorită. Odată cu<br />

avansarea completării, pixeli din straturile exterioare a regiuni ţintă vor tinde să fie<br />

caracterizaţi prin valori mai mari de încredere şi prin urmare vor fi completaţi primii, iar<br />

pixeli din centrul regiunii ţintă vor avea valori de încredere mai mici.<br />

Termenul dependent de imagine D(p) este definit exact ca în cazul tranşant:<br />

p p<br />

<br />

n I<br />

<br />

<br />

D(<br />

p)<br />

<br />

unde α este un factor de normalizare (de exemplu, α = 255 tipic pentru imagini pe nivele de<br />

gri), np este un vector unitate ortogonal faţa de δΩ în punctul p şi ┴ denotă un operator<br />

29


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

ortogonal. Termenul D(p) este o funcţie de puterea liniilor izofote care ating frontul δΩ la<br />

fiecare iteraţie. Acest termen ridică prioritatea unei ferestre în care o izofotă „se loveşte”.<br />

Acest factor este de importanţă fundamentală în algoritmul nostru, deoarece încurajează<br />

structuri liniare de a fi mai întâi sintetizate şi apoi propagate în siguranţă în regiunea ţintă.<br />

Gradientul I p<br />

30<br />

se calculează ca valoarea maximă a gradientului imagini în S p I )<br />

~<br />

( .<br />

După ce se calculează toate priorităţile de pe frontul de umplere se găseşte fereastra<br />

~ . Apoi, se completează cu date extrase din<br />

fuzzy cu prioritate maximă notată cu p<br />

regiunea sursă Φ. Algoritmul propagă textura imagini prin prelevare de probe directe din<br />

regiunea sursă. Astfel vom căuta în regiunea sursă fereastra fuzzy cea mai asemănătoare cu<br />

~ .<br />

fereastra fuzzy <br />

p<br />

~ ~<br />

arg min d ( <br />

, )<br />

q<br />

~ f<br />

q<br />

q<br />

<br />

p<br />

.<br />

unde d f ( ,<br />

)<br />

este distanţa între două ferestre fuzzy, definită după cum urmează. Fie a<br />

~ şi<br />

b<br />

~ sunt două ferestre fuzzy centrate în locaţiile spaţiale a şi respectiv b, descrise prin<br />

~<br />

~<br />

funcţiile lor de apartenenţă bidimensionale : [<br />

0,<br />

1]<br />

: [<br />

0,<br />

1<br />

(4.8)<br />

a Ra şi b R b ] cu<br />

ℛa=regiunea spaţială a lui a ~ şi ℛb=regiunea spaţială a lui b ~<br />

. Fie xq=[Rq Gq Bq] T un<br />

pixel descris prin culoarea sa în spaţiul RGB, aflat la locaţia spaţială q din imagine. Atunci<br />

~ ~<br />

T<br />

( , ) ( ) ( )<br />

~<br />

a b<br />

xq<br />

xqab<br />

xq<br />

xqab<br />

( q),<br />

(4.94)<br />

d f<br />

a<br />

qS<br />

(<br />

~ ) (<br />

I )<br />

a<br />

După ce am găsit fereastra sursă ~<br />

, valoarea fiecărui pixel de umplut<br />

<br />

q<br />

~<br />

p'|<br />

p'<br />

pentru<br />

<br />

p<br />

care<br />

~ ( p')<br />

1<br />

este copiată din poziţia corespunzătoare din fereastra ~ în interiorul<br />

<br />

~<br />

. <br />

p<br />

p<br />

După ce poziţiile spaţiale pentru care ( p')<br />

1<br />

din ferestrele ~ au fost<br />

<br />

completate cu noile valori ale pixelilor, termenul de încredere C(p) este actualizat în aceste<br />

locaţii spaţiale p’ după cum urmează:<br />

~<br />

( p)<br />

~ ~<br />

C(<br />

p),<br />

p<br />

<br />

~<br />

pˆ<br />

C <br />

pˆ<br />

<br />

p<br />

q<br />

p<br />

,<br />

daca<br />

~ ( p)<br />

1.<br />

(4.10)<br />

Această actualizare permite păstrarea unei măsuri de încredere în pixelii deja umpluţi cu<br />

informaţie. Completarea continuând, valorile componentei de încredere scad, indicând că<br />

sunt mai puţin sigure valorile culorii pixelilor aproape de centrul regiuni ţintă.


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

4.3.3. Structura ferestrei fuzzy<br />

În acest algoritm fereastra fuzzy cu care se procesează imaginea are rolul de a da o<br />

importanţă ponderată pixelilor din vecinătate care nu vor fi copiaţi în fereastra procesată<br />

momentan.<br />

Forma ferestrei fuzzy este ilustrată în figura de mai jos, pentru diferite valori ale<br />

parametrilor ferestrei (fereastra fuzzy generică ~ fiind descrisă de o funcţie de<br />

apartenenţă de tip trunchi de piramidă patrulateră regulată, parametrii care trebuie<br />

specificaţii pentru definirea acestei funcţii sunt baza mare şi baza mică a trunchiului de<br />

piramidă). Fereastra este alcătuită dintr-o parte tranşantă adică din pixelii procesaţi şi o<br />

parte ponderata fuzzy alcătuită dintr-un număr de pixeli a căror informaţie este importantă<br />

într-o anumită măsură.<br />

0 0 0 0 0 0 0<br />

0 0,5 0,5 0,5 0,5 0,5 0<br />

0 0,5 1 1 1 0,5 0<br />

0 0,5 1 1 1 0,5 0<br />

0 0,5 1 1 1 0,5 0<br />

0 0,5 0,5 0,5 0,5 0,5 0<br />

0 0 0 0 0 0 0<br />

(a)<br />

0 0 0 0 0 0 0 0 0<br />

0 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0<br />

0 0,3 0,6 0,6 0,6 0,6 0,6 0,3 0<br />

0 0,3 0,6 1 1 1 0,6 0,3 0<br />

0 0,3 0,6 1 1 1 0,6 0,3 0<br />

0 0,3 0,6 1 1 1 0,6 0,3 0<br />

0 0,3 0,6 0,6 0,6 0,6 0,6 0,3 0<br />

0 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0<br />

0 0 0 0 0 0 0 0 0<br />

(b)<br />

31


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Am ales această fereastră a fi fuzzy deoarece este important a lua în considerare şi<br />

pixelii din vecinătate pentru a găsi o bună potrivire a ferestrei şi în acelaşi timp pentru a<br />

asigura o continuitate a texturii. Astfel dacă asigurăm o continuitate a texturii vom obţine<br />

în final o imagine ce este verosimilă şi pare a fi o imagine nemodificată.<br />

„Ponderile” pixelilor din fereastra fuzzy reprezintă gradele de apartenenţă ale<br />

pixelilor la fereastra spaţială curentă, care pot fi privite ca „grade de importanţă” acordate<br />

pixelilor la planul curent de umplere.<br />

Un avantaj al acestei ferestre fuzzy îl reprezintă flexibilitatea pe care o da texturii<br />

de umplere şi modului de umplere a zonei de înlocuit. Prin folosirea ferestrei fuzzy se<br />

obţine eliminarea artefactelor de tip colţuri de ferestre (pătrate).<br />

Revenirea de la o fereastră fuzzy la o fereastră tranşantă se poate face în orice<br />

moment, fereastra tranşantă fiind un caz particular al ferestrei fuzzy.<br />

32<br />

0 0 0 0 0 0 0 0 0 0 0<br />

0 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0<br />

0 0,3 0,6 0,6 0,6 0,6 0,6 0,6 0,6 0,3 0<br />

0 0,3 0,6 1 1 1 1 1 0,6 0,3 0<br />

0 0,3 0,6 1 1 1 1 1 0,6 0,3 0<br />

0 0,3 0,6 1 1 1 1 1 0,6 0,3 0<br />

0 0,3 0,6 1 1 1 1 1 0,6 0,3 0<br />

0 0,3 0,6 1 1 1 1 1 0,6 0,3 0<br />

0 0,3 0,6 0,6 0,6 0,6 0,6 0,6 0,6 0,3 0<br />

0 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0<br />

0 0 0 0 0 0 0 0 0 0 0<br />

(c)<br />

Figura 4.3. Exemplificarea ferestrei fuzzy: (a) fereastra fuzzy cu suport de 5×5 pixeli şi tăietura<br />

de nivel 1(lăţimea bazei mici) de 3×3; (b) fereastra fuzzy cu suport de 7×7 pixeli şi tăietura de<br />

nivel 1(lăţimea bazei mici) de 3×3; (c) fereastră fuzzy cu suport de 9×9 pixeli şi tăietura de nivel<br />

1(lăţimea bazei mici) de 5×5.<br />

4.3.4. Rezultate experimentale<br />

Acest algoritm a fost implementat de asemenea în mediul de programare C++<br />

Builder. Am realizat o interfaţă simplă şi utilă pentru această aplicaţie. Se deschide<br />

imaginea ce urmează a fi prelucrată, folosind mouse-ul se face selecţia zonei ce se doreşte<br />

a fi îndepărtată din imagine. Se alege din meniu prelucrarea dorită, în acest caz algoritmul<br />

inpainting cu fereastră fuzzy, după care se alege dimensiunea ferestrei pe care o va folosi<br />

algoritmul. Se afişează în final rezultatul.


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

(a) (b)<br />

(c) (d)<br />

33


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

34<br />

(e) (f)<br />

Figura 4.4 (a)imaginea originală; (b)selecţia zonei de umplut; (c) rezultatul algoritmului de inpainting<br />

propus folosind fereastra fuzzy; (d) rezultatul algoritmului de inpainting bazat pe exemple, (e)<br />

imaginea diferenţă între rezultatul algoritmului de inpainting bazat pe exemple şi rezultatul<br />

algoritmului ce foloseşte o fereastră fuzzy; (f) imaginea (e) negativată.<br />

4.4. Un nou algoritm de umplere a spaţiilor bazat pe regiuni-exemplu<br />

din zone sursă multiple<br />

4.4.1. Principiul algoritmului<br />

Acest algoritm va restaura imaginea deteriorată obţinând în final o nouă imagine pe<br />

baza unui algoritm de tip inpainting şi folosind ca sursă pentru umplere atât imaginea<br />

curentă cât şi alte imagini asemănătoare (ca de exemplu imagini pe aceeaşi temă, imagini<br />

ale aceluiaşi obiect dar din alt unghi sau imagini ale aceluiaşi pictor, imagini de picturi ale<br />

aceleiaşi şcoli ce folosesc aceeaşi gama de culori). Avantajul acestei propuneri ar fi luarea<br />

în considerare a unei regiuni mult mai mari pentru regiunea sursă, iar şansele de a găsi o<br />

potrivire mai bună sunt mult mai mari, ceea ce ar trebui să conducă la imagini mai<br />

„naturale”.<br />

Folosim aceeaşi modalitate de umplere ca la algoritmul de inpainting cu sinteză de<br />

textură bazată pe exemple pentru a obţine o imagine nouă şi fără a obţine o textură<br />

deformată.


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

(a) (b)<br />

(e) (d)<br />

(e)<br />

Figura 4.5. Propagarea texturii folosind algoritmul de inpainting cu mutiple zone sursă. (a) Imaginea<br />

originala, cu regiunea ţintă Ω, conturul său δΩ şi regiunea sursă Φ (b) Dorim să umplem zona<br />

delimitată de fereastra p; (c) căutarea celei mai probabile ferestre candidate ce se aseamănă cu<br />

fereastra centrată în p; (d) căutarea în cea de-a doua zonă sursă a celei mai probabile ferestre; (e)<br />

găsirea celei mai asemănătoare ferestre ce se potriveşte pentru Ψp, şi umplerea parţaială cu informaţie<br />

a ferestrei curente cu cea din fereastra candidată. Regiunea ţintă Ω s-a micşorat şi frontul δΩ şi-a<br />

schimbat forma.<br />

35


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

36<br />

4.4.2. Formularea algoritmului<br />

În primul rând, fiind dată o imagine de intrare, aleasă de utilizator pentru a fi<br />

restaurată, utilizatorul marchează manual regiunea ţintă Ω, regiunea ce urmează a fi<br />

completată. Regiunea sursă, Φ, este formată din imaginea de prelucrat mai puţin zona deja<br />

marcată şi o altă imagine asemănătoare ca textură sau asemănătoare vizibil cu imaginea de<br />

restaurat.<br />

Apoi, ca toate sintezele bazate pe exemple de textură, mărimea ferestrei şablon Ψ<br />

trebuie să fie specificată. Alegerea dimensiunii ferestrei se face la alegerea utilizatorului<br />

dar cum este menţionat şi în algoritmul descris mai sus dimensiunea ferestrei trebuie să fie<br />

mai mare decât cel mai mare element de textură ce se poate distinge.<br />

Algoritmul efectuează iterativ următorii paşi: se calculează priorităţile pentru<br />

fiecare fereastră de pe frontul de umplere, se caută fereastra care are prioritatea maximă<br />

după care se caută în imaginea sursă o fereastră care este cea mai asemănătoare cu<br />

fereastra cu prioritate maximă. Odată aflată fereastra similară se copiază pixelii din această<br />

fereastră în fereastra cu prioritatea maximă doar în locaţiile care erau pixeli fără informaţie.<br />

Ultimul pas este de reactualizare a termenului de încredere pentru pixelii care au fost<br />

completaţi.<br />

4.4.3. Rezultate experimentale<br />

Acest algoritm a fost implementat în mediul de programare C++ Builder. În aplicația<br />

implementată cu o interfață simplă se deschide imaginea ce urmează a fi prelucrată, şi de<br />

asemenea o imagine care poate oferi o imagine sursă, această imagine poate fi o imagine<br />

cu aceeaşi gama de culori sau o imagine a aceluiaşi obiect din alt unghi sau a unui obiect<br />

asemănător cu obiectul reconstituit. Folosind mouse-ul se face selecţia zonei ce se doreşte<br />

a fi îndepărtată din prima imagine. Se alege algoritmul inpainting cu multiple zone sursă,<br />

după care se alege dimensiunea ferestrei pe care o va folosi algoritmul. Se afişează în final<br />

rezultatul.<br />

(a) (b)


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

(c) (d)<br />

(e)<br />

Figura 2 Aplicare pe cadre succesive a algoritmului de umplere a spaţiilor bazat pe regiuni-exemplu cu<br />

multiple regiuni sursă (a) cadrul curent ;(b) cadru următor - a doua zonă sursă;(c) rezultatul aplicării<br />

algoritmului clasic cu o singură zonă sursă preluată din imaginea curentă de prelucrat;(d)rezultatul<br />

aplicării algoritmului ce foloseşte surse multiple; (e)captura din program cu ilustrarea sursei<br />

ferestrelor.<br />

37


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

5. Aplicații ale metodelor de detecție și corecție a<br />

defectelor în imagini de patrimoniu cultural și arhive<br />

digitale<br />

O problemă majoră în ceea ce privește operele de artă este degradarea acestora<br />

odată cu trecerea timpului. Ca rezultat în operele de artă digitizate există o serie de defecte.<br />

Mulți ani la rând metode științifice au fost aplicate pentru analiza și restaurarea operelor de<br />

artă. În ultimii ani a existat o creștere a interesului pentru restaurarea operelor de artă<br />

digitizate. În acest capitol am prezentat o serie de aplicații pentru detecția și restaurare<br />

vrtuală a defectelor din imagini de patrimoniu digitizate. Acestea sunt integrate sub forma<br />

unei aplicații software cu o interfață prietenoasă semi-auomatizată. Noi algoritmi propuși<br />

sunt integrați în aplcația noastră de restaurare virtuală care cuprinde: o învățare pe baza<br />

unui exemplu de defect de dimensiuni mici împreună cu filtrul vector median precum și o<br />

metodă de inpainting fuzzy pentru înlăturarea defectelor de dimensiuni mari (după o<br />

selectare manuală a defectului). Rezultatele experimentale pentru icoane sunt prezentate în<br />

ceea ce urmează pentru icoane pe lemn, arătând buna performanță a soluțiilor propuse<br />

precum și de ce aceste aplicații sunt dedicate icoanelor pictate.<br />

38<br />

5.1. Problematica imaginilor de partimoniu cultural și arhive digitale.<br />

Privire generală.<br />

Odată cu digitizarea bibliotecilor se vor oferi noi servicii, cum ar fi consultarea online<br />

a documentelor rare, recuperarea informaţiilor, precum şi posibilitatea de a împărtăşi<br />

cu alţi cititori cunoştinţele. Pentru a face ca aceasta să fie posibilă, avem nevoie de a<br />

digitiza toate cărţile importante. Numeroase proiecte de cercetare privind bibliotecile<br />

digitale studiază modulele viitoarelor biblioteci. Acestea se vor folosi pentru interogare,<br />

regăsire, analiză, gestionare, accesibilitate, utilizare, arhivare şi păstrarea informaţiilor.<br />

Există diferite motive care justifică digitizarea documentelor culturale şi de<br />

patrimoniu ca: deschidere către public a patrimoniului cultural, conservarea patrimoniului<br />

cultural prin accesul doar la varianta digitală, reducerea costurilor pe termen lung pentru<br />

duplicare şi consultarea documentelor, facilitarea accesului la colecţiile rare, oferirea de<br />

noi servicii ca urmărirea ediţiilor documentelor, compararea documentelor, colaborarea<br />

pentru studiul unui document.<br />

Şi în domeniul artei există o tendinţă de achiziţionare şi procesare a imaginilor,<br />

obiectelor de artă pentru stocare, analiză, transmisie şi reprezentare.<br />

5.2. Aplicații ale metodelor de detecție a defectelor de tip linii subţiri,<br />

praf, puncte izolate<br />

În acest capitol prezentăm o aplicație a metodelor de detecție a defectelor de<br />

dimensiuni mici de tip (praf, puncte izolate, zgârieturi) care înglobează algoritmi prezentați<br />

în capitolele anterioare și adaptați pentru aplicarea lor pe imagini de patrimoniu cultural.<br />

Unul dintre scopurile dezvoltării acestei aplicații a fost dezvoltarea unei aplicații care să<br />

realizeze o restaurare a imaginilor de patrimoniu cultural și arhive digitale.<br />

Pentru această aplicație considerăm (pentru restaurare), imagini ce reprezintă picturi<br />

care au fost deteriorate fie datorită trecerii timpului, fie din neglijența deținătorului fie din


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

alte motive cu defecte de dimensiuni mici ca zgârieturi, crăpături, puncte de praf, puncte<br />

izolate.<br />

Pentru defectele de dimensiuni mici ca praf, zgârieturi, crăpături am propus o aplicație<br />

pentru a detecta și restaura aceste defecte în doi pași. Mai întâi încercăm să detectăm<br />

defectul și apoi se face o restaurare a imaginii. Detecția defectului se face folosind<br />

trăsăturile ce se extrag din componentele de culoare roșu, verde și albastru. Aceste trăsături<br />

le clasificăm cu un clasificator SVM (mașini cu vector suport) cu o funcție RBF. Acest<br />

algoritm a fost descris mai pe larg în subcapitolul 3.2 și publicat în [Cislariu2011c].<br />

Implementare a fost realizată în C++Builder sub forma unei aplicații Windows cu o<br />

interfață prietenoasă. Pentru implementarea mașinilor cu vectori suport am optat a lucra cu<br />

SVMLight. Această aplicație are două module: unul de detecție a deectului și una de<br />

corecție a defectului detectat.<br />

Pentru utilizarea modulului de detecție se parcurg următorii pași. Se apasă butonul<br />

„Open image” pentru a deschide o imagine. În urma acestei acțiuni se deschide interfața<br />

pentru alegerea imaginii dorite din fișierul dorit, această imagine va fi afișată în interfață.<br />

În continuare există două opțiuni: să se facă antrenarea sistemului și a doua să se facă o<br />

clasificare a imaginii deschise cu o configurație a clasificatorului deja existentă.<br />

În cazul în care se optează mai întai pentru o antrenare a sistemului se apasă butonul<br />

„Train”. Ca urmare aplicația așteaptă deschidera unei măști unde defectul este clar marcat<br />

(pentru a oferi exemplele pozitive) și o a doua mască unde sunt marcate niște zone de<br />

informație corectă (pentru a oferi exemple negative). În cazul nostru pentru masca cu<br />

zonele de nedefect am optat a oferi o bandă în jurul defectului. Acest măști sunt sub forma<br />

unor imagini unde zonele de interes sunt marcate cu alb iar în rest cu negru. După<br />

deschiderea celor două imagini aplicația cere un nume pentru fișierul txt în care se salvează<br />

trăsăturile pentru antrenare și în final se efectuează antrenarea (în mod automat).<br />

Pentru a aplica clasificarea zonelor din imagine nu este strict necesar a parcurge și<br />

partea de antrenare, se poate aplica doar partea de clasificare utilizând o configurație deja<br />

existentă a clasificatorului. Pentru a aplica doar clasificarea se optează pentru butonul<br />

„Classify”. Se deschide interfața de salvare unde se cere a da nume unui fișier text în care<br />

se salvează trăsăturile imaginii originale ce vor fi folosite în procesul de clasificare. Se<br />

efectuează clasificarea cu SVMLight iar apoi se deschide din nou interfata de dialog pentru<br />

a alege fisierul rezultat în urma clasificării. Odată ales acest fisier se afișează imaginea<br />

asociată sub forma unei măști în care defectele detectate sunt marcate cu alb iar restul e<br />

marcat cu negru. Odată obținută această mască se poate trece la următorul pas și anume<br />

corecția defectului detectat.<br />

Cel de-al doilea modul important al acestei aplicații este modulul de corecție. După ce<br />

am deschis imaginea și am clasificat-o am obținut masca defectului detectat. Dacă se<br />

apasă butonul „Filter” se efectuează corecția imaginii prin aplicarea unei metode de filtrare<br />

numai în punctele detectate anterior a fi puncte de defect. Apoi se afișază imaginea rezultat<br />

în urma pasului de corecție.<br />

Rezultate experimentale vor fi prezentate în ceea ce urmează. S-au aplicat operațiunile<br />

expuse mai sus pe opere de artă, picturi pe lemn (cu sprijinul Muzeului Astra) rezultatele<br />

restaurării sunt expuse în ceea ce urmează. Figura 5.1 reprezintă localizarea și corecția<br />

defectului de dimensiuni mici. Interfața aplicației pentru detecția și corecția defectelor mici<br />

este ilustrată în imaginea 5.2 – include și opțiunile pentru antrenarea clasificatorului SVM<br />

pentru identificarea defectului de dimensiuni mici, clasificarea cu SVM folosind un<br />

39


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

clasificator antrenat anterior și filtrul vector median pentru partea de corecție a defectului<br />

de dimensiuni mici detectat.<br />

40<br />

(a) (b)<br />

(c) (d)<br />

Figure 5.1 (a)Imaginea originală: icoana pe lemn „Iisus Învățător”, Colecția Muzeului Astra; (b)<br />

Detaliu din imaginea originală; (c)Masca pixelilor de defect detectați; (d) Imaginea restaurată după<br />

detecția defectului.


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Figure 5.2 Interfața aplicației pentru detecția și corecția defectelor de dimensiuni mici. Prima imagine<br />

reprezintă imaginea originală , în dreapta avem detecția defectului iar în partea de jos avem rezultatul<br />

corecției defectului detectat.<br />

5.3. Aplicația de corecție a defectelor de tip zone lipsă/degradate de<br />

dimensiuni mari<br />

În literatura de specialitate defectele ce pot apărea în imagini sunt clasificate în<br />

două categorii. Din categoria defectelor mari fac parte pete, reclame, texte suprapuse, zone<br />

mari deteriorate, bucăţi nedorite din imagine care au nevoie de intervenţia utilizatorului<br />

pentru a fi localizate, această detecţie fie este una manuală în care utilizatorul marchează<br />

singur zonele de defect, fie este una semiautomată în care utilizatorul indică printr-un clic<br />

eventualele zone de defect. Pentru restaurarea defectelor mari de obicei se apelează la<br />

tehnici de tip inpainting bazat pe exemple ce au capacitatea de a umple cu informaţie utilă<br />

suprafeţe mai mari ce sunt considerate lipsite de informaţie. În ceea ce urmează ne vom<br />

concentra pe tehnicile folosite pentru a restaura defectele considerate mari din imagini.<br />

În inpaintingul bazat pe exemple pentru sintetizarea de texturi bazată pe exemple<br />

pot apărea distorsiuni sau artefacte de propagare. Dacă fereastra de propagare a texturii<br />

este mai mare decât elementul structural texel se poate întâmpla ca în fereastra de<br />

propagare a texturii să apară la început mici distorsiuni care apoi să se propage ca textură.<br />

Astfel imaginea rezultată nu va fi una verosimilă ci va fi o imagine nenaturală în care se<br />

observă denaturarea imaginii.<br />

Dacă fereastra de propagare a texturii în inpaintingul bazat pe exemple este mai<br />

mare decât elementul structural (texel) apare posibilitatea introducerii de artefacte. Astfel<br />

41


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

imaginea rezultată nu va fi una verosimilă ci va fi o imagine nenaturală în care se observă<br />

denaturarea imaginii un artefact nenatural şi deci se observa falsificarea imaginii dat fiind<br />

faptul că rezultatul final nu este întotdeauna unul plauzibil pentru un nou privitor ce nu a<br />

văzut imaginea înainte de aplicarea algoritmului.<br />

O nouă provocare pentru acest algoritm este o implementare care să folosească şi<br />

tehnici de inteligenţă artificială [Shih]. Astfel propunem o implementare ce înlocuieşte<br />

fereastră tranşantă clasică de inpainting cu o fereastră fuzzy care adaugă la o fereastră<br />

tranşantă o extensie (o prelungire) de pixeli ce vor conta într-un anumit grad.<br />

Așadar în ceea ce privește restaurarea imaginilor cu defecte de dimensiuni mari ca<br />

și zone lipsă, pete, lacune am propus în capitolul 4 o metodă de umplere ce este o<br />

generalizare fuzzy a algoritmului lui Criminisi, o abordare a inpaintingului bazat pe<br />

exemple [Criminisi2003]. Localizarea defectului de dimensiuni mari se face manual de<br />

către utilizator (folosind mouse-ul) prin intermediul interfaței aplicației (zona ce urmează<br />

a fi înlocuită din imagine este marcată cu roșu) sau se încarcă direct o imagine unde zona a<br />

fost marcată anterior și se dă această imagine ca intrare a algoritmului inpainting fuzzy.<br />

Algoritmul propus a fost amănunțit descris în subcapitolul 4.3 și este o generalizare<br />

a algoritmului de inpainting bazat pe exemple și care folosește o fereastră fuzzy în locul<br />

unei ferestre tranșante pentru căutarea celei mai bune ferestre de umplut. Motivația pentru<br />

utilizarea ferestrei fuzzy în locul unei ferestre tranșante este posibilitatea pe care o oferă<br />

pentru a găsi cea mai bună potrivire și de a lua în considerare o mai mare parte din<br />

informația locală în procesul de găsire a celei mai bune potriviri. Acest proces este foarte<br />

important cu cât ne îndepărtăm de centrul ferestrei, dar poate juca un rol important în<br />

selectarea celei mai bune ferestre candidate a cărui conținut va fi „copiat” în partea de<br />

fereastră ce aparține defectului. În unele cazuri rezultatele sunt mult mai bune și mai<br />

naturale decât cele obținute cu algoritmul tranșant.<br />

Aplicația prezentată a fost implementată sub forma unei aplicații Windows în<br />

mediul de programare C++Builder. Am realizat o interfaţă simplă şi utilă pentru această<br />

aplicaţie. Pentru testare am folosit imagini ale unor picturi pe lemn de la muzeul Astra.<br />

Rezultate ale restaurării pot fi văzute mai jos.<br />

Pentru utilizare se parcurg următorii pași. Se deschide imaginea ce urmează a fi<br />

prelucrată din meniul „File”. Folosind mouse-ul se face selecţia zonei ce se doreşte a fi<br />

îndepărtată/corectată. Detecția defectului se face manual de către utilizator. Se alege din<br />

meniu prelucrarea dorită, în acest caz „inpainting”, după care se alege dimensiunea<br />

ferestrei pe care o va folosi algoritmul. Se optează pentru tipul de algoritm dorit:<br />

algoritmul clasic ce folosește la umplere o ferastră tranșantă (butonul „Crisp inpainting”)<br />

sau algoritmul fuzzy ce folosește pentru umplere o fereastră fuzzy (butonul „Inpainting<br />

fuzzy”). În funcție de butonul apăsat se afişează în rezultatul final.<br />

În meniu există și opțiunea de „Other procesing” unde sunt implementate mai multe<br />

procesări ca de exemplu adunarea a două imagini, scăderea a două imagini, negativarea<br />

unei imagini.<br />

Pe imaginea originală sunt afișate grafic pătrățele ce reprezintă ferestrele sursă dar<br />

și ferestrele destinație, astfel se poate vizuatiza care sunt zonele de unde s-a preluat<br />

informația pentru umplere. În cazul optării pentru inpaintingul fuzzy se va afișa<br />

suplimentar pe interfața grafică două reprezentări ale ferestrei fuzzy. Pentru vizualizare în<br />

stanga imaginii rezultat este afișat un tabel care reprezintă forma ferestre fuzzy unde pot fi<br />

vizualizate valorile ponderilor fuzzy. De asemenea la dreapta imaginii rezultat este afișată<br />

reprezentarea ferestrei fuzzy sub forma unei imagini.<br />

42


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Figura 5.3 Interfața pentru aplicația pentru corecția defectelor de dimensiuni mari. În partea de sus<br />

avem o imagine cu un defect de dimensiuni mari ce a fost marcat de către utilizator. În partea de jos se<br />

poate observa rezultatul algoritmului de inpainting fuzzy propus .<br />

(a) (b)<br />

43


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

44<br />

(c) (d)<br />

(e) (f)<br />

Figura 5.4 (a) Icoană deteriorată:”Arhanghelul Mihail” colecția muzeului Astra; (b) detaliu din<br />

imagine cu selecţia zonei de defect ce se doreşte a fi umplută; (c)rezultatul algoritmului clasic de<br />

umplere; (d)rezultatul algoritmului ce foloseşte ferestre fuzzy pentru umplere, (e)-(f) imaginile (c) și<br />

(d) cu dierențele marcate.<br />

6.Contribuții personale și concluzii<br />

În cadrul lucrării de doctorat am prezentat o serie de algoritmi, aplicații și soluții<br />

noi pentru corecția corecția, îmbunătățirea și restaurarea imaginilor color, bazate pe<br />

folosirea tehnicilor fuzzy și a mașinilor cu vectori suport.<br />

Din sfera relativ larga a problematicii restaurarii si imbunatatirii imaginilor digitale<br />

si secventelor video, am ales sa studiez si sa contribui la domeniul restaurarii si corectiei<br />

imaginilor color afectate de zgomot in impulsuri, degradate prin prezenta unor defecte de<br />

dimensiuni mici si prin existenta unor regiuni spatiale mari afectate de degradare, care nu<br />

mai pot fi corectate prin metode de filtrare, ci doar prin metode de umplere a regiunilor<br />

(numite tehnici inpainting).<br />

Datorită particularităților privind diferitele defecte atât de dimensiuni mari cât și de<br />

dimensiuni mici ce afectează imaginile color și problemelor legate de refacerea sau<br />

corecția imaginilor color afectate de astfel de defecte, cercetarea actuală în domeniu


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

studiază următoarele probleme abordate și în <strong>teza</strong> de doctorat și vizate prin contribuțiile<br />

aduse:<br />

1) Elaborarea și dezvoltarea unor soluții pentru eliminarea zgmotului color în<br />

impulsuri din imagini color, într-o maniera cât mai eficientă din perspectiva<br />

plauzibilitatii vizuale a imaginii rezultate, atât din perspectiva reducerii<br />

vizibilității zgomotului, cât și a păstrării detaliilor imaginii. Algoritmii<br />

propuși sunt bazați pe utilizarea logicii fuzzy, alegere justificată de<br />

adaptarea sa la modul de rationament uman. Acești algoritmi sunt<br />

prezentați în Capitolul 2 al tezei și publicați în [Suteu2009] și<br />

[Cislariu2010] .<br />

2) Elaborarea și dezvoltarea unor soluții pentru detecția și corecția defectelor<br />

de dimensiuni mici din imagini monocrome și color folosind inteligența<br />

artificială. Soluțiile propuse în teză sunt bazate pe algoritmi care folosesc<br />

tehnici fuzzy și mașini cu vectori suport (SVM). Aceștia sunt prezentați în<br />

Capitolul 3 al tezei și publicați în lucrările [Cislariu2011a],[Cislariu2011c].<br />

3) Investigarea unor soluții pentru corecția defectelor de dimensiuni mari cu<br />

scopul de a obține o imagine cât mai apropiată de realitate prin utilizarea<br />

tehnicilor de tip inpainting bazat pe exemple. În acest sens în Capitolul 4 al<br />

tezei am prezentat un nou algoritm care include tehnici fuzzy, susținut prin<br />

publicare [Cislariu2011b], precum și un algoritm care pentru umplere<br />

folosește mutiple zone sursă.<br />

4) Elaborarea unor soluții pentru restaurarea operelor de artă precum și<br />

dezvoltarea unor aplicații pentru detecția și corecția defectelor din imagini<br />

de patrimoniu cultural și arhive digitale. În acest context se încadrează<br />

aplicațiile prezentate în Capitolul 5 al tezei și publicate în [Cislariu2011c].<br />

În aceste sisteme și algoritmi se urmărește posibilitatea obținerii unei îmbunătățiri<br />

din punct de vedere vizual a imaginii rezultate în final.<br />

În subcapitolul 2.2 al tezei este prezentat un nou algoritm de filtrare a zgomotului<br />

color în impulsuri din imagini color folosind tehnici fuzzy. Algoritmul prezentat folosește<br />

logica fuzzy în ordonarea pixelilor pentru aplicarea filtrului median, folosind spațiul HSV.<br />

Ordonarea se face mai întâi pentru componenta de culoare cea mai importantă perceptual,<br />

și anume nuanța, apoi pentru următoarea componentă (ca importanță perceptuală) de<br />

culoare și anume saturația și în final se folosește ultima componentă de culoare, valoarea.<br />

Pentru a implementa această ordonare se folosește o cascadă de trei filtre, primul pentru<br />

nuanță, apoi pentru saturație și ultimul pentru valoare. Acest tip de filtrare este unul adaptat<br />

la percepția umană deoarece este capabil să evalueze diferențele de culoare perceptual<br />

aproximative.<br />

Dezavantajul acestei tehnici de filtrare este aplicarea repetată a unor filtre și în<br />

consecință filtrarea multiplă a imaginii, care poate conduce la deteriorarea muchiilor.<br />

Aceste observații au condus la elaborarea celui de-al doilea algoritm de filtrare<br />

propus în <strong>teza</strong> de doctorat și prezentat în subcapitolul 2.3. Acesta aduce o îmbunătățire<br />

prin adaptarea cascadei de filtre în funcție de contextul local din imagine. Astfel filtrul<br />

poate decide dacă se aplică o cascadă de două filtre sau una de trei filtre în spațiul de<br />

45


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

culoare HSV pentru eliminarea zgomotului color în impulsuri din imagini color luând în<br />

considerare doar cromaticitatea locală. Cascada de filtre își poate adapta forma pentru a<br />

filtra fie două componente: nuanță și valoare, fie trei componente de culoare: nuanță,<br />

saturație și valoare.<br />

Această adaptare aduce o îmbunătățire în ceea ce privește conservarea muchiilor<br />

față de algoritmul precedent, dar datorită cascadei de filtre totuși capacitatea de a păstra<br />

muchiile nealterate este destul de redusă.<br />

Rezultatele experimentale ale algoritmului propus pentru eliminarea zgomotului<br />

color de tip impulsuri din imagini color demonstrează o superioritate a performanțelor<br />

eliminării zgomotului față de alți algoritmi din literatura de specialitate. În plus are<br />

avantajul adaptării formei filtrului în funcție de cromaticitatea locală din imagine și<br />

adaptarea la percepția umană a culorii, având capacitatea de evaluare a diferențelor<br />

perceptuale de culoare.<br />

În Capitolul 3 al tezei am abordat tema detecției defectelor de dimensiuni mici în<br />

imagini color și monocrome. Am propus două metode noi de detecție a defectelor de<br />

dimensiuni mici. Scopul urmărit a fost de obținere a unei detecții cât mai exacte a<br />

defectului fără a omite părți importante din defect.<br />

În subcapitolul 3.2 am prezentat o variantă de detecție a defectelor mici care a fost<br />

publicată în [Cislariu2011c] prin care propun o nouă strategie de detecție a defectului cu<br />

ajutorul mașinilor cu vectori suport (clasificatoare SVM). Clasificatorul SVM este în primă<br />

fază antrenat într-un spațiu de trăsături de tip disimilaritate de contrast local și<br />

disimilaritate de intensitate a componentelor primare de culoare (R, G, B) între imaginea<br />

de prelucrat si o variantă filtrată trece jos a acestei imagini, utilizand pentru antrenare<br />

valori extrase dintr-o imagine în care defectul este bine cunoscut. Aceste trăsături extrase<br />

sunt atât pentru exemple negative (de defect) cât și pentru exemple pozitive (de nondefect).<br />

Odată antrenat SVM-ul este capabil să clasifice cu o precizie destul de mare<br />

defecte de dimensiuni mici și din alte imagini, dovedind o capacitate mare de generalizare<br />

(specifică de altfel acestui tip de sisteme instruibile). Astfel în urma clasificării obținem o<br />

imagine mască a defectului. În pixelii detectați ca defect aplicăm un algoritm de corecție a<br />

defectului, bazat pe filtrare color (eventual cu unul dintre filtrele propuse).<br />

Deși în unele cazuri pixelii detectați ca fiind de defect în urma clasificării sunt mai<br />

mulți decât defectul în sine, aceasta nu prezintă o problemă, deoarece defectul detectat nu<br />

este unul sistematic în jurul muchiilor iar rezultatul etapei de corecție va fi unul verosimil.<br />

Rezultatele experimentale arată o detecție destul de clară a defectului indiferent de<br />

imaginea folosită, deși antrenarea a fost făcută cu o singură imagine.<br />

În subcapitolul 3.3 am prezentat o a doua variantă de detecție a defectelor de<br />

dimensiuni mici, care a fost publicată în [Cislariu2011a]. Această metodă folosește un<br />

algoritm fuzzy pentru identificarea defectelor de dimensiuni mici, bazat pe o modificare a<br />

algoritmului fuzzy c-means.<br />

Deși detecția defectului este una destul de bună, un minus al acestui algoritm poate<br />

fi considerat clasificarea falsă a unui număr considerabil de puncte nealterate de defect în<br />

categoria defectelor, deși acestea nu vor afecta în final imaginea în urma pasului de<br />

corecție pentru că sunt puncte izolate.<br />

46


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Contribuțiile prezentate în Capitolul 4 al tezei se referă la corecția defectelor de<br />

dimensiuni mari din imagini color folosind tehnici de tip inpainting bazate pe exemple.<br />

Corecția defectelor mari este o problemă destul de greu de rezolvat deoarece zonele mari<br />

trebuie umplute cu informație în așa fel încât în final imaginea sa fie una credibilă pentru<br />

un privitor. Selecția informației de umplut este de asemenea dificilă deoarece se ia<br />

informația din aceeași imagine și aceasta trebuie să se potrivească într-o manieră cât mai<br />

plauzibilă cu informația din imediata vecinatate a zonei de defect, pentru a umple o zonă<br />

lipsă din imagine.<br />

În subcapitolul 4.3 am prezentat un algoritm care folosește în etapa de căutare a<br />

potrivirii cu exemplul, o fereastră fuzzy. Importanța vecinătății ferestrei de umplut este<br />

modelată într-o maniera flexibilă prin intermediul ponderilor fuzzy din fereastra de<br />

umplere. Vecinătatea este importantă pentru că umplerea se face cu ferestre „aproape”<br />

egale cu ferestrele existente pe marginea zonei de umplut pentru informația existentă în<br />

fereastră. Algoritmul este prezentat în [Cislariu2011b]<br />

O soluție de umplere a defectelor de dimensiuni mari există în literatura de<br />

specialitate, dar soluția propusă folosește pentru propagarea texturii fereastra tranșantă.<br />

Această modalitate nu este întotdeauna cea mai bună metodă, deoarece neținând cont de<br />

vecinătățile ferestrelor poate apărea efectul nedorit de propagare a unei texturi date sau cel<br />

de propagare a aceleeași ferestre, propagarea repetată conducand la un efect de „blocuri”<br />

vizibile în imaginea restaurată.<br />

Un alt algoritm propus este cel prezentat în subcapitolul 4.4. Folosind tehnica<br />

algoritmului de inpainting bazat pe exemple, am propus un algoritm care aduce o<br />

îmbunătățire prin extinderea zonei sursă, zona în care se caută cea mai bună potrivire<br />

pentru umplere. Rezultatele experimentale arată ca acest tip de algoritm poate fi folosit cu<br />

succes pentru restaurarea, corecția și îmbunătățirea cadrelor video.<br />

În Capitolul 5 am abordat problematica aplicațiilor dedicate restaurării imaginilor<br />

de patrimoniu cultural și arhivelor digitale. Aceste aplicații sunt importante deoarece<br />

imaginile de patrimoniu cultural dar și din arhive digitale au nevoie deseori de a fi<br />

restaurate, dar cel puțin pană la ora actuală, disponibilitatea unor astfel de sisteme pe plan<br />

mondial este destul de limitata.<br />

Astfel în subcapitolul 5.2 și 5.3 am descris cele două aplicații propuse și publicate<br />

în [Cislariu2011c]. Aplicațiile descrise sunt destinate exclusiv imaginilor de patrimoniu<br />

cultural și arhivelor digitale. Imaginile utilizate pentru aceste aplicații sunt imaginile unor<br />

opere de artă achiziționate în diferite modalități. Operele de artă pentru care s-au aplicat<br />

algoritmii sunt preluate din colecția Muzeului Astra din Sibiu și care din diferite motive<br />

conțin defecte de dimensiuni mari și defecte de dimensiuni mici.<br />

Aplicația propusă pentru restaurarea defectelor de dimensiuni mici din imagini de<br />

patrimoniu cultural și arhive digitale face restaurarea în doi pași: primul pas este de<br />

detecție a defectului și următorul pas este de corecție a defectului detectat. La pasul de<br />

detecție a defectului de dimensiuni mici se folosește o mașină cu vectori suport deja<br />

antrenată pentru a clasifica pixelii de defect și non-defect din imaginea dată. În urma<br />

clasificării pixelilor din imagine obținem o mască a defectului detectat. Pentru pasul de<br />

corecție în fiecare punct din masca obținută în pasul de detecție se aplică o metodă de<br />

filtrare, în cazul de față filtrul vector median.<br />

47


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

În cazul defectelor de dimesiuni mici detecția defectului se face automat, dar în<br />

cazul defectelor de dimensiuni mari detecția defectului se preferă să fie făcută manual și<br />

utilizatorul să selecteze din imagine zona de defect. Odată selectată zona de defect<br />

algoritmul poate începe procesul de umplere a acestei zone.<br />

Pentru corecția defectelor de dimensiuni mari am abordat metodele de inpainting.<br />

Am propus o nouă metodă de umplere a zonelor mari de defect bazată pe metoda<br />

implementată de [Criminisi2003] în care pentru umplerea cu textură am folosit în locul<br />

unei ferestre tranșante o fereastră fuzzy. Folosirea acestei ferestre este motivată de<br />

importanța unei regiuni mai mari din vecinătate în procesul de căutare a celei mai potrivite<br />

ferestre pentru umplere.<br />

Perspective de continuare a cercetării<br />

În continuarea activității de cercetare desfășurate în cadrul doctoratului,<br />

intenționăm atât îmbunătățirea algoritmilor prezentați în cadrul tezei cât și continuarea<br />

cercetării în vederea obținerii de noi contribuții.<br />

În ceea ce privește îmbunătățirea algoritmilor și sistemelor propuse și prezentate în<br />

cadrul tezei de doctorat, am în vedere următoarele:<br />

48<br />

a) Continuarea cercetării pentru metodele de filtrare a zgomotului color în<br />

impusuri din imagini color prezentate în Capitolul 2, îmbunătățirea<br />

algoritmilor prezentați în vederea păstrării muchiilor intacte, folosirea<br />

mașinilor cu vectori suport pentru a detecta pixelii de zgomot și aplicarea<br />

filtrării doar în punctele detectate ca fiind de zgomot.<br />

b) Pentru detecția și corecția defectelor de dimensiuni mici îmi propun<br />

continuarea studiului și îmbunătățirea algoritmilor propuși în Capitolul 3 în<br />

sensul minimizării ratei de acceptare false și ratei de rejectare false.<br />

c) În ceea ce privește algoritmul de inpainting bazat pe exemple prezentat în<br />

Capitolul 4 îmi propun continuarea studiului și implementarea unui algoritm<br />

de umplere cu fereastră fuzzy a zonei de defect de dimensiuni mari având ca<br />

sursă mai mult de două imagini din aceeași categorie; extinderea ar putea<br />

ajunge pană la o arhivă de imagini clasificate ca făcând parte din aceeași<br />

categorie. Folosirea mai multor imagini ca sursă pentru algoritmul de<br />

umplere oferă o mai mare posibilitate de optimizare a găsirii unei ferestre<br />

care să se potrivească mai bine în zona de umplere. De asemenea îmi<br />

propun să investighez și să implementez un algoritm de inpainting care<br />

efectuează procesul de umplere multiscală adaptivă. Am în vedere studierea<br />

aplicării teoriei reprezentării rare și dicționarelor de imagini în tehnicile de<br />

inpainting.<br />

d) Pentru aplicațiile prezentate în Capitolul 5 intenționez să studiez<br />

posibilitatea implementării și integrării unui algoritm automat sau<br />

semiautomat de detecție a defectelor de dimensiuni mari. Această problemă<br />

este cu atât mai dificilă cu cât defectul variază ca suprafață și uneori este<br />

parte integrantă din imagine.<br />

O altă direcție de extindere a cercetării vizează aplicarea algoritmilor de inpainting<br />

nu numai pe imagini ci și în alte domenii cum ar fi cel audio. Ca noutate la ora actuală se<br />

încearcă introducerea inteligenței artificiale (prin folosirea tehnicilor fuzzy sau a mașinilor


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

cu vectori suport) în algoritmii de umplere, această direcție este precizată în [Shih]. O nouă<br />

direcție care este la început de drum dar încă ridică destule probleme este încercarea de a<br />

aplica algoritmi de inpainting pentru secvențe audio. Aceste noi aplicații constituie un<br />

deosebit interes pentru cercetarea personală, în special integrarea unor costuri fie tranșante<br />

fie fuzzy în algoritmul de inpainting și aplicarea lor cu scopul de a obține o îmbunătățire a<br />

rezultatelor (imagini cât mai naturale care pentru un privitor să pară cât mai verosimile) .<br />

49


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Bibliografie selectivă<br />

[Andreadis2003] Andreadis I., Louverdis G., Soft morphological color image processing: a<br />

fuzzy approach, IEEE 11th Mediterranean Conf. on Automation & Control, No 7-008, pp.<br />

1-5, Rhodes, Greece, Iunie 2003.<br />

[Andreadis2004] Andreadis I., Louverdis G., Chatizianagostou S., “New fuzzy color<br />

median filter”. Jurnal of Intelligent and Robotics Systems, vol.41,pp. 315–330,2004.<br />

[Ardizzone2009] Ardizzone E., Dindo H., Mazzola G., “Content-Based Image Retrieval as<br />

Validation for Defect Detection in Old Photos”, Recent Advances in Signal Processing,<br />

Book edited by: Ashraf A Zaher, ISBN: 978-953-307-002-5, Publisher: InTech, Publishing<br />

date: November 2009<br />

[Ballester2003] Ballester C., Caselles V., and Verdera J., “A variational model<br />

fordisocclusion,” presented at the IEEE Int. Conf. Image Processing,2003.<br />

[Bergman2007] Bergman R.; Maurer R; Nachlieli H.; Ruckenstein, Gitit C., P.; Greig,<br />

Darryl, “Comprehensive Solutions for Removal of Dust and Scratches from Images”, HPL-<br />

2007-20, HP Laboratories Israel, Februarie 2007<br />

[Berns2001] Berns R. S. “The science of digitizing paintings for color-accurate image<br />

archives: A review”. Journal of Imaging Science and Technology 45:305-325, Volume 45,<br />

Number 4, July/August 2001.<br />

[Bertalmio2000] Bertalmio M., Sapiro G., “Image inpainting” Proceedings of the ACM<br />

SIGGRAPH Conference on Computer Graphics, pp:417-424, New York, USA, 2000.<br />

[Bertalmio2003] Bertalmio M., Vese L., Sapiro G., and Osher S., “Simultaneous<br />

structureand texture image inpainting,” IEEE Trans. Image Process., vol. 12, no.8, pp. 882–<br />

889, Aug. 2003.<br />

[Bezdek1981] Bezdek J. C., “Pattern Recognition with Fuzzy Objective Function<br />

Algorithms”, Plenum Press, New York, 1981.<br />

[Cislariu2010]Cislariu M., Gordan M., Vlaicu A., “A Novel Fuzzy Color Median Filter<br />

Based on an Adaptive Cascade of Fuzzy Inference Systems”, in Leszek Rutkowski, Rafal<br />

Scherer, Ryszard Tadeusiewicz, Lotfi A. Zadeh and Jacek M. Zurada(Eds.): Artificial<br />

Intelligence and Soft Computing, 10th International Conference, ICAISC 2010, Zakopane,<br />

Poland, June 13-17, 2010, Part I. Proceedings ICAISC (1), LNAI 6113 - subseries of<br />

Lecture Notes in Computer Science, pp. 27-34, Springer-Verlag, Berlin Heidelberg 2010<br />

[Cislariu2011a] Cislariu M., Gordan M., Salca V.E., Vlaicu A. „A Fuzzy C-Means Based<br />

Color Impulse Noise Detection and Its Benefits for Color Image Filtering”, in Robert<br />

50


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Burduk, Marek Kurzynski, Michael Wozniak, Andrzej Zolnierek (Eds.): Computer<br />

Recognition Systems 4, The 7 International Conference on Computer Recognition Systems<br />

(CORES2011), Poland, May, 2011, Proceedings CORES, Advances in Intelligent and Soft<br />

Computing, 2011, Volume 95/2011, pp. 449-458, Springer-Verlag, Berlin Heidelberg 2011<br />

[Cislariu2011b] Cislariu M., Gordan M., Vlaicu A. „A Fuzzy Set Generalization of the<br />

Exemplar-Based Image Inpainting”, Acta Technica Napocensis, Vol 52, No. 2/2011, pp 54-<br />

59.<br />

[Cislariu2011c] Cislariu M., Gordan M., Vlaicu A., Florea C., Ciungu Suteu S., „Defect<br />

Detection and Restoration of Cultural Heritage Images”, prezentat la conferința PRODOC,<br />

acceptat spre publicare la revista Acta Technica Napocensis.<br />

[Criminisi2003] Criminisi A., Pérez P., and Toyama K., “Object removal by exemplarbased<br />

inpainting,” presented at the IEEE CVPR, 2003.<br />

[Kokaram2002] Kokaram A., “Practical MCMC for missing data treatment in degraded<br />

video,”presented at the ECCV Workshop on Statistical Methods for Time Varying Image<br />

Sequences, Copenhagen, Denmark, 2002.<br />

[Kokaram2004] Kokaram, A.C., “On missing data treatment for degraded video and film<br />

archives: a survey and a new Bayesian approach”, IEEE Transactions on Image Processing,<br />

pp.397-415, Martie 2004.<br />

[Koschan2001] Koschan A., Abidi M., “A comparison of median filter techniques for noise<br />

removal in color images”, University of Erlangen-Nurnberg, Institute of Computer Science,<br />

vol. 34, no. 15, pp. 69-79, October, 2001<br />

[Mansoor2007] Mansoor R. S, Pandy Maheswari T, Abhai Kumar V (2007), A Detail<br />

Preserving Filter for Impulse Noise Detection and Removal, ICGST-GVIP Journal, vol. 7,<br />

no. 3, pp.51-56.<br />

[Morillas2005] Morillas S., Gregori V., Peris-Fajarens G., Latorre P., A New Median Filter<br />

Based on Fuzzy Metrics, Lecture Notes in Computer Science, vol. 3656, pp.82-91, 2005.<br />

[Morillas2006] Morillas S., Fuzzy metrics and peer groups for impulsive noise reduction in<br />

color images, 14th European Signal and Image Processing Conference, Italy, 2006.<br />

[Sapiro2005] Sapiro G., “Inpainting the Colors,” Image Processing ICIP, IEEE.<br />

International Conference, Vol.2, II, 2005, pp.698-701.<br />

[Schallauer1999] Schallauer P., Pinz A., Haas W.. “Automatic restoration algorithms for<br />

35mm film”, J. Computer Vision Res., Vol.1(3), pp. 59-85, 1999.<br />

51


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

[Schulte2007] Schulte S., de Witte V., Nachtegael M., van der Weken D., Kerre E.E.,<br />

Histogram- based fuzzy colour filter for image restoration, no.9, pp.1377-1390, September,<br />

2007.<br />

[Shih] Shih T. K., Chang R., Chou S., Chen Y., and Tamkang H., Digital Inpainting -Image<br />

Inpainting, Video Inpainting, Holes Removal on 3-D Surfaces, Summary - inpainted<br />

mechanism region information damaged picture spikes pixels , University, Taiwan.<br />

[Shih2004] Shih T.K., Rong-Chi Chang, Liang-Chen Lu, Wen-Chieh Ko, Chun-Chia Wang<br />

,”Adaptive digital image inpainting”, Dept. of Comput. Sci. & Inf. Eng., Tamkang Univ.,<br />

Taipei, Taiwan, 2004, page 71 - 76 Vol.1<br />

[Smolka2005] Smolka, B., Chydzinski, A., Wojciechowski, K.: Fast Detection and<br />

Impulsive Noise Attenuation in Color Images. In: Proceedings of the 4th International<br />

Conference on Computer Recognition Systems, CORES 2005, pp. 459–466 (2005)<br />

[Suteu2009]Suteu M., A Novel Fuzzy Color Median Filter Based on a Cascade of Fuzzy<br />

Inference Systems, The 5th symposium for students in electronics and telecommunications<br />

SSET, Novice Insights, Issue 6, pp.94-99, Cluj-Napoca, 22 Mai 2009.<br />

[Vapnik] Vapnik V.N., “Statistical Learning Theory”, J. Wiley, N.Y., 1998<br />

[Vertan2000] Vertan C., Boujemaa N.,Buzuloiu V. A Fuzzy Color Credibility Approach To<br />

Color Image filtering, Conference on Image Processing, International, vol. 2, pp. 808-811,<br />

Canada, September, 2000.<br />

[Zadeh1965] Zadeh L.A., “Fuzzy Sets*”, Information and Control, No.8, pp.338-353, 1965.<br />

52


Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />

Lista publicațiilor<br />

Cislariu M., Gordan M., Vlaicu A., “A Novel Fuzzy Color Median Filter Based on an<br />

Adaptive Cascade of Fuzzy Inference Systems”, in Leszek Rutkowski, Rafal Scherer,<br />

Ryszard Tadeusiewicz, Lotfi A. Zadeh and Jacek M. Zurada(Eds.): Artificial Intelligence<br />

and Soft Computing, 10th International Conference, ICAISC 2010, Zakopane, Poland,<br />

June 13-17, 2010, Part I. Proceedings ICAISC (1), LNAI 6113 - subseries of Lecture<br />

Notes in Computer Science, pp. 27-34, Springer-Verlag, Berlin Heidelberg 2010<br />

Cislariu M., Gordan M., Salca V.E., Vlaicu A. „A Fuzzy C-Means Based Color Impulse<br />

Noise Detection and Its Benefits for Color Image Filtering”, in Robert Burduk, Marek<br />

Kurzynski, Michael Wozniak, Andrzej Zolnierek (Eds.): Computer Recognition Systems<br />

4, The 7 International Conference on Computer Recognition Systems (CORES2011),<br />

Poland, May, 2011, Proceedings CORES, Advances in Intelligent and Soft Computing,<br />

2011, Volume 95/2011, pp. 449-458, Springer-Verlag, Berlin Heidelberg 2011<br />

Cislariu M., Gordan M., Vlaicu A. „A Fuzzy Set Generalization of the Exemplar-Based<br />

Image Inpainting”, Acta Technica Napocensis, Vol 52, No. 2/2011, pp 54-59.<br />

Cislariu M., Gordan M., Vlaicu A., Florea C., Ciungu Suteu S., „Defect Detection and<br />

Restoration of Cultural Heritage Images”, prezentat la conferința PRODOC, acceptat spre<br />

publicare la revista Acta Technica Napocensis.<br />

Suteu M., A Novel Fuzzy Color Median Filter Based on a Cascade of Fuzzy Inference<br />

Systems, The 5th symposium for students in electronics and telecommunications SSET,<br />

Novice Insights, Issue 6, pp.94-99, Cluj-Napoca, 22 Mai 2009.<br />

Mihaela Gordan, Ovidiu Dancea, Mihaela Cîșlariu, Ioan Stoian, Aurel Vlaicu, "Fuzzy<br />

image processing, analysis and visualization methods for hydro-dams and hydro-sites<br />

surveillance and monitoring" - chapter abstract accepted for the book "Natural Resource<br />

Management", ISBN 979-953-307-420-6, InTech Publishing (acceptat spre publicare)<br />

Rapoarte științifice<br />

1. Mihaela CÎȘLARIU, Raport de cercetare științifică 1: Algoritmi fuzzy<br />

adaptivi de filtrare a zgomotului în imagini digitale color, Martie 2010<br />

2. Mihaela CÎȘLARIU, Raport de cercetare științifică 2 : Algoritmi inpainting<br />

cu metode de inteligenţă artificială/tehnici soft computing, Septembrie,<br />

2010.<br />

3. Mihaela CÎȘLARIU, Raport de cercetare științifică 3: Aplicaţii ale<br />

algoritmilor de restaurare a imaginilor color pentru arhive digitale, film şi<br />

imagini de patrimoniu cultural, Februarie, 2011.<br />

53

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!