Rezumat teza - Universitatea Tehnic?
Rezumat teza - Universitatea Tehnic?
Rezumat teza - Universitatea Tehnic?
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Ing. Mihaela ȘUTEU (căsăt. CÎȘLARIU)<br />
CONTRIBUȚII LA RESTAURAREA, CORECȚIA ȘI<br />
ÎMBUNĂTĂȚIREA IMAGINILOR ȘI SECVENȚELOR<br />
VIDEO<br />
REZUMATUL TEZEI DE DOCTORAT<br />
Conducător științific:<br />
Prof.dr.ing. Aurel VLAICU<br />
UNIVERSITATEA TEHNICĂ<br />
CLUJ-NAPOCA
FACULTATEA DE ELECTRONICĂ, TELECOMUNICAȚII ȘI TEHNOLOGIA<br />
INFORMAȚIEI<br />
Ing. Mihaela ȘUTEU (căsăt.CÎȘLARIU)<br />
CONTRIBUȚII LA RESTAURAREA, CORECȚIA ȘI<br />
ÎMBUNĂTĂȚIREA IMAGINILOR ȘI SECVENȚELOR<br />
VIDEO<br />
REZUMATUL TEZEI DE DOCTORAT<br />
UNIVERSITATEA TEHNICĂ<br />
CLUJ-NAPOCA<br />
2011<br />
Conducător științific<br />
Prof.dr.ing.Aurel VLAICU
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Cuprins<br />
1.Introducere ............................................................................................................................................ 4<br />
2.Filtrarea adaptivă și inteligentă a zgomotului din imagini color ........................................................... 6<br />
2.1. Privire generală asupra filtrării zgomotului din imagini color ..................................................... 6<br />
2.2. Algoritm de filtrare mediană color cu sisteme de inferență fuzzy în spațiul HSV ....................... 7<br />
2.3. Algoritm nou de filtrare mediană color bazat pe o cascadă adaptivă de sisteme de inferenţă<br />
fuzzy .................................................................................................................................................... 11<br />
3.Soluții inteligente pentru detecția defectelor mici (de tip praf, zgârieturi) din imagini monocrome<br />
și color .................................................................................................................................................... 16<br />
3.1. Problematica detecției defectelor mici. Privire generală. ........................................................... 16<br />
3.2. Algoritm de detecție a defectelor mici bazat pe mașini cu vectori suport .................................. 16<br />
3.3. Algoritm fuzzy de detecţie defectelor de dimensiuni mici ......................................................... 20<br />
4.Corecția defectelor mari din imagini color – tehnici de tip inpainting (prin algoritmi de umplere<br />
bazați pe exemple) .................................................................................................................................. 24<br />
4.1. <strong>Tehnic</strong>ile de tip inpainting. Privire generală. ............................................................................. 25<br />
4.2. Algoritmul de umplere a spaţiilor din imaginile color bazat pe regiuni exemplu ...................... 25<br />
4.3. Algoritm fuzzy de umplere a regiunilor lipsă din imagini bazat pe regiuni-exemplu ................ 27<br />
4.4. Un nou algoritm de umplere a spaţiilor bazat pe regiuni-exemplu din zone sursă multiple ..... 34<br />
5. Aplicații ale metodelor de detecție și corecție a defectelor în imagini de patrimoniu cultural și<br />
arhive digitale ......................................................................................................................................... 38<br />
5.1. Problematica imaginilor de partimoniu cultural și arhive digitale. Privire generală. ................. 38<br />
5.2. Aplicații ale metodelor de detecție a defectelor de tip linii subţiri, praf, puncte izolate ............ 38<br />
5.3. Aplicația de corecție a defectelor de tip zone lipsă/degradate de dimensiuni mari .................... 41<br />
6.Contribuții personale și concluzii ........................................................................................................ 44<br />
3
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
1.Introducere<br />
4<br />
Scopul tezei. Problematica abordată.<br />
Tematica abordată în cadrul cercetării doctorale este cea a prelucrării imaginilor<br />
digitale în vederea restaurării, corecției și îmbunătățirii acestora.<br />
Restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video cuprinde atât<br />
metode clasice din domeniul prelucrărilor de imagini (care deja sunt consacrate de multă<br />
vreme în domeniu), cât şi metode noi, cum ar fi tehnicile de inpainting (completarea<br />
datelor-lipsă din imagini digitale) (ale căror începuturi semnificative se raportează din<br />
perioada 2000) şi tehnicile dedicate secvenţelor video care utilizează şi informaţia spaţială<br />
în restaurare şi corecţie.<br />
Ceea ce este cu precădere de noutate şi importanţă pentru domeniul abordat,<br />
explicând şi interesul crescut la nivelul cercetărilor actuale în domeniu, este cererea din<br />
sfera aplicaţiilor pentru această categorie de tehnici din domeniul prelucrărilor de imagini<br />
şi video, dintr-o gamă largă de domenii: prezervarea patrimoniului cultural în format<br />
digital; crearea arhivelor digitale de film şi fotografice; prelucrări cerute de cinematografia<br />
digitală; transmisia eficientă şi prelucrarea conţinutului multimedia; compresia şi<br />
codarea/decodarea eficientă a conţinutului video; supravegherea video în condiţiile<br />
protejării intimităţii personale; reconstrucţia obiectelor ascunse, atunci când sunt parţial<br />
acoperite de către alte obiecte, cu aplicaţii în reconstrucţia 3D a obiectelor, pentru diverse<br />
domenii – industriale, medicale.<br />
O alta direcţie recentă de interes în domeniu o reprezintă posibilitatea şi<br />
oportunitatea includerii de algoritmi de restaurare, corecţie şi îmbunătăţire a imaginilor<br />
statice în camere foto; acest tip de cerinţe venite de pe piaţa producătorilor de aparate foto<br />
necesită, din partea cercetătorilor în domeniu, elaborarea de noi algoritmi implementabili<br />
pe sisteme miniaturizate, cu capacitate de prelucrare limitată, care să ruleze în timp real, pe<br />
sisteme de achiziţie cu performanţe moderate.<br />
Din punct de vedere teoretic, cele mai importante aspecte vizează cercetarea şi<br />
dezvoltarea unor algoritmi şi metode de restaurare, corecţie şi îmbunătăţire a imaginilor şi<br />
secvenţelor video adaptabili claselor de aplicaţii, care să ofere o calitate perceptuală a<br />
imaginii/secvenţei rezultate superioară algoritmilor existenţi, cu eliminarea artefactelor,<br />
fără a creşte sensibil complexitatea de calcul. În acest context, sunt de remarcat tehnicile<br />
bazate pe inteligenţă artificială şi soft computing, utilizarea informaţiei temporale şi<br />
fuziunea mai multor modalităţi de achiziţie a imaginilor.<br />
Problemele care pot apărea în imaginile digitale color sunt:<br />
distorsiuni geometrice,<br />
distorsiuni ale culorii,<br />
alterare prin zgomot,<br />
zone lipsă,<br />
obiecte nedorite,<br />
obturare parțială a unor porțiuni din scenă.<br />
Specificul/dificultatea suplimentară apărută la restaurarea, îmbunătățirea și corecția<br />
imaginilor o prezintă nevoia de a prelucra imagini color. Defectele afectează toate<br />
componentele de culoare, iar pentru eliminarea defectului trebuie prelucrate fiecare din<br />
aceste componente din spațiul de culoare.
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Dintre acestea, <strong>teza</strong> tratează doar trei categorii de defecte:<br />
zgomot în impulsuri (color)<br />
defecte mici (de tip zgomot, praf, zgârieturi, crăpături)<br />
zone lipsă de dimensiuni mari<br />
care reprezintă defecte majore posibile să apară atât la achiziția și transmitere/redarea<br />
imaginilor și secvențelor video în format digital cât și în scena fizică în cazul filmelor,<br />
fotografiilor, obiectelor de patrimoniu cultural.<br />
Algoritmii propuși în cadrul lucrării sunt adecvați ambelor tipuri de situații, după<br />
cum se exemplifică prin aplicațiile prezentate.<br />
Elaborarea de algoritmi automaţi de filtrare a zgomotului şi algoritmi automaţi de<br />
identificare a zonelor nedorite în imagini digitale şi interpolarea acestor informaţii în<br />
regiuni spaţiale cu cea mai mare probabilitate, în contextul adaptării lor pentru diferite<br />
aplicaţii cum sunt cele menţionate mai sus, este o problematică actuală – aşa cum arată<br />
literatura de specialitate, dar şi proiectele de cercetare şi temele de doctorat propuse în<br />
diferite colective de prestigiu la nivel internaţional. Subiectul prezintă interes atât din<br />
punctul de vedere al cercetării fundamentale, cât şi aplicative, încadrându-se în cadrul<br />
prelucrării de imagini ce aparţine domeniului inginerie electronică şi telecomunicaţii.<br />
Lucrarea își propune prezentarea contribuțiilor personale în domeniile menționate.<br />
Aceste contribuții constau în elaborarea teoretică de noi algoritmi, noi aplicații și noi<br />
sisteme bazate pe fundamente matematice existente și extinderi ale unor algoritmi<br />
existenți.<br />
Contribuțiile prezentate în teză sunt raportate la stadiul actual din literatura de<br />
specialitate în domeniu, explicate teoretic și verificate experimental. În plus ele sunt<br />
validate printr-un număr de 5 lucrări științifice în reviste și volume ale conferințelor.<br />
5
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
2.Filtrarea adaptivă și inteligentă a zgomotului din<br />
imagini color<br />
2.1. Privire generală asupra filtrării zgomotului din imagini color<br />
În imaginile achiziționate sau recepționate poate apărea zgomot din diferite motive.<br />
Zogmotul degradează perceperea imaginii, motiv pentru care se doreşte înlăturarea<br />
acestuia. În general, calitatea imaginii prelucrate depinde mult de algoritmul de eliminare<br />
a zgomotului utilizat. Există un număr foarte mare de tehnici de eliminare a zgomotului<br />
bine cunoscute pentru imagini pe nivele de gri, însă adaptarea acestor tehnici pentru cazul<br />
imaginilor color şi obţinerea unor algoritmi performanţi calitativ nu este o sarcină foarte<br />
uşoară. Dacă problema eliminării zgomotului este în general mai uşor de soluţionat în<br />
imagini pe nivele de gri, unde este prezentă doar componenta de luminanţă, în imaginile<br />
color lucrurile se complică datorită necesităţii analizei simultane a mai multor componente<br />
care descriu culoarea. Uneori pentru aceasta este suficient de eficientă folosirea spaţiului<br />
RGB (spaţiul natural de reprezentare a culorii); alteori prelucrarea trebuie făcută în spaţii<br />
perceptual uniforme (cum ar fi spaţiile HLS sau HSV, care descriu culoarea prin nuanţa,<br />
saturaţia şi luminozitatea sa).<br />
6<br />
2.1.1. Filtrarea spaţială a zgomotului în imagini color prin tehnici mediene<br />
În general, zgomotul nu poate fi complet eliminat fără pierderea unor informaţii de<br />
detaliu din imagine, iar tendinţa algoritmilor de filtrare a zgomotului este de a furniza<br />
aparatul matematic adecvat înlăturării zgomotului sau reducerii sale sub limita de<br />
vizibilitate, în condiţiile păstrării detaliilor utile din imaginea prelucrată (sau deteriorării<br />
imperceptibile vizual a acestora). Una dintre abordările recente este bazată pe analiza<br />
imaginii preliminar filtrării, pentru a identifica pixelii de zgomot – definiţi intuitiv (cel<br />
puţin în cazul zgomotului în impulsuri din imagini pe nivele de gri) ca fiind pixelii<br />
nejustificat de „întunecoşi” sau „luminoşi”, în contextul spaţial local al imaginii.<br />
2.1.1.1. Filtrarea mediană în imagini color<br />
Extinderea conceptului filtrării mediane spaţiale în prelucrarea de imagini color nu<br />
este o procedură foarte simplă. Una din dificultăţile esenţiale în definirea medianei într-un<br />
set de valori ale vectorilor este lipsa unui concept „natural” de ordonare a vectorilor în<br />
cauză. O simplă generalizare a filtrării mediane la cazul imaginilor color prin ordonarea<br />
independentă a componentelor de culoare R, G şi B (respectiv prin aplicarea independentă<br />
a câte unui filtru median pe fiecare componentă primară de culoare) nu conduce la<br />
rezultate satisfăcătoare, deoarece, chiar dacă zgomotul afectează independent<br />
componentele de culoare, cele trei componente sunt puternic corelate, ca urmare nu pot fi<br />
prelucrate independent. Problema principală este generarea unor noi culori, neprezente în<br />
scena originală, în special în acele regiuni din imagine care nu au fost afectate de zgomot –<br />
problemă ilustrată în următorul exemplu.<br />
Fie trei pixeli color în spaţiul color RGB, definiţi prin trei vectori de culoare<br />
p1=(10,40,50) T , p2=(80,50,10) T , şi p3=(50,100,150) T . Dacă filtrul median este aplicat<br />
separat pe fiecare componentă a vectorului, vectorul rezultat este p’=(50,50,50) T . Acest<br />
vector nu există în datele de intrare şi reprezintă un pixel gri, care va modifica semnificativ
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
imaginea chiar dacă ea nu era iniţial afectată de zgomot. Din acest exemplu se observă că<br />
este posibil să apară distorsionarea culorilor imaginii la aplicarea separată a filtrului<br />
median pe fiecare componentă de culoare. Dacă totuşi se doreşte aplicarea separată a<br />
filtrului asupra componentelor scalare de culoare, atunci este bine să se utilizeze un spaţiu<br />
de culoare în care componentele să fie decorelate şi este necesară aplicarea secvenţială a<br />
filtrării mediane pe componente, fiind în prealabil stabilită o ordine în care vor fi<br />
comparate componentele.<br />
2.1.2. Filtrarea mediană bazată pe tehnici fuzzy<br />
În contextul filtrării imaginilor color pentru a înlătura zgomotul în impulsuri, un<br />
număr semnificativ de algoritmi folosesc tehnici fuzzy (cei mai mulți dintre acestia -<br />
mulţimi fuzzy şi reguli fuzzy, dar, de asemenea, unii dintre aceștia - sisteme cu logica<br />
fuzzy) şi acestea dovedesc o performanţă mai bună decât tehnicile tranşante (acest lucru,<br />
probabil se explică prin flexibilitatea de prelucrare - specifică matematicii fuzzy). Astfel, în<br />
[Andreadis2003] şi [Andreadis2005], autorii propun un algoritm de filtrare bazat pe o<br />
ordonare fuzzy a culorilor, decisă de un sistem cu logică fuzzy Mamdani, a cărui ieşire este<br />
cea mai plauzibilă „valoare a planului de ordonare” (OPV- ordering plane value) a culorii<br />
de intrare. Pentru acest algoritm de filtrare există şi o versiune ponderată.<br />
În ciuda unei mari varietăţi de metode fuzzy de filtrare color, puţine dintre ele se<br />
referă în mod explicit la particularităţile de filtrare a zgomotului color în impulsuri, spre<br />
deosebire de cazuri mai simple de zgomot în impulsuri monocrom. Deşi unele lucrări<br />
analizează performanţa de filtrare a zgomotului de culoare, ca şi<br />
[Morillas2006],[Schulte2007], cele mai multe dintre ele se limitează la zgomot de tip sare<br />
si piper. Experimentele efectuate arată că zgomotul în impulsuri color este mai greu de<br />
eliminat şi aceasta este una dintre motivaţiile noilor sisteme propuse.<br />
2.2. Algoritm de filtrare mediană color cu sisteme de inferență<br />
fuzzy în spațiul HSV<br />
În ceea ce urmează este prezentat un nou algoritm de filtrare color bazat pe logica<br />
fuzzy, conceput pentru spaţiul de culoare HSV, sub forma unei cascade de trei sisteme cu<br />
logică fuzzy, fiecare lucrând separat pe o componentă de culoare. Având în vedere<br />
configuraţia de cascadă şi utilizarea relaţiilor de ordonare fuzzy, performanţa filtrului<br />
propus privind filtrarea zgomotului color este superioară altor abordări fuzzy, după cum<br />
arată rezultatele experimentale. Contribuţia principală a algoritmului propus în<br />
[Suteu2009] este reducerea zgomotului color de tip impuls în imagini color utilizând o<br />
cascadă simplă de trei sisteme cu logică fuzzy<br />
2.2.1. Sistemul de inferenţă fuzzy pentru ordonarea componentelor culorilor<br />
Cel mai obişnuit mod de a reprezenta valoarea unui pixel dintr-o imagine color este<br />
prin componentele sale RGB. Acest tip de reprezentare nu este unul convenabil, deoarece<br />
componentele RGB sunt corelate. Spaţiul de culoare HSV a fost ales deoarece<br />
componentele sale sunt direct corelate cu percepţia umană de culoare. Hue (h) reprezintă<br />
lungimea de undă dominantă, (s) se referă la puritatea culorii şi valoarea (v) este o măsură<br />
a poziţiei culorii de-a lungul axei luminos-întunecat. Valorile h sunt de la 0 la 360,<br />
h [<br />
0,<br />
360)<br />
. Valorile s şi v variază de la 0 la 1, s [<br />
0,<br />
1]<br />
, v [<br />
0,<br />
1]<br />
.<br />
7
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
În [Koschan2001] autorii propun o schemă de ordonare a culorilor în spaţiul de<br />
culoare HSV. Pornind de la această propunere am considerat că potrivit percepţiei ochiului<br />
uman, o posibilitate de reducere a zgomotului color este prin aplicarea de filtre separat, mai<br />
întâi pe cea mai importantă componentă perceptuală de culoare, apoi pe a doua<br />
componentă ca importanţă şi ultima dată pe componenta de culoare cea mai puţin<br />
importantă perceptual, prin urmare, producând o cascadă de filtre. Această logică este de<br />
asemenea folosită în algoritmul descris din [Koschan2001], dar, probabil pentru că filtrul<br />
prezentat în acea lucrare este dedicat filtrării zgomotului alb-negru, componenta de valoare<br />
v este considerată a fi cea mai semnificativă componentă în filtrare. Acest lucru nu este<br />
însă valabil în cazul zgomotului color, unde importanţa din punct de vedere perceptual a<br />
fiecărei componente pentru viziunea umană trebuie să fie luată în considerare. În acest<br />
sens, componenta cea mai importantă perceptual pentru vizualizarea culorii în spaţiul HSV<br />
este nuanţa; următoarea ca importanţă este saturaţia (puritatea), iar cea mai puţin<br />
importantă este valoarea. Prin urmare, în cazul algoritmului propus, am avut în vedere<br />
definirea relaţiilor fuzzy de ordonare care urmează să fie aplicate mai întâi pe nuanţă h, în<br />
al doilea rând pe saturaţie s şi doar ultima dată pe valoare v. Aceasta îmbunătăţeşte<br />
aspectul vizual al imaginii filtrate.<br />
Fiecare relaţie fuzzy de ordonare este implementată sub forma unui singur sistem<br />
fuzzy cu o intrare - o ieşire Takagi-Sugeno, fiecare sistem fuzzy având exact aceeaşi<br />
structură, permiţând astfel o proiectare unitară. Sistemele fuzzy sunt implementate cu<br />
relaţii de ordonare între două culori pe o anumită componentă a culorii. Variabila de intrare<br />
a fiecărui sistem este diferenţa dintre cele două valori ale acelei componente a celor două<br />
culori. Domeniul de valori al diferenţelor este descris în sistemul fuzzy de trei valori<br />
lingvistice (reprezentate prin trei mulţimi fuzzy): NEGATIV, ZERO şi POZITIV.<br />
Ieşirea fiecărui sistem fuzzy este un indicator al plauzibilităţii că cele două culori sunt<br />
ordonate crescător. Pentru că sistemele fuzzy utilizate sunt sisteme Takagi-Sugeno, valorile<br />
de ieşire sunt constante numerice, care în algoritmul propus, au valorile posibile {-1, 0, 1}.<br />
Valoarea +1 este un indicator că prima culoare considerată este „aproximativ mai mare<br />
decât” cea de-a doua culoare; valoarea -1 este un indicator că prima culoare considerată<br />
este „aproximativ mai mică decât” cea de-a doua culoare; valoarea de 0 indică faptul că<br />
două culori sunt "aproximativ egale".<br />
8<br />
Să notăm oricare din cele trei componente de culoare cu cc, cc h, s,<br />
v<br />
. Fie ci şi ck<br />
două culori şi cci, cck - componente de culoare. Variaţia unei componente de culoare între<br />
cele două culori ci şi ck este notată prin dccik = cci-cck . Fie oik ieşirea sistemului fuzzy<br />
o 1;<br />
1.<br />
Regulile fuzzy folosite sunt descrise în cele ce urmează.<br />
ik<br />
NEGATIV<br />
-1<br />
dccik<br />
1<br />
ZERO POZITIV<br />
h/s/vNEGATIV 0 h/s/vPOZITIV 1<br />
3<br />
Fuzzificare<br />
Intrare<br />
fuzzificata<br />
Baza de reguli fuzzy:<br />
R1: Daca dccik este NEGATIV at oik =- 1<br />
R2: Daca dccik este ZERO at oik = 0<br />
R3: Daca dccik este POZITIV, at oik = +1<br />
3<br />
Takagi-Sugeno<br />
Inferenta fuzzy<br />
Figura 2.1 Sistem cu logica fuzzy diagrama bloc.<br />
1<br />
-1 0 +1<br />
3<br />
Valoarea de iesire, oik
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Fiecare dintre cele trei sisteme fuzzy folosite pentru a ordona o componentă anume<br />
(h,s,v) utilizează trei reguli, definite după cum urmează:<br />
a) baza de reguli fuzzy pentru ordonarea componentelor de nuanţă şi valoare:<br />
R1: Dacă dccik este NEGATIV atunci oik = - 1<br />
R2: Dacă dccik este ZERO atunci oik = 0<br />
R3: Dacă dccik este POZITIV atunci oik = +1<br />
unde cc { h,<br />
v}<br />
.<br />
b) baza de reguli fuzzy pentru ordonarea componentei saturaţie:<br />
R1: Dacă dccik este NEGATIV atunci oik = + 1<br />
R2: Dacă dccik este ZERO atunci oik = 0<br />
R3: Dacă dccik este POZITIV atunci oik = - 1<br />
pentru cc = s.<br />
Sistemul de inferenţă Takagi-Sugeno furnizează ieşirea sistemului cu logică fuzzy<br />
conform ecuaţiei:<br />
dccik 1 ZEROdcc<br />
ik 0 POZITIV<br />
dccik<br />
1<br />
dcc ZEROdcc<br />
POZITIV<br />
dcc <br />
NEGATIV<br />
oik<br />
. (2.1)<br />
NEGATIV ik<br />
ik<br />
ik<br />
unde NEGATIV(dccik) este gradul de apartenenţă a valorii dccik a mulţimii fuzzy<br />
NEGATIV, ZERO(dccik) este gradul de apartenenţă a valorii dccik a mulţimii fuzzy ZERO,<br />
şi POZITIV(dccik) este gradul de apartenenţă a valorii dccik a mulţimii fuzzy POZITIV.<br />
NEGATIV 1 ZERO POZITIV<br />
-1<br />
Gradul de<br />
apartenenta<br />
h/s/vNEGATIV h/s/vPOZITIV 0<br />
1<br />
Figura 2.2. Mulţimi fuzzy pentru valori de intrare ale hue/saturation/value.<br />
2.2.2. Arhitectura cascadei pentru filtrare color în spaţiul HSV<br />
Spre deosebire de lucrări similare, ca şi cele din [Koschan2001] şi [Andreadis2004],<br />
unde filtrarea mediană se realizează într-un singur pas (culorile pixelilor dintr-o fereastră<br />
dată sunt ordonate într-un singur pas, pe cele trei componente de culoare în spaţiul HSV),<br />
abordarea propusă aici poate fi văzută ca o cascadă de trei filtre mediane fuzzy aplicate pe<br />
imagini color afectate de zgomotul color. Deşi un uşor dezavantaj al acestei abordări este<br />
un oarecare efect de înceţoşare, eficienţa în înlăturarea zgomotului color este superioară<br />
algoritmilor similari menţionaţi anterior; perceptual, înceţoşarea nu este atât de<br />
supărătoare.<br />
9
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
10<br />
Schema bloc a algoritmului de filtrare în cascadă este prezentată în figura 2.3.<br />
Pe scurt, funcţionarea filtrului cascadat poate fi descrisă prin următoarele etape: în<br />
fiecare vecinătate de 3×3 pixeli din imagine:<br />
(1) Se sortează descrescător culorile de la cele cu cel mai mic h la cele cu cel mai<br />
mare h, folosind ieşirea oik a sistemului fuzzy având dhik la intrarea acestuia.<br />
Două culori ci şi ck sunt schimbate între ele în şir, în cazul în care oik
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
(d) (e) (f)<br />
Figura 2.4 (a) Imaginea originală: basalt; (b) zonă detaliu;(c) imaginea afectată de zgomot în<br />
impulsuri în proporţie de 20% ; (d) imaginea rezultat pentru filtrul propus cu o cascadă de filtre fuzzy<br />
;(e) imaginea rezultat pentru algoritmul propus în [Koschan2001] ; (f) imaginea rezultat pentru<br />
algoritmul fuzzy propus în [Andreadis2004] ;<br />
2.3. Algoritm nou de filtrare mediană color bazat pe o cascadă<br />
adaptivă de sisteme de inferenţă fuzzy<br />
Se prezintă un algoritm de filtrare [Cislariu2010] al cărui scop este reducerea<br />
zgomotului în impulsuri color în imagini color utilizând o cascadă adaptivă a trei sisteme<br />
cu logică fuzzy. Adaptarea se referă la configuraţia de cascadă: în zonele cromatice, o<br />
configuraţie de două sisteme fuzzy cascadate este suficientă pentru a elimina eficient<br />
zgomotul color (şi anume, pe componentele de nuanţă şi valoare în spaţiul de culoare<br />
HSV), în timp ce, în zonele preponderent acromatică (gri), trei filtre fuzzy sunt necesare,<br />
câte unul pe fiecare componentă de culoare (nuanţă, saturaţie şi valoare); în caz contrar<br />
pixelii de zgomot nu sunt eliminaţi în mod eficient în aceste regiuni. Trebuie să menţionăm<br />
că reducerea complexităţii cascadei de la de trei componente de filtrare (la fel ca în<br />
majoritatea metodelor existente), la numai două componente de filtrare, îmbunătăţeşte<br />
performanţa generală a filtrului cu privire la muchii în regiunile cromatice. Detalii cu<br />
privire la sistemul propus şi rezultatele experimentale care arată performanţele sale sunt<br />
prezentate în continuare.<br />
La fel ca si pentru algoritmul descris anterior cea mai potrivită reprezentare nu este în<br />
spaţiul RGB ci în spaţiul HSV.<br />
Fiecare relaţie fuzzy de ordonare este implementată sub forma unui sistem Takagi-<br />
Sugeno cu o intrare - o ieşire. Sistemele fuzzy implementate au exact aceeaşi structură,<br />
permiţând astfel un design unitar, aşa cum se arată în figura 2.1. Pentru fiecare sistem<br />
fuzzy variabila de intrare este diferenţă a două culori diferite din imagine pe aceeaşi<br />
componentă de culoare. La fel ca mai sus valorile diferenţelor sunt descrise în sistemul<br />
fuzzy de trei valori lingvistice: ZERO, NEGATIV şi POZITIV.<br />
Mulţimile de ieşire sunt formate din constante numerice care au fost stabilite ca {-1, 0,<br />
1}. Ieşirea fiecărui sistem fuzzy este un indicator al plauzibilităţii ca cele două culori să fie<br />
ordonate crescător. Valorile au aceleaşi semnificaţii ca mai sus.<br />
2.3.1. Arhitectura cascadei adaptive pentru filtrarea color în spaţiul HSV<br />
O modificare suplimentară a algoritmului de ordonare a culorilor iniţial, în afară de<br />
relaxarea relaţiilor de ordonare prin intermediul relaţiilor fuzzy, se referă la selectarea<br />
priorităţilor de ordonare a componentelor culorilor pentru filtrarea zgomotului.<br />
Filtrele în cascadă sunt aplicate în ordinea importanţei perceptuale a componentelor de<br />
culoare. Astfel considerăm aplicarea relaţiei de ordonare fuzzy întâi pe componenta de<br />
nuanţă h, apoi în al doilea rând pe componenta de saturaţie s, şi ultima dată pe componenta<br />
11
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
de valoare v. Acest mod de aplicare propus derivă din următoarele consideraţii cu privire la<br />
percepţia culorilor în regiunile cromatice („colorate”) şi regiunile acromatice („gri”):<br />
a) în regiunile locale de „gri” (acromatice) dintr-o imagine color afectată de zgomot<br />
color, componenta de saturaţie oferă un criteriu discriminativ în filtrare, din moment ce toţi<br />
pixelii din regiune, cu excepţia pixelului de zgomot au saturaţia aproape de zero; nuanţa h<br />
este la fel aproape de zero, dar acest lucru s-ar putea să nu fie suficient în filtrare, pentru că<br />
h=0 corespunde de asemenea pentru a culoarea roşie. Valoarea v de asemenea s-ar putea să<br />
nu fie de ajuns pentru a filtra zgomotul, cu excepţia zgomotului alb-negru. În acest caz,<br />
cele trei filtre (aplicate pe h, apoi pe s şi – în final – pe v) trebuie să fie aplicate în regiunile<br />
acromatice.<br />
b) în regiunile „colorate” (cromatice), într-o imagine color afectată de zgomot color,<br />
componentele de nuanţă şi valoare sunt cele care determină de obicei ca un pixel să fie<br />
perceput ca zgomot. În general nu luăm în seamă saturaţia pentru a „percepe” un pixel ca<br />
fiind un pixel de zgomot; de fapt, experimentele arată că, dacă un pixel de zgomot, cu<br />
nuanţă şi valoare similară cu pixelii din regiune dar cu o saturaţie diferită va rămâne<br />
nefiltrat, acest pixel va rămâne aproape nedetectabil pentru ochiul uman. Prin urmare, în<br />
acest caz, este suficient să se filtreze regiunile cromatice doar pe componentele de nuanţă<br />
si valoare, excluzând filtrul de saturaţie din cascadă.<br />
Pe scurt, cascada îşi poate adapta structura sa în funcţie de cromaticitatea regiunii<br />
curente din imagine, pe baza unei clasificări a cromaticităţii regiunii realizată în cadrul<br />
unei anumite vecinătăţi a pixelului curent. În cazul în care vecinătatea este dominant gri,<br />
atunci cascada va avea trei filtre; în cazul în care vecinătatea este color (cu o saturaţie<br />
suficient de diferită de zero), atunci cascada are nevoie doar de două filtre.<br />
12<br />
h1-h2<br />
Imaginea<br />
Intrare<br />
filtrul H<br />
Daca s<br />
este<br />
aproape 0<br />
s1-s2<br />
DA<br />
filtrul S<br />
NU<br />
v1-v2<br />
v1-v2<br />
Figura 2.5. Schema cascadei adaptive.<br />
filtrul V<br />
Imaginea<br />
Rezultat<br />
Pe scurt, funcţionarea cascadei de filtre poate fi descrisă prin următoarele etape,<br />
aplicate pe fiecare pixel din imagine:<br />
(1) Într-o vecinătate de 3×3 pixeli centrată în pixelul curent de prelucrat, se<br />
sortează descrescător culorile de la cele cu cel mai mic h la cele cu cel mai<br />
mare h, folosind ieşirea oik din sistemul de fuzzy având dhik la intrarea sa.<br />
Două culori ci şi ck sunt interschimbate în şir, în cazul în care oik
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
(2) Clasificarea pixelilor bazată pe cromaticitatea locală: Fie o fereastră de pixeli<br />
de mărime n×n, n>>3 – vecinătate locală a pixelului curent prelucrat.<br />
Cromaticitatea pixelului în conformitate cu această regiune locală este decisă<br />
astfel: în cazul în care cel puţin 90% din pixelii din această vecinătate au o<br />
saturaţie foarte mică (saturaţie „aproape de zero”) (percentila de 90% a<br />
saturaţiei s din regiunea de n 2 pixeli este mai mică decât un prag ajustat<br />
manual ts= 0.2), atunci pixelul este clasificat ca fiind într-o zonă de „gri”<br />
(acromatică). În caz contrar, pixelul se consideră a fi într-o zonă „colorată”.<br />
(3) În cazul în care pixelul este clasificat ca fiind într-o zonă de"gri" atunci filtrul<br />
aplică aceeaşi procedură ca în pasul (1) pe imaginea rezultată, după pasul (1),<br />
folosind de această dată de componenta de saturaţie, s, şi sistemul fuzzy<br />
corespunzător. În caz contrar, filtrul fuzzy pe saturaţie nu se aplică, şi se trece<br />
direct de la pasul (2) la pasul (4).<br />
(4) Se aplică aceeaşi procedură ca în pasul (1) pe imaginea rezultată obţinută fie<br />
de la pasul (3) (în cazul unui pixel clasificat ca fiind într-o regiune de „gri”),<br />
fie de la pasul (1) (în cazul unui pixel clasificat ca fiind într-o regiune<br />
„colorată”), utilizând componenta de valoare, v, şi sistemul fuzzy<br />
corespunzător<br />
2.3.2. Implementare şi rezultate experimenatale<br />
Filtrele propuse au fost implementate în Matlab, folosind Image Processing Toolbox şi<br />
funcţii ale Fuzzy Logic Toolbox. Pentru comparaţie, am implementat, de asemenea,<br />
abordările legate de filtrările prezentate în [Koschan2001] şi [Andreadis2004]. Pentru a<br />
testa performanţele filtrelor a fost ales un set de de imagini color standard; imaginile au<br />
fost deteriorate controlat cu nivele diferite de zgomot color în impulsuri, folosind o funcţie<br />
de generare de zgomot color în Matlab. Măsura cantitativă obiectivă utilizată pentru<br />
evaluarea performanţelor de filtrare este PSNR, definită pentru o imagine color.<br />
(a) (b)<br />
13
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
14<br />
(c)<br />
(d)<br />
(e)<br />
(f)
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Figura. 2.6. (a) Imaginea originală „Peppers”; (b) zonă detaliu;(c) imaginea afectată de zgomot în<br />
impulsuri color 20%; (d) imaginea rezultată pentru algoritmul propus cu cascada adaptivă; (e)<br />
imaginea rezultată pentru algoritmul cu filtrarea cascadată; (f) imaginea rezultat pentru algoritmul<br />
tranşant propus în [Koschan2001]; (g) imaginea rezultat pentru algoritmul fuzzy propus în<br />
[Andreadis2004].<br />
Tabel 2.2. Rezultate comparative în PSNR pentru diferite nivele de zgomot de tip impuls pentru<br />
următorii algoritmi: HSVmf – filtrul median în spațiul HSV [Koschan2001]; Fcmf – filtrul median<br />
color fuzzy [Andreadis2004]; HSVc – cascada de filtre în spațiul HSV [Suteu2009]; HSVac –<br />
cascada adaptivă în spațiul HSV [Cislariu2010].<br />
Imagine<br />
Basalt<br />
Peppers<br />
Baboon<br />
Nivel de zgomot PSNR<br />
(g)<br />
Tipul 3% 5% 10% 15% 20%<br />
Zgomot 18.34 17.38 14.34 12.19 11.03<br />
HSVmf 28.86 27.10 23.46 20.23 18.56<br />
Fcmf 31.31 30.37 23.53 22.03 19.13<br />
HSVc 31.95 32.01 29.06 28.91 30.04<br />
HSVac 32.64 31.64 29.93 29.49 28.98<br />
Zgomot 21.01 18.64 15.81 13.73 12.56<br />
HSVmf 26.80 25.11 22.23 19.46 16.92<br />
Fcmf 26.48 25.64 22.76 19.68 16.96<br />
HSVc 28.95 28.57 27.26 23.03 17.84<br />
HSVac 29.69 28.57 27.31 24.46 20.49<br />
Zgomot 20.62 18.43 15.33 13.59 12.38<br />
HSVmf 24.86 22.94 19.99 17.93 15.96<br />
Fcmf 25.88 23.71 20.58 18.25 15.93<br />
HSVc 28.85 27.96 26.27 22.69 19.05<br />
HSVac 34.42 30.40 26.66 28.79 19.26<br />
15
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
3.Soluții inteligente pentru detecția defectelor mici (de<br />
tip praf, zgârieturi) din imagini monocrome și color<br />
Din diferite motive în imagini pot apărea defecte de dimensiuni mici (ca zgârieturi,<br />
crăpături, puncte de praf). Aceste defecte sunt deranjante si prin urmare se dorește<br />
înlăturarea lor din imagini. Pentru o înlăturare eficientă este necesar mai întâi detectarea<br />
defectului, apoi în punctele detectate se aplică un algoritm de corecție. Scopul detecției<br />
defectului este păstrarea detaliilor utile din imagine prin aplicarea unei metode de filtrare<br />
doar asupra pixelilor detectați ca fiind de defect. Principala dificultate a detecției este<br />
detectarea defectelor în timp ce detaliiledetaliile din imagine nu ar trebui detectate (în mod<br />
eronat) ca defect. Etapa de corecție presupune înlocuirea pixelilor detectați ca defect din<br />
imagine și în final să avem o imagine fără defecte vizibile.<br />
16<br />
3.1. Problematica detecției defectelor mici. Privire generală.<br />
3.1.1. Defecte mici de tip linii subţiri, praf, puncte izolate<br />
În general în literatura de specialitate defectele care pot apărea în imagini sunt<br />
clasificate în două categorii:categoria defectelor de dimensiuni mari și categoria defectelor<br />
de dimensiuni mici, iar aceste două categorii sunt tratate separat. Categoria defectelor mici<br />
cuprinde defecte ca zgârieturi, praf, fire de păr, fisuri care pot fi detectate automat. Acestea<br />
de obicei odată detectate sunt restaurate utilizând tehnici de umplere bazate fie pe ecuaţii<br />
cu derivate parţiale fie cu tehnici bazate pe filtrare, acestea din urmă dovedindu-se foarte<br />
eficiente deoarece efectul defectelor mici poate fi comparat cu efectul zgomotului în<br />
imagini.<br />
Praful, zgârieturile sau firele de păr de pe imaginile originale sunt artefacte care apar<br />
distinct pentru privitor. Aceste artefacte sunt inestetice şi înlăturarea lor prezintă un interes<br />
pentru cercetare. Există diverse abordări a eliminării defectelor de dimeniuni mici precum<br />
praf şi zgârieturi. O modalitate este în timpul achiziţiei, de exemplu, în timp ce are loc<br />
scanarea unui suport fotografic. O altă modalitate este corectarea defectului dintr-o<br />
imagine digitală prin diverse prelucrări. Pentru fiecare dintre acestea, există o soluţie<br />
adecvată, cu cerinţe de diferite şi nivele diferite de interacţiune ale utilizatorului.<br />
3.2. Algoritm de detecție a defectelor mici bazat pe mașini cu vectori<br />
suport<br />
3.2.1. Extragerea trăsăturilor pentru defecte de tip praf, zgârieturi, crăpături<br />
Pentru eliminarea zgomotului de dimensiuni mici care poate apărea în imagini<br />
digitale (ca de exemplu praf, zgârieturi, crăpături) am propus un algoritm de detecție a<br />
defectelor urmat de o metodă standard de eliminare a defectelor detectate (folosind filtrul<br />
vector median în spațiul de culoare RGB[Koschan2001]). Ca metodă de eliminare a<br />
defectelor detectate pot fi folosite și alte metode de filtrare a imaginilor color ca de<br />
exemplu metoda de filtrare propusă in capitolul 2, filtrul bazat pe o cascadă de sisteme de<br />
inferență fuzzy.[Cislariu2010]. În general o detecție precisă a zonei de defect este partea<br />
cea mai dificilă pentru o eliminare a defectului de dimensiuni mici pentru a păstra și micile<br />
detalii din imagine. Acesta este motivul pentru care se discută în acest capitol doar partea
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
de detecție. În soluția propusă am definit detecția defectului de dimensiuni mici ca o<br />
problemă de clasificare a pixelilor în două categorii: „defect” și „ne-defect”. Din acest<br />
motiv această detecție devine o problemă de clasificare binară și pentru a o rezolva am<br />
propus folosirea clasificatoarelor SVM (mașini cu vector suport)[Vapnik1998], luând în<br />
considerare performanțele remarcabile pe care le au în clsificarea texturilor, dar și<br />
abilitatea lor de a învăța și a generaliza cu un set de date de antrenare destul de redus. O<br />
trăsătură simplă și discriminativă a pixelilor ce aparțin unui defect de dimensiuni mici (ca<br />
praf, zgârieturi, crăpături) a pixelilor nedegradați din imagine este introdusă de Bergman<br />
ș.a.în [Bergman2007] care efectiv măsoară intensitatea și diferența de contrast local dintre<br />
imaginea originală și o versiune a imaginii fitrată cu filtrul median (numită și imagine cu<br />
detalii puține).<br />
Dintre configurațile clasificatoarelor SVM studiate am ales (bazându-ne pe<br />
performanța lor în etapa de antrenare și validarea setului măsurată din punct de vedere al<br />
acurateței și al validării) să folosim un SVM neliniar cu o funcție RBF<br />
Gaussian[Vapnik1998].<br />
Extragerea trăsăturilor se face în următorul mod. Considerăm imaginea digitală<br />
reprezentată în spațiul de culoare RGB prin matricea intensităților celor trei componente de<br />
culoare I k [ H W<br />
], k R,<br />
G,<br />
B cu H și W fiind lungimea și lățimea în pixeli. Pe fiecare<br />
din cele trei componente de culoare se aplică un filtru median cu o fereastră spațială de<br />
M M , care în abordarea noastră a fost fixată la M=5 deoarece s-a dovedit a fi cea mai<br />
eficientă în testele efectuate. Am notat componentele de culoare filtrate median cu:<br />
I [ H W<br />
], k R,<br />
G,<br />
B . În fiecare locație spațială (i,j) din imaginea originală<br />
mf , k<br />
( i 0,<br />
1,...,<br />
H 1;<br />
j 0,<br />
1,...,<br />
W 1)<br />
, intensitatea corespunzătoare în componentele de culoare<br />
filtrate median R, G și B I i, j,<br />
k R,<br />
G,<br />
B este obținută ca valoarea mediană a șirului<br />
mf , k<br />
2<br />
ordonat a celor M intensități citite din fereastra spațială centrată în (i,j) pentru canalul k.<br />
Folosind matricile I [ W ] si I , [ H W<br />
], k R,<br />
G,<br />
B , sunt calculate două tipuri de<br />
k H mf k<br />
trăsături descriptive ale pixelului ce se găsește într-o zonă de defect de dimensiuni mici.<br />
Prima trăsătură este o simplă valoare absolută a diferențelor intensității (Idif,k) în<br />
locația spațială curentă (i,j) pentru fiecare componentă de culoare k, k=R,G,B :<br />
I<br />
j<br />
I i, j<br />
I i, j<br />
dif , k i, k<br />
mf , k<br />
i<br />
0,<br />
1,...,<br />
H 1,<br />
j 0,<br />
1,...,<br />
W 1,<br />
k R,<br />
G,<br />
B.<br />
,<br />
(3.1)<br />
Din moment ce componentele de culoare filtrate median au mai puține detalii de<br />
frecvență înaltă decât în imaginea originală, trăsăturile descrise de ecuația (3.1) va avea<br />
valori mai mari pentru pixelii ce se găsesc în zona defectului de dimensiuni mici ca pete,<br />
linii subțiri/crăpături și valori mai mici pentru pixelii nedegradați de defecte ce se găsesc în<br />
zone aproximativ uniforme. Valori mari pot apărea în jurul muchiilor și zonelor texturate și<br />
pentru aceasta o trăsătură în plus trebuie folosită pentru a putea distinge cele două zone.<br />
A doua tăsătură este diferența contrastului local calculat pentru componenta de<br />
culoare originală si filtrată, reprezentată de matricile C [ H W<br />
], k R,<br />
G,<br />
B și definită<br />
după cum urmează:<br />
dif , k<br />
17
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
18<br />
2<br />
( k ( i,<br />
j)<br />
<br />
mf , k ( i,<br />
j))<br />
C dif , k i, j<br />
<br />
, k R,<br />
G,<br />
B,<br />
2<br />
2<br />
(3.2)<br />
( ( i,<br />
j))<br />
( ( i,<br />
j))<br />
C<br />
k<br />
mf , k<br />
unde k ( i,<br />
j)<br />
este deviația standard a intensităților componentei de culoare k (R,G sau B)<br />
dintr-o fereastră spațială de M M pixeli centrată în jurul locației curente (i,j),<br />
i 0, 1,...,<br />
H 1;<br />
j 0,<br />
1,...,<br />
W 1<br />
; ( i,<br />
j)<br />
este deviația standard a intensităților din<br />
mf , k<br />
versiunea filtrată median a componentei de culoare k, (R,G sau B) dintr-o fereastră spațială<br />
de M M pixeli centrată în jurul locației curente (i,j), i 0, 1,...,<br />
H 1;<br />
j 0,<br />
1,...,<br />
W 1<br />
;C<br />
este o constantă de valorare mică introdusă pentru a evita împărțirea la zero (o alegere<br />
simplă ar fi C=1). ( i,<br />
j)<br />
și ( i,<br />
j)<br />
sunt calculate după cum urmează:<br />
si<br />
k<br />
( i,<br />
j)<br />
<br />
k<br />
M / 2<br />
unde ( i,<br />
j)<br />
<br />
<br />
mf , k<br />
unde <br />
k<br />
( i,<br />
j)<br />
<br />
mf , k<br />
<br />
mf , k<br />
k<br />
p,<br />
q<br />
M / 2<br />
( i,<br />
j)<br />
<br />
I ( i p,<br />
j q)<br />
( i,<br />
j)<br />
<br />
M / 2<br />
<br />
I<br />
k<br />
p,<br />
q<br />
M / 2<br />
M<br />
2<br />
1<br />
( i p,<br />
j q)<br />
M<br />
2<br />
k<br />
2<br />
, k R,<br />
G,<br />
B,<br />
M / 2<br />
I mf , k ( i p,<br />
j q)<br />
mf<br />
, k ( i,<br />
j)<br />
<br />
p,<br />
q<br />
M<br />
/ 2<br />
M / 2<br />
<br />
I<br />
mf , k<br />
p,<br />
q<br />
M<br />
/ 2<br />
M<br />
1<br />
( i p,<br />
j q)<br />
M<br />
2<br />
2<br />
2<br />
,<br />
, k R,<br />
G,<br />
B.<br />
,<br />
(3.3)<br />
(3.4)<br />
Intensitatea și diferența de contrast local pentru fiecare componentă de culoare pot<br />
da rezultate mult mai bune dacă sunt analizate împreună pentru a deosebi pixelii aflați în<br />
zona defectului de dimensiuni mici de pixelii aflați în zone neafectate de defect; de<br />
asemenea folosit de [Bergman2007] am combinat cele două tipuri de trăsături într-un<br />
produs aritmetic pentru fiecare locație spațială (i,j) prin reprezentarea vectorială ,<br />
3<br />
v <br />
sub forma:<br />
( 1)<br />
v<br />
( i,<br />
j)<br />
( 2)<br />
( k )<br />
v ( i,<br />
j)<br />
v(<br />
i,<br />
j)<br />
,<br />
v(<br />
i,<br />
j)<br />
I dif , k i, j<br />
Cdif<br />
, k i, j,<br />
( 3)<br />
<br />
v(<br />
i,<br />
j)<br />
<br />
k<br />
R,<br />
G,<br />
B,<br />
i 0,<br />
1,...,<br />
H 1,<br />
j 0,<br />
1,...,<br />
W 1.<br />
( i,<br />
j)<br />
(3.5)<br />
Fiecare pixel din imagine este reprezentat în spațiul de trăsături definit de ecuația<br />
(3.5) și este o dată de intrare într-o funcție de decizie a unui clasificator SVM binar<br />
antrenat anterior cu o parte dintr-o imagine unde sunt prezente diferite tipuri de defecte de<br />
dimensiuni mici (pete, crăpături, zgârieturi) și sunt marcate manual printr-o imagine<br />
mască. Ca rezultat a fazei de clasificare obținem o hartă binară în care sunt identificate
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
locațiile pixelilor de defect. După obținerea acestei măști pentru corecție am aplicat<br />
clasicul filtru vector median color doar în locațiile marcate în mască și astfel obținând o<br />
restaurare bună a defectului fără a altera semnificativ detaliile din imaginea originală.<br />
3.2.2. Implementare și rezultate<br />
Algoritmul a fost implementat în C++Builder iar partea de antrenare și clasificare a<br />
fost făcută cu ajutorul programului SVM Light. Pentru partea de antrenare în SVM Light<br />
am folosit imagini afectatde de un defect binecunoscut care a fost marcat manual de către<br />
utilizator. Rezultatul clasificării este o imagine binară, o hartă a defectului ce va fi folosită<br />
în partea de corecție a imaginii. Pentru partea de corecție am implementat atât filtrul vector<br />
median prezentat în [Koschan2001] cât si filtrul prezentat în lucrarea [Bergman2007]<br />
O parte din rezultatele experimentale sunt ilustrate în figurile de mai jos.<br />
(a) (b)<br />
(c) (d)<br />
Figura 3.1: FAR 10% FRR 18% (a)Imaginea originală; (b)Masca pixelilor clasificați ca defect;<br />
(c)Rezultatul corecției pixelilor detectați ca fiind defect folosind filtrul vector median. (d)Rezultatul<br />
corecției pixelilor detectați ca fiind defect folosind filtrul propus in [Bergman2007]<br />
(a) (b)<br />
19
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
20<br />
(c) (d)<br />
Figura 3.2: FAR 1.64 FRR 0.15 (a)Imaginea originală; (b)Masca pixelilor clasificați ca defect;<br />
(c)Rezultatul corecției pixelilor detectați ca fiind defect folosind filtrul vector median. (d)Rezultatul<br />
corecției pixelilor detectați ca fiind defect folosind filtrul propus in [Bergman2007]..<br />
(a) (b)<br />
(c) (d)<br />
Figura 3.3 (a)Imaginea originală; (b)Masca pixelilor clasificați ca defect; (c)Rezultatul corecției<br />
pixelilor detectați ca fiind defect folosind filtrul vector median. (d)Rezultatul corecției pixelilor<br />
detectați ca fiind defect folosind filtrul propus in [Bergman2007].<br />
3.3. Algoritm fuzzy de detecţie defectelor de dimensiuni mici<br />
În ceea ce urmează voi prezenta o nouă metodă propusă pentru detectarea<br />
defectelor mici, care foloseşte doi algoritmi „fuzzy c-means” modificaţi de clasificare<br />
pentru detectarea pixelilor care aparţin zonei de defect. Abordarea se dovedeşte a fi una cu<br />
o performanţă bună de detectare a defectelor. Acest algoritm a fost conceput pentru<br />
detecția zgomotului, dar el se pretează la fel de bine și pentru detecția defectelor de<br />
dimensiuni mici.<br />
3.3.1. Principiul algoritmului<br />
Fie X[H×W] intensitatea imaginii. Fiecare pixel dintr-o locaţie spaţială (i,j) fiind în<br />
acest caz, o valoare scalară x(i,j)∈ℛ. În cazul în care setul valorilor intensităţii este {x(i,j)|<br />
i=1,...,H, j=1,...,W} se aplică un algoritm fuzzy c-means modificat de clasificare<br />
[Koschan2001], pe baza distanţei euclidiene dintre intensitatea valorilor pixelilor X (fără a<br />
lua în seamă distribuţia spaţială a valorilor intensităţii în imagine), se obţine la sfârşitul<br />
iteraţiilor algoritmului fuzzy c-means, matricea partiţiei optime fuzzy U[C×HW], arătând
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
gradele de apartenenţă fuzzy ale membrilor fiecărei date x(i,j) la clasa C, şi prototipurile C<br />
a claselor vk (valorile intensităţilor, obţinute ca centrele de greutate a claselor<br />
corespunzătoare fuzzy), k =1,...,C. Pentru o descriere mai uşoară a algoritmului de rejecţie<br />
a pixelilor de zgomot bazat pe algoritmul fuzzy c-means modificat (aici referit ca NR-<br />
MFCM), luăm în considerare o reprezentare alternativă a gradelor de apartenenţă ale<br />
pixelilor X la clasele fuzzy C, sub forma unei matrici 3D, matricea ̃ , cu<br />
̃ gradul de apartenenţă a pixelului x(i,j) la clasa k, k=1,2,...,C. Uk[H×W] este<br />
"planul al k-lea" a matricei ̃, format din gradele de apartenenţă al pixelilor X la clasa k.<br />
Valorile optime ale gradelor de apartenenţă şi prototipurile fuzzy sunt găsite prin reducerea<br />
la minimum a funcţiei cost:<br />
̃ ∑ ∑ ∑ ̃<br />
unde m este un parametru ce controlează forma grupării rezultate, convergenţa problemei<br />
de optimizare este garantată pentru m>1. d este o măsură distanţă între x(i,j) şi vk - de<br />
obicei, distanţa euclidiană. Reducerea la minimum a lui Jm este rezolvată iterativ, pornind<br />
de la o partiţie fuzzy iniţială matricea U 0 sau un set iniţial de centre de ale grupului v 0 k,<br />
fiind actualizată în fiecare iteraţie t (până la convergenţă) cu următoarele expresii:<br />
̃ (∑ (<br />
∑ ∑ ̃<br />
∑ ∑ ̃<br />
)<br />
De obicei, într-o imagine fără defecte şi zgomot X, intensităţile x(i,j) nu se vor schimba<br />
brusc în vecinătăţi mici spaţiale şi, prin urmare, de asemenea, gradele de apartenenţă<br />
corespunzătoare vor fi similare în aceste vecinătăţi. Cu toate acestea, atunci când un pixel<br />
atipic (de exemplu, cu o intensitate mult mai diferit decât vecinii săi) apare în imagine,<br />
acest pixel va avea (cel puţin la una dintre clasele fuzzy k) un grad de apartenenţă mult mai<br />
diferit decât vecinii săi la această clasă.<br />
Fie w(i,j) [3×3] o fereastră spaţială centrată pe locaţia (i,j), peste un plan al gradelor de<br />
apartenenţă fuzzy la clasa k, Uk[H×W], şi A[3×3] - o matrice cu elementele ponderi<br />
pozitive, { } ∑ ∑<br />
cu<br />
cel puţin două elemente nenule. Apoi ̅<br />
este numit gradul de apartenenţă a pixelului x(i,j) la clasa k după cel de al t-lea<br />
pas de iteraţie şi se calculează după cum urmează:<br />
̅ ∑ ∑ ̃<br />
Aceste grade de apartenenţă mediate sunt folosite pentru re-actualizarea gradelor de<br />
apartenenţă ̃ şi valorile prototipurilor vk în fiecare iteraţie în algoritmul de rejecţie a<br />
pixelilor de zgomot bazat pe algoritmul fuzzy c-means modificat. Aceasta poate fi<br />
exprimată prin următorii paşi.<br />
)<br />
(3.6)<br />
(3.7)<br />
(3.8)<br />
(3.9)<br />
21
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Pasul 1. Iniţializare. Se definesc: m, C, măsura distanţă d, se fixează eroarea de<br />
convergenţă ε. Se selectează un exponent pentru a controla influenţa din medie în<br />
actualizarea gradelor de apartenenţă, n> 1. Se generează o matrice iniţială, partiţie fuzzy<br />
̃ . Se calculează valorile iniţiale ale prototipurilor vk în conformitate cu<br />
ecuaţiile 3.3 şi 3.4. Se setează pasul t=0.<br />
Pasul 2. Se trece la t=t+1. Se actualizează gradele de apartenenţă ̃ şi<br />
prototipurile în funcţie de ecuaţiile 3.3 şi 3.4.<br />
Pasul 3. Se calculează gradele de apartenenţă medii. Conform ecuaţiei 3.5, actualizarea<br />
gradelor de apartenenţă(propuse în [Wang2008])<br />
22<br />
̂<br />
̃ ̅<br />
∑ ̃ ̅<br />
(3.10)<br />
i=1,2,...,H; j =1,2,...,W; k=1,2,...,C, şi se copiază aceste valori în matricea cu valorile<br />
vechi ale gradelor de apartenenţă ̃ ̂ , i=1,2,...,H; j =1,2,...,W;<br />
k=1,2,...,C. Se actualizează în conformitate cu ecuaţiile 3.3 şi 3.4.<br />
Pasul 4. Dacă | ̃ ̃ | convergenţa a fost atinsă şi<br />
algoritmul se opreşte. Altfel se trece la pasul 2.<br />
Cu cât diferenţa de intensitate a unui pixel x(i,j) este mai mare decât vecinii săi din<br />
w(i,j), şi cu cât timpul de convergenţă este mai lung cu atât mai mari sunt grade cumulative<br />
de apartenenţă pentru a schimba clasificarea pixelilor în conformitate cu schimbarea<br />
cumulativă a gradelor de apartenenţă (CMDCD) la clasele fuzzy C. Această observaţie este<br />
foarte potrivită pentru detectarea defectelor, dacă vom defini caracteristica schimbării<br />
gradelor de apartenenţă cumulative (CMDC) în timpul algoritmul de rejecţie a pixelilor de<br />
zgomot bazat pe algoritmul fuzzy c-means modificat pentru fiecare pixel x(i,j) prin:<br />
̃<br />
∑ ∑ ̃ ̂<br />
(3.11)<br />
şi comparăm aceasta valoare cu un prag statistic θ (de exemplu, o percentilă de valoare<br />
mare). Pixelii a căror ̃ sunt foarte probabil a fii pixeli de defect, în timp ce<br />
ceilalţi sunt susceptibili de a fi „curaţi”. Această strategie este adoptată în sistemul nostru<br />
de detectare a defectelor menţionate pe scurt de acronimul FCMDC (schimbă gradul<br />
cumulativ de apartenenţă fuzzy), explicat pentru o imagine color în ceea ce urmează.<br />
3.3.2. Algoritmul propus pentru schimbarea gradului cumulativ de<br />
apartenență fuzzy<br />
Să presupunem o imagine color care conţine defecte mici ca zgârieturi, fire de păr,<br />
praf. Scopul este de a obţine o imagine fără defecte, fără a modifica detaliile imaginilor,<br />
dar această sarcină este adesea una dificilă, deoarece atât defectele cât şi detalii fine din<br />
imagine introduc componente spaţiale de frecvenţă înaltă şi prin urmare, orice procedură<br />
de filtrare trece jos (liniară sau neliniară) este predispusă să afecteze într-un fel toate<br />
frecvenţele spaţiale înalte în imagine. Prin urmare, o soluţie mai bună este de a identifica
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
mai întâi locaţiile pixelilor care aparţin zonei de defect este de a aplica o filtrare numai în<br />
aceste locaţii.<br />
Algoritmul propus de detecţie a defectelor este următorul. Fiecare plan de culoare a<br />
imaginii, de exemplu, R[H×W], G[H×W] şi B[H×W], este reprezentat ca o imagine<br />
intensitate (notate generic cu X anterior). Pe fiecare dintre cele trei plane de culoare,<br />
independente, vom aplica două metode ale algoritmului de rejecţie a pixelilor de zgomot<br />
bazat pe algoritmul fuzzy c-means modificat, care diferă în coeficienţii de filtrare<br />
consideraţi:<br />
1. Primul este un simplu filtru median între toate valorile din vecinătatea centrată<br />
pe fiecare pixel (i,j) în planul de culoare w(i,j), adică cu filtrul cu coeficienţii<br />
a(p,q)=1/9, p,q∈{1,2,3}. Notăm rezultatele algoritmului de rejecţie a<br />
pixelilor de zgomot bazat pe algoritmul fuzzy c-means modificat care folosesc<br />
acest filtru cu NR-MFCM1 (în figura 3.4), şi caracteristicile care rezultă din<br />
schimbarea gradelor de apartenenţă cumulative calculate de NR-MFCM1 cu<br />
ecuaţia 3.7 din △R/G/BNR-MFCM1[W×H].<br />
2. Cel de-al doilea calculează o medie a vecinilor pixelului centrat în (i,j) în<br />
planul de culoare, w(i,j), adică filtrul cu coeficienţii a(2,2)=0, şi (p,q)=1/8<br />
pentru alte valori ale lui p şi q. Notăm rezultatul algoritmului de rejecţie a<br />
pixelilor de zgomot bazat pe algoritmul fuzzy c-means modificat care foloseşte<br />
acest filtru cu NR-MFCM2 (în figura 3.4), şi NR-MFCM2 caracteristicile care<br />
rezultă calculate prin ecuaţia 3.7 cu △R/G/BNR-MFCM2 [H×W].<br />
NR-MFCM1 NR-MFCM2<br />
max<br />
Imaginea de<br />
intrare(RGB)<br />
R G B<br />
Masca de<br />
detectie R<br />
NR-MFCM1 NR-MFCM2<br />
max<br />
max<br />
Filtru selectiv<br />
Imagine<br />
rezultat<br />
Masca de<br />
detectie G<br />
Masca Globala<br />
Figura 3.4 Schema metodei propuse<br />
3.3.3. Implementare şi rezultate experimentale<br />
NR-MFCM1 NR-MFCM2<br />
max<br />
Masca de<br />
detectie B<br />
Algoritmii au fost implementaţi în C++Builder. Un set standard de imagini color au<br />
fost alese pentru a testa performanta acestui algoritm. Unele rezultate experimentale se pot<br />
observa mai jos.<br />
23
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
24<br />
(a) (b) (c)<br />
(d) (e) (f)<br />
(g) (h) (i)<br />
Figura 3.5 (a)Imaginea cu defect de tip zgârietură; (b) masca totală a pixelilor detectaţi de defect;<br />
(c)imaginea rezultat după aplicarea corecţiei utilizând filtrarea propusă; (d)component de R(roşu) a<br />
imaginii; (e) componenta de G (verde) a imaginii ; (f) componenta de B (albastru) a imaginii; (g) masca<br />
pixelilor de defect detectaţi pe componenta de roşu; (h) masca pixelilor de defect detectaţi pe<br />
componenta de verde; (i) masca pixelilor de defect detectaţi pe componenta de albastru.<br />
4.Corecția defectelor mari din imagini color – tehnici de<br />
tip inpainting (prin algoritmi de umplere bazați pe<br />
exemple)<br />
Inpainting este tehnica prin care se modifică o imagine prin înlăturarea unei zone mari<br />
(un obiect sau o zonă de defect) înșocuind cu un fundal plauzibil. În acest capitol am<br />
abordat metodele de inpainting bazate pe exemple urmând metoda propusă de Criminisi.<br />
Această metodă folosește ferestre din imagine pentru a umple zona de defect. Am propus o<br />
generalizare a acestui algoritm de inpainting bazat pe exemple prin folosirea unei ferestre<br />
fuzzy. Această fereastră fuzzy se folosește în căutarea celei mai potrivite ferestre pentru<br />
umplere. Rezultatele experimentale arată că metoda propusă aduce o îmbunătățire în
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
comparație cu lte metode. De asemenea am propus și extinderea zonei de căutarea a celei<br />
mai potrivite ferestre prin folositea a mai multor imagini ca zonă sursă.<br />
4.1. <strong>Tehnic</strong>ile de tip inpainting. Privire generală.<br />
Inpaintingul este metoda de a modifica o imagine în așa fel încât pentru un nou<br />
privitor noul rezultat pare a fi o imagine naturală. Aplicațiile algoritmilor de inpainting<br />
sunt foarte variate, de la înlocuirea unor obiecte din imagine până la restaurarea unor<br />
fotografii sau imagini ale obiectelor de artă (ca zone lipsă, pete pe fotografii vechi sau<br />
picturi).<br />
Termenul de „inpainting” este un termen preluat din domeniul artistic al cărui<br />
echivalent în prelucrarea imaginilor este interpolarea unor zone relativ mari din imagine.<br />
Problematica inpainting. Fie Ω o zonă de imagine, cel mai des întâlnit sub formă<br />
dreptunghiulară pe ecranul unui calculator sau mai general un dmeniu finit în R 2 . Anumiți<br />
factori, precum obturarea unor obiecte din câmpul vizual sau pierderea unor pachete în<br />
domeniul comunicațiilor wireless, duc la apariția unui subset G a lui Ω în care informația<br />
din imagine lipsește sau este deteriorată. Scopul algoritmului de inpainting este de a reface<br />
imaginea originală u pe întreg domeniul său Ω, bazându-se doar pe observarea parțială (de<br />
obicei distorsionată) u0|Ω\G. Deoarece majoritatea obiectelor nu sunt transparente,<br />
observatorul uman întâlnește deseori efectul obturării. Totuși vedem lumea ca perfect<br />
ordonată, cu obiecte întregi și nu ca părți separate din obiecte și peisaje cu bucăți mici<br />
independente unele de altele. Acesta este rezolvarea naturală la problematica inpaintigului.<br />
Cercetătorii în domenilu vizual și cognitiv cred că oamenii fără să fie conștienți de asta<br />
aplică mereu într-un mod inteligent regulile de interpolare.<br />
4.2. Algoritmul de umplere a spaţiilor din imaginile color bazat pe<br />
regiuni exemplu<br />
Esenţa algoritmului propus de Criminisi [Criminisi2003] este un proces de<br />
eşantionare a imagini. Este bine înţeles faptul că abordarea sintezei bazată pe exemple<br />
funcţionează bine pentru texturi bidimensionale.<br />
(a) (b)<br />
25
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
26<br />
(c) (d)<br />
Figura 4.1 Propagarea structuri în sin<strong>teza</strong> de textură bazată pe exemple. (a) Imaginea originală, cu<br />
regiunea ţintă Ω, conturul său δΩ, şi regiunea sursă Φ în mod clar marcate. (b) Dorim să sintetizăm<br />
zona delimitată de fereastra Ψp centrată pe punctul p <br />
. (c) găsirea celei mai probabile ferestre<br />
candidate ce se potriveşte pentru fereastra Ψp de-a lungul frontierei dintre cele două texturi în<br />
regiunea sursă, de exemplu, Ψq’ şi Ψq’’ . (d) Cea mai potrivită fereastră din setul de candidate a fost<br />
copiată în poziţia ocupată de Ψp, astfel făcându-se umplerea parţială a lui Ω. Se observă că atât textura<br />
cât şi structura au fost propagate în interiorul regiunii ţintă. Regiunea ţintă Ω s-a micşorat şi frontul<br />
δΩ şi-a schimbat forma.<br />
Având o fereastră Ψp centrată în punctul p pentru p <br />
(a se vedea fig.4.1), definim<br />
prioritatea P(p) ca un produs de cei doi termeni:<br />
P (p) C (p) D (p)<br />
(4.1)<br />
Prioritatea P(p) se calculează pentru fiecare fereastră de pe frontieră, cu ferestră<br />
distinctă pentru fiecare pixel de pe graniţa regiuni ţintă.<br />
Notăm C(p) termenul de încredere care reprezintă o măsură a credibilității în<br />
corectitudinea informației. C(p) se definește:<br />
C (p)<br />
unde | Ψp | este aria ferestrei Ψp.<br />
q p I<br />
(<br />
)<br />
<br />
p<br />
C(<br />
q)<br />
Funcţia C(p) este iniţializată (condiția la limită) la începutul algoritmului ca: C(p)=0,<br />
p <br />
şi C(p)=1 , p I .<br />
Termenul de încredere C(p), poate fi gândit ca o măsură a cantităţii de informaţie<br />
fiabile în jurul pixelului p<br />
(4.2)<br />
Numim D(p) termenul dependent de imagine este definit după cum urmează:<br />
p p<br />
<br />
n I<br />
<br />
<br />
D(<br />
p)<br />
<br />
unde α este un factor de normalizare (de exemplu, α = 255 tipic pentru imagini pe nivele de<br />
gri), np este un vector unitate ortogonal faţa de δΩ în punctul p şi ┴ denotă un operator<br />
ortogonal.<br />
(4.3)
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Pe de altă parte, algoritmul prezentat propagă textura imaginii prin prelevare de probe<br />
directe din regiunea sursă. Vom căuta în regiunea sursă fereastra cea mai asemănătoare cu<br />
.<br />
<br />
p<br />
arg min d( <br />
, q<br />
)<br />
q q<br />
p<br />
unde distanţa d( a , b<br />
) între două ferestre generice a şi b este pur şi simplu definită<br />
ca suma pătratelor diferenţelor pixelilor deja existenţi în cele două ferestre. Pixelii sunt<br />
reprezentaţi în spaţiul de culoare RGB.<br />
După ce am găsit sursa din zona de origine<br />
p | p'<br />
<br />
p<br />
(4.4)<br />
, valoarea fiecărui pixel de umplut<br />
<br />
q<br />
' este copiat din poziţia corespunzătoare în interiorul .<br />
<br />
După ce ferestrele <br />
p<br />
încredere C(p) este actualizat în zona delimitată de <br />
p<br />
<br />
p<br />
au fost completate cu noile valori ale pixelilor, termenul de<br />
<br />
C ( p)<br />
C(<br />
p),<br />
p<br />
<br />
.<br />
p<br />
după cum urmează:<br />
4.3. Algoritm fuzzy de umplere a regiunilor lipsă din imagini bazat pe<br />
regiuni-exemplu<br />
În inpaintingul bazat pe exemple pentru sintetizarea de texturi pot apărea<br />
distorsiuni sau artefacte de propagare. Dacă fereastra de propagare a texturii este mai mare<br />
decât elementul structural texel se poate întâmpla ca în fereastra de propagare a texturii să<br />
apară la început mici distorsiuni care apoi să se propage ca textură. Astfel imaginea<br />
rezultată nu va fi una verosimilă ci va fi o imagine nenaturală în care se observă o<br />
denaturare a imaginii un artefact nenatural. Se observă falsificarea imaginii dat fiind faptul<br />
că rezultatul final nu este unul plauzibil pentru un nou privitor care nu a văzut imaginea<br />
înainte de aplicarea algoritmului.<br />
4.3.1. Principiul algoritmului<br />
Acest algoritm va realiza o nouă imagine folosind algoritmi de tip inpainting care<br />
folosește o fereastră fuzzy pentru propagarea texturii. Avantajul ferestrei fuzzy ar fi luarea<br />
în considerare a unei regiuni spaţiale mai mari într-un grad subunitar ceea ce ar trebui să<br />
conducă la imagini mai „naturale” fiind o abordare compatibilă cu modul de percepţie<br />
uman al regiunilor spaţiale. În principiu abordarea fuzzy generalizează algoritmul tranşant<br />
de inpainting care poate fi privit ca o situaţie particulară rezultată din înlocuirea ferestrei<br />
fuzzy cu una tranşantă.<br />
(4.5)<br />
27
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Figura 4.2 Propagarea structuri - sin<strong>teza</strong> de textură folosind o fereastra fuzzy. (a) Imaginea originală,<br />
cu regiunea ţintă Ω, conturul său δΩ, şi regiunea sursă Φ în mod clar marcate. (b) Dorim să sintetizăm<br />
zona delimitată de fereastra fuzzy Ψp centrată pe punctul p <br />
. (c) găsirea celei mai probabile<br />
ferestre fuzzy candidata ce se potriveşte pentru Ψp de-a lungul frontierei dintre cele două texturi în<br />
regiunea sursă, de exemplu, Ψq’ şi Ψq’’ . (d) Cea mai potrivită fereastră din setul de candidate a fost<br />
copiată în poziţia ocupată de Ψp, astfel făcându-se umplerea parţială a lui Ω. Se observă că atât<br />
textura cât şi structura au fost propagate în interiorul regiunii ţintă. Regiunea ţintă Ω s-a micşorat şi<br />
frontul δΩ şi-a schimbat forma.<br />
28<br />
4.3.2. Formularea algoritmului<br />
Dată fiind imaginea de intrare, utilizatorul alege o regiune-ţintă, Ω, pentru a fi<br />
eliminată şi mai apoi completată. Avem regiunea sursă, Φ, ce este întreaga imagine minus<br />
regiunea ţintă.<br />
Pasul următor este alegerea mărimii ferestrei şablon Ψ. În cazul algoritmului<br />
tranşant bazat pe exemple, fereastra ψ poate fi interpretată ca o mulţime tranşantă<br />
bidimensională, toţi pixelii din fereastră aparţinându-i cu gradul 1, iar pixelii din afara<br />
ferestrei „aparţinându-i” în grad 0. În cazul unei ferestre fuzzy ̃ , vor exista pixeli care-i<br />
aparţin în gradul 1, în gradul 0, dar şi în alte grade între 0 şi 1 (apartenenţa parţială).<br />
Fereastra fuzzy bidimensională, cu funcţii de apartenenţă ̃ ℛ , unde ℛ<br />
reprezintă o regiune spaţială finită din imagine. Alegerea dimensiunii ferestrei şablon fuzzy<br />
̃ presupune atât specificarea regiunii spaţiale prototip a ferestrei (regiune ℛp care satisface<br />
̃ ℛ ), cât şi specificarea regiunii spaţiale - suport a ferestrei(regiune ℛs care
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
satisface ̃ ℛ ). În algoritmul propus, forma funcţiei de apartenenţă ̃ este liniară pe<br />
porţiuni (fiind o generalizare bidimensională a unui trapez isoscel, adică, un trunchi de<br />
piramidă patrulateră regulată). În alegerea dimensiunii ferestrei se tine cont ca dimensiunea<br />
să fie mai mare decât cel mai mare element de textură ce se poate distinge. După alegerea<br />
acestor parametri algoritmul efectuează în mod automat următorii paşi.<br />
Pentru fiecare fereastră centrată pe frontul de umplere a zonei lipsă se calculează<br />
prioritatea. Apoi se caută fereastra care are prioritatea maximă. După ce se află care este<br />
fereastra cu prioritate maximă se caută care este cea mai asemănătoare fereastră cu aceasta<br />
şi apoi se copiază pixelii corespunzători în partea de fereastră cu pixelii fără informaţie.<br />
Apoi se reactualizează termenul de încredere pentru aceşti pixeli completaţi.<br />
Fie o fereastră fuzzy<br />
fereastră, prioritatea ̃ este definită ca:<br />
̃ centrată în punctul p pentru p <br />
.<br />
Pentru această<br />
C (p) D (p)<br />
~ ~<br />
P (p) <br />
(4.6)<br />
Prioritatea ̃ se calculează pentru fiecare fereastră fuzzy centrată pe frontieră, cu<br />
ferestre fuzzy distincte pentru fiecare pixel de pe graniţa regiuni ţintă.<br />
Numim ̃ termenul fuzzy de încredere definit similar expresiei sale tranşante<br />
din subcapitolul 4.2, după cum urmează:<br />
C (p) ~<br />
q S p I <br />
(<br />
~ ) (<br />
)<br />
~<br />
C(<br />
q)<br />
<br />
~ p ( q)<br />
~<br />
<br />
p<br />
unde: ̃ reprezintă suportul mulţimii fuzzy ̃ (care este o mulţime tranşantă), ̃<br />
este gradul de apartenenţă al pixelului q la mulţimea fuzzy bidimensională care descrie<br />
fereastra fuzzy | ̃ | este cardinalul mulţimii fuzzy ̃ , | ̃ | ∑ ̃<br />
∈ℛ , cu ℛ<br />
̃<br />
(4.7)<br />
Funcţia ̃ este iniţializată la început ca: ̃ =0, p <br />
şi ̃ =1 , p I .<br />
Termenul de încredere ̃ , poate fi gândit ca o măsură a cantităţii de informaţie<br />
fiabile în jurul pixelului p. Intenţia este de a completa prima dată acele ferestre care au cei<br />
mai mulţi dintre pixeli lor deja completaţi, cu preferinţa de completare dată de pixeli care<br />
au fost deja completaţi mai devreme (sau care nu au făcut parte din regiunea ţintă).<br />
Acest termen ̃ impune ordinea de completare concentrică dorită. Odată cu<br />
avansarea completării, pixeli din straturile exterioare a regiuni ţintă vor tinde să fie<br />
caracterizaţi prin valori mai mari de încredere şi prin urmare vor fi completaţi primii, iar<br />
pixeli din centrul regiunii ţintă vor avea valori de încredere mai mici.<br />
Termenul dependent de imagine D(p) este definit exact ca în cazul tranşant:<br />
p p<br />
<br />
n I<br />
<br />
<br />
D(<br />
p)<br />
<br />
unde α este un factor de normalizare (de exemplu, α = 255 tipic pentru imagini pe nivele de<br />
gri), np este un vector unitate ortogonal faţa de δΩ în punctul p şi ┴ denotă un operator<br />
29
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
ortogonal. Termenul D(p) este o funcţie de puterea liniilor izofote care ating frontul δΩ la<br />
fiecare iteraţie. Acest termen ridică prioritatea unei ferestre în care o izofotă „se loveşte”.<br />
Acest factor este de importanţă fundamentală în algoritmul nostru, deoarece încurajează<br />
structuri liniare de a fi mai întâi sintetizate şi apoi propagate în siguranţă în regiunea ţintă.<br />
Gradientul I p<br />
30<br />
se calculează ca valoarea maximă a gradientului imagini în S p I )<br />
~<br />
( .<br />
După ce se calculează toate priorităţile de pe frontul de umplere se găseşte fereastra<br />
~ . Apoi, se completează cu date extrase din<br />
fuzzy cu prioritate maximă notată cu p<br />
regiunea sursă Φ. Algoritmul propagă textura imagini prin prelevare de probe directe din<br />
regiunea sursă. Astfel vom căuta în regiunea sursă fereastra fuzzy cea mai asemănătoare cu<br />
~ .<br />
fereastra fuzzy <br />
p<br />
~ ~<br />
arg min d ( <br />
, )<br />
q<br />
~ f<br />
q<br />
q<br />
<br />
p<br />
.<br />
unde d f ( ,<br />
)<br />
este distanţa între două ferestre fuzzy, definită după cum urmează. Fie a<br />
~ şi<br />
b<br />
~ sunt două ferestre fuzzy centrate în locaţiile spaţiale a şi respectiv b, descrise prin<br />
~<br />
~<br />
funcţiile lor de apartenenţă bidimensionale : [<br />
0,<br />
1]<br />
: [<br />
0,<br />
1<br />
(4.8)<br />
a Ra şi b R b ] cu<br />
ℛa=regiunea spaţială a lui a ~ şi ℛb=regiunea spaţială a lui b ~<br />
. Fie xq=[Rq Gq Bq] T un<br />
pixel descris prin culoarea sa în spaţiul RGB, aflat la locaţia spaţială q din imagine. Atunci<br />
~ ~<br />
T<br />
( , ) ( ) ( )<br />
~<br />
a b<br />
xq<br />
xqab<br />
xq<br />
xqab<br />
( q),<br />
(4.94)<br />
d f<br />
a<br />
qS<br />
(<br />
~ ) (<br />
I )<br />
a<br />
După ce am găsit fereastra sursă ~<br />
, valoarea fiecărui pixel de umplut<br />
<br />
q<br />
~<br />
p'|<br />
p'<br />
pentru<br />
<br />
p<br />
care<br />
~ ( p')<br />
1<br />
este copiată din poziţia corespunzătoare din fereastra ~ în interiorul<br />
<br />
~<br />
. <br />
p<br />
p<br />
După ce poziţiile spaţiale pentru care ( p')<br />
1<br />
din ferestrele ~ au fost<br />
<br />
completate cu noile valori ale pixelilor, termenul de încredere C(p) este actualizat în aceste<br />
locaţii spaţiale p’ după cum urmează:<br />
~<br />
( p)<br />
~ ~<br />
C(<br />
p),<br />
p<br />
<br />
~<br />
pˆ<br />
C <br />
pˆ<br />
<br />
p<br />
q<br />
p<br />
,<br />
daca<br />
~ ( p)<br />
1.<br />
(4.10)<br />
Această actualizare permite păstrarea unei măsuri de încredere în pixelii deja umpluţi cu<br />
informaţie. Completarea continuând, valorile componentei de încredere scad, indicând că<br />
sunt mai puţin sigure valorile culorii pixelilor aproape de centrul regiuni ţintă.
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
4.3.3. Structura ferestrei fuzzy<br />
În acest algoritm fereastra fuzzy cu care se procesează imaginea are rolul de a da o<br />
importanţă ponderată pixelilor din vecinătate care nu vor fi copiaţi în fereastra procesată<br />
momentan.<br />
Forma ferestrei fuzzy este ilustrată în figura de mai jos, pentru diferite valori ale<br />
parametrilor ferestrei (fereastra fuzzy generică ~ fiind descrisă de o funcţie de<br />
apartenenţă de tip trunchi de piramidă patrulateră regulată, parametrii care trebuie<br />
specificaţii pentru definirea acestei funcţii sunt baza mare şi baza mică a trunchiului de<br />
piramidă). Fereastra este alcătuită dintr-o parte tranşantă adică din pixelii procesaţi şi o<br />
parte ponderata fuzzy alcătuită dintr-un număr de pixeli a căror informaţie este importantă<br />
într-o anumită măsură.<br />
0 0 0 0 0 0 0<br />
0 0,5 0,5 0,5 0,5 0,5 0<br />
0 0,5 1 1 1 0,5 0<br />
0 0,5 1 1 1 0,5 0<br />
0 0,5 1 1 1 0,5 0<br />
0 0,5 0,5 0,5 0,5 0,5 0<br />
0 0 0 0 0 0 0<br />
(a)<br />
0 0 0 0 0 0 0 0 0<br />
0 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0<br />
0 0,3 0,6 0,6 0,6 0,6 0,6 0,3 0<br />
0 0,3 0,6 1 1 1 0,6 0,3 0<br />
0 0,3 0,6 1 1 1 0,6 0,3 0<br />
0 0,3 0,6 1 1 1 0,6 0,3 0<br />
0 0,3 0,6 0,6 0,6 0,6 0,6 0,3 0<br />
0 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0<br />
0 0 0 0 0 0 0 0 0<br />
(b)<br />
31
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Am ales această fereastră a fi fuzzy deoarece este important a lua în considerare şi<br />
pixelii din vecinătate pentru a găsi o bună potrivire a ferestrei şi în acelaşi timp pentru a<br />
asigura o continuitate a texturii. Astfel dacă asigurăm o continuitate a texturii vom obţine<br />
în final o imagine ce este verosimilă şi pare a fi o imagine nemodificată.<br />
„Ponderile” pixelilor din fereastra fuzzy reprezintă gradele de apartenenţă ale<br />
pixelilor la fereastra spaţială curentă, care pot fi privite ca „grade de importanţă” acordate<br />
pixelilor la planul curent de umplere.<br />
Un avantaj al acestei ferestre fuzzy îl reprezintă flexibilitatea pe care o da texturii<br />
de umplere şi modului de umplere a zonei de înlocuit. Prin folosirea ferestrei fuzzy se<br />
obţine eliminarea artefactelor de tip colţuri de ferestre (pătrate).<br />
Revenirea de la o fereastră fuzzy la o fereastră tranşantă se poate face în orice<br />
moment, fereastra tranşantă fiind un caz particular al ferestrei fuzzy.<br />
32<br />
0 0 0 0 0 0 0 0 0 0 0<br />
0 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0<br />
0 0,3 0,6 0,6 0,6 0,6 0,6 0,6 0,6 0,3 0<br />
0 0,3 0,6 1 1 1 1 1 0,6 0,3 0<br />
0 0,3 0,6 1 1 1 1 1 0,6 0,3 0<br />
0 0,3 0,6 1 1 1 1 1 0,6 0,3 0<br />
0 0,3 0,6 1 1 1 1 1 0,6 0,3 0<br />
0 0,3 0,6 1 1 1 1 1 0,6 0,3 0<br />
0 0,3 0,6 0,6 0,6 0,6 0,6 0,6 0,6 0,3 0<br />
0 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0,3 0<br />
0 0 0 0 0 0 0 0 0 0 0<br />
(c)<br />
Figura 4.3. Exemplificarea ferestrei fuzzy: (a) fereastra fuzzy cu suport de 5×5 pixeli şi tăietura<br />
de nivel 1(lăţimea bazei mici) de 3×3; (b) fereastra fuzzy cu suport de 7×7 pixeli şi tăietura de<br />
nivel 1(lăţimea bazei mici) de 3×3; (c) fereastră fuzzy cu suport de 9×9 pixeli şi tăietura de nivel<br />
1(lăţimea bazei mici) de 5×5.<br />
4.3.4. Rezultate experimentale<br />
Acest algoritm a fost implementat de asemenea în mediul de programare C++<br />
Builder. Am realizat o interfaţă simplă şi utilă pentru această aplicaţie. Se deschide<br />
imaginea ce urmează a fi prelucrată, folosind mouse-ul se face selecţia zonei ce se doreşte<br />
a fi îndepărtată din imagine. Se alege din meniu prelucrarea dorită, în acest caz algoritmul<br />
inpainting cu fereastră fuzzy, după care se alege dimensiunea ferestrei pe care o va folosi<br />
algoritmul. Se afişează în final rezultatul.
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
(a) (b)<br />
(c) (d)<br />
33
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
34<br />
(e) (f)<br />
Figura 4.4 (a)imaginea originală; (b)selecţia zonei de umplut; (c) rezultatul algoritmului de inpainting<br />
propus folosind fereastra fuzzy; (d) rezultatul algoritmului de inpainting bazat pe exemple, (e)<br />
imaginea diferenţă între rezultatul algoritmului de inpainting bazat pe exemple şi rezultatul<br />
algoritmului ce foloseşte o fereastră fuzzy; (f) imaginea (e) negativată.<br />
4.4. Un nou algoritm de umplere a spaţiilor bazat pe regiuni-exemplu<br />
din zone sursă multiple<br />
4.4.1. Principiul algoritmului<br />
Acest algoritm va restaura imaginea deteriorată obţinând în final o nouă imagine pe<br />
baza unui algoritm de tip inpainting şi folosind ca sursă pentru umplere atât imaginea<br />
curentă cât şi alte imagini asemănătoare (ca de exemplu imagini pe aceeaşi temă, imagini<br />
ale aceluiaşi obiect dar din alt unghi sau imagini ale aceluiaşi pictor, imagini de picturi ale<br />
aceleiaşi şcoli ce folosesc aceeaşi gama de culori). Avantajul acestei propuneri ar fi luarea<br />
în considerare a unei regiuni mult mai mari pentru regiunea sursă, iar şansele de a găsi o<br />
potrivire mai bună sunt mult mai mari, ceea ce ar trebui să conducă la imagini mai<br />
„naturale”.<br />
Folosim aceeaşi modalitate de umplere ca la algoritmul de inpainting cu sinteză de<br />
textură bazată pe exemple pentru a obţine o imagine nouă şi fără a obţine o textură<br />
deformată.
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
(a) (b)<br />
(e) (d)<br />
(e)<br />
Figura 4.5. Propagarea texturii folosind algoritmul de inpainting cu mutiple zone sursă. (a) Imaginea<br />
originala, cu regiunea ţintă Ω, conturul său δΩ şi regiunea sursă Φ (b) Dorim să umplem zona<br />
delimitată de fereastra p; (c) căutarea celei mai probabile ferestre candidate ce se aseamănă cu<br />
fereastra centrată în p; (d) căutarea în cea de-a doua zonă sursă a celei mai probabile ferestre; (e)<br />
găsirea celei mai asemănătoare ferestre ce se potriveşte pentru Ψp, şi umplerea parţaială cu informaţie<br />
a ferestrei curente cu cea din fereastra candidată. Regiunea ţintă Ω s-a micşorat şi frontul δΩ şi-a<br />
schimbat forma.<br />
35
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
36<br />
4.4.2. Formularea algoritmului<br />
În primul rând, fiind dată o imagine de intrare, aleasă de utilizator pentru a fi<br />
restaurată, utilizatorul marchează manual regiunea ţintă Ω, regiunea ce urmează a fi<br />
completată. Regiunea sursă, Φ, este formată din imaginea de prelucrat mai puţin zona deja<br />
marcată şi o altă imagine asemănătoare ca textură sau asemănătoare vizibil cu imaginea de<br />
restaurat.<br />
Apoi, ca toate sintezele bazate pe exemple de textură, mărimea ferestrei şablon Ψ<br />
trebuie să fie specificată. Alegerea dimensiunii ferestrei se face la alegerea utilizatorului<br />
dar cum este menţionat şi în algoritmul descris mai sus dimensiunea ferestrei trebuie să fie<br />
mai mare decât cel mai mare element de textură ce se poate distinge.<br />
Algoritmul efectuează iterativ următorii paşi: se calculează priorităţile pentru<br />
fiecare fereastră de pe frontul de umplere, se caută fereastra care are prioritatea maximă<br />
după care se caută în imaginea sursă o fereastră care este cea mai asemănătoare cu<br />
fereastra cu prioritate maximă. Odată aflată fereastra similară se copiază pixelii din această<br />
fereastră în fereastra cu prioritatea maximă doar în locaţiile care erau pixeli fără informaţie.<br />
Ultimul pas este de reactualizare a termenului de încredere pentru pixelii care au fost<br />
completaţi.<br />
4.4.3. Rezultate experimentale<br />
Acest algoritm a fost implementat în mediul de programare C++ Builder. În aplicația<br />
implementată cu o interfață simplă se deschide imaginea ce urmează a fi prelucrată, şi de<br />
asemenea o imagine care poate oferi o imagine sursă, această imagine poate fi o imagine<br />
cu aceeaşi gama de culori sau o imagine a aceluiaşi obiect din alt unghi sau a unui obiect<br />
asemănător cu obiectul reconstituit. Folosind mouse-ul se face selecţia zonei ce se doreşte<br />
a fi îndepărtată din prima imagine. Se alege algoritmul inpainting cu multiple zone sursă,<br />
după care se alege dimensiunea ferestrei pe care o va folosi algoritmul. Se afişează în final<br />
rezultatul.<br />
(a) (b)
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
(c) (d)<br />
(e)<br />
Figura 2 Aplicare pe cadre succesive a algoritmului de umplere a spaţiilor bazat pe regiuni-exemplu cu<br />
multiple regiuni sursă (a) cadrul curent ;(b) cadru următor - a doua zonă sursă;(c) rezultatul aplicării<br />
algoritmului clasic cu o singură zonă sursă preluată din imaginea curentă de prelucrat;(d)rezultatul<br />
aplicării algoritmului ce foloseşte surse multiple; (e)captura din program cu ilustrarea sursei<br />
ferestrelor.<br />
37
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
5. Aplicații ale metodelor de detecție și corecție a<br />
defectelor în imagini de patrimoniu cultural și arhive<br />
digitale<br />
O problemă majoră în ceea ce privește operele de artă este degradarea acestora<br />
odată cu trecerea timpului. Ca rezultat în operele de artă digitizate există o serie de defecte.<br />
Mulți ani la rând metode științifice au fost aplicate pentru analiza și restaurarea operelor de<br />
artă. În ultimii ani a existat o creștere a interesului pentru restaurarea operelor de artă<br />
digitizate. În acest capitol am prezentat o serie de aplicații pentru detecția și restaurare<br />
vrtuală a defectelor din imagini de patrimoniu digitizate. Acestea sunt integrate sub forma<br />
unei aplicații software cu o interfață prietenoasă semi-auomatizată. Noi algoritmi propuși<br />
sunt integrați în aplcația noastră de restaurare virtuală care cuprinde: o învățare pe baza<br />
unui exemplu de defect de dimensiuni mici împreună cu filtrul vector median precum și o<br />
metodă de inpainting fuzzy pentru înlăturarea defectelor de dimensiuni mari (după o<br />
selectare manuală a defectului). Rezultatele experimentale pentru icoane sunt prezentate în<br />
ceea ce urmează pentru icoane pe lemn, arătând buna performanță a soluțiilor propuse<br />
precum și de ce aceste aplicații sunt dedicate icoanelor pictate.<br />
38<br />
5.1. Problematica imaginilor de partimoniu cultural și arhive digitale.<br />
Privire generală.<br />
Odată cu digitizarea bibliotecilor se vor oferi noi servicii, cum ar fi consultarea online<br />
a documentelor rare, recuperarea informaţiilor, precum şi posibilitatea de a împărtăşi<br />
cu alţi cititori cunoştinţele. Pentru a face ca aceasta să fie posibilă, avem nevoie de a<br />
digitiza toate cărţile importante. Numeroase proiecte de cercetare privind bibliotecile<br />
digitale studiază modulele viitoarelor biblioteci. Acestea se vor folosi pentru interogare,<br />
regăsire, analiză, gestionare, accesibilitate, utilizare, arhivare şi păstrarea informaţiilor.<br />
Există diferite motive care justifică digitizarea documentelor culturale şi de<br />
patrimoniu ca: deschidere către public a patrimoniului cultural, conservarea patrimoniului<br />
cultural prin accesul doar la varianta digitală, reducerea costurilor pe termen lung pentru<br />
duplicare şi consultarea documentelor, facilitarea accesului la colecţiile rare, oferirea de<br />
noi servicii ca urmărirea ediţiilor documentelor, compararea documentelor, colaborarea<br />
pentru studiul unui document.<br />
Şi în domeniul artei există o tendinţă de achiziţionare şi procesare a imaginilor,<br />
obiectelor de artă pentru stocare, analiză, transmisie şi reprezentare.<br />
5.2. Aplicații ale metodelor de detecție a defectelor de tip linii subţiri,<br />
praf, puncte izolate<br />
În acest capitol prezentăm o aplicație a metodelor de detecție a defectelor de<br />
dimensiuni mici de tip (praf, puncte izolate, zgârieturi) care înglobează algoritmi prezentați<br />
în capitolele anterioare și adaptați pentru aplicarea lor pe imagini de patrimoniu cultural.<br />
Unul dintre scopurile dezvoltării acestei aplicații a fost dezvoltarea unei aplicații care să<br />
realizeze o restaurare a imaginilor de patrimoniu cultural și arhive digitale.<br />
Pentru această aplicație considerăm (pentru restaurare), imagini ce reprezintă picturi<br />
care au fost deteriorate fie datorită trecerii timpului, fie din neglijența deținătorului fie din
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
alte motive cu defecte de dimensiuni mici ca zgârieturi, crăpături, puncte de praf, puncte<br />
izolate.<br />
Pentru defectele de dimensiuni mici ca praf, zgârieturi, crăpături am propus o aplicație<br />
pentru a detecta și restaura aceste defecte în doi pași. Mai întâi încercăm să detectăm<br />
defectul și apoi se face o restaurare a imaginii. Detecția defectului se face folosind<br />
trăsăturile ce se extrag din componentele de culoare roșu, verde și albastru. Aceste trăsături<br />
le clasificăm cu un clasificator SVM (mașini cu vector suport) cu o funcție RBF. Acest<br />
algoritm a fost descris mai pe larg în subcapitolul 3.2 și publicat în [Cislariu2011c].<br />
Implementare a fost realizată în C++Builder sub forma unei aplicații Windows cu o<br />
interfață prietenoasă. Pentru implementarea mașinilor cu vectori suport am optat a lucra cu<br />
SVMLight. Această aplicație are două module: unul de detecție a deectului și una de<br />
corecție a defectului detectat.<br />
Pentru utilizarea modulului de detecție se parcurg următorii pași. Se apasă butonul<br />
„Open image” pentru a deschide o imagine. În urma acestei acțiuni se deschide interfața<br />
pentru alegerea imaginii dorite din fișierul dorit, această imagine va fi afișată în interfață.<br />
În continuare există două opțiuni: să se facă antrenarea sistemului și a doua să se facă o<br />
clasificare a imaginii deschise cu o configurație a clasificatorului deja existentă.<br />
În cazul în care se optează mai întai pentru o antrenare a sistemului se apasă butonul<br />
„Train”. Ca urmare aplicația așteaptă deschidera unei măști unde defectul este clar marcat<br />
(pentru a oferi exemplele pozitive) și o a doua mască unde sunt marcate niște zone de<br />
informație corectă (pentru a oferi exemple negative). În cazul nostru pentru masca cu<br />
zonele de nedefect am optat a oferi o bandă în jurul defectului. Acest măști sunt sub forma<br />
unor imagini unde zonele de interes sunt marcate cu alb iar în rest cu negru. După<br />
deschiderea celor două imagini aplicația cere un nume pentru fișierul txt în care se salvează<br />
trăsăturile pentru antrenare și în final se efectuează antrenarea (în mod automat).<br />
Pentru a aplica clasificarea zonelor din imagine nu este strict necesar a parcurge și<br />
partea de antrenare, se poate aplica doar partea de clasificare utilizând o configurație deja<br />
existentă a clasificatorului. Pentru a aplica doar clasificarea se optează pentru butonul<br />
„Classify”. Se deschide interfața de salvare unde se cere a da nume unui fișier text în care<br />
se salvează trăsăturile imaginii originale ce vor fi folosite în procesul de clasificare. Se<br />
efectuează clasificarea cu SVMLight iar apoi se deschide din nou interfata de dialog pentru<br />
a alege fisierul rezultat în urma clasificării. Odată ales acest fisier se afișează imaginea<br />
asociată sub forma unei măști în care defectele detectate sunt marcate cu alb iar restul e<br />
marcat cu negru. Odată obținută această mască se poate trece la următorul pas și anume<br />
corecția defectului detectat.<br />
Cel de-al doilea modul important al acestei aplicații este modulul de corecție. După ce<br />
am deschis imaginea și am clasificat-o am obținut masca defectului detectat. Dacă se<br />
apasă butonul „Filter” se efectuează corecția imaginii prin aplicarea unei metode de filtrare<br />
numai în punctele detectate anterior a fi puncte de defect. Apoi se afișază imaginea rezultat<br />
în urma pasului de corecție.<br />
Rezultate experimentale vor fi prezentate în ceea ce urmează. S-au aplicat operațiunile<br />
expuse mai sus pe opere de artă, picturi pe lemn (cu sprijinul Muzeului Astra) rezultatele<br />
restaurării sunt expuse în ceea ce urmează. Figura 5.1 reprezintă localizarea și corecția<br />
defectului de dimensiuni mici. Interfața aplicației pentru detecția și corecția defectelor mici<br />
este ilustrată în imaginea 5.2 – include și opțiunile pentru antrenarea clasificatorului SVM<br />
pentru identificarea defectului de dimensiuni mici, clasificarea cu SVM folosind un<br />
39
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
clasificator antrenat anterior și filtrul vector median pentru partea de corecție a defectului<br />
de dimensiuni mici detectat.<br />
40<br />
(a) (b)<br />
(c) (d)<br />
Figure 5.1 (a)Imaginea originală: icoana pe lemn „Iisus Învățător”, Colecția Muzeului Astra; (b)<br />
Detaliu din imaginea originală; (c)Masca pixelilor de defect detectați; (d) Imaginea restaurată după<br />
detecția defectului.
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Figure 5.2 Interfața aplicației pentru detecția și corecția defectelor de dimensiuni mici. Prima imagine<br />
reprezintă imaginea originală , în dreapta avem detecția defectului iar în partea de jos avem rezultatul<br />
corecției defectului detectat.<br />
5.3. Aplicația de corecție a defectelor de tip zone lipsă/degradate de<br />
dimensiuni mari<br />
În literatura de specialitate defectele ce pot apărea în imagini sunt clasificate în<br />
două categorii. Din categoria defectelor mari fac parte pete, reclame, texte suprapuse, zone<br />
mari deteriorate, bucăţi nedorite din imagine care au nevoie de intervenţia utilizatorului<br />
pentru a fi localizate, această detecţie fie este una manuală în care utilizatorul marchează<br />
singur zonele de defect, fie este una semiautomată în care utilizatorul indică printr-un clic<br />
eventualele zone de defect. Pentru restaurarea defectelor mari de obicei se apelează la<br />
tehnici de tip inpainting bazat pe exemple ce au capacitatea de a umple cu informaţie utilă<br />
suprafeţe mai mari ce sunt considerate lipsite de informaţie. În ceea ce urmează ne vom<br />
concentra pe tehnicile folosite pentru a restaura defectele considerate mari din imagini.<br />
În inpaintingul bazat pe exemple pentru sintetizarea de texturi bazată pe exemple<br />
pot apărea distorsiuni sau artefacte de propagare. Dacă fereastra de propagare a texturii<br />
este mai mare decât elementul structural texel se poate întâmpla ca în fereastra de<br />
propagare a texturii să apară la început mici distorsiuni care apoi să se propage ca textură.<br />
Astfel imaginea rezultată nu va fi una verosimilă ci va fi o imagine nenaturală în care se<br />
observă denaturarea imaginii.<br />
Dacă fereastra de propagare a texturii în inpaintingul bazat pe exemple este mai<br />
mare decât elementul structural (texel) apare posibilitatea introducerii de artefacte. Astfel<br />
41
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
imaginea rezultată nu va fi una verosimilă ci va fi o imagine nenaturală în care se observă<br />
denaturarea imaginii un artefact nenatural şi deci se observa falsificarea imaginii dat fiind<br />
faptul că rezultatul final nu este întotdeauna unul plauzibil pentru un nou privitor ce nu a<br />
văzut imaginea înainte de aplicarea algoritmului.<br />
O nouă provocare pentru acest algoritm este o implementare care să folosească şi<br />
tehnici de inteligenţă artificială [Shih]. Astfel propunem o implementare ce înlocuieşte<br />
fereastră tranşantă clasică de inpainting cu o fereastră fuzzy care adaugă la o fereastră<br />
tranşantă o extensie (o prelungire) de pixeli ce vor conta într-un anumit grad.<br />
Așadar în ceea ce privește restaurarea imaginilor cu defecte de dimensiuni mari ca<br />
și zone lipsă, pete, lacune am propus în capitolul 4 o metodă de umplere ce este o<br />
generalizare fuzzy a algoritmului lui Criminisi, o abordare a inpaintingului bazat pe<br />
exemple [Criminisi2003]. Localizarea defectului de dimensiuni mari se face manual de<br />
către utilizator (folosind mouse-ul) prin intermediul interfaței aplicației (zona ce urmează<br />
a fi înlocuită din imagine este marcată cu roșu) sau se încarcă direct o imagine unde zona a<br />
fost marcată anterior și se dă această imagine ca intrare a algoritmului inpainting fuzzy.<br />
Algoritmul propus a fost amănunțit descris în subcapitolul 4.3 și este o generalizare<br />
a algoritmului de inpainting bazat pe exemple și care folosește o fereastră fuzzy în locul<br />
unei ferestre tranșante pentru căutarea celei mai bune ferestre de umplut. Motivația pentru<br />
utilizarea ferestrei fuzzy în locul unei ferestre tranșante este posibilitatea pe care o oferă<br />
pentru a găsi cea mai bună potrivire și de a lua în considerare o mai mare parte din<br />
informația locală în procesul de găsire a celei mai bune potriviri. Acest proces este foarte<br />
important cu cât ne îndepărtăm de centrul ferestrei, dar poate juca un rol important în<br />
selectarea celei mai bune ferestre candidate a cărui conținut va fi „copiat” în partea de<br />
fereastră ce aparține defectului. În unele cazuri rezultatele sunt mult mai bune și mai<br />
naturale decât cele obținute cu algoritmul tranșant.<br />
Aplicația prezentată a fost implementată sub forma unei aplicații Windows în<br />
mediul de programare C++Builder. Am realizat o interfaţă simplă şi utilă pentru această<br />
aplicaţie. Pentru testare am folosit imagini ale unor picturi pe lemn de la muzeul Astra.<br />
Rezultate ale restaurării pot fi văzute mai jos.<br />
Pentru utilizare se parcurg următorii pași. Se deschide imaginea ce urmează a fi<br />
prelucrată din meniul „File”. Folosind mouse-ul se face selecţia zonei ce se doreşte a fi<br />
îndepărtată/corectată. Detecția defectului se face manual de către utilizator. Se alege din<br />
meniu prelucrarea dorită, în acest caz „inpainting”, după care se alege dimensiunea<br />
ferestrei pe care o va folosi algoritmul. Se optează pentru tipul de algoritm dorit:<br />
algoritmul clasic ce folosește la umplere o ferastră tranșantă (butonul „Crisp inpainting”)<br />
sau algoritmul fuzzy ce folosește pentru umplere o fereastră fuzzy (butonul „Inpainting<br />
fuzzy”). În funcție de butonul apăsat se afişează în rezultatul final.<br />
În meniu există și opțiunea de „Other procesing” unde sunt implementate mai multe<br />
procesări ca de exemplu adunarea a două imagini, scăderea a două imagini, negativarea<br />
unei imagini.<br />
Pe imaginea originală sunt afișate grafic pătrățele ce reprezintă ferestrele sursă dar<br />
și ferestrele destinație, astfel se poate vizuatiza care sunt zonele de unde s-a preluat<br />
informația pentru umplere. În cazul optării pentru inpaintingul fuzzy se va afișa<br />
suplimentar pe interfața grafică două reprezentări ale ferestrei fuzzy. Pentru vizualizare în<br />
stanga imaginii rezultat este afișat un tabel care reprezintă forma ferestre fuzzy unde pot fi<br />
vizualizate valorile ponderilor fuzzy. De asemenea la dreapta imaginii rezultat este afișată<br />
reprezentarea ferestrei fuzzy sub forma unei imagini.<br />
42
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Figura 5.3 Interfața pentru aplicația pentru corecția defectelor de dimensiuni mari. În partea de sus<br />
avem o imagine cu un defect de dimensiuni mari ce a fost marcat de către utilizator. În partea de jos se<br />
poate observa rezultatul algoritmului de inpainting fuzzy propus .<br />
(a) (b)<br />
43
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
44<br />
(c) (d)<br />
(e) (f)<br />
Figura 5.4 (a) Icoană deteriorată:”Arhanghelul Mihail” colecția muzeului Astra; (b) detaliu din<br />
imagine cu selecţia zonei de defect ce se doreşte a fi umplută; (c)rezultatul algoritmului clasic de<br />
umplere; (d)rezultatul algoritmului ce foloseşte ferestre fuzzy pentru umplere, (e)-(f) imaginile (c) și<br />
(d) cu dierențele marcate.<br />
6.Contribuții personale și concluzii<br />
În cadrul lucrării de doctorat am prezentat o serie de algoritmi, aplicații și soluții<br />
noi pentru corecția corecția, îmbunătățirea și restaurarea imaginilor color, bazate pe<br />
folosirea tehnicilor fuzzy și a mașinilor cu vectori suport.<br />
Din sfera relativ larga a problematicii restaurarii si imbunatatirii imaginilor digitale<br />
si secventelor video, am ales sa studiez si sa contribui la domeniul restaurarii si corectiei<br />
imaginilor color afectate de zgomot in impulsuri, degradate prin prezenta unor defecte de<br />
dimensiuni mici si prin existenta unor regiuni spatiale mari afectate de degradare, care nu<br />
mai pot fi corectate prin metode de filtrare, ci doar prin metode de umplere a regiunilor<br />
(numite tehnici inpainting).<br />
Datorită particularităților privind diferitele defecte atât de dimensiuni mari cât și de<br />
dimensiuni mici ce afectează imaginile color și problemelor legate de refacerea sau<br />
corecția imaginilor color afectate de astfel de defecte, cercetarea actuală în domeniu
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
studiază următoarele probleme abordate și în <strong>teza</strong> de doctorat și vizate prin contribuțiile<br />
aduse:<br />
1) Elaborarea și dezvoltarea unor soluții pentru eliminarea zgmotului color în<br />
impulsuri din imagini color, într-o maniera cât mai eficientă din perspectiva<br />
plauzibilitatii vizuale a imaginii rezultate, atât din perspectiva reducerii<br />
vizibilității zgomotului, cât și a păstrării detaliilor imaginii. Algoritmii<br />
propuși sunt bazați pe utilizarea logicii fuzzy, alegere justificată de<br />
adaptarea sa la modul de rationament uman. Acești algoritmi sunt<br />
prezentați în Capitolul 2 al tezei și publicați în [Suteu2009] și<br />
[Cislariu2010] .<br />
2) Elaborarea și dezvoltarea unor soluții pentru detecția și corecția defectelor<br />
de dimensiuni mici din imagini monocrome și color folosind inteligența<br />
artificială. Soluțiile propuse în teză sunt bazate pe algoritmi care folosesc<br />
tehnici fuzzy și mașini cu vectori suport (SVM). Aceștia sunt prezentați în<br />
Capitolul 3 al tezei și publicați în lucrările [Cislariu2011a],[Cislariu2011c].<br />
3) Investigarea unor soluții pentru corecția defectelor de dimensiuni mari cu<br />
scopul de a obține o imagine cât mai apropiată de realitate prin utilizarea<br />
tehnicilor de tip inpainting bazat pe exemple. În acest sens în Capitolul 4 al<br />
tezei am prezentat un nou algoritm care include tehnici fuzzy, susținut prin<br />
publicare [Cislariu2011b], precum și un algoritm care pentru umplere<br />
folosește mutiple zone sursă.<br />
4) Elaborarea unor soluții pentru restaurarea operelor de artă precum și<br />
dezvoltarea unor aplicații pentru detecția și corecția defectelor din imagini<br />
de patrimoniu cultural și arhive digitale. În acest context se încadrează<br />
aplicațiile prezentate în Capitolul 5 al tezei și publicate în [Cislariu2011c].<br />
În aceste sisteme și algoritmi se urmărește posibilitatea obținerii unei îmbunătățiri<br />
din punct de vedere vizual a imaginii rezultate în final.<br />
În subcapitolul 2.2 al tezei este prezentat un nou algoritm de filtrare a zgomotului<br />
color în impulsuri din imagini color folosind tehnici fuzzy. Algoritmul prezentat folosește<br />
logica fuzzy în ordonarea pixelilor pentru aplicarea filtrului median, folosind spațiul HSV.<br />
Ordonarea se face mai întâi pentru componenta de culoare cea mai importantă perceptual,<br />
și anume nuanța, apoi pentru următoarea componentă (ca importanță perceptuală) de<br />
culoare și anume saturația și în final se folosește ultima componentă de culoare, valoarea.<br />
Pentru a implementa această ordonare se folosește o cascadă de trei filtre, primul pentru<br />
nuanță, apoi pentru saturație și ultimul pentru valoare. Acest tip de filtrare este unul adaptat<br />
la percepția umană deoarece este capabil să evalueze diferențele de culoare perceptual<br />
aproximative.<br />
Dezavantajul acestei tehnici de filtrare este aplicarea repetată a unor filtre și în<br />
consecință filtrarea multiplă a imaginii, care poate conduce la deteriorarea muchiilor.<br />
Aceste observații au condus la elaborarea celui de-al doilea algoritm de filtrare<br />
propus în <strong>teza</strong> de doctorat și prezentat în subcapitolul 2.3. Acesta aduce o îmbunătățire<br />
prin adaptarea cascadei de filtre în funcție de contextul local din imagine. Astfel filtrul<br />
poate decide dacă se aplică o cascadă de două filtre sau una de trei filtre în spațiul de<br />
45
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
culoare HSV pentru eliminarea zgomotului color în impulsuri din imagini color luând în<br />
considerare doar cromaticitatea locală. Cascada de filtre își poate adapta forma pentru a<br />
filtra fie două componente: nuanță și valoare, fie trei componente de culoare: nuanță,<br />
saturație și valoare.<br />
Această adaptare aduce o îmbunătățire în ceea ce privește conservarea muchiilor<br />
față de algoritmul precedent, dar datorită cascadei de filtre totuși capacitatea de a păstra<br />
muchiile nealterate este destul de redusă.<br />
Rezultatele experimentale ale algoritmului propus pentru eliminarea zgomotului<br />
color de tip impulsuri din imagini color demonstrează o superioritate a performanțelor<br />
eliminării zgomotului față de alți algoritmi din literatura de specialitate. În plus are<br />
avantajul adaptării formei filtrului în funcție de cromaticitatea locală din imagine și<br />
adaptarea la percepția umană a culorii, având capacitatea de evaluare a diferențelor<br />
perceptuale de culoare.<br />
În Capitolul 3 al tezei am abordat tema detecției defectelor de dimensiuni mici în<br />
imagini color și monocrome. Am propus două metode noi de detecție a defectelor de<br />
dimensiuni mici. Scopul urmărit a fost de obținere a unei detecții cât mai exacte a<br />
defectului fără a omite părți importante din defect.<br />
În subcapitolul 3.2 am prezentat o variantă de detecție a defectelor mici care a fost<br />
publicată în [Cislariu2011c] prin care propun o nouă strategie de detecție a defectului cu<br />
ajutorul mașinilor cu vectori suport (clasificatoare SVM). Clasificatorul SVM este în primă<br />
fază antrenat într-un spațiu de trăsături de tip disimilaritate de contrast local și<br />
disimilaritate de intensitate a componentelor primare de culoare (R, G, B) între imaginea<br />
de prelucrat si o variantă filtrată trece jos a acestei imagini, utilizand pentru antrenare<br />
valori extrase dintr-o imagine în care defectul este bine cunoscut. Aceste trăsături extrase<br />
sunt atât pentru exemple negative (de defect) cât și pentru exemple pozitive (de nondefect).<br />
Odată antrenat SVM-ul este capabil să clasifice cu o precizie destul de mare<br />
defecte de dimensiuni mici și din alte imagini, dovedind o capacitate mare de generalizare<br />
(specifică de altfel acestui tip de sisteme instruibile). Astfel în urma clasificării obținem o<br />
imagine mască a defectului. În pixelii detectați ca defect aplicăm un algoritm de corecție a<br />
defectului, bazat pe filtrare color (eventual cu unul dintre filtrele propuse).<br />
Deși în unele cazuri pixelii detectați ca fiind de defect în urma clasificării sunt mai<br />
mulți decât defectul în sine, aceasta nu prezintă o problemă, deoarece defectul detectat nu<br />
este unul sistematic în jurul muchiilor iar rezultatul etapei de corecție va fi unul verosimil.<br />
Rezultatele experimentale arată o detecție destul de clară a defectului indiferent de<br />
imaginea folosită, deși antrenarea a fost făcută cu o singură imagine.<br />
În subcapitolul 3.3 am prezentat o a doua variantă de detecție a defectelor de<br />
dimensiuni mici, care a fost publicată în [Cislariu2011a]. Această metodă folosește un<br />
algoritm fuzzy pentru identificarea defectelor de dimensiuni mici, bazat pe o modificare a<br />
algoritmului fuzzy c-means.<br />
Deși detecția defectului este una destul de bună, un minus al acestui algoritm poate<br />
fi considerat clasificarea falsă a unui număr considerabil de puncte nealterate de defect în<br />
categoria defectelor, deși acestea nu vor afecta în final imaginea în urma pasului de<br />
corecție pentru că sunt puncte izolate.<br />
46
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Contribuțiile prezentate în Capitolul 4 al tezei se referă la corecția defectelor de<br />
dimensiuni mari din imagini color folosind tehnici de tip inpainting bazate pe exemple.<br />
Corecția defectelor mari este o problemă destul de greu de rezolvat deoarece zonele mari<br />
trebuie umplute cu informație în așa fel încât în final imaginea sa fie una credibilă pentru<br />
un privitor. Selecția informației de umplut este de asemenea dificilă deoarece se ia<br />
informația din aceeași imagine și aceasta trebuie să se potrivească într-o manieră cât mai<br />
plauzibilă cu informația din imediata vecinatate a zonei de defect, pentru a umple o zonă<br />
lipsă din imagine.<br />
În subcapitolul 4.3 am prezentat un algoritm care folosește în etapa de căutare a<br />
potrivirii cu exemplul, o fereastră fuzzy. Importanța vecinătății ferestrei de umplut este<br />
modelată într-o maniera flexibilă prin intermediul ponderilor fuzzy din fereastra de<br />
umplere. Vecinătatea este importantă pentru că umplerea se face cu ferestre „aproape”<br />
egale cu ferestrele existente pe marginea zonei de umplut pentru informația existentă în<br />
fereastră. Algoritmul este prezentat în [Cislariu2011b]<br />
O soluție de umplere a defectelor de dimensiuni mari există în literatura de<br />
specialitate, dar soluția propusă folosește pentru propagarea texturii fereastra tranșantă.<br />
Această modalitate nu este întotdeauna cea mai bună metodă, deoarece neținând cont de<br />
vecinătățile ferestrelor poate apărea efectul nedorit de propagare a unei texturi date sau cel<br />
de propagare a aceleeași ferestre, propagarea repetată conducand la un efect de „blocuri”<br />
vizibile în imaginea restaurată.<br />
Un alt algoritm propus este cel prezentat în subcapitolul 4.4. Folosind tehnica<br />
algoritmului de inpainting bazat pe exemple, am propus un algoritm care aduce o<br />
îmbunătățire prin extinderea zonei sursă, zona în care se caută cea mai bună potrivire<br />
pentru umplere. Rezultatele experimentale arată ca acest tip de algoritm poate fi folosit cu<br />
succes pentru restaurarea, corecția și îmbunătățirea cadrelor video.<br />
În Capitolul 5 am abordat problematica aplicațiilor dedicate restaurării imaginilor<br />
de patrimoniu cultural și arhivelor digitale. Aceste aplicații sunt importante deoarece<br />
imaginile de patrimoniu cultural dar și din arhive digitale au nevoie deseori de a fi<br />
restaurate, dar cel puțin pană la ora actuală, disponibilitatea unor astfel de sisteme pe plan<br />
mondial este destul de limitata.<br />
Astfel în subcapitolul 5.2 și 5.3 am descris cele două aplicații propuse și publicate<br />
în [Cislariu2011c]. Aplicațiile descrise sunt destinate exclusiv imaginilor de patrimoniu<br />
cultural și arhivelor digitale. Imaginile utilizate pentru aceste aplicații sunt imaginile unor<br />
opere de artă achiziționate în diferite modalități. Operele de artă pentru care s-au aplicat<br />
algoritmii sunt preluate din colecția Muzeului Astra din Sibiu și care din diferite motive<br />
conțin defecte de dimensiuni mari și defecte de dimensiuni mici.<br />
Aplicația propusă pentru restaurarea defectelor de dimensiuni mici din imagini de<br />
patrimoniu cultural și arhive digitale face restaurarea în doi pași: primul pas este de<br />
detecție a defectului și următorul pas este de corecție a defectului detectat. La pasul de<br />
detecție a defectului de dimensiuni mici se folosește o mașină cu vectori suport deja<br />
antrenată pentru a clasifica pixelii de defect și non-defect din imaginea dată. În urma<br />
clasificării pixelilor din imagine obținem o mască a defectului detectat. Pentru pasul de<br />
corecție în fiecare punct din masca obținută în pasul de detecție se aplică o metodă de<br />
filtrare, în cazul de față filtrul vector median.<br />
47
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
În cazul defectelor de dimesiuni mici detecția defectului se face automat, dar în<br />
cazul defectelor de dimensiuni mari detecția defectului se preferă să fie făcută manual și<br />
utilizatorul să selecteze din imagine zona de defect. Odată selectată zona de defect<br />
algoritmul poate începe procesul de umplere a acestei zone.<br />
Pentru corecția defectelor de dimensiuni mari am abordat metodele de inpainting.<br />
Am propus o nouă metodă de umplere a zonelor mari de defect bazată pe metoda<br />
implementată de [Criminisi2003] în care pentru umplerea cu textură am folosit în locul<br />
unei ferestre tranșante o fereastră fuzzy. Folosirea acestei ferestre este motivată de<br />
importanța unei regiuni mai mari din vecinătate în procesul de căutare a celei mai potrivite<br />
ferestre pentru umplere.<br />
Perspective de continuare a cercetării<br />
În continuarea activității de cercetare desfășurate în cadrul doctoratului,<br />
intenționăm atât îmbunătățirea algoritmilor prezentați în cadrul tezei cât și continuarea<br />
cercetării în vederea obținerii de noi contribuții.<br />
În ceea ce privește îmbunătățirea algoritmilor și sistemelor propuse și prezentate în<br />
cadrul tezei de doctorat, am în vedere următoarele:<br />
48<br />
a) Continuarea cercetării pentru metodele de filtrare a zgomotului color în<br />
impusuri din imagini color prezentate în Capitolul 2, îmbunătățirea<br />
algoritmilor prezentați în vederea păstrării muchiilor intacte, folosirea<br />
mașinilor cu vectori suport pentru a detecta pixelii de zgomot și aplicarea<br />
filtrării doar în punctele detectate ca fiind de zgomot.<br />
b) Pentru detecția și corecția defectelor de dimensiuni mici îmi propun<br />
continuarea studiului și îmbunătățirea algoritmilor propuși în Capitolul 3 în<br />
sensul minimizării ratei de acceptare false și ratei de rejectare false.<br />
c) În ceea ce privește algoritmul de inpainting bazat pe exemple prezentat în<br />
Capitolul 4 îmi propun continuarea studiului și implementarea unui algoritm<br />
de umplere cu fereastră fuzzy a zonei de defect de dimensiuni mari având ca<br />
sursă mai mult de două imagini din aceeași categorie; extinderea ar putea<br />
ajunge pană la o arhivă de imagini clasificate ca făcând parte din aceeași<br />
categorie. Folosirea mai multor imagini ca sursă pentru algoritmul de<br />
umplere oferă o mai mare posibilitate de optimizare a găsirii unei ferestre<br />
care să se potrivească mai bine în zona de umplere. De asemenea îmi<br />
propun să investighez și să implementez un algoritm de inpainting care<br />
efectuează procesul de umplere multiscală adaptivă. Am în vedere studierea<br />
aplicării teoriei reprezentării rare și dicționarelor de imagini în tehnicile de<br />
inpainting.<br />
d) Pentru aplicațiile prezentate în Capitolul 5 intenționez să studiez<br />
posibilitatea implementării și integrării unui algoritm automat sau<br />
semiautomat de detecție a defectelor de dimensiuni mari. Această problemă<br />
este cu atât mai dificilă cu cât defectul variază ca suprafață și uneori este<br />
parte integrantă din imagine.<br />
O altă direcție de extindere a cercetării vizează aplicarea algoritmilor de inpainting<br />
nu numai pe imagini ci și în alte domenii cum ar fi cel audio. Ca noutate la ora actuală se<br />
încearcă introducerea inteligenței artificiale (prin folosirea tehnicilor fuzzy sau a mașinilor
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
cu vectori suport) în algoritmii de umplere, această direcție este precizată în [Shih]. O nouă<br />
direcție care este la început de drum dar încă ridică destule probleme este încercarea de a<br />
aplica algoritmi de inpainting pentru secvențe audio. Aceste noi aplicații constituie un<br />
deosebit interes pentru cercetarea personală, în special integrarea unor costuri fie tranșante<br />
fie fuzzy în algoritmul de inpainting și aplicarea lor cu scopul de a obține o îmbunătățire a<br />
rezultatelor (imagini cât mai naturale care pentru un privitor să pară cât mai verosimile) .<br />
49
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Bibliografie selectivă<br />
[Andreadis2003] Andreadis I., Louverdis G., Soft morphological color image processing: a<br />
fuzzy approach, IEEE 11th Mediterranean Conf. on Automation & Control, No 7-008, pp.<br />
1-5, Rhodes, Greece, Iunie 2003.<br />
[Andreadis2004] Andreadis I., Louverdis G., Chatizianagostou S., “New fuzzy color<br />
median filter”. Jurnal of Intelligent and Robotics Systems, vol.41,pp. 315–330,2004.<br />
[Ardizzone2009] Ardizzone E., Dindo H., Mazzola G., “Content-Based Image Retrieval as<br />
Validation for Defect Detection in Old Photos”, Recent Advances in Signal Processing,<br />
Book edited by: Ashraf A Zaher, ISBN: 978-953-307-002-5, Publisher: InTech, Publishing<br />
date: November 2009<br />
[Ballester2003] Ballester C., Caselles V., and Verdera J., “A variational model<br />
fordisocclusion,” presented at the IEEE Int. Conf. Image Processing,2003.<br />
[Bergman2007] Bergman R.; Maurer R; Nachlieli H.; Ruckenstein, Gitit C., P.; Greig,<br />
Darryl, “Comprehensive Solutions for Removal of Dust and Scratches from Images”, HPL-<br />
2007-20, HP Laboratories Israel, Februarie 2007<br />
[Berns2001] Berns R. S. “The science of digitizing paintings for color-accurate image<br />
archives: A review”. Journal of Imaging Science and Technology 45:305-325, Volume 45,<br />
Number 4, July/August 2001.<br />
[Bertalmio2000] Bertalmio M., Sapiro G., “Image inpainting” Proceedings of the ACM<br />
SIGGRAPH Conference on Computer Graphics, pp:417-424, New York, USA, 2000.<br />
[Bertalmio2003] Bertalmio M., Vese L., Sapiro G., and Osher S., “Simultaneous<br />
structureand texture image inpainting,” IEEE Trans. Image Process., vol. 12, no.8, pp. 882–<br />
889, Aug. 2003.<br />
[Bezdek1981] Bezdek J. C., “Pattern Recognition with Fuzzy Objective Function<br />
Algorithms”, Plenum Press, New York, 1981.<br />
[Cislariu2010]Cislariu M., Gordan M., Vlaicu A., “A Novel Fuzzy Color Median Filter<br />
Based on an Adaptive Cascade of Fuzzy Inference Systems”, in Leszek Rutkowski, Rafal<br />
Scherer, Ryszard Tadeusiewicz, Lotfi A. Zadeh and Jacek M. Zurada(Eds.): Artificial<br />
Intelligence and Soft Computing, 10th International Conference, ICAISC 2010, Zakopane,<br />
Poland, June 13-17, 2010, Part I. Proceedings ICAISC (1), LNAI 6113 - subseries of<br />
Lecture Notes in Computer Science, pp. 27-34, Springer-Verlag, Berlin Heidelberg 2010<br />
[Cislariu2011a] Cislariu M., Gordan M., Salca V.E., Vlaicu A. „A Fuzzy C-Means Based<br />
Color Impulse Noise Detection and Its Benefits for Color Image Filtering”, in Robert<br />
50
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Burduk, Marek Kurzynski, Michael Wozniak, Andrzej Zolnierek (Eds.): Computer<br />
Recognition Systems 4, The 7 International Conference on Computer Recognition Systems<br />
(CORES2011), Poland, May, 2011, Proceedings CORES, Advances in Intelligent and Soft<br />
Computing, 2011, Volume 95/2011, pp. 449-458, Springer-Verlag, Berlin Heidelberg 2011<br />
[Cislariu2011b] Cislariu M., Gordan M., Vlaicu A. „A Fuzzy Set Generalization of the<br />
Exemplar-Based Image Inpainting”, Acta Technica Napocensis, Vol 52, No. 2/2011, pp 54-<br />
59.<br />
[Cislariu2011c] Cislariu M., Gordan M., Vlaicu A., Florea C., Ciungu Suteu S., „Defect<br />
Detection and Restoration of Cultural Heritage Images”, prezentat la conferința PRODOC,<br />
acceptat spre publicare la revista Acta Technica Napocensis.<br />
[Criminisi2003] Criminisi A., Pérez P., and Toyama K., “Object removal by exemplarbased<br />
inpainting,” presented at the IEEE CVPR, 2003.<br />
[Kokaram2002] Kokaram A., “Practical MCMC for missing data treatment in degraded<br />
video,”presented at the ECCV Workshop on Statistical Methods for Time Varying Image<br />
Sequences, Copenhagen, Denmark, 2002.<br />
[Kokaram2004] Kokaram, A.C., “On missing data treatment for degraded video and film<br />
archives: a survey and a new Bayesian approach”, IEEE Transactions on Image Processing,<br />
pp.397-415, Martie 2004.<br />
[Koschan2001] Koschan A., Abidi M., “A comparison of median filter techniques for noise<br />
removal in color images”, University of Erlangen-Nurnberg, Institute of Computer Science,<br />
vol. 34, no. 15, pp. 69-79, October, 2001<br />
[Mansoor2007] Mansoor R. S, Pandy Maheswari T, Abhai Kumar V (2007), A Detail<br />
Preserving Filter for Impulse Noise Detection and Removal, ICGST-GVIP Journal, vol. 7,<br />
no. 3, pp.51-56.<br />
[Morillas2005] Morillas S., Gregori V., Peris-Fajarens G., Latorre P., A New Median Filter<br />
Based on Fuzzy Metrics, Lecture Notes in Computer Science, vol. 3656, pp.82-91, 2005.<br />
[Morillas2006] Morillas S., Fuzzy metrics and peer groups for impulsive noise reduction in<br />
color images, 14th European Signal and Image Processing Conference, Italy, 2006.<br />
[Sapiro2005] Sapiro G., “Inpainting the Colors,” Image Processing ICIP, IEEE.<br />
International Conference, Vol.2, II, 2005, pp.698-701.<br />
[Schallauer1999] Schallauer P., Pinz A., Haas W.. “Automatic restoration algorithms for<br />
35mm film”, J. Computer Vision Res., Vol.1(3), pp. 59-85, 1999.<br />
51
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
[Schulte2007] Schulte S., de Witte V., Nachtegael M., van der Weken D., Kerre E.E.,<br />
Histogram- based fuzzy colour filter for image restoration, no.9, pp.1377-1390, September,<br />
2007.<br />
[Shih] Shih T. K., Chang R., Chou S., Chen Y., and Tamkang H., Digital Inpainting -Image<br />
Inpainting, Video Inpainting, Holes Removal on 3-D Surfaces, Summary - inpainted<br />
mechanism region information damaged picture spikes pixels , University, Taiwan.<br />
[Shih2004] Shih T.K., Rong-Chi Chang, Liang-Chen Lu, Wen-Chieh Ko, Chun-Chia Wang<br />
,”Adaptive digital image inpainting”, Dept. of Comput. Sci. & Inf. Eng., Tamkang Univ.,<br />
Taipei, Taiwan, 2004, page 71 - 76 Vol.1<br />
[Smolka2005] Smolka, B., Chydzinski, A., Wojciechowski, K.: Fast Detection and<br />
Impulsive Noise Attenuation in Color Images. In: Proceedings of the 4th International<br />
Conference on Computer Recognition Systems, CORES 2005, pp. 459–466 (2005)<br />
[Suteu2009]Suteu M., A Novel Fuzzy Color Median Filter Based on a Cascade of Fuzzy<br />
Inference Systems, The 5th symposium for students in electronics and telecommunications<br />
SSET, Novice Insights, Issue 6, pp.94-99, Cluj-Napoca, 22 Mai 2009.<br />
[Vapnik] Vapnik V.N., “Statistical Learning Theory”, J. Wiley, N.Y., 1998<br />
[Vertan2000] Vertan C., Boujemaa N.,Buzuloiu V. A Fuzzy Color Credibility Approach To<br />
Color Image filtering, Conference on Image Processing, International, vol. 2, pp. 808-811,<br />
Canada, September, 2000.<br />
[Zadeh1965] Zadeh L.A., “Fuzzy Sets*”, Information and Control, No.8, pp.338-353, 1965.<br />
52
Contribuţii la restaurarea, corecţia şi îmbunătăţirea imaginilor şi secvenţelor video<br />
Lista publicațiilor<br />
Cislariu M., Gordan M., Vlaicu A., “A Novel Fuzzy Color Median Filter Based on an<br />
Adaptive Cascade of Fuzzy Inference Systems”, in Leszek Rutkowski, Rafal Scherer,<br />
Ryszard Tadeusiewicz, Lotfi A. Zadeh and Jacek M. Zurada(Eds.): Artificial Intelligence<br />
and Soft Computing, 10th International Conference, ICAISC 2010, Zakopane, Poland,<br />
June 13-17, 2010, Part I. Proceedings ICAISC (1), LNAI 6113 - subseries of Lecture<br />
Notes in Computer Science, pp. 27-34, Springer-Verlag, Berlin Heidelberg 2010<br />
Cislariu M., Gordan M., Salca V.E., Vlaicu A. „A Fuzzy C-Means Based Color Impulse<br />
Noise Detection and Its Benefits for Color Image Filtering”, in Robert Burduk, Marek<br />
Kurzynski, Michael Wozniak, Andrzej Zolnierek (Eds.): Computer Recognition Systems<br />
4, The 7 International Conference on Computer Recognition Systems (CORES2011),<br />
Poland, May, 2011, Proceedings CORES, Advances in Intelligent and Soft Computing,<br />
2011, Volume 95/2011, pp. 449-458, Springer-Verlag, Berlin Heidelberg 2011<br />
Cislariu M., Gordan M., Vlaicu A. „A Fuzzy Set Generalization of the Exemplar-Based<br />
Image Inpainting”, Acta Technica Napocensis, Vol 52, No. 2/2011, pp 54-59.<br />
Cislariu M., Gordan M., Vlaicu A., Florea C., Ciungu Suteu S., „Defect Detection and<br />
Restoration of Cultural Heritage Images”, prezentat la conferința PRODOC, acceptat spre<br />
publicare la revista Acta Technica Napocensis.<br />
Suteu M., A Novel Fuzzy Color Median Filter Based on a Cascade of Fuzzy Inference<br />
Systems, The 5th symposium for students in electronics and telecommunications SSET,<br />
Novice Insights, Issue 6, pp.94-99, Cluj-Napoca, 22 Mai 2009.<br />
Mihaela Gordan, Ovidiu Dancea, Mihaela Cîșlariu, Ioan Stoian, Aurel Vlaicu, "Fuzzy<br />
image processing, analysis and visualization methods for hydro-dams and hydro-sites<br />
surveillance and monitoring" - chapter abstract accepted for the book "Natural Resource<br />
Management", ISBN 979-953-307-420-6, InTech Publishing (acceptat spre publicare)<br />
Rapoarte științifice<br />
1. Mihaela CÎȘLARIU, Raport de cercetare științifică 1: Algoritmi fuzzy<br />
adaptivi de filtrare a zgomotului în imagini digitale color, Martie 2010<br />
2. Mihaela CÎȘLARIU, Raport de cercetare științifică 2 : Algoritmi inpainting<br />
cu metode de inteligenţă artificială/tehnici soft computing, Septembrie,<br />
2010.<br />
3. Mihaela CÎȘLARIU, Raport de cercetare științifică 3: Aplicaţii ale<br />
algoritmilor de restaurare a imaginilor color pentru arhive digitale, film şi<br />
imagini de patrimoniu cultural, Februarie, 2011.<br />
53