analiza tekstur w obrazach cyfrowych i jej zastosowanie do obrazów ...

E. Snitkowska Analiza tekstur w obrazach cyfrowych1. Wprowadzenie1.1. Cel pracyJedn z metod wykorzystywanych w analizie obrazów cyfrowych ([54], [66], [104]) jestanaliza tekstury ([7], [105], [112]). Tekstura reprezentuje takie właciwoci obrazu jakkierunkowo (kierunek układania si wzorca) czy porowato. Tekstura jest właciwociniejednorodnego obszaru w obrazie. Na tej podstawie mona rozróni dwa obrazy od siebie,jak równie wyznaczy w danym obrazie obszary spełniajce okrelone warunki. Teksturobrazu mona symbolicznie opisa poprzez podanie wartoci dla skoczonego wektora cech.Wymiar tego wektora jest zwykle duo niszy ni liczba pikseli w opisywanym fragmencieobrazu.Wyszukiwanie w obrazach cyfrowych obszarów o okrelonych właciwociach moe zostawykorzystane w rónych zastosowaniach, np. w celu okrelenia zmian sceny (monitoring),wyszukiwania okrelonych obrazów z bazy, a take w analizach medycznych. Do okreleniacharakteru tych obszarów stosuje si róne opisy – od metod czysto statystycznych, poprzezdetekcj dyskretnych segmentów, a po te oparte na ludzkiej percepcji.Angiografia jest to metoda diagnostyczna wykorzystywana w medycynie, która polega nabadaniu kontrastowym naczy krwiononych. W przeprowadzonych testach chodzi ookrelenie przyrostu (lub zanikania) naczy krwiononych w tkance pod wpływem badanegopreparatu. Tego typu diagnoza wykorzystywana jest m. in. w terapii nowotworów. W- 3 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychniektórych przypadkach nie jest konieczne dokładne okrelenie liczby naczy, a jedyniestwierdzenie zmian. Spodziewamy si, e analiza właciwoci tekstury poszczególnychobszarów pozwoli wykry i sklasyfikowa stan naczy krwiononych, co ułatwi dalszanaliz, dokonywan przez specjalist. Poszukujemy takiej reprezentacji, która pozwoli naskuteczn klasyfikacj obszarów niezalenie od obrotu obrazu, zakresu intensywnoci pikseliczy skali obrazu.Kolejnym celem tej pracy jest znalezienie moliwie najdokładniejszego klasyfikatora dlaopracowanej reprezentacji (cech) tekstury, przy czym weryfikacja jego skutecznoci bdzieprzeprowadzona dla obrazów medycznych. Znane z literatury s główne trzy typyalgorytmów:- cechy oparte o filtry Gabora (deskryptory tekstury MPEG-7) ([42], [91], [107]),- cechy oparte o PCA (analiza składowych głównych – popularny sposób redukcjiinformacji) ([16], [85], [99], [106]),- cechy oparte o tzw. macierz spójnoci jasnoci (standardowa metoda opisu tekstur wobrazach) [29].Głównym celem tej pracy jest wykazanie przydatnoci podejcia ICA (ang. IndependentComponent Analysis – analiza składowych niezalenych ([13], [37], [49]) do analizy tekstur,w szczególnoci w przypadku obrazów angiograficznych. Typowe podejcia do detekcji cech– wykorzystywane w problemach reprezentacji lub kompresji obrazu cyfrowego - w oparciu oliniowe przekształcenie [75], takie jak Fouriera, Hadamarda, transformata kosinusowa [85]czy filtry Gabora ([42], [107]) nie s dopasowane do konkretnych obrazów danego rodzaju,gdy maj uniwersalny charakter. W przeciwiestwie do nich przekształcenia uzyskiwane wwyniku analizy PCA (analiza składowych głównych) lub ICA (przewidziana przez nasanaliza składowych niezalenych) s estymowane w oparciu o same dane uczce – przykładyobrazów danego rodzaju.Z tych dwóch metod PCA przeznaczona jest raczej do kompresji – orientujc si napodobiestwa obrazów rónych klas – a ICA powinna nadawa si do klasyfikacji, gdyorientuje si na rónice pomidzy obrazami rónych klas [46]. ICA jest odmianstatystycznego „projection pursuit”, czyli poszukiwania „ciekawych” (oddajcych strukturrozkładów statystycznych) rzutów wielowymiarowych danych. Rozkład Gaussa jest najmniejciekawy, natomiast kierunki najmniej gaussowskie s „najciekawsze”. Obszary w przestrzeni- 4 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychnie pokrywane przez niezalene składowe s wypełniane przez szum Gaussa - znajdujckierunki nie-gaussowskie znajdujemy efektywnie niezalene składowe, czyli docelowe osieprzestrzeni cech. Niniejsza praca ma wykaza, e odpowiednio dobierajc (do próbek danych)ju same przestrzenie cech tekstury (a nie dopiero na pó niejszym etapie klasyfikacjiuniwersalnych przestrzeni cech), mona stworzy narzdzie duo skuteczniejsze w analizietekstur, ni dotychczas znane metody.W skład narzdzia programowego, wykorzystanego do testów, wchodzi zarówno detekcjacech, jak i klasyfikator cech. Badane bd podstawowe typy klasyfikatorów: klasyfikatorBayesa, klasyfikator SVM (liniowa maszyna wektorów nonych) i klasyfikator neuronowy([22], [73], [82]). Wybrany klasyfikator powinien spełnia nastpujce warunki:- pozwoli na wyłonienie najwikszej liczby klas przy zachowaniu wysokiego stopniapoprawnoci klasyfikacji- nie popełnia krytycznych błdów klasyfikacji.W przypadku obrazów angiograficznych analiza tekstury moe stanowi etap wstpny dobardziej precyzyjnych oblicze, np. zwizanych z krtoci naczynia. Aplikacja tego typumoe by narzdziem pomocniczym w diagnostyce. Naley przede wszystkim wzi poduwag ryzyko zwizane z automatyzacj procesu. Wprawdzie podejmowanie decyzjilekarskiej wyłcznie na podstawie wyniki klasyfikatora jest raczej niewskazane, niemniejjednak wspomniany program moe by istotnym wsparciem w pracy eksperta, np. jakonarzdzie do pre-selekcji.Tezy rozprawy s nastpujce:1. Odpowiednio dobierajc reprezentacj cech tekstury do rzeczywistych danych iklasyfikator, dla którego okrelono koszty ryzyka błdnej klasyfikacji, monastworzy narzdzie skuteczne i pomocne w analizie obrazów.2. Dla wybranego rodzaju obrazów (w tym przypadku obrazy angiograficzne) metodaICA pozwala na lepsz spójno cech tej samej klasy i rozdział cech rónych klas (niinne proponowane podejcia), a take ułatwia poprawn klasyfikacj.Praca powstała dziki badaniom prowadzonym w ramach grantu KBN nr 7T08A05016,dotyczcego analizy obrazów angiograficznych oraz grantu Ministerstwa Nauki iInformatyzacji 3T11A 015 26.- 5 -

1.2. Podstawy analizy tekstur1.2.1 Pojcie teksturyE. Snitkowska Analiza tekstur w obrazach cyfrowychTekstura reprezentuje regularne cechy powierzchni obiektu – patrzc na obraz moemypowiedzie, czy przedstawia on obiekt gładki (np. powierzchnia szyby) lub chropowaty (np.kora drzewa), a take czy prezentowany wzorzec jest mniej lub bardziej regularny. Człowiekdecyduje o rodzaju tekstury na podstawie obserwacji pewnych niewielkich wzorów, którychregularne rozmieszczenie pozwala na klasyfikacj.D9 (trawa) D12 (kora) D15 (słoma) D19 (materiałwełniany)D29 (piasekplay)D38 (woda)D68 (słojedrzewa)D84 (rafia)D94 (ceglanaciana)Rysunek 1.1 Przykłady tekstur z albumu Brodatz’a ( ródło: [7]).D112(plastikowepcherzyki)Popularnymi przykładami tekstury, czsto wykorzystywanymi w badaniach porównawczychmetod analizy tekstury s tekstury z albumu Brodatz’a [7]. Jednak łatwo zauway, e obrazyangiograficzne, czyli przedstawiajce układ naczy krwiononych, róni si tekstur odtypowych obrazów Brodatz’a.(a) (b) (c)Rysunek 1.2 Przykładowe obrazy angiograficzne: (a) i (b) - tkanka skórna myszy, (c) - zarodek kurzy- 6 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychma histogram o N prkach. Na tej podstawie wyznaczane jest prawdopodobiestwowystpienia danego poziomu jasnoci w obrazie.H ( i)P( i)= , (1.1)ngdzie:• P(i) – prawdopodobiestwo wystpienia danego poziomu jasnoci i w obrazie,• H(i) – liczba punktów o jasnoci i w obrazie,• n – liczba wszystkich punktów (pikseli).Na podstawie histogramu mona wyznaczy parametry, które opisuj globalne cechy obrazuw danym obszarze i s stosunkowo proste do wyznaczenia ([23], [31], [50], [53], [62]). Niemona ich jednak wykorzysta do okrelenia wygldu obrazu (np. stopnia porowatoci).Jednym z podstawowych parametrów obrazu jest warto rednia (jasnoci). Okrela onaredni jasno obrazu lub danego obszaru i wyznaczana jest według wzoru:m iP( i). (1.2)= Ni=0Kolejnym parametrem wyznaczanym na podstawie histogramu jasnoci jest odchyleniestandardowe, które okrela globaln zmienno pikseli danego obrazu. Parametr ten wyznaczasi według wzoru:σ =N2 ( i − m)P(i). (1.3)i=0Skono histogramu charakteryzuje stopie asymetrii rozkładu jasnoci wokół jego redniej iokrelana jest mianem współczynnika asymetrii. Skono dodatnia oznacza rozkład zasymetrycznym „ogonem” rozcigajcym si w kierunku coraz wyszych wartoci dodatnich,natomiast skono ujemna – rozkład z asymetrycznym „ogonem” rozcigajcym si wkierunku wartoci bliszych zeru. Parametr ten wyznacza si na podstawie zalenoci:- 8 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychN 13 1= − S ( i − m) ⋅ P( i) ⋅ .3(1.4) i=1 σDwa kolejne parametry nie maj swoich bezporednich odpowiedników w statystycematematycznej, ale zaliczane s do opisywanej grupy ze wzgldu na fakt, e wyznacza si jena podstawie histogramu jasnoci i charakteryzuj one jej rozkład w obrazie.Energia wyznaczana jest na podstawie wzoru:E P= Ni=02( i), (1.5)natomiast entropia – z nastpujcego wzoru.Ent−P( i)⋅ log ( P(i))2 (1.6)= Ni=0Parametry te charakteryzuj jedynie globalne właciwoci tekstury w obrazie i s wraliwe nawszelkie szumy i zakłócenia oraz sposób standaryzacji obrazu.1.2.3 Histogramy sum i rónicInnym sposobem jest utworzenie histogramów sum i rónic par pikseli odległych od siebiewzdłu rónych kierunków. Niech f j;k i f j+v1;k+v2 bd dwoma pikselami przesunitymi owektor v=(v1; v2). Niech suma i rónica dla tych pikseli wynosz odpowiednio:s f + fj; k j;k j+v1;k + v2= oraz d = f − f .j; k j;k j+v1;k + v2(1.7)Obliczmy histogramy dla sum i rónic:HHs( l) = fj ksj;k= l( m) f d md=j k j;k=;| , (1.8);| , (1.9)gdzie |…| oznacza liczb elementów (moc) zbioru.- 9 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychNastpnie histogramy te normowane s wzgldem liczby punktów.hhds( l)( m)==lHmHsHdH( l)( l)s( m)( m)d(1.10)(1.11)Dla tak przygotowanych histogramów mona wyznaczy wartoci cech statystyk opisanych wrozdziale 1.2.2. Przykładowy zestaw omiu cech – po cztery cechy wyliczone na podstawiekadego histogramu:1. wartoci rednie2L − 2l=0c = lh s( l), = mh d( m)12L − 1m=−L+1c (1.12)2. momenty 2-go rzdu3. kontrasty4. entropie2L − 2l=02c = ( h s( l)) , = ( h d( m))32L − 2l=04L − 1m=−L+12c (1.13)22c = ( l − c ) h s( l), = ( m − c ) h d( m)516L − 1m=−L+1c (1.14)22L − 2l=0c = − h ( l) log ( h ( l)), = − h ( m) ( h ( m))7ss8L − 1m=−L+1c log (1.15)ddW praktyce wyznacza si pary histogramów dla czterech kierunków wektora v, co daje wsumie 32 cechy tekstury.Liczba cech zaley od wymaga uytkownika – mog to by np. warto rednia, odchyleniestandardowe, kontrast i energia – zob. przykłady powyej. Daje to dwa razy wiksz liczbparametrów do analizy, przy czym ilo ta zwiksza si z kadym nowym przesuniciem v,co pozwala na poprawienie wyników. W praktyce czsto stosuje si redukcj liczbypoziomów jasnoci L, np. do L=32.- 10 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych1.2.4 Macierz spójnoci wartoci jasnociParametry statystyczne drugiego rzdu wyznaczane s na podstawie specjalnieskonstruowanych macierzy opisujcych zalenoci w przestrzennym rozkładzie jasnoci parpikseli w analizowanym obrazie. Podejcie to zostało zaprezentowane w pracy [31] i znalazłoszerokie zastosowanie w analizie obrazów (np. [96]).Macierz spójnoci jasnoci (MSJ) jest postaci G(d; ) = [g v (d; )], gdzie element g v oznaczaliczb par pikseli (f ij =u, f kl =v), które s odległe o d i wyznaczaj kierunek . Najczciejprzyjmuje si, e kady punkt (piksel) obrazu ma omiu ssiadów: w kierunku poziomym(0˚), pionowym (90˚), diagonalnym (135˚) i przeciwdiagonalnym (45˚):Rysunek 1.3 Ssiedztwo punktów (pikseli) oraz kierunki analizy dla macierzy spójnoci jasnociPrzykład 1.1 [47]Dla obrazu f o wymiarze 5x5 pikseli i L=4 poziomach jasnoci mamy macierz MSJ o L 2 =4x4elementach.f00→ 02200222112321123200002G (1;0)44= 214400201411012Dla elementu g 00 (1;0) mamy:( ,0) ( f , f ), ( f , f ), ( f , f ), ( f , )g →00100 01 01 00 10 11 11f10- 11 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychOtrzymane w ten sposób macierze s kwadratowe i symetryczne, czyli g v (d; ) = g vu (d; ).Rozmiar takiej macierzy równy jest liczbie poziomów jasnoci w obrazie. Dla kadegokierunku analizy buduje si odpowiedni macierz.Aby wyznaczy wektor cech, naley przeprowadzi normalizacj wartoci MSJ wzgldemsumy wszystkich jej elementów. Po znormalizowaniu otrzymujemy macierz, którejelementami s prawdopodobiestwa P(u,v) wystpowania w odległoci d pikseli ojasnociach u i v. Okrelmy 4 parametry, które bd pomocne przy wyznaczaniu cech – s to:- suma wierszy znormalizowanej macierzyN − 1v=0P ( u)= P(u,v), (1.16)x- suma kolumn znormalizowanej macierzyN1= − Py( v)P(u,v), (1.17)u=0- rozkład sumacyjny znormalizowanej macierzyN− 1 N −1x+ yl)=u=0 v=0P ( P(u,v), gdy u + v = l , l = 0, 1, …, 2(N-1), (1.18)- rozkład rónicowy znormalizowanej macierzyN− 1 N −1x− yl)=u=0 v=0P ( P(u,v), gdy u − v = l , l = 0, 1, …, 2(N-1). (1.19)Korzystajc z powyszych parametrów dla znormalizowanej macierzy mona wyznaczy 14cech:1. Drugi moment zwykłyN − 1 N −1u=0 v=0[ P u,v ]2f = ( )(1.20)12. KontrastN − 1k = 02f = k P x( k)(1.21)2− y- 12 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych3. Korelacjaf3=N N− 1 −1u=0 v=0( u ⋅v)⋅ P(u,v)− µ µσ σxyxy(1.22),gdzie i oznaczaj warto redni i odchylenie standardowe odpowiednichrozkładów brzegowych.4. Suma kwadratów – wariancjaN− 1 N −1u=0 v−02f = ( u − v)⋅ P(u,v)(1.23)45. Odwrotny moment rónicowy1f5=P(u,v)2v)N− 1 N −1u=0 v= 0 1+( u +(1.24)6. Suma rednich2(N − 1)ii=0f = ⋅ P x( i)(1.25)6+ y7. Entropia sumacyjna2(N − 1)Px+ y( i)⋅i=0[ P ( i)]f7= − logx+y(1.26)8. Wariancja sumacyjna2(N − 1)(i=0f = i − f ) ⋅ P x( i)(1.27)87+ y9. EntropiaN− 1 N −1u=0 v=0[ P(u,v ]f9= − P( u,v)⋅ log )(1.28)10. Entropia rónicowa2(N − 1)Px− yi=0[ P ( i)]f10= − ( i)⋅ logx−y(1.29)- 13 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych11. Wariancja rónicowa2(N − 1)(i=0f = i − f ) ⋅ P x( i)(1.30)1110− y12. Korelacyjne mierniki informacjigdzie:h xy= f 9,N− 1 N −1u=0 v=0f12hxy− h1xy= , (1.31)max( hx, hy)[ − 2 ⋅ ( h − )]f13 = 1−exp 2 , (1.32)[ P ( v)⋅ P ( u ]h 1 = − P( u,v)⋅ log ) ,xyN− 1 N −1u=0 v=0xy[ P ( v)⋅ P ( u ]h 2 = − P ( v)⋅ P ( u)⋅ log ) ,xyN − 1v=0xy[ P ( v ]h = − P ( v)⋅ log ) ,xN − 1u=0xx[ P ( u ]h = − P ( u)⋅ log ) .yyyxyxyh xy13. Maksymalny współczynnik korelacjif14= λ 2max. (1.33)Symbol 2max oznacza drug najwiksz warto własn macierzy:P(u,k)⋅ P(v,k)C( u,v)=. (1.34)P ( v)⋅ P ( u)N − 1k=0xyStatystyczn klasyfikacj mona równie przeprowadzi bez wyznaczania powyszych cech,na samej macierzy G, urednionej po dyskretnych kierunkach. Nie wszystkie cechy majswoje odzwierciedlenie w wygldzie obrazu. Jedn z cech, która moe decydowa owraeniach wzrokowych, jest kierunkowy moment drugiego rzdu (f1), który okrelajednorodno obrazów (im wiksza liczba poziomów jasnoci, tym mniejsza warto cechy, awic dla obrazów gładkich o małych wahaniach jasnoci cecha ta przyjmuje wikszewartoci). Od zakresu poziomów jasnoci zaley równie kontrast (f2) – przyjmuje wikszewartoci dla szerszych zakresów. Entropia za okrela stopie skomplikowania obrazu – imwicej szczegółów jest widoczne w teksturze, tym wiksz warto przyjmuje ta cecha.- 14 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych2. Heurystyczne przekształcenia obrazuW tym rozdziale zaprezentowane zostan podejcia słuce do wyznaczania cech obszaruobrazu, nalece do grupy przekształce heurystycznych. Heurystyczne przekształceniaprzestrzeni wykorzystuj, dobrze zdefiniowane na potrzeby reprezentacji, funkcjematematyczne i bazuj na zrozumieniu problemu, eksperymentach i dowiadczeniu. Metodyte jednak nie optymalizuj adnego kryterium zalenego od danych reprezentowanych w tychprzestrzeniach.2.1. Heurystyczne liniowe przekształcenia wzorca2.1.1 Baza ortogonalnaPrzekształcenie ortogonalne odpowiada rozwiniciu wzorca f(x) w ortogonalnym systemiefunkcji v (x) lub rozwinicie wektora pomiarowego f w ortogonalnej przestrzeni wyznaczonejprzez wektory v ([52], [67]).cvT= ϕvf = ϕvjfjlub c = ⋅ fj(2.1)Mona powiedzie, e wymiar wektora c jest mniejszy lub równy wymiarowi wektora f, ale wprocesie detekcji cech dymy do sytuacji, gdy wymiar wektora c bdzie duo niszy niwymiar wektora pomiarowego.- 15 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychZałómy, e istnieje przekształcenie „pseudo-odwrotne” wyraajce si wzorem:nTfˆ = Φ c = c ϕ , gdzie ΦΦ T = I(2.2)v=1vvDymy to takiej postaci , dla której nastpuje minimalizacja błdu redniokwadratowegoaproksymacji f przez fˆ :T( f − fˆ ) ( f − fˆ )ε =(2.3)Jednym ze sposobów na wyprowadzenie powyszego jest zastosowanie zasadyortogonalnoci ([52], [67]). W tym przypadku otrzymujemy:ΦT( f − Φ c)ΦΦTc = Φf= 0,⋅ c = Φf,(2.4)Ostatnie przekształcenie wynika z ortonormalnoci wektorów bazowych: 1 µ = v⋅ϕ= 0przeciwnieTϕv µWektory bazowe s wprawdzie uporzdkowane, ale ich wyznaczenie nie zaley odkonkretnych danych, nie jest wic zupełnie prawdziwe stwierdzenie, e n pocztkowychwspółczynników rozwinicia stanowi najlepsze (lub najgorsze cechy). Znanych jest wieleprzekształce ortogonalnych, np. Fouriera, Hadamarda-Walsha, Haara [67].2.1.2 Transformata Fouriera (DFT)Dwu-wymiarowa dyskretna transformata Fouriera przedstawia si nastpujco ([85], [100]):M{[ ]} − x 1M−~yfjk= 1~ = = µ j vkF =− − µ vDFTfjkexp i2π,j 0 k 0 MxMy gdzie , =0, ±1, ±2, …(2.5)- 16 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychDla przypadku wektorowych próbek rozpatrzona zostanie 1-wymiarowa DFT, dla którejfunkcja wykładnicza we wzorze (2.5) zostanie oznaczona jako1-wymiarowa DFT wynosi:W M− i2π= exp . Wówczas M M − 1j=0jvF = f W(2.6)vjMϕ = W W W W mona zauway, e zachodziPrzyjmujc nastpnie wektor ( ) 0 v 2v( M 1)v, , ,...,− TFT= f , co jest zgodne ze wzorem (2.1).vϕ vvMMMMAby okreli cechy w przestrzeni jednowymiarowej DFT, przyjmujemy moduływspółczynników przekształcenia Fouriera jako wartoci rzeczywiste:c = F = Fvv2vF*v(2.7)2.1.3 Przekształcenie Walsha-HadamardaCigłe funkcje Walsha definiowane s rekursywnie jako:walwal( ) ( ) v + px;2 j + p = −12 wal2x + ;j+ ( −1)( x;0)1= 01 41 1− ≤ x ≤2 2przeciwniedla j = 0, 1, 2, … oraz p = 0,1.j+p 1 wal2x − ;j 4 (2.8)Funkcje zdefiniowane powyej ograniczone s do dziedziny (-0.5, 0.5). Funkcje Walsha sortogonalne, tzn.: 1 j = k; = (2.9)0przeciwnie12 1wal ;−2( x j) wal( x k)- 17 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychPrzykładem dyskretnej wersji funkcji Walsha jest przekształcenie Walsha-Hadamarda ([74],[84]). Wektory v otrzymujemy poprzez próbkowanie funkcji Walsha w przedziale (-0.5,0.5), w wyniku czego otrzymywane jest M=2 q wektorów próbek.Macierz przekształcenia o rozmiarze M 2 mona obliczy rekursywnie z macierzy Hadamarda11 H2= 1−1M= H ⊗ HM= H ⊗ H ⊗ ... (q czynników).H2 / 2 2 2⊗ H 2Symbol ⊗ oznacza produkt Kroneckera dwóch macierzy.Przykład 2.1Dla macierzy A o wymiarach M 2 i macierzy B o wymiarach m 2 otrzymujemy macierz (Mm) 2 ,np. dla H 8 :H811=11= H2⊗1 1−111 −1−1−1( H ⊗ H ) = ( H ⊗ H )221−1 ⊗ H−11221111= 11112−11 −11 −111−11−1⊗ H1 1−1−11 1 −1−11 1 −1−11 −12=1 1 1 11 1 −1−1−11 −1−11 −1−1−1−11−1−11 −11 11−1−11−11−1Uporzdkowane macierz Hadamarda przekształcenie Walsha-Hadamarda HWHzastosowane dla wzorca f o M elementach dostarcza wektor cech( f )c = HMf = HWH(2.10)Własnoci przekształcenia HWH:- wymagane s jedynie operacje dodawania i odejmowania na argumentachrzeczywistych,- wynikiem przekształcenia s tylko wartoci rzeczywiste,- 18 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychTransformata odwrotna dla wzoru (2.11) wyglda nastpujco:∞ ∞11 t −τ dτd= ψ 2cψ−∞ −∞α α ααf , (2.12)( t) CWT ( τ α )Mona powiedzie, e f(t) jest splatana z funkcj . Funkcja (t) musi spełnia nastpujcywarunek zwizany z jej transformat Fouriera ():( ω)∞Ψc ψ= dω< ∞ω−∞2(2.13)Warunek ten jest spełniony, jeli (0)=0 lub równowanie ( t) dt = 0∞−∞ϕ .W celu uzyskania dyskretnej transformaty falkowej, współczynniki i s próbkowane tak,aby falka bazowa mogła by skalowana i przesuwana tylko w dyskretnych krokach. Wrezultacie otrzymujemy dla jednowymiarowej dyskretnej transformaty falkowej:j1 n − kτ0α0DWT ( j,k)= x( n) Ψ ,jj(2.14)α n α00gdzie i oraz j s liczbami całkowitymi dodatnimi.Schemat tworzenia 2-wymiarowej dyskretnej transformaty falkowej DWT wygldanastpujco:1. Przy pomocy 1-wymiarowej DWT przekształcane s wszystkie wiersze obrazu. W tensposób powstan dwa bloki współczynników o tej samej liczbie wierszy i połowiekolumn, co oryginalny obraz.2. Wszystkie kolumny obu bloków współczynników przekształcane s przez 1-wymiarowDWT. W ten sposób powstaj 4 bloki współczynników, kady o połowie liczby wierszy ikolumn oryginalnego obrazu.3. Proces przekształcania opisany w punktach 1. i 2. naley powtarza do uzyskania 4bloków o tylko jednym współczynniku.- 20 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychPowyszy proces mona zacz poprzez przekształcenie kolumn oryginalnego obrazu i dalejpostpujc analogicznie.Przykłady zastosowa falek w analizie tekstur mona znale w [81] oraz [90]. Dla obrazóww skali szaroci właciwoci tekstury okrelane s na podstawie wartoci energii dyskretnejtransformaty falkowej. Technika ta moe by równie rozszerzona na obrazy barwne.2.1.5 Funkcje GaboraFunkcja Gabora to liniowe przekształcenie obrazu x o postaci:ŝ = H ⋅x,H =[ h ( x,y),...,h ( x,y)]1n(2.15)Funkcje bazowe dla i = 1, …, n dane s jako:[ q( x,y) , w( x,y)] cos( 2πfq( x y))h ix,y)= g, , (2.16)(0gdzie:2 2( ) = 1 x y g x, y exp− +2 ,2 σ2xσy x, y = cos Φ x + sin ,( ) (0) ( Φ )y( x y) = −sin( Φ ) x + cos( )yq0w0Φ0, .(2.17)W powyszych wzorach 0 oznacza kt obrotu wzgldem osi X, natomiast f 0 – czstotliwopodstawow, a rodek oscylacji znajduje si w rodku przekształcanego obszaru obrazu.Mona interpretowa funkcje Gabora jako detektory krawdzi o rónych (dyskretnych)orientacjach i rónych czstotliwociach. Funkcje Gabora przyjmowane s uniwersalnie –niezalenie od zastosowania, w tym równie w analizie tekstur [114].- 21 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych2.2. Opis tekstury w MPEG-7 (deskryptory)W tym rozdziale zostanie zaprezentowane podejcie do opisu tekstury bazujce na funkcjachGabora, a przewidziane w standardzie MPEG-7, zgodnie z dokumentami [18] oraz [116].Celem MPEG-7, znanego równie jako „Multimedia Content Description Interface”, jeststandaryzacja opisu obiektów multimedialnych. MPEG-7 proponuje trzy podejcia do opisutekstury (tworzenia tzw. „deskryptorów”). Wynikaj one z rónych sposobów interpretacjidanych obrazu, std te znajduj zastosowanie w odmiennych przypadkach. Podstawwyznaczania ich parametrów s funkcje Gabora.1. Deskryptor tekstury jednorodnej, dalej oznaczany jako HTD (Homogeneous TextureDescriptor), opiera si na właciwociach statystycznych obrazu, reprezentowanych jako62-elementowy wektor. Wektor ten wyznaczany jest na podstawie odpowiedzi filtruGabora dla 30 kanałów czstotliwoci obrazu.2. Kolejny deskryptor standardu – deskryptor przegldania tekstury TBD (Texture BrowningDescriptor) równie wyznacza si na podstawie odpowiedzi filtrów Gabora dla kanałówczstotliwoci. Jego parametry za odpowiadaj percepcyjnemu, zblionemu doludzkiego, postrzeganiu tekstury. W testach wykorzystywany jest tzw. PBD – PerceptualBrowning Descriptor, który zawiera informacj o regularnoci, kierunkowoci iporowatoci wzorca.3. Trzeci z proponowanych przez MPEG-7 deskryptorów, deskryptor histogramu krawdziEHD (Edge Histogram Descriptor) to 80-punktowy histogram reprezentujcy rozkładkrawdzi w obrazie. Wykorzystywany jest przewanie do analizy zmian sceny wsekwencji obrazów.Podczas wczeniejszych prac autorka przebadała uyteczno tych trzech deskryptorów. Wwyniku testów stwierdzono, e deskryptory HTD, PBD lub ich kombinacje s uytecznymnarzdziem w analizie tekstur. Deskryptor EHD pominito jako dajcy najmniej istotnewyniki. Badania nad wykorzystaniem właciwoci deskryptorów MPEG-7 były prowadzonew ramach grantu KBN nr 7TO8A05016 ([91], [92]).- 22 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych2.2.1 Wyznaczanie energiiPoszczególne elementy deskryptorów tekstury wyznaczane s na podstawie rozkładuczstotliwoci w analizowanym obrazie. Przestrze czstotliwoci dzielona jest na równeobszary o szerokoci 30 stopni w kierunku ktowym i oktawy w kierunku biegunowym.Obszary te nazywane s kanałami własnoci. Podyktowane to jest sposobem postrzeganiaprzez mózg, który dokonuje dekompozycji całego spektrum na pasma percepcji.Rysunek 2.2 Schemat rozkładu czstotliwoci dla 30 kanałów.W przestrzeni znormalizowanej czstotliwoci rodkowe kadego kanału wyznaczane swedług wzoruoθ = 30 r , gdzie 0 r 5 jest indeksem ktowym, natomiast szerokor×ktowa wszystkich kanałów jest równa 30 stopniom. W kierunku biegunowym czstotliwociktowe wyraane s zalenociω = ω ⋅ 2s−s0, 0 s 4, 0 =3/4.Do kadego z kanałów stosowana jest dwuwymiarowa funkcja Gabora:G P2 2= − ( ω − ω − − s) ( θ θr)( ω,θ ) exp ⋅ exp(2.18), r22σ22ρσsθ rsgdzie s- indeks kanału w kierunku biegunowym, r – indeks kanału w kierunku ktowym.Zmienne s i r oznaczaj standardowe odchylenie w kierunku ktowym lub biegunowym, wmiejscu zetknicia si ssiednich filtrów w połowie maksimum. W kierunku ktowym- 23 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychodchylenie standardowe ma stał warto równσ θr=15°2ln 2, natomiast w kierunkubiegunowym dana jest zaleno:B sσ ρ=(2.19)s2 2ln 2gdzieB s= B ⋅ 2−s0, B 0 = 1/2 jest szerokoci pasma kanału w kierunku biegunowym.Na podstawie rozkładu czstotliwoci i funkcji Gabora wyznaczana jest energia e i i-tegokanału własnoci:pi=[ ]e = log 1+,ip i1 360° [ GPs, r( ω,θ)⋅ P(ω,θ)]ω= 0+θ= 0°+2(2.20)oraz odchylenie standardowe energiiqi=[ ]d = log 101+,iq i1 360°2 { [ GPs, r( ϖ,θ)⋅ P(ϖ,θ)] − pi}ϖ= 0+θ= 0°+2(2.21)gdzie P(,) oznacza transformat Fouriera obrazu w biegunowej dziedzinie czstotliwoci[75].2.2.2 Deskryptor tekstury jednorodnejDeskryptor ten opisuje właciwoci statystyczne tekstury i wyznaczany jest według schematuomówionego w poprzednim punkcie. Deskryptor ten moe składa si z 32 lub 62 elementów,w zalenoci od tego, czy brana jest pod uwag podstawowa płaszczyzna własnoci czypłaszczyzna rozszerzona.HTD=[a, sd, e1, e2, ..., e30, ed1, ed2, ..., ed30] (2.22)- 24 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychPierwsze dwa reprezentuj redni intensywnoci pikseli obrazu a z zakresu 0 – 255 orazodchylenie standardowe sd. Nastpne stanowi 30-elementow tablic zawierajc wartocienergii e i wyznaczone dla kadego z kanałów własnoci. Ostatnie 30 elementów to tablicawartoci odchylenia standardowego energii ed i dla kanałów własnoci. Wartoci tewyznaczane s, gdy brana jest pod uwag rozszerzona płaszczyzna własnoci.Deskryptor HTD wykorzystywany jest przy wyszukiwaniu precyzyjnym. Podobiestwomidzy obrazami mierzone jest jako odległo midzy wektorami własnoci:d(TDquery, TDdatabase) = dist(TDquery, TDdatatbase) =kTDquery( k)− TDα(k)database( k)(2.23)gdzie (k) jest odchyleniem standardowym TD database (k) dla danej bazy (moe by równieustalane).Proponowane s cztery sposoby porównywania [59]:- niezalene od intensywnoci – z wektora własnoci HTD usuwany jest pierwszyelement;- niezalene od rotacji – wektor własnoci obrazu obróconego jest przesunit ktowowersj dla obrazu referencyjnego; wówczas odległo wyznaczana jest jakonajmniejsza z otrzymanych w wyniku przesunicia;- niezalena od skali – dla N moliwych wersji przeskalowanego czynnika odległowyznaczana jest jako najmniejsza z uzyskanych;- niezalene od obrotu i skalowania – odległo wyznaczana jest jako najmniejsza zewszystkich moliwych kombinacji skalowania i obrotu.Testy przeprowadzone członków grupy MPEG-7 wykazały du skuteczno tegodeskryptora ([1], [97]). Jako miar efektywnoci stosuje si ARR (Average Retrieval Rate –wska nik redniej liczby prawidłowo odnalezionych obrazów).Prezentowane w dokumencie M5490 ([79]) wyniki utrzymuj si na poziomie ARR powyej70 dla baz zawierajcych obrazy rónych tekstur zdefiniowanych w MPEG-7 CE (Core- 25 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychExperiments). W przypadku, gdy pod uwag brana jest rozszerzona płaszczyzna własnoci(deskryptor HTD zawiera oprócz energii wektor wartoci odchylenia standardowego)nastpuje poprawa wska nika ARR.Dokumenty [76] oraz [115] omawiaj wyniki eksperymentów dla deskryptora teksturyjednorodnej przebrowadzone na bazie 832 obrazów tekstury. Jako zapytanie pobranoarbitralnie 52 obrazy, które poddano obróbce, wycinajc odpowiedni kształt. W efekcieuzyskano dodatkowe trzy zbiory – tekstury o kształcie prostokta, rombu (diamentu) i koła.Ponisza tabela przedstawia wyniki trzech eksperymentów.Tabela 2.1 Przykładowe wyniki testów dla wzorców HTD o rónym kształcie (wska nik ARR)Zbiór zapytania Wypełnianie Czarne tło Inna teksturaOryginały 91.03 86.62 86.62Kształt prostokta 83.97 67.05 45.38Kształt koła 81.67 59.36 48.97Kształt rombu 78.46 59.36 43.59Kolumny odpowiadaj kolejnym eksperymentom. W pierwszym tło obrazów zostałowypełnione danymi ze rodka obszaru tekstury. W drugim pozostało one czarne. W trzecimeksperymencie tło zostało wypełnione inna tekstur. Przedstawiaj to rysunki poniej:(ITD.) (b) (c) (d) (e) (f)Rysunek 2.3 Przykłady wzorców o rónych kształtach: (a) - oryginał, (b) - wzorzec prostoktny naczarnym tle, (c) - wzorzec prostoktny na tle wypełnionym zawartoci tektury wzorca, (d) - wzorzecprostoktny na tle wypełnionym inn struktur, (e) - wzorzec okrgły, (f) - wzorzec romboidalny.Najlepsze wyniki uzyskano dla obrazów oryginalnych – warto wska nika ARRutrzymywała si powyej 85. Dla wszystkich typów obrazów pogorszenie nastpiło przyzmianie tła, przy czym najgorsze wyniki dało wypełnienie tła inn tekstur – dla tekstur owyznaczonych kształtach wska nik ARR spadł poniej 50. Pogorszenie wynikówspowodowane jest faktem wykonywania operacji filtrowania na granicach obszarów.- 26 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych2.2.3 Deskryptor przegl dania teksturyDeskryptor ten odpowiada percepcyjnemu, zblionego do ludzkiego, charakteryzowaniutekstury. Operuje takimi terminami jak regularno, porowato, kierunkowo.Wyznaczanie, podobnie jak w przypadku HTD, odbywa si poprzez filtracj za pomocfiltrów Gabora, przy czym mamy 4 zamiast 5 indeksów s. Wykonywana jest dekompozycjaobrazu – kady z otrzymanych w jej wyniku obrazów zawiera informacj w okrelonej skali ikierunku. Na tej podstawie wyznaczany jest wektor TBC ( Texture Browsing Component),okrelajcy regularno lub jej brak we wzorcu.Kolejne elementy wektoraTBC = [v1 v2 v3 v4 v5] (2.24)oznaczaj:- regularno v1 – reprezentuje stopie regularnoci obrazu (im wiksza warto, tymbardziej regularny wzorzec);- kierunkowo (v2, v4) – dwa kierunki dominujce tekstury;- skala (v3, v5) – dwie dominujce wartoci, zalene od stopnia regularnoci wzorca.Kierunkowo oparta jest na histogramach wyznaczanych ze zbioru przefiltrowanychobrazów w rónych skalach, zdefiniowanych wzorem:H ( s,k)=5N(s,k)0N(s,k)(2.25)dla s = 0,...,3 i k = 0,...,5. N(s, k) oznacza liczb pikseli w filtrowanym obrazie w skali s ikierunku k, których natenie jest wiksze ni dany próg t s . Jako kierunek (kierunki)dominujcy wybierany jest ten, którego wierzchołek jest w H(s, k), równie dla ssiednichwartoci skali. Jako elementy wektora TBC zapisywane s dwa kierunki DO1 i DO2najwikszego kontrastu (w niektórych przypadkach moe by okrelony tylko jedenkierunek).- 27 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychW celu wyznaczenia skali okrelane s dwie projekcje ([58], [60]) dla kadegoprzefiltrowanego obrazu W mn (x, y) wzdłu kierunków dominujcych DO1 i DO2:PPl)W( x,y)δ(x cos θmnH(mnDODO1)l)W( x,y)δ(x cos θmnV(mnDODO2)1+ y sin θ − l dxdy(2.26)2+ y sin θ − l dxdy(2.27)Nastpnie dla kadej ze zbioru projekcji (dla obu kierunków dominujcych) wyznaczana jestznormalizowana funkcja autokorelacji NAC (Normalized Autocorrelation Function) [60]:m=kN −1P(m − k)P(m)m=kNAC ( k)=N −1 N −1(2.28)22P ( m − k)m=kP ( m)gdzie P(l) oznacza wybran projekcj dla danego kierunku dominujcego. Niech M i N –maksima i minima funkcji NAC(k), natomiast p_magn(i) oraz v_magn(i) (i=1,2, …, M) -wartoci lokalnych minimów i maksimów.WówczasK=1MMN1p _ magn(i)− v_ magn(j)(2.29)Ni= 1 j=1wyznacza kontrast.Na podstawie sekwencji wierzchołków p_pos(i) wyznaczane s odległoci midzywierzchołkami dis oraz odchylenie standardowe std. Niech = std/dis. Jeli warto ta jestmniejsza od załoonego progu, dan projekcj uwaa si za regularn. Po usuniciupozostałych wyznacza si projekcje o najwikszym kontracie. Przyjmujc m*(H) jako indeksskali projekcji o najwikszym kontracie i m*(V) – skala projekcji o najmniejszym kontracie,elementy wektora TBC wyznaczane s jako:v3 = m*(H)orazv5 = m*(V)(2.30)Przy wyznaczaniu regularnoci stosowane s specjalne załoenia dla tych projekcji, któreprzeszły test regularnoci omawiany powyej. Dla tekstur jednorodnych kandydaci- 28 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych(projekcje) s ssiadami w danej przestrzeni. Kandydatów dzieli si na trzy grupy i przydzielasi im na tej podstawie kredyty V. Pierwsza grupa okrela tych, dla których mona znale conajmniej jednego innego kandydata odpowiadajcego w ssiedniej skali lub kierunku. Kredytwynosi wówczas V 1 =1.0. Nastpn grup stanowi projekcje, dla których istnieje odpowiednikandydat dla takiej samej skali lub kierunku, ale nie ma ich dla skali (kierunków) ssiednich.Grupie tej przyznaje si kredyt V 2 =0.5. Ostatni zbiór to kandydaci, którzy s jedyni dla swojejskali i kierunku – przyznany kredyt wynosi V 3 =0.2. Jako warunek okrelajcy regularnoprzyjmuje si sum kredytów dla zbioru kandydatów w obu dominujcych kierunkach:3M = N i∗V i(2.31)i=1gdzie N i okrela liczb kandydujcych projekcji. Wówczasv1 = 0 jeli M < 5,v1 = 1 jeli 5 M

E. Snitkowska Analiza tekstur w obrazach cyfrowychwyniki powyej 70% prawidłowo odnalezionych obrazów, przy czym porównania obrazuzapytania samego z sob były pomijane. Dla tekstur z albumu Brodatz'a osignito wynik99.96%.Dokument M5449 omawia wyniki przeszukiwania dla podobnie zbudowanego deskryptora(zawierajcego wektory TBC i SRC). Baz stanowiły wzorce z albumu Brodatz'a. Kady ze166 wzorców został podzielony na 4 podobrazy, obrócony. Obrazy podzielone zostały nadwie grupy – w okrelonymi dwoma kierunkami dominujcymi i z jednym kierunkiemdominujcym. Podział taki słuył zbadaniu, jak detekcja kierunku wpływa na ludzkapercepcj. W przypadku pierwszej grupy lepsze wyniki (98 % znalezionych) osignito przyporównywaniu dla pierwszego kierunku dominujcego (88% dla drugiego). Dla drugiejgrupy, z pojedynczym kierunkiem dominujcym osignito wynik 100% (zobacz [76]).2.2.4 Deskryptory tekstury w analizie obrazówNa potrzeby pracy wykonano seri testów dotyczcych analizy tekstury w obrazachangiograficznych. Zastosowano połczenie omawianych deskryptorów ([61],[78]).Szczegółowe wyniki zostan omówione w dalszych rozdziałach.Ze wzgldu na precyzj wyszukiwania przyjto pełne wersje deskryptorów, to jest 62elementowy deskryptor tekstury jednorodnej (dodatkowe wyznaczanie odchylenia energii)oraz 5-elementowy deskryptor przegldania tekstury (dwa kierunki dominujce zamiastjednego). W tej sytuacji funkcja podobiestwa rozumiana jako odległo midzy elementamiposzczególnych zbiorów cech wyglda nastpujco (indeks „q” – zapytanie, indeks „db” –wzorzec):- dla deskryptora tekstury jednorodnejd+HTD( TD ,TD )* 0.22 ⋅ abs(TD54s= 0 r = 0qdbdb[ 1]− TD{m[ r]⋅ abs(TD= 0.28⋅abs(TDdbq[ 1])+[ i]− TDqdb[ 0]− TD[ 0])+[ j])+ d[ r]⋅ abs(TDqdb[ j]− TDq[ j])}(2.33)gdzie i=s+r+2; j=s+r+32;- 30 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych- dla deskryptora przegldania teksturydTBD( TD ,TD )db+ 0.2 ⋅{0.5⋅[abs(TD+ 0.2 ⋅{0.5⋅[abs(TDq= 0.6 ⋅ abs(TDdbdb[ 0]− TD [ 0])+[ 1]− TD [ 1])+ abs(TDq[ 3]− TD [ 3])+ abs(TDqdbqdb[ 2]− TD [ 2])}+db[ 4]− TD [ 4])}qq(2.34)Wartoci elementów tablic współczynników m i d we wzorze (2.32) okrelone s w kodzieMPEG-7 Experimentation Model, podobnie jak pozostałe wagi we wzorach (2.32) i (2.33).Symbol TD db okrela wektor cech (tzw. „deskryptor”) referencyjny, TD q – wektor cechobszaru analizowanego, natomiast abs oznacza warto bezwzgldna wyraenia podanegojako parametr. Indeksy okrelaj kolejno elementów w wektorze cech (62 dla deskryptoratekstury jednorodnej i 5 dla deskryptora przegldania tekstury). Wartoci dist HTD i dist TBD snastpnie sumowane i porównywane do wartoci progowej . Warto ta naley do przedziału(0.5, 0.8), wyznaczonego w trakcie eksperymentów.- 31 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychWarunkiem na to, by zbiór wektorów skupiska X tworzył podprzestrze liniow jest odjcieod kadego wektora wartoci redniej tego zbioru, czyli spełnienie warunku:[ X ] = 0E (3.1)Dla danego skupiska X o wymiarze N szukana jest podprzestrze S o wymiarze 0 < K < Ntaka, e oczekiwana warto długoci rónicy wektora (skupiska) X i jego rzutu jestminimalna:2( X ) = minE X − PS , (3.2)gdzie P S (x) oznacza projekcj wektora x na podprzestrze S ([87], [88]). Mona zauway, eposzukiwanie podprzestrzeni minimalizujcej oczekiwany błd projekcji (3.2) jestrównowane poszukiwaniom podprzestrzeni maksymalizujcej wariancj projekcji [26]:EEX − PX − E2S( X ) =[ X ] 2 − E P ( X ) − E[ X ] 2S, (3.3)Niech X=[x 1 , x 2 , …, x n ] T oznacza wektor losowy o zerowej wartoci redniej, a R xx =E[xx T ] –warto redni macierzy autokorelacji po wszystkich wektorach x. Niech W i =[W i1 , W i2 , …,W iN ], i=1, 2, …, N oznacza ortogonalne wektory własne odpowiadajce wartociom własnymλ i macierzy R xx . Mona zdefiniowa przekształcenie PCAy=Wx (3.4)poprzez uszeregowanie wartoci własnych macierzy kowariancji malejco λ 1

E. Snitkowska Analiza tekstur w obrazach cyfrowych3. Jeeli macierz mieszajca A ma wymiary m × n, to musi by rzdu n.Dodatkowo zakłada si, e wektory x i s s wyrodkowane (mona to uzyska poprzezodjcie wartoci redniej wektora).Definicja ICA, w odrónieniu od PCA, nie zakłada sortowania składowych niezalenych, alemona takie sortowanie zastosowa (np. wykorzystujc normy kolumn macierzymieszajcej).Niech p(y 1 ,y 2 ) oznacza gsto rozkładu łcznego zmiennych y 1 i y 2 , a p 1 (y 1 ) i p 1 (y 1 ) – gstorozkładu brzegowego dla y 1 i dla y 2 odpowiednio. Zmienne losowe y 1 i y 2 s niezalene wtedyi tylko wtedy, gdy:p(y 1 ,y 2 ) = p 1 (y 1 ) p 2 (y 2 ). (3.8)Dla dwóch funkcji niezalenych zmiennych losowych h 1 i h 2 zachodzi:{ h y ) h ( y )} E{ h ( y )} E{ h ( )}E = . (3.9)1( 1 2 21 1 2y2Dwie zmienne y 1 i y 2 s zdekorelowane, jeli ich kowariancja jest zerowa:{ y y } − E{ y } E{ y } 0E . (3.10)1 21 2=Zmienne niezalene s jednoczenie zdekorelowane, ale nie na odwrót. Np. niech (y 1 ,y 2 ) sdyskretnymi zmiennymi o prawdopodobiestwie 1/4 dla wartoci (0,1), (0,-1), (1,0), (-1,0).2 2 1 2Wtedy y 1 i y 2 s zdekorelowane. Ale jednoczenie zachodzi E { y y } 0 ≠ = E{ y } E{ y }czyli zmienne nie s niezalene.12= 2 1 2,4Dwie zmienne Gaussowskie nie mog by odseparowane w modelu ICA. Mieszaniny dwóchzmiennych Gaussa wymieszane ortogonaln macierz zachowuj rozkłady Gaussa. Gstorozkładu łcznego dwóch mieszanin jest wtedy w pełni symetryczna - nie zawiera ona adnejinformacji o kierunku wektorów w macierzy mieszajcej. Taka macierz nie moe zostaznaleziona w analizie ICA i jest to podstaw warunku numer 1.- 36 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychlosowych badamy zasadno naszego przypuszczenia i estymujemy parametrymodelu.Zakładany jest nastpujcy model danych:x = As + n, (3.11)gdzie x jest wektorem obserwowanych zmiennych, s – wektorem ukrytych zmiennych(czynników), których nie mona zaobserwowa. A jest macierz o wymiarach m × n, awektor n reprezentuje szum. Wektory x i n maj ten sam wymiar n, natomiast zazwyczajzakłada si, e s ma wymiar niszy od x. Porównujc wzory (3.11) i (3.6) łatwo zauwaypowizanie z ICA, natomiast biorc pod uwag redukcj wymiarów mona porównywaanaliz czynnikow z PCA.Istniej dwie główne metody analizy czynnikowej. Pierwsz z nich jest analiza czynnikówgłównych PFA (Principal Factor Analysis), która stanowi modyfikacj PCA. Idea polega nazastosowaniu PCA do danych x w taki sposób, by uwzgldni wpływ zaszumienia. Innymisłowy zakłada si, e macierz kowariancji szumu jest znana. Czynniki znajdowane s poprzezwykonanie PCA z wykorzystaniem zmodyfikowanej macierzy kowariancji powstałej wwyniku odjcia od macierzy kowariancji x macierzy kowariancji n. W ten sposób wektor suzyskuje si jako wektor składowych głównych x po usuniciu szumu. Druga popularnametoda moe by sprowadzona do wyznaczania składowych głównych na zmodyfikowanejmacierzy kowariancji.- 38 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychmTx ( t)= As( t)= s i( t)a. (4.1)i=1iCzyli x(t) jest wektorow reprezentacj obserwowanych bloków obrazów (jest to wektor nsygnałów, kady z nich o długoci N = k ×l, jako wynik skanowania bloków obrazu). {a i } ton wektorów cech (kady o długoci m) tworzcych wiersze macierzy (mieszajcej) A (kadywiersz stanowi wartoci cech, poszukiwane dla opisu tekstury w obserwowanym blokuobrazu). {s i } to m N-elementowych sygnałów ródeł jak na rysunku powyej.Dysponujc obserwacjami danymi w postaci kolejnych bloków obrazu x i (t) stosujemyalgorytm ICA pozwalajcy na jednoczesn estymacj nieznanych niezalenych składowych si pewnej macierzy W. Po "zamroeniu" macierzy W okrelany jest ostateczny wektorwyjciowy y taki, e:ŝ = y = W ⋅ x−1W ≈ A(4.2)Macierz W znaleziona w procesie „nauczenia” systemu składowych niezalenych nie jestdalej brana pod uwag. Dopiero w fazie aktywnej pracy systemu detekcji cech tekstury celemjest ustalenie dla kadego analizowanego bloku obrazu jego wektora cech a i . Ten problemsprowadza si do standardowego problemu identyfikacji kanału przesyłowego o wejciu s iwyjciu x.Podsumowujc własnoci metody ICA w procesie opisu tekstury obrazu:- ICA znajduje najbardziej „nie-Gaussowsk” dekompozycj obrazu;- funkcje bazowe ( ródła s) s dopasowane do konkretnej klasy obrazów;- wektory s i posiadaj naturaln interpretacj po przekształceniu ich w bloki obrazu - sdetektorami krawdzi w obrazie - interesujcy aspekt dla „biologicznych badapercepcji człowieka”.Aby uzyska redukcj rozmiaru przestrzeni cech w stosunku do rozmiaru oryginalnego blokuobrazu, naley zastosowa obróbk wstpn typow dla kompresji obrazu, np. w postaciPCA. Dla przykładu blok o rozmiarze 12 x 12 prowadzi do wektora obserwacji o długoci- 40 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych144; w procesie PCA mona wybra np. 50 najwikszych składowych głównych, dokonakompresji wektorów x do rozmiaru 50 x 1 i znale w procesie ICA macierz W o rozmiarze50 x 50. Oczywicie w celu 2-wymiarowej ilustracji wektorów bazowych (wierszy macierzyW) naley najpierw przywróci kady 50-elementowy wektor do postaci 144-elementowegowektora i dopiero wtedy zamienia je na bloki 12 x 12-elementowe4.2. Proces uczenia wektorów bazowych4.2.1 Przetwarzanie wstpnePrzypomnijmy, e w przypadku algorytmów ICA mówimy o zmiennych niezalenych (zob.rozdział 3.2). Dwie zmienne Gaussowskie nie mog by odseparowane w modelu ICA.Mieszaniny dwóch zmiennych Gaussa wymieszane ortogonaln macierz zachowuj rozkładyGaussa. Gsto rozkładu łcznego dwóch mieszanin jest wtedy w pełni symetryczna - niezawiera ona adnej informacji o kierunku wektorów w macierzy mieszajcej. Taka macierznie moe zosta znaleziona w analizie ICA.W celu uproszczenia algorytmów ICA stosuje si usuwanie wartoci redniej. Niech m bdziewektorem wartoci rednich wektora obserwacji x(t). Po estymacji sygnałów wyjciowych wICA ich wymagane wartoci rednie mog zosta odtworzone jako:A − 1 m , (4.3)gdzie A-1 jest odwrotnoci macierzy mieszajcej (okrelonej w procesie ICA).Stosowane jest równie „wybielanie” (ang. „whitening”, ortogonalizacja). Jest to linioweprzekształcenie wektora tak, aby poszczególne składowe obserwowanego wektora byłynieskorelowane i posiadały jednostkowe wariancje:[ ~ ~ Txx ] = IE . (4.4)Wybielenie próbek mona przeprowadzi np. dziki dekompozycji na wektory własnemacierzy kowariancji próbek (EVD).- 41 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychTT[ xx ] EDEE =D = diag d ,...,( )1d n(4.5)Nowy wektor pomiarowy otrzymujemy wyznaczajc:~ 2 Tx = ED− 1E x . (4.6)Proces ten przeprowadza macierz mieszajc w macierz ortogonaln~ − 1x = ED 2E As = As~ ~ T ~ T ~ T ~ ~ TE xx = AE ss A = AA =T ~[ ] [ ] I(4.7)Po przeprowadzeniu "wybielenia" obserwacji w procesie ICA zamiast estymacji n 2elementów (swobodnej) macierzy wystarczy teraz estymacja n(n-1)/2 elementów macierzyortogonalnej. W graficznej interpretacji dla 2-wymiariowego rozkładu (po „wybieleniu”uzyskujemy rozkład próbek w obszarze kwadratu) wystarczy teraz znalezienie jednego ktaobrotu, aby boki kwadratu były równoległe do osi układu współrzdnych. Moliwa te stajesi ewentualna redukcja rozmiaru macierzy - wtedy, gdy pewne wartoci własne λ j s ju zbytmałe.Przetwarzanie wstpne jest istotnym etapem przekształcenia ICA – pozwala na zmniejszenieliczby wykonywanych operacji oraz przygotowuje dane do dalszego przetwarzania.Rysunek 4.2 Graficzna interpretacja procesu wybielania - po wybieleniu uzyskujemy kwadratowy rozkładpróbek, wystarczy wic znalezienie jednego kta obrotu.- 42 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych4.2.2 Algorytm ICADo testów wykorzystano algorytm "FastICA", opracowany przez Hyvarinena, Karhunena iOj ([33], [39]). Pracuje on w trybie wsadowym i dlatego te moliwe jest zastosowaniekroków wstpnej obróbki danych, które przyspieszaj i ułatwiaj proces zbiegania si procesuuczenia wag macierzy W. Ten algorytm oparty jest na iteracyjnej regule modyfikacjimacierzy wag i takim kryterium kosztu, które wymusza takie wartoci macierzy W, przyktórych nastpuje maksymalizacja niegaussowskiego charakteru wektora wyjciowego y =Wx. Ten niegaussowski charakter jest wyraony np. przez dywergencj Kulbacka-Leiblera("negentropi"): p(y)KL( W) = p(y)log ∏ dy,Kp(yk) k=1 KL(W) = −H(Y;W) +Kk = 1H(Y k;W)(4.8)Pierwszy składnik wyraa entropi rozkładu łcznego, a drugi - sum entropii 1-wymiarowych rozkładów brzegowych. Warto KL(W) jest minimalna wtedy, gdyposzczególne zmienne s wzajemnie niezalene. Poniewa bezporednie obliczenie KL(W)jest zbyt złoone, w praktyce stosuje si aproksymacje rozkładów przy pomocy momentówwyszego rzdu i nieliniowych funkcji. Sam proces iteracji, którego celem jest minimalizacjakryterium kosztu KL(W), jest zbliony do metody Newtona.Przed wykonaniem algorytmu wymagana jest obróbka wstpna sygnału wektorowego, a wicusunicie wartoci redniej wektora obserwacji oraz wybielenie obserwacji.Pierwszym etapem algorytmu „FastICA” jest inicjalizacja macierzy wag W dowolnyminiezerowymi wartociami. Nastpnie dla wyj p = 1, ..., n wykonywane s kroki (2-4):1. Obliczany jest zmodyfikowany wektor:wT{ x ⋅ g( w x)} − E{ g'( w x)} ⋅ w= E , (4.9)+ T- 43 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychgdzie g jest funkcj nieliniow , g'jej pierwsz pochodn wzgldem czasu.2. Uzyskany w punkcie 1. wektor jest normalizowany do wektora o długoci jednostkowej :+ww = . (4.10)w+3. Aby zapobiec zdaniu poszczególnych wektorów do tego samego maksimum naleydokonywa dekorelacji kolejnego wektora wzgldem poprzednich wektorów wag.Moliwy jest tu np. schemat deflacji oparty na dekorelacji Grama-Schmidta (odaktualnego wektora odejmij sum rzutów poprzednich "ustalonych" wektorów, anastpnie znormalizuj tak otrzymany nowy wektor):pTp+ 1= wp+1− wp+1wjj=1w ;wp+1wp+ 1=.w wTp+1p+1(4.11)Jeli nie chcemy nadawa okrelonej kolejnoci wektorom wag, to moliwa jest tesymetryczna dekorelacja „macierzowa”:WW = . (4.12)TWW4. Jeli zbieno W nie wystpiła to algorytm jest powtarzany od kroku 1.Przekształcenia uzyskiwane w wyniku analizy ICA s estymowane w oparciu o same daneuczce – przykłady obrazów danego rodzaju ([38], [40], [41], [55]). ICA powinna dobrzespełnia rol klasyfikatora, gdy orientuje si na rónice pomidzy obrazami rónych klas([45], [56]).4.3. Detekcja cech a analiza obrazu i klasyfikacja.Opisywany algorytm „FastICA” wykorzystano do testów przydatnoci deskryptora opartego owspółczynniki przekształcenia ICA w klasyfikacji tekstur dla obrazów cyfrowych. W testach- 44 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychwykorzystano obrazy angiograficzne oraz, celem porównania, obrazy z albumu teksturBrodatz’a.Algorytm „FastICA” pozwala na okrelenie warunków wyznaczania współczynników.Testowano nastpujce parametry algorytmu:1. sposób estymacji składowych niezalenych w procesie dekorelacji:- symetryczny (jeden po drugim),- równoległy;2. funkcja nieliniowa do wyznaczania wektora we wzorze 4.9:-g ( ) = ,31u u- g ( u)= tanh( u)2,2 − u- g = ⋅ 3( u)u exp , 2-g ( ) = .24u uBadane były moliwe kombinacje tych parametrów. W niektórych przypadkach dla testówfunkcji nieliniowej nie udało si osign zbienoci algorytmu. Taka sytuacja miała miejscedla zastosowanych funkcji g 2 (u), g 3 (u) oraz g 4 (u), dlatego te w testach klasyfikatorówwykorzystano tylko deskryptory wyznaczone z wykorzystaniem funkcji g 1 (u).Schemat działania aplikacji testowej przedstawiony jest poniej:- 45 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 4.3 Schemat działania aplikacji testowej.Do testów wybrano obrazy w skali szaroci, o wymiarach 64 × 64 pikseli. Taki dobórparametrów obrazu umoliwia szybsze działanie algorytmu bez utraty istotnych informacji.W wyniku działania przekształcenia ICA otrzymuje si zestaw informacji, składajcy si zmacierzy składowych niezalenych, macierzy wag W oraz macierzy A, bdcej odwrotnocimacierzy W (zob. wzór 4.2), a zawierajcej wartoci cech obrazu, które bd nastpniewykorzystywane w procesie klasyfikacji. Rozmiary tych macierzy zale od liczby próbekpodlegajcych przetwarzaniu – jak wspomniano wczeniej, na etapie przetwarzaniawstpnego moliwe jest ograniczenie rozmiarów macierzy poprzez wybranie odpowiedniowysokich wartoci własnych. W najprostszym przypadku, kiedy nie stosujemy adnychogranicze, liczba próbek jest równa rozmiarowi macierzy reprezentujcej obraz. Jelinatomiast stosuje si ograniczenie liczby próbek, naley pamita o koniecznoci zachowaniatej samej liczby próbek dla kadego obrazu testowego, aby proces klasyfikacji na podstawiewektora cech, zbudowanego z współczynników przekształcenia ICA, przebiegał prawidłowo.Wymaga to wic wczeniejszych testów, w trakcie których mona okreli dopuszczalnminimaln ilo próbek.- 46 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 4.4 Na podstawie takiego wykresu mona odrzuci te wartoci własne, które nie przekraczaj pewnegoprogu. Dla obrazu tekstury z albumu Brodatz’a o rozmiarach 128 × 128, dla którego wykonano ten wykres,mona ograniczy rozmiar do (na przykład) 80 próbek bez ryzyka utraty istotnych informacji.Po wyznaczeniu macierzy A, z jej elementów tworzony jest wektor cech dla danego obrazu.W procesie klasyfikacji wektory cech rónych obrazów s porównywane z wykorzystaniemrónych typów klasyfikatorów.- 47 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych5. Obrazy angiograficzneAngiografia to metoda diagnostyki medycznej, która pozawala na wizualizacj naczykrwiononych (w tym ubytków) poprzez podanie rodka kontrastowego. Badania tego typuwykorzystywane s w na przykład w kardiologii w celu okrelenia ryzyka zawału lub zmianchorobowych (np. retinopatii cukrzycowej [70]).Rysunek 5.1 Obraz naczy krwiononych w mózgu (angiogram).Typow procedur w przypadku obrazów angiograficznych jest substrakcja. Zapamitywanyjest obraz przed podaniem rodka kontrastowego, który nastpnie odejmowany jest odkolejnych obrazów wykonywanych w trakcie badania [24]. Najczciej spotykane aplikacje- 48 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychdotycz wyznaczania konturów w obrazach, przy czym prezentowane s róne podejcia([69], [111]).W testach przeprowadzonych dla potrzeb niniejszej pracy wykorzystano obrazyprzedstawiajce proces angiogenezy. Angiogeneza, czyli tworzenie si nowych naczy,stanowi wany składnik wielu procesów fizjologicznych, takich jak organogeneza(wykształcanie si narzdów) czy gojenie si ran. Nadmierna, patologiczna angiogenezastanowi podłoe wielu chorób, np. przewlekłych chorób zapalnych tkanki łcznej, retinopatiicukrzycowej 1 i nowotworów [93]. Angiogeneza nowotworowa, czyli tworzenie si nowychnaczy w obrbie guza, jest procesem niezbdnym dla jego wzrostu i progresji przerzutów.Cz obrazów wykorzystanych w omawianych testach pochodzi z bada nad inhibitorami(czynnikami hamujcymi wzrost) procesu angiogenezy [4].Rysunek 5.2 Proces angiogenezy w tkance skórnej myszy. Zaznaczony obszar to miejsce wstrzykniciapreparatu.1 Retinopatia cukrzycowa – powikłanie cukrzycy, najczstsze schorzenie oka, polegajce na uszkodzeniu małychnaczy krwiononych siatkówki, prowadzce do uszkodzenia wzroku oraz lepoty.- 49 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 5.3 Proces angiogenezy w zarodku kurzym.Analizujc tego typu obrazy angiograficzne mona bra pod uwag zarówno długo naczy,jak te ich rednic. W przypadku angiogenezy istotna te jest ocena iloci naczy w danymobszarze. Wykorzystujc metody analizy tekstur w obrazach cyfrowych monaprzeprowadzi analiz porównawcz obrazów badanych wobec kontrolnych (stwierdzi, czynastpił przyrost naczy, czy te ich ubytek).- 50 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych6. Klasyfikatory cech6.1. Problem klasyfikacjiW dziedzinie rozpoznawania wzorców proces klasyfikacji polega na przypisaniu wektoracech c, reprezentujcego badany wzorzec, do pewnej dyskretnej klasy i ze zbioru klas .Wymagany wektor cech jest wynikiem przekształcenia całego wzorca (w tym przypadkuobrazu) w wyniku transformacji przestrzeni reprezentacji lub segmentacji obrazu. Dobryproces detekcji cech powinien doprowadzi do sytuacji, gdy cechy wzorca tej samej klasyzajmuj „zwarty” obszar w przestrzeni cech, a obszary cech wzorców rónych klas mog byod siebie odseparowane. Klasyfikacja wzorca wymaga podjcia decyzji. Decyzjapodejmowana jest zarówno na podstawie obserwacji danego wektora cech, w oparciu owiedz nabyt na podstawie zbioru uczcego.Kryteria oceny jakoci (optymalnej) klasyfikatora mona definiowa na róne sposoby. Poduwag mona bra takie aspekty jak:- warto prawdopodobiestwa błdnej klasyfikacji, koszt ryzyka,- złoono obliczeniowa,- zdolno do uczenia reguł,- zdolno do uogólnienia dla nieznanych próbek.- 51 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychStatystyczna ocena klasyfikatora obejmuje trzy zagadnienia. Pierwszy stanowi opisstatystycznych własnoci analizowanych wzorców. Po wielu decyzjach moliwe jestoszacowanie prawdopodobiestwa błdów przekształce. W drugim etapie obliczane jestryzyko (koszty) podjcia decyzji. Koszty powstaj, gdy wzorzec zostanie zaklasyfikowanybłdnie do klasy i zamiast j. Trzecie zagadnienie wie si z tym, czy poziom błdu macharakter reprezentacyjny dla całoci obszaru cech, czy te ogranicza si do obszarupokrytego przez próbki uczce. W przypadku, gdy wybierana jest dokładnie jedna sporód Kmoliwych klas, to najczciej stosuje si zero-jedynkow funkcj kosztu:r kk = 0,r ik = 1 dla i k oraz i,k = 1, …, K(6.1)W takim przypadku optymalny jest klasyfikator Bayesa jako osigajcy najmniejszeprawdopodobiestwo błdu [112], jeli taki błd moe zosta oszacowany. W praktyce jest toprawda, gdy zbiór próbek uczcych ma charakter reprezentatywny dla całej dziedziny cech.W przeciwnym razie moemy wiarygodnie oszacowa jedynie tzw. błd empiryczny. Błdempiryczny jest minimalizowany najlepiej przez klasyfikator SVM.Podstawowe załoenia konstrukcyjne klasyfikatora s nastpujce:- jeli wektory cech nale do tej samej klasy, odległo midzy nimi jest mała,- jeli wektory cech nale do rónych klas, odległo midzy nimi jest dua.Odległoci midzy wektorami cech mona wyznaczy korzystajc z funkcji gstociprawdopodobiestwa, odległoci Euklidesowej lub metryki modułowej.6.1.1 Podstawowe typy klasyfikatorów numerycznychPrzykłady klasyfikatorów numerycznych najczciej wystpujce w literaturze [103]:1. Klasyfikator statystycznyRozkład prawdopodobiestwa klas nad przestrzeni cech ma znan posta, a zadaniemprocesu uczenia jest wyznaczenie parametrów tego rozkładu dla kadej z rozpatrywanychklas. Zakłada si, e próbki uczce maj charakter reprezentatywny dla całoci rozkładu.Klasyfikator statystyczny moe dysponowa parametryczn lub nie-parametrycznfunkcj gstoci. Do tej grupy zalicza si klasyfikator Bayesa i jego uproszczone formy –- 52 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychklasyfikator najwikszej wiarygodnoci i klasyfikator geometryczny według najmniejszejodległoci.2. Klasyfikator SVM (maszyna wektorów nonych)Zakłada si, e próbki uczce maj skoczony charakter, a wic nie s reprezentatywnedla całoci rozkładu. Klasyfikacja K klas ma charakter wielokrotnej klasyfikacji binarnej.3. Klasyfikator według funkcji potencjałuDla danego zbioru próbek okrelana jest rodzina funkcji potencjału zgodna z jegocharakterem (np. funkcja liniowa, wielomian). Pojedyncza funkcja jest zwizana z klaspoprzez odpowiedni zestaw parametrów, a klasyfikacja odbywa si zgodnie zmaksymaln wartoci funkcji potencjału dla danego wektora cech. Klasyfikator tenzostał jednak wykorzystany w testach, poniewa zdecydowano si na bardziej optymalnSVM.4. Klasyfikator neuronowySieci neuronowe wykorzystywane s do aproksymacji funkcji rozdzielajcych lub regułdecyzyjnych. W celu klasyfikacji wektora cech najczciej uywa si sieci typu„wielowarstwowy perceptron”.5. Klasyfikator k-ssiadówW procesie uczenia okrela si podział przestrzeni cech, a kada próbka uczca jestpojedynczym reprezentantem danej klasy. W procesie klasyfikacji 1 lub wicejreprezentantów ssiadujcych z aktualnie klasyfikowan próbk rywalizuje w głosowaniuza swoj klas.6.2. Klasyfikator statystyczny BayesaNiech- x – zmierzony (wykryty) wektor cech, który powinien zosta przypisany do pewnejklasy- C k – klasa cech tekstury, k=1, …, K.- 53 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychW procesie uczenia klasyfikatora wartoci parametrów k i k , dla kadej klasy C k , gdziejest próbk klasy C k , mog by oszacowane według metody najwikszegoprawdopodobiestwa:(k )xi1 N k)i( kµ ≅ x , (6.5)kNk i=1Σk≅1Nk i=1N k( k ) T ( k )( x − µk) ( x − µk)ii. (6.6)6.2.2 Reguła decyzyjnaPoszukujemy wartoci P(C k |x i ) - prawdopodobiestwo warunkowe a posteriori klasy C k dlawektora x i takie, eargmaxP ( Ck| xi) . (6.7)KDla oznacze jak powyej (x i – wektor cechy, C k – klasa) twierdzenie Bayesa jest postaci:P(CkP(xi| Ck) ⋅ P(Ck)| xi) = . (6.8)P(x )iOznaczenie: C k |x i – zdarzenie „obiekt naley do klasy C k , jeli zmierzona cecha ma wartox i ”. W liczniku wyraenia (6.5) wystpuj oba prawdopodobiestwa a priori.Prawdopodobiestwo błdnej klasyfikacji jest najmniejsze, jeli wybrana zostanie klasa C k ,dla której prawdopodobiestwo warunkowe a posteriori (6.5) jest najwiksze.Poniewa mianownik wyraenia (6.5) ma tak sam posta przy wyznaczaniu tegoprawdopodobiestwa dla kadej klasy, mona pomin jego wartoci w funkcji decyzyjnej.Reguła decyzyjna klasyfikatora Bayesa to:( X ) = argmax p( C | X ) = argmax p( C ) p( X | C )ςkkk(6.9)kk- 55 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychDla jednorodnego rozkładu klas (równe prawdopodobiestwa dla wszystkich par klas) reguładecyzyjna Bayesa sprowadza si do reguły decyzyjnej najwikszej wiarygodnoci:( X ) = argmax p( C ) p( X | C ) = argmax p( X | C )ςkkk(6.10)kkJeli prawdopodobiestwa a priori ustalone s w sposób reprezentacyjny dla całego wektoraklas, to prawdopodobiestwo błdu klasyfikatora Bayesa p B stanowi doln granic błdudowolnego klasyfikatora [67].W czci eksperymentalnej zastosowany zostanie klasyfikator Bayesa, dla którego w procesieuczenia zastosowano funkcj gstoci dla rozkładu normalnego – wzór (6.4).6.2.3 Klasyfikator według minimalnej odległociPodstaw klasyfikacji minimalnoodległociowej jest załoenie, e zbiór wektorów cechtworzy obszary skupie w swojej przestrzeni [85]. Dla tego typu klasyfikatora oblicza si dlakadej klasy C k odległo wektora cech od rodka danej klasy. Dokładno i czasrozpoznawania zale od wybranej metryki przestrzeni cech. Jedn z popularniejszych istosowanych w tej pracy jest metryka Euklidesowa, dla której miara odległoci wyraa siwzoremd =N −j=01( ) 2'x j− x j(6.11)gdzie:- N – liczba wyznaczonych cech- x, x'– wartoci charakteryzujce cechy dla wektora cech i rodka klasy.Reguła podejmowania decyzji w tym przypadku oznacza, e nieznany obiekt zostaniezakwalifikowany do tego obszaru, do którego rodka jest najbliej w przestrzeni cech. Jest tospecyficzny przypadek klasyfikatora Bayesa. Na przykład dla dwóch klas reguła decyzyjnaporównuje kwadratowe miary odległoci Euklidesowej aktualnego wektora cech od rodkówrozkładów klas (reguła decyzyjna według minimalnej odległoci):- 56 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych− 1T −1[ µi i i] > log p( Cj) − [( x − µj) Σj( x −j)]1T 1log p ( Ci) − ( x − ) Σ ( x − µ )µ . (6.12)22Po uproszczeniu tej reguły otrzymujemy reguł decyzyjn według minimalnej odległoci:TT( x µ ) ( x − µ ) < ( x − µ ) ( x − µ )− ,iii2x − µ < x − µ .jj2j(6.13)Reguła (6.12) powstaje z reguły klasyfikatora Bayesa przy załoeniu, e p(C i ) = p(C j ) dlai,j=1,…,K oraz normalizacji przestrzeni cech i = 1, i=1,…,K.6.3. Klasyfikator „k najbliszych s siadów”W przypadku klasyfikatora k-NN („k najbliszych ssiadów”) wymagany jest zbiór próbekwektorów cech x i nalecych do klas C i . Reguła decyzyjna polega na przypisaniu nowegowektora cech do tej klasy, do której naley wikszo sporód k jego najbliszych ssiadów[80].W przypadku, gdy rozwaamy tylko jednego ssiada (a wic klasyfikator według najbliszegossiada – klasyfikator NN), reguła decyzyjna ma posta:{ x x , i =1,K}arg − 2 , (6.14)mini,...,C kgdzie x oznacza nowy wektor. Zbiór punktów, dla których najbliszym ssiadem jest x i ,nazywany jest komórk Voronoi’a dla x i . W ten sposób dzielona jest cała przestrze cech.- 57 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 6.1 Przykładowy zbiór Voronoi'a.Jeli przyjmiemy jako p B prawdopodobiestwo błdu klasyfikatora Bayesa (zob. rozdział6.2), to prawdopodobiestwo błdnej klasyfikacji dla klasyfikatora NN dla K klas monaoszacowa jako: K pB ≤ pNN≤ pB2− pB(6.15) K −1W przypadku klasyfikatora k-NN reguła decyzyjna polega na wybraniu klasy najlepszejwród k najbliszych ssiadów. Prawdopodobiestwo błdnej klasyfikacji dla klasyfikatora k-NN zbiega do prawdopodobiestwa błdu klasyfikatora Bayesa wraz ze wzrostem próbekuczcych i wartoci k.6.4. Klasyfikator SVMAlgorytm klasyfikacji SVM (Support Vector Machine) przedstawiony został m. in. w pracach[109] i [110]. W algorytmie tym przyjmuje si skoczony charakter próbek uczcych.Problem sprowadza si do wielokrotnej decyzji pomidzy dwiema klasami (lub grupami klas)(oznaczanymi zwykle jako „+1”, „-1”). Podczas uczenia maszyny poszukuje si optymalnejhiper-płaszczyzny (dla przypadku liniowego) lub hiper-powierzchni (dla „nieliniowej”maszyny) [67]. Algorytm SVM z powodzeniem stosuje si w dziedzinie rozpoznawaniatwarzy czy znaków [21].- 58 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychDla binarnej maszyny SVM mona wybra jedn ze strategii klasyfikacji k klas:- jedna przeciw wszystkim pozostałym: klasyfikator decyduje o przynalenoci próbkido danej klasy lub do pozostałych (k-1) klas,- jedna przeciw jednej: dla kadego binarnego klasyfikatora wybrana klasa uzyskujepunkt, a decyzja k-klasowa polega na wyborze klasy o najwikszej liczbie punktów,- jedna przeciw pozostałym: po uporzdkowaniu klas w szereg, realizuje si (k-1)klasyfikatorów binarnych dla odrónienia pojedynczej klasy od pozostałych,nastpnych w szeregu.Do testów wybrano podejcie „jedna przeciw jednej”.6.4.1 Funkcje kosztu empirycznegoZałómy, e zadaniem maszyny jest przypisanie pewnych danych x i (reprezentowanych jakowektor) do pewnej klasy okrelanej za pomoc y i . Dla danych uczcych istnieje te pewnanieznana funkcja prawdopodobiestwa P(x, y). Próbki rozdzielane s pomidzy klasami zapomoc funkcji rozdzielajcej f(x, ), gdzie jest parametryzatorem. redni koszt (ryzyko)takiej klasyfikacji okrelamy jako:1R ,2( α ) = y − f ( x,α ) dP( x y). (6.16)Funkcja P(x, y) jest nieznana, wic powyszy wzór naley zastpi oszacowaniem ryzykaempirycznego. Dla N próbek uczcych oszacowanie takie przyjmuje posta:ReN1α , . (6.17)2N( ) = yi− f ( xiα )i=112Wielko y − f ( ,α )ix inazywana jest strat [8].Dla kadej funkcji rozdzielajcej f i dla kadego N >h zachodzi z prawdopodobiestwem 1-zaleno [109]:- 59 -

R( α ) R ( α )E. Snitkowska Analiza tekstur w obrazach cyfrowych[ log( 2 N / h)+ 1] − log( η / 4)h≤e+. (6.18)NWarto mona okreli nastpujco: załómy, ze zadaniem maszyny jest przypisanieobrazu do jednej z dwóch klas. Wówczas strata moe przyj tylko dwie wartoci – 0 albo 1.W takim przypadku 0 1. Z kolei parametr h nazywany jest rozmiarem Vapnika-Chervonenkisa lub krótko – rozmiarem VC.Rozmiar VC, we wzorze (6.27) oznaczony jako h, jest miar zbioru funkcji rozdzielajcych.Dla problemu dwóch klas h wyznacza maksymaln liczb wzorców, które mog byrozdzielone we wszystkie moliwe sposoby – liczba takich podziałów wynosi 2 h . Wystarczyprzy tym, aby dla kadego sposobu podziału istniał przynajmniej jeden zbiór wzorców omocy h, tzn. istnieje wtedy przynajmniej jedna prawidłowa funkcja rozdzielajca.Specyficznym zbiorem funkcji rozdzielajcych jest zbiór zorientowanych hiperpłaszczyznx, ~ Tf ( ) = x + 0 ~. (6.19)=α0Za pomoc tych płaszczyzn okrelamy, czy wynik ley po „dodatniej” czy po „ujemnej”stronie płaszczyzny, lub te na płaszczy nie rozdzielajcej. Rozmiar VC zbioruzorientowanych hiper-płaszczyn w przestrzeni R n wynosi k = n +1 [8].Celem SVM jest minimalizacja oszacowania ryzyka empirycznego.6.4.2 Próbki separowalne liniowoZakładamy, e dwie klasy mona dokładnie rozdzieli za pomoc hiperpłaszczyzny ,zdefiniowanej jak (6.19). Wówczas dla kadej próbki moemy otrzyma y i = 1 lub y i = -1.Zachodzi:x T + 0 ≥ +1(6.20)- 60 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychgdy y i = 1 orazx T + 0 ≤ −1(6.21)gdy y i = -1.„Pozytywna” odległo danego punktu od hiperpłaszczyzny zachodzi, gdy punkt ley wkierunku wektora normalnego do powierzchni. Dla przypadku, gdy y i moe przyjmowa tylkodwie wartoci (próbki klasyfikowane „pozytywnie”: y i = 1 i „negatywnie”: y i = -1) otrzymamydwie hiperpłaszczyzny odległe od siebie o2 / α (tzw. margines), pomidzy którymi nie leadne próbki uczce. Sensownym kryterium podlegajcym optymalizacji jest maksymalizacjaodstpu lub minimalizacja |a| 2 .Wektorami nonymi nazywamy te z próbek uczcych, które le dokładnie nahiperpłaszczyznach. Obecno wektorów nonych jest warunkiem wystarczajcym ikoniecznym do wyznaczenia hiperpłaszczyzny optymalnej H*.Rysunek 6.2 Optymalna hiperpłaszczyzna rozdzielajca H* dla dwóch klas próbek.Optymalny liniowy klasyfikator wyznaczany jest przez hiperpłaszczyzn H* zdefiniowanjako:- 61 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych(x,~) = x TH * : f + α = 0n 0. (6.22)Hiperpłaszczyzn (6.22) uzyskuje si dziki minimalizacji kryterium |a| 2spełnionych warunkachoraz przyn( x ) T + α n−10y (6.23)0≥dla kadego z N wektorów x. Wówczas reguła decyzyjna ma posta:Ω1: y ≥ 0x ∈ (6.24)Ω2: y < 0Definicja (6.24) odpowiada problemowi optymalizacji metod wypukłego oprogramowaniakwadratowego z nierównociowymi ograniczeniami liniowymi.Aby zredukowa warunki dodatkowe (6.23), wprowadza si mnoniki Lagrange’a( ϑ ) Tϑ = ,..., . Otrzymujemy w ten sposób funkcjonał1ϑ N2α( ~N, ϑ) − ϑ [ y ( x + α ) −1]L = T n n n 02, (6.25)n=1który naley minimalizowa wzgldem i 0 do momentu, gdy nie zanikn pochodnewzgldem ϑ . Dla optymalizacji funkcjonału L okrelone s warunki konieczne iwystarczajce (Karush-Kuhn-Tucker):∂L∂= −Nn=1ϑ x = 0(6.26)ny nn∂L∂α0= −Nn=1ϑny n= 0(6.27)0 ≤ ϑ0 ≤ ϑTn( xn + α0) −1T[ y ( x + α ) −1]0 ≤ y (6.28)nnnn0- 62 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychdla n = 1, …, N.W przypadku maszyn SVM przekształca si problem (6.25) w dualny problemmaksymalizacji funkcjonału z warunkiem dodatkowym o zanikaniu pochodnych i 0 . Jelido wzoru (6.25) wstawimy pochodne (6.26) i (6.27), otrzymamy dualny problem postaciWolfa:LdNN N1T( ϑ) = ϑn− ϑiϑjyiyj( cicj)n=12i= 1 j=10 =0 ≤ ϑNn=1nϑ ynn, (6.29)Zadaniem uczenia maszyny SVM jest maksymalizacja funkcjonału L d wzgldem ϑ przypodanych warunkach dodatkowych, które s niezalene od i 0 . Po wyznaczeniu ϑ wartociuzyskujemy korzystajc ze wzorów (6.26) i (6.27).Korzystajc z definicji (6.25) mona przekształci definicj (6.22) do postaci:Nn=1T( x x ) + α = 0H* : f (x, ~ ) = ϑn y n n n 0. (6.30)Na podstawie (6.30) mona stwierdzi, e do wyznaczenia optymalnej hiperpłaszczyznywystarcz wektory cech, dla których mnonik Lagrange’a wynosi ϑ > 0 (wektory none).n6.4.3 Próbki nie separowalne liniowoJeli przypadek omawiany w rozdziale 6.4.2 uogólnimy na próbki, których nie da si liniowoodseparowa, wówczas w równaniach okrelajcych przypisanie próbki do klasy trzebauwzgldni pewn zmienn i >0, która okrela wzajemne „przebicie” obszarów próbek.Zachodzi:x T + ≥ + 1− δ(6.31) 0- 63 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychgdy y i = 1 orazx T + ≤ −1+ δ(6.32) 0gdy y i = -1.Błd klasyfikacji próbki i-tej za pomoc hiperpłaszczyzny powstaje wówczas, gdy i >1.Oszacowaniem takich błdów bdzie wówczas suma iδi, która równie powinna byminimalizowana.6.5. Klasyfikator neuronowyJeeli nie zakładamy okrelonej (zadanej) postaci funkcji rozdzielajcych, funkcji potencjałulub funkcji rozkładu prawdopodobiestwa, to moemy zastosowa klasyfikator zbudowany woparciu o sieci neuronowe. W przypadku uywania sieci neuronowej jako klasyfikatora,sygnałami wejciowymi s wykryte wczeniej cechy obrazu. Liczba neuronów wejciowychjest równa liczbie analizowanych cech, natomiast wyj jest tyle, ile klas obrazów ([20],[101], [102]). Popularnym klasyfikatorem jest wielowarstwowa sie jednokierunkowa MLP(perceptron).W sieci jednowarstwowej neurony ułoone s w jednej warstwie [73]. Połczenie wektorawejciowego neuronami warstwy wyjciowej jest zwykle pełne, to znaczy kady wzełwejciowy jest połczony z kadym neuronem wyjciowym. Połczenia reprezentowane sprzez macierz wag połcze W.- 64 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychw 11Σy 1f(y)z 1w 1nx 1...x nw 21w 2nw 31w 3nΣΣy 2y 3f(y)f(y)z 2z 3w 41w 4nΣy 4f(y)z 4Rysunek 6.3 Sie neuronowa jednokierunkowa jednowarstwowa.W sieciach jednokierunkowych sygnały wejciowe s przesyłane od wejcia do warstwywyjciowej poprzez połczenia pobudzajce. Funkcja pobudzania neuronu wyjciowego maposta:y = W · x (6.33)Istniej równie sieci rekurencyjne, które posiadaj jedynie połczenia hamujce midzyneuronami warstwy, zebrane w postaci macierzy wag H. Dla takiej sieci funkcja pobudzenianeuronów wyglda nastpujco:y = x – H · y (6.34)W stanie ustalonym liniowa sie rekurencyjna jest równowana liniowej siecijednokierunkowej o postaci:y = (I + H) -1 · x (6.35)gdzie I oznacza macierz jednostkow.Typow stosowan funkcj aktywacji f(y i ) w sieci MLP jest funkcja sigmoidalna unipolarnaf ( yi1) =1 + exp( − βy)i, (6.36)- 65 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychgdzie jest zadanym parametrem, a sygnał wyjciowy neuronu przyjmuje wartoci zprzedziału [0, 1], lub funkcja bipolarna αyif ( yi) = tgh(6.37) 2gdzie jest zadanym parametrem, a sygnał wyjciowy neuronu przyjmuje wartoci zprzedziału [-1, 1].W przypadku sieci wielowarstwowych wystpuje jedna lub wicej warstw ukrytych, opróczwarstwy wejciowej i neuronów wyjciowych ([65], [96]).Dla kadej warstwy l = 0, 1, 2, … przyjmujemy funkcj:( l ) ( l−1)( l )[ y − ]( l )yi= ψ WiΘ , (6.38)przy czym y 0 =x. Indeks i oznacza i-te wyjcie w ramach warstwy, natomiast indeks l jestindeksem warstwy. W powyszym wzorze [] oznacza nieliniow funkcj aktywacji,zazwyczaj sigmoidaln funkcj postaci:1ψ ( y)=, (6.39)1 + exp( − y)o cigłej pochodnej wynoszcej:∂ψ= ψ∂y[ 1 −ψ]. (6.40)Oznaczenie i to wektor dodatkowych wej, który wyznacza warto progow dla „szumówpomiarowych”.W przypadku klasyfikatorów opartych na sieciach neuronowych mamy do czynienia zuczeniem z lub bez nauczyciela [102]. Dla uczenia z nadzorem stosuje si reguł Widrofa-Hoffa („delta”), która mówi, e waga wejciowa i-tego neuronu połczenia z j-tym neuronemwyjciowym jest wzmacniana proporcjonalnie do rónicy podanej i rzeczywistej aktywacji.- 66 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychDla sieci MLP stosuje si uogólnion reguł „delta”, czyli reguł „wstecznej propagacjibłdu” w perceptronie:( l−1( y ) T∆W= η d(6.41)( l ) ( l ) )igdzie y 0 =x, a d (l) jest wektorem korekcji wag dla neuronów l-tej warstwy.Dla uczenia bez nadzoru mamy reguł Hebba wzgldnie anty-Hebba [66], która mówi, ewaga łuku pobudzajcego wzgldnie hamujcego jest wzmacniana, gdy aktywacje obupołczonych neuronów s skorelowane (np. PCA lub ICA dla sieci rekurencyjnej). Inaczejmówic, jeli aktywny neuron A jest cyklicznie pobudzany (lub hamowany) przez neuron B,to staje si on jeszcze bardziej czuły na pobudzenie tego neuronu.6.5.1 Klasyfikator zastosowany w testachNa potrzeby testów zastosowano neuronow sie konkurencyjn (ang. competitive).Podstawowa sie konkurencyjna składa si z dwóch warstw – warstwy obliczajcejpodobiestwo i warstwy konkurencyjnej.Warstwa wyznaczajca podobiestwo zawiera macierz wag W, o rozmiarach m × p. Kadywiersz macierzy W powizany jest z jednym neuronem. Zadaniem warstwy jestwygenerowanie sygnałów d(n), które okrelaj podobiestwo (odległo) midzy wektoremwejciowym x(n) a kadym z wektorów w i (n). Z kolei warstwa konkurencyjna generuje msygnałów binarnych y i . Sygnał taki przyjmuje warto „1” dla neuronu, dla którego sygnałodległoci d i jest najmniejszy. Innymi słowy y i =1 oznacza, e i-ty wektor w i (n) jestnajbardziej podobny do sygnału wejciowego x(n).W przypadku sieci konkurencyjnej wagi modyfikowane s w odpowiedzi na sygnaływejciowe – jest to uczenie bez nadzoru. Sama warstwa konkurencyjna jest siecirekurencyjn ze zdefiniowan macierz połcze M:- 67 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych1 − αM = , −α 1gdzie

E. Snitkowska Analiza tekstur w obrazach cyfrowych7. Eksperymenty dotycz ce detekcji cechtekstur7.1. Obrazy testoweDo testów omawianych metod analizy tekstury wybrano dwie grupy obrazów. Pierwszstanowił tradycyjny zbiór tekstur z albumu Brodatz’a [7], natomiast drug – obrazyangiograficzne.7.1.1 Tekstury z albumu Brodatz’aAlbum Brodatz’a jest podstawowym ródłem obrazów tekstur dla wielu aplikacji zwizanychz t tematyk. Zawiera zbiór obrazów przedstawiajcych tekstury rónych typów: o rónymstopniu porowatoci, regularnoci wzorca itp. Przykłady tekstur z albumu Brodatz’aprzedstawia poniszy Rysunek 7.1.- 69 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 7.1 Przykłady tekstur z albumu Brodatz'aTekstury te posłuyły za punkt odniesienia dla bada nad obrazami angiograficznymi i dotestów poprawnoci implementowanych algorytmów.7.1.2 Obrazy angiograficzneAplikacja wyszukuje w badanym obrazie obszary zawierajce okrelone informacje. Dlapotrzeb testów odpowiednie obszary zostały oznaczone i opisane przez specjalistów lekarzybiorcych udział w grancie 7T08A05016 realizowanym przez autork ([4], [93]). Obszary tewykorzystano w niniejszej pracy w procesach uczenia klasyfikatorów. Obszary te zawierajnowo powstałe naczynia krwionone bdce odgałzieniami ju istniejcych „głównych”naczy. O ile za pomoc deskryptora tekstury trudno okreli długo i krto naczynia, otyle deskryptor ten moe przenosi wystarczajco duo informacji, by wyróni klasyobszarów zawierajce take naczynia. Takie podejcie pozwala na wyrónienie obrazówzawierajcych okrelone obszary lub te na porównanie obrazów jednej serii (np. zdjciatkanki pacjenta wykonane w pewnych odstpach czasu).- 70 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 7.2 Przykłady obrazów angiograficznych (zarodek kurzy)7.2. Wyniki detekcji cech7.2.1 Wektory cech oparte o filtry GaboraJako metod wyznaczania wektorów cech wykorzystano w tym przypadku deskryptorytekstury opisane w standardzie MPEG-7 (zob. 2.1.5). Po testach wstpnych zadecydowano, ezastosowany zostanie deskryptor połczony, składajcy si z deskryptora tekstury jednorodnejHTD i deskryptora przegldania tekstury TBD. Takie podejcie zostało podyktowane faktem,e sam deskryptor przegldania tekstury dawał zbyt podobne wyniki, by mona byłoprzeprowadzi klasyfikacj. Mona to łatwo wytłumaczy tym, e TBD jest bardziej ogólny,poniewa operuje na bardziej percepcyjnych właciwociach obrazu. Wykorzystana seriazawierała bardzo podobne wizualnie obrazy – zdjcia zarodka kurzego, std tak zblionewyniki. Natomiast w połczeniu z deskryptorem tekstury jednorodnej otrzymano bardziejzrónicowane wyniki. Dlatego te TBD moe by wykorzystany do rozrónienia obrazówrónych typów (np. obrazy przedstawiajce angiogenez w tkance skórnej i angiogenez w- 71 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychzarodku kurzym), natomiast HTD słuy do rozróniania obrazów nalecych do tego samegotypu.Deskryptor tekstury jednorodnej moe składa si z 32 lub 62 elementów i zawiera redniwarto pikseli i odchylenie standardowe dla nich oraz tabel wartoci energii dla 30 kanałówwynikajcych z podziału obszaru czstotliwoci obrazu. W wersji 62-elementowej zawieradodatkowo tablic odchyle standardowych energii dla 30 kanałów czstotliwoci. Tabela 7.1przedstawia rednie wyniki dla deskryptora tekstury jednorodnej. Testy wykonano dlaobrazów w skali szaroci, o rozmiarach 64 × 64 pikseli. Badania przeprowadzono dla seriizdj przedstawiajcych rozwój naczy krwiononych w zarodku kurzym (obrazyangiograficzne), dla tych samych obrazów przekształconych do postaci krawdziowej oraztekstur z albumu Brodatz’a.Tabela 7.1 rednie wyniki dla deskryptora tekstury jednorodnej. Oznaczenia: – rednia intensywno pikseli, - odchylenie standardowe, |e| - energia (moduł), | e | - odchylenie standardowe energii (moduł)rednie wartoci |e| | e |Obrazy angiograficzne 102.0058 2.7855 1.7383 3.6106Obrazy angiograficzne krawdziowe 28.5703 8.6174 2.1531 4.0427Tekstury Brodatz’a 151.9115 4.4093 2.2922 4.1044Tabela 7.1 przedstawia rednie wyniki dla deskryptora tekstury jednorodnej. W trakcie testówzastosowano dwa podejcia dla wyznaczania energii – z uwzgldnieniem wartoci stałej dlaczci rzeczywistej współczynników funkcji Gabora i bez uwzgldnienia tej wartoci.Współczynniki te pozwalaj na wyznaczenie energii i jej odchylenia standardowego dladeskryptora HTD oraz elementów deskryptora TPD. W dalszych rozwaaniach pominitowartoci wyznaczone dla TBD jako mniej istotne. W trakcie testów okazało si, e wartostała czci rzeczywistej współczynników funkcji Gabora ma znikomy wpływ na wartocielementów deskryptora (wartoci s sobie równe do 5-6 miejsca po przecinku).Na rysunkach poniej (Rysunek 7.3 i Rysunek 7.4) widoczny jest rozrzut midzy wartociamiredniej intensywnoci pikseli i odchylenia standardowego oraz płaski przebieg wykresów dlawartoci energii i jej odchylenia standardowego.- 72 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 7.3 rednia intensywno pikseli dla deskryptora HTD dla serii 35 obrazów angiograficznych.765Odchylenie standardoweenergii4321Odchylenie standardoweEnergia00 5 10 15 20 25 30 35Rysunek 7.4 Przykładowe wyniki HTD dla serii 35 obrazów angiograficznych: odchylenie standardowe(czerwona linia), energia (moduł, zielona linia) oraz odchylenie standardowe energii (moduł, niebieska linia)- 73 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychW trakcie testów badany był równie rozbudowany deskryptor, powstały w wynikupołczenia deskryptora tekstury jednorodnej HTD oraz deskryptora przegldania teksturyTBD. Przypomnijmy, e deskryptor TPD składa si z 3 lub 5 elementów: regularnoci wzorcaoraz jednego lub dwóch kierunków dominujcych i przypisanych do nich skal (zob. 2.2.3).Testy wykazały nieistotny w praktyce wpływ wartoci elementów tego deskryptora dlaobrazów angiograficznych, bdcych głównym obiektem bada. Wynika to z tego, e TPDsłuy głównie do zgrubnej klasyfikacji ([1]) i nie przenosi w sobie zbyt szczegółowychinformacji. Dlatego te w przypadku obrazów bardzo do siebie podobnych wizualnie, jak mato miejsce w przypadku obrazów angiograficznych, jego wpływ jest niewielki lub aden.Znaczenie miał w tym przypadku równie fakt, e w testach wykorzystano obrazy jednegotypu, czyli przedstawiajce angiogenez w zarodku kurzym. W przypadku, gdyby rowaanebyły obrazy przedstawiajce róne typy angiogenezy, wartoci elementów TPD miałybywiksze znaczenie.7.2.2 Wektory cech oparte o PCADo wyznaczania cech tekstury mona równie zastosowa przekształcenie PCA (zobaczrozdział 3.1). W tym przypadku jako elementy wektora cech traktowane s składowe głównedla przekształconego obrazu.Do testów wykorzystano obrazy w skali szaroci, o rozmiarach 64 × 64 pikseli. Dowyznaczenia wektora cech wybrano algorytm SVD (ang. singular value decomposition),który przekształca dane wejciowe X (macierz o rozmiarach m × n) do postaci:TX = U * S * V(7.1)Macierz U ma rozmiary m × n, pozostałe dwie - n × n. Macierz V zawiera składowe główne,natomiast macierz S jest diagonalna a jej niezerowe wartoci s wartociami własnymidanych wejciowych. Przyjmuje si, e wartoci własne sortowane s w porzdku malejcym– pozwala to na wybranie tylko k najwikszych wartoci, a wic ograniczenie rozmiaruwektora wyjciowego.- 74 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychW przypadku obrazów testowanych na potrzeby niniejszej pracy maksymalny rozmiarwektora testowego wynosił 64 (tyle, ile wymiary danych wejciowych). Ponisza tabelaprzedstawia przykłady obrazów uzyskanych po ograniczeniu liczby składowych:Obraz oryginalny5 pierwszych 5,4510 pierwszych 4,0420 pierwszych 2,7530 pierwszych 2,0540 pierwszych 1,5850 pierwszych 1,22Rysunek 7.5 PCA: Przykładowe obrazy uzyskane dla okrelonej liczby najwyszych wartoci własnych .Rysunek 7.5 zawiera równie informacje o błdach dla obrazów po przekształceniach. Jakobłd przyjto warto oczekiwan rónicy midzy obrazem oryginalnym i obrazem poprzekształceniach. Mniejsza warto błdu oznacza lepsz jako odtworzonego obrazu.- 75 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychniebieskizielonyczerwonyRysunek 7.6 Warto błdu dla obrazów uzyskanych w przekształceniu PCA dla pierwszych 50 najwikszychwartoci własnych. Wyznaczone dla przykładowych obrazów angiograficznych.Przyjmujc jako kryterium minimalizacj wartoci oczekiwanej rónicy midzy obrazemoryginalnym a obrazem po przekształceniach (rozumianej jako błd), mona zauway, e niejest konieczne uwzgldnianie wszystkich składowych w dalszym przetwarzaniu.7.2.3 Wektory cech oparte o ICADo uzyskania wartoci elementów tego wektora cech (współczynników w przekształceniuICA) wykorzystano autorskie podejcie przedstawione w rozdziale 4.2.2 [95].Podobnie jak dla omawianych do tej pory metod, materiałem testowym były obrazyangiograficzne, przedstawiajce proces angiogenezy w zarodku kurzym. Dla porównaniawykonano równie testy przykładowych tekstur z albumu Brodatza. Wyniki te zostanwykorzystane w wyznaczeniu i porównianiu wartoci dyskryminanu Fishera dla wektorówcech wyznaczonych rónymi metodami (zobacz nastpny rozdział).- 76 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 7.7 Wektory bazowe dekompozycji ICA, przedstawione w postaci obrazów dla próbki uczcej (obrazyangiograficzne).Rysunek 7.8 Wektory bazowe dekompozycji ICA, przedstawione w postaci obrazów, dla wybranychprzykładów tekstur z albumu Brodatz'aPrzy zastosowaniu metody ICA wektor cech wyznaczono jako zbiór elementów macierzywymieszania – zostało to omówione w rozdziale 4.3. Przypomnijmy, e dane wejciowetraktowane s jako mieszanina rónych sygnałów. ICA wyznacza macierz współczynnikówniezalenych oraz macierz wymieszania. Podobnie jak w przypadku metody PCA, mona- 77 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychrównie ograniczy rozmiary danych (np. wyznaczajc tylko współczynniki dla nnajwikszych wartoci własnych).Tak jak oczekiwano, algorytm ICA daje bardziej zrónicowane wyniki (zob. rozdział 7.3), coułatwia odpowiedni klasyfikacj obrazów jednego typu. W przypadku wektora cech opartegoo filtry Gabora nie dało si w pełni wykorzysta jego moliwoci włanie ze wzgldu na duepodobiestwo midzy analizowanymi obrazami.Poniszy rysunek przedstawia przykładowe wyniki obrazy odtworzone na podstawie danychwyznaczonych za pomoc ICA dla ograniczonej liczby składowych niezalenych.Obraz oryginalny(150 IC)10 pierwszych IC 3,3220 pierwszych IC 12,7230 pierwszych IC 14,2040 pierwszych IC 13,2550 pierwszych IC 16,5060 pierwszych IC 10,6470 pierwszych IC 15,1880 pierwszych IC 10,5590 pierwszych IC 10,83100 pierwszych IC 1,78110 pierwszych IC 2,59120 pierwszychIC 1,15Rysunek 7.9 ICA: Przykładowe obrazy uzyskane dla ograniczonej liczby najwyszych składowychniezalenych.- 78 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychJako kryterium ograniczania liczby składowych niezalenych wybrano minimalizacjredniego błdu przekształcenia, traktowanego jako rónic midzy obrazem oryginalnym iobrazem odtworzonym. Jak wynika z powyszego rysunku, mona ograniczy liczbskładowych niezalenych, niemniej jednak wymaga to wczeniejszych testów – zbytograniczona liczba składowych niezalenych moe doprowadzi do powstania błdów wpó niejszym przetwarzaniu danych.Testy omawiane w rozdziale 8 zakładaj przeprowadzenie klasyfikacji dla wyznaczonychwektorów cech. Obrazy powinny by rozdzielone pomidzy cztery klasy. Poniszy wykresprzedstawia współczynniki wymieszania dla obrazów rónych klas (dane obrazówprzekształcono do postaci jednowymiarowej).Rysunek 7.10 ICA: wykres wartoci współczynnikówwymieszania dla obrazu klasy A.Rysunek 7.11 ICA: wykres wartoci współczynnikówwymieszania dla obrazu klasy B.Rysunek 7.12 ICA: wykres wartoci współczynnikówwymieszania dla obrazu klasy C.Rysunek 7.13 ICA: wykres wartoci współczynnikówwymieszania dla obrazu klasy D.- 79 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychDla kadego typu wektora cech wykonano testy dla obrazów oryginalnych (tzn. bezdodatkowej obróbki) oraz dla obrazów krawdziowych.Rysunek 7.14 Przykładowy obraz angiograficzny i odpowiadajcy mu obraz krawdziowy.7.3. Porównanie wektorów cech7.3.1 Kryterium porównywania obszaru cechLiniowa analiza dyskryminacyjna (DA) jest to takie przekształcenie przestrzeni, którepozwala na optymaln separacj podobszarów cech tworzcych róne klasy – w tym sensiejest to wic klasyfikator. Kryterium optymalizacyjnym podlegajcym minimalizacji podczaswyznaczania DA jest tzw. informacja Fishera (lub dyskryminant Fishera).Analiza dyskryminacyjna naley do rodzaju kryteriów, dla których nastpuje maksymalnakoncentracja cech jednej klasy i/lub maksymalne rozdzielenie cech rónych klas. Jeliprzyjmiemy, e c oznacza wektor cech wyznaczony za pomoc opisanych wczeniej metod:cj= ⋅ f , (7.2)j(gdzie f oznacza informacje poddane analizie, j=1, …, N) stosowane s nastpujce kryteria:a) redni odstp kwadratowy jednej wartoci cechy od kadej innejs1=1N2N NT(i− cj) ( ci− cj)i= 1 j=1c (7.3)b) redni odstp kwadratowy cech jednej klasy od cech innych klas (k – liczba klas)- 80 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychs22k(k −1)1N Nk κ −l NκNλ= κ = 2 λ= 1 κ λ i= 1 j=1(κci−λcj)T(κci−λcj)(7.4)c) redni odstp kwadratowy cech jednej klasys3=1kk1NNNκ λ2κ = 2 κ i= 1 j=1κ κ T κ κ( c − c ) ( c − c )(7.5)ijijd) kombinacja s 2 i s 3 (np. wspomniany dyskryminant Fishera)Kade z kryteriów s i zaley od macierzy przekształcenia , czyli s i =s i (). Niech (i) oznaczamacierz optymalizujc kryterium s i . Macierz optymalizujc uzyskamy w wyniku obliczenia(i)wektorów własnych odpowiedniej macierzy Q (i) . Macierz ta wyznaczana jest napodstawie równania:Q( i)ϕ = λ ϕ(7.6)( i)υ( i)υ( i)υgdzie (i) s wartociami własnymi Q (i) .Dla maksymalizacji kryteriów s 1 lub s 2 naley obliczy n wektorów własnych ,odpowiadajcych n najwikszym wartociom własnym macierzy Q (1) lub Q (2)odpowiednio. Natomiast dla minimalizacji s 3 naley obliczy wektory własne odpowiadajcenajmniejszym wartociom własnym macierzy Q (3) .Uzyskane w ten sposób wektory (i) tworz n wierszy macierz (i) :( i)( iϕ1( iϕ2= ( iϕn) T) T) T(7.7)Macierze Q (i) zdefiniowane s nastpujco:a) dla kryterium s 1 :- 81 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych1Q )R= R − mm( TN1T= fjfjN(7.8)1m =Nj=1Nj=1fjb) dla kryterium s 2 :κNκκ −1TT( mκmλ+ mλmκ)k1Q ( ) = Rκ−k κ k(k −1)κ = 2 λ=1Nκ1 κ κ TRκ= fjfjN(7.9)κ j=1mκ=11NNκ j=1κfj1c) dla kryterium s 3 :3 1Q ) =k κ = 1kT ( R κ − mκmκ)( (7.10)gdzie f oznacza informacj poddan analizie.Załómy, e istnieje przekształcenie y=f(x)=w T x, które odwzorowuje próbki x i , i=1, …, d,nalece do dwóch rónych klas k , k2. Naley znale taki wektor w, aby punkty dla jednejklasy były dobrze odseparowane od punktów nalecych do innej klasy. Miar separacji jestodległo midzy rednimi wartociami punktów klas. Jeli przyjmiemy warto redni dladanej klasy (centrum obszaru) k jakomk=1dkx∈Ωkx(7.11)orazm ~ 1k=dkx∈ΩkT Tw x = w mk(7.12)- 82 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychto wówczas miara separacji midzy dwiema klasami moe zosta wyliczona ze wzoru:m ~i( m − m )T−j= wi j. (7.13)m ~Miar rozrzutu wartoci klas okrelamy jako~ 2s.( y − )2i= m~iy∈Y i(7.14)Std1 ~ 2 s kjest oszacowaniem wariancji wektorów cech dla kadej klasy, za s 2kd kkłcznym rozrzutem w ramach klas.~ jestLiniowy dyskryminant Fishera oznacza tak funkcj liniow f(x)=w m T x, dla której funkcjajakoci J(w) osiga swoje maksimum. Definiujemy macierze S i rozrzutu dla kadej klasy k :S .Ti= (x − mi)(x − mi)x∈Ωk(7.15)Macierz rozrzutów w ramach klasy zdefiniowana jest jako suma macierzy rozrzutuwszystkich klas:SW=ki=1Si=kdii= 1 j=1T( x − m )(x − m ) , (7.16)jijinatomiast macierz rozrzutów pomidzy klasami wyznaczana jest według wzoru:S B=ki=1T( m − m)(m − m) , (7.17)iigdzie m jest centralnym punktem zbioru wszystkich próbek.Funkcja jakoci wynosi:- 83 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychTw SBwJ ( w)=T(7.18)w S wWPoszukiwana jest maksymalizacja stosunku wyznacznika macierzy rozrzutów pomidzyklasami do wyznacznika macierzy rozrzutów w ramach klas. Relacja ta jest maksymalna, gdywektory kolumnowe w m macierzy W s wektorami własnymi macierzy S W -1 S B .7.3.2 Wyniki porównania obszarów cechPonisza tabela i wykres przedstawiaj wyniki zastosowania dyskryminantu Fishera doporównania jakoci wektorów cech wyznaczonych za pomoc rónych algorytmów. Monazaobserwowa istotn zmian stosunku wartoci dyskryminatora w zalenoci od typuobrazów testowych. Szczególnie due rónice wida przy zastosowaniu wektora cechopartego o algorytmy ICA. Dla wektora cech tekstury uzyskanego metod PCA wartofunkcji jakoci jest wysza ni dla wektora opartego o algorytmy MPEG, ale wci pozostajenisza ni dla wektora cech ICA.Tabela 7.2 Dyskryminant Fishera: warto funkcji jakoci dla wektorów cech (ograniczonych do pierwszych 62elementów) dla obrazów angiograficznych.Metoda detekcji cechWartoICA 1,676 · 10 -4MPEG 3,645 · 10 -5PCA 9,03 · 10 -5Rysunek 7.15 przedstawia zaleno wartoci dyskryminantu Fishera dla rónych metodwyznaczania wektora cech dla obrazów angiograficznych. Liczb uwzgldnionych elementówwektora cech ograniczono do 62 (wektory cech wyznaczone rónymi metodami mog mieróne długoci). Celem lepszego uwidocznienia rónic midzy metodami o Y wykresu,odpowiadajc wartociom dyskryminantu, przedstawiono w skali logarytmicznej.- 84 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 7.15 Dyskryminant Fishera: przebieg wartoci funkcji jakoci dla pierwszych 62 elementów wektorówcech wyznaczonych rónymi metodami dla obrazów angiograficznych.Przypomnijmy tutaj, e funkcja jakoci zaley od stosunku wyznacznika rozrzutów pomidzyklasami do wyznacznika rozrzutów wewntrz klas (wzór 7.18), a wic naley dy domaksymalizacji tego stosunku. Tabela 7.2 pokazuje, e dla wektora cech zbudowanego zwspółczynników przekształcenia ICA funkcja jakoci jest najwysza w porównaniu dowektorów opartych o współczynniki PCA czy filtrów Gabora. Jeli porównamy wyniki dlaobrazów angiograficznych i tekstur Brodatz’a, funkcja jakoci zbioru cech opartego owspółczynniki ICA jest wysza dla obrazów angiograficznych (Tabela 7.3). Mona wicstwierdzi, e opis cech w oparciu o algorytm ICA charakteryzuje si najwysz funkcjjakoci sporód badanych deskryptorów.Tabela 7.3 Dyskryminant Fishera: warto funkcji jakoci dla wektorów cech (ograniczonych do pierwszych 62elementów) dla obrazów tekstur z albumu Brodatza.Metoda detekcji cechWartoMPEG 7,419 · 10 -6PCA 1,601 · 10 -4ICA 8,15 · 10 -4- 85 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 7.15 ma tak sam wymow, jak Tabela 7.2. Warto dyskryminantu, a wic funkcjijakoci, pozostaje najwysza dla wektora cech wyznaczonego algorytmem ICA. Wszystkiewektory cech ograniczono do 62 elementów, aby porównanie miało sens. Warto funkcjijakoci maleje wraz ze wzrostem liczby uwzgldnianych współczynników, ale poprzekroczeniu pewnej liczby współczynników zaczyna utrzymywa si na stałym poziomie.Mona to zaobserwowa na poniszych wykresach. Rysunek 7.16 przedstawia przebiegwartoci dyskrymiantu Fishera dla wektora cech wyznaczonego algorytmem ICA w skalilogarytmicznej). Uwzgldniono 150 pierwszych współczynników. Z kolei rys. 2 przedstawiaprzebieg wartoci funkcji jakoci w skali logarytmicznej dla wektora cech opartego o PCA –uwzgldniono ponad 4000 współczynników.Rysunek 7.16 Dyskryminant Fishera: przebieg wartoci funkcji jakoci dla 150 współczynników wektora cechwyznaczonego algorytmem ICA dla obrazów angiograficznych.- 86 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 7.17 Dyskryminant Fishera: przebieg wartoci funkcji jakoci dla 4096 współczynników wektora cechwyznaczonego algorytmem PCA dla obrazów angiograficznych.Badane wektory cech róniły si liczb elementów – dla wektora opartego o standardy MPEGilo elementów jest cile okrelona i zaley od rodzaju uytego deskryptora – na przykładdla HTD (ang. Homogeneous Texture Descriptor) wynosi 62.Dla wektora cech wyznaczanego algorytmem PCA ilo elementów zaley od rozmiaruobrazu (obrazy testowe miały rozmiar 64 × 64 pikseli). Jak wspomniano wczeniej, mona tilo ograniczy, bazujc na wybranym kryterium poprawnoci przekształconego obrazu. Wtestach nie ograniczano rozmiaru wektora ze wzgldu na dokładno wyników.Liczba elementów wektora cech wyznaczonego metod ICA zaley od iloci danych (liczbyprzetwarzanych sygnałów). Równie w tym przypadku nie ograniczono rozmiaru wektora,podobnie jak w przypadku PCA kierujc si dokładnoci wyników.- 87 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych8. Eksperymenty dotycz ce klasyfikacjitekstur8.1. ZałoeniaOpisane we wczeniejszych rozdziałach sposoby wyznaczania cech tekstury wykorzystano doklasyfikacji obrazów testowych. Zastosowano cztery typy klasyfikatora: według najmniejszejodległoci, klasyfikator Bayesa, neuronowy i SVM. Celem testów było sprawdzenieskutecznoci wybranych algorytmów wyznaczania wektorów cech.Do testów wykorzystano obrazy testowe angiograficzne. Obrazy te dzielone s na czterygrupy w zalenoci od charakteru przedstawionej na nich siatki naczy krwiononych. Testywykonane zostały dla obrazów według skali szaroci oraz dla tych samych obrazówprzekształconych do postaci krawdziowej. Wyznaczono nastpujce typy obrazów:- obrazy z bardzo rzadk lub słabo widoczn sieci naczy krwiononych (mog bytraktowane jako tło)- 88 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych- obrazy z fragmentami grubych naczy krwiononych- obrazy przedstawiajce regularny układ naczy- obrazy przedstawiajce naczynia krteW grupie testowej znajdowały si obrazy wszystkich typów.8.2. Klasyfikator BayesaW pierwszej kolejnoci wykorzystano klasyfikator oparty o twierdzenie Bayesa dosprawdzenia poprawnoci klasyfikowania tekstur w obrazach angiograficznych na podstawiewektorów cech wyznaczonych rónymi metodami. Jest to optymalny klasyfikator cech, gdyfunkcja kosztu jest zero-jedynkowa i gdy próbka uczca ma charakter reprezentatywny dlacałej dziedziny cech.- 89 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychTabela 8.1 Klasyfikator Bayes'a – odsetek prawidłowo sklasyfikowanych obrazów w zalenoci odzastosowanej metody ekstrakcji cech.Metoda detekcjicechOdsetek prawidłowo sklasyfikowanych obrazówObrazy angiograficzneObrazy angiograficznekrawdzioweICA 65,064 % 73,076 %MPEG 64,615 % 60,256 %PCA 62,820 % 71,154 %Zarówno dla zwykłych obrazów angiograficznych, jak i do obrazów przekształconych dopostaci krawdziowej, wektor cech tekstury oparty o przekształcenie ICA uzyskał najlepszewyniki. Warto zwróci uwag na zwikszenie skutecznoci klasyfikatora w przypadkuobrazów krawdziowych.Istotn informacj jest równie skuteczno klasyfikatora dla kadej klasy bazowej.Przypomnijmy, e w testach okrelono cztery klasy bazowe, przedstawiajce róne układynaczy krwiononych.Tabela 8.2 Klasyfikator Bayes’a - odsetek prawidłowo sklasyfikowanych obrazów pod wzgldemprzynalenoci do klasy.Klasa1234Odsetek prawidłowo sklasyfikowanych obrazówMetodaObrazy angiograficzneObrazy angiograficznekrawdzioweICA 90,909 % 97,727 %MPEG 15,909 % 18,182 %PCA 88,636 % 79,545 %ICA 41,463 % 56,098 %MPEG 53,659 % 21,951 %PCA 26,829 % 53,659 %ICA 54,717 % 37,736 %MPEG 71,698 % 90,566 %PCA 47,170 % 39,623 %ICA 25,000 % 58,333 %MPEG 91,667 % 75,000 %PCA 16,667 % 41,667 %Dla klas 2 i 4 zaobserwowano wzrost skutecznoci deskryptora dla obrazów krawdziowych.Wynika to tego, e obrazy tych klas maj wyra nie zaznaczone krawdzie naczy, a wic poprzekształceniu do postaci krawdziowej informacja nie jest tracona.- 90 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 8.1 Przykłady obrazów krawdziowych rónych klas.8.3. Klasyfikator NNW przypadku klasyfikatora NN („najbliszego ssiada”) klasyfikacja obrazu przebiega nawyznaczeniu odległoci (w tym przypadku Euklidesowej) do kadego z obrazów grupieobrazów bazowych i wybranie najmniejszej.Tabela 8.3 Klasyfikator NN – odsetek prawidłowo sklasyfikowanych obrazów w zalenoci od zastosowanejmetody ekstrakcji cech.Metoda detekcjicechOdsetek prawidłowo sklasyfikowanych obrazówObrazy angiograficzneObrazy angiograficznekrawdzioweICA 60,897 % 65,705 %MPEG 59,295 % 64,102 %PCA 58,230 % 62,500 %Tabela 8.3 pokazuje skuteczno klasyfikatora najbliszego ssiada dla wektora cechzwykłego obrazu angiograficznego, wyznaczonego za pomoc funkcji Gabora oraz zwykorzystaniem algorytmów PCA i ICA. Klasyfikator ten dał bardzo zrównowaone wynikidla wszystkich testowanych metod. Równie przekształcenie obrazów do postacikrawdziowej nie spowodowało duego zrónicowania wyników, jednak tak jak wpoprzednim przypadku (klasyfikator Bayesa) równie i klasyfikator najbliszego ssiadalepiej radził sobie z obrazami krawdziowymi.Tabela 8.4 przedstawia odsetek prawidłowo sklasyfikowanych obrazów pod wzgldempodziału na klasy.- 91 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychTabela 8.4 Klasyfikator NN - odsetek prawidłowo sklasyfikowanych obrazów pod wzgldem przynalenoci doklasy.Klasa1234Odsetek prawidłowo sklasyfikowanych obrazówMetodaObrazy angiograficzneObrazy angiograficznekrawdzioweICA 56,818 % 79,545 %MPEG 47,727 % 43,182 %PCA 52,273 % 72,727 %ICA 87,805 % 14,634 %MPEG 90,244 % 95,122 %PCA 75,610 % 12,195 %ICA 43,396 % 73,585 %MPEG 47,170 % 47,170 %PCA 56,604 % 71,698 %ICA 41,667 % 91,667 %MPEG 50,000 % 16,667 %PCA 33,333 % 91,667 %Mona zauway wzrost skutecznoci klasyfikatora dla obrazów klasy 1 i 4 poprzekształceniu do postaci krawdziowej. Przypomnijmy, e klasa 1 zawiera obrazy mogcestanowi tło (czyli z nielicznymi lub słabo widocznymi naczyniami), natomiast klasa 4zawiera wyra n sie naczy. Po przekształceniu do postaci krawdziowej informacja oprzebiegu naczy zostaje uwypuklona (zob. Rysunek 8.1), w zwizku z czym rónice midzyobrazami tych dwóch klas staj si bardziej widoczne.Klasyfikator najbliszego ssiada dobrze radzi sobie równie z obrazami klasy 2 (czylizawierajcymi fragmenty naczy głównych).8.4. Klasyfikator neuronowyKlasyfikator neuronowy ustala przynaleno obrazu testowego poprzez przetworzeniewektora cech przez sie neuronow (omówiona w rozdziale 6.5.1). Liczba wektorówwejciowych równa si liczbie elementów wektora cech, natomiast liczba wektorówwyjciowych równa jest liczbie klas obrazów (w tym przypadku 4).- 92 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychTabela 8.5 Klasyfikator neuronowy – odsetek prawidłowo sklasyfikowanych obrazów w zalenoci odzastosowanej metody wyznaczania cech tekstury.Metoda detekcjicechOdsetek prawidłowo sklasyfikowanych obrazówObrazy angiograficzneObrazy angiograficznekrawdzioweICA 73,333 % 72,115 %MPEG 70,513 % 73,718 %PCA 64,102 % 65,705 %Rónice w skutecznoci klasyfikatora neuronowego dla rónych metod ekstrakcji cechtekstury nie s zbyt due. Warto jednak zauway, e po przekształceniu obrazów testowychdo postaci krawdziowej wzrasta skuteczno klasyfikatora. Najlepsze wyniki w przypadkuzwykłych obrazów angiograficznych uzyskano dla wektora cech opartego o ICA, natomiastpo przekształceniu do postaci krawdziowej – dla wektora cech opartego o algorytmy MPEG.Tabela 8.6 Klasyfikator neuronowy - odsetek prawidłowo sklasyfikowanych obrazów pod wzgldemprzynalenoci do klasy.Klasa1234Odsetek prawidłowo sklasyfikowanych obrazówMetodaObrazy angiograficzneObrazy angiograficznekrawdzioweICA 40,909 % 77,273 %MPEG 22,727 % 72,727 %PCA 34,091 % 65,909 %ICA 51,220 % 17,073 %MPEG 95,122 % 92,683 %PCA 46,341 % 7,317 %ICA 77,358 % 96,226 %MPEG 75,472 % 35,849 %PCA 67,925 % 92,453 %ICA 91,667 % 66,667 %MPEG 25,000 % 66,333 %PCA 83,333 % 64,667 %Podobnie jak w przypadku poprzednich klasyfikatorów, równie klasyfikator neuronowyokazuje si skuteczniejszy dla wybranych klas obrazów krawdziowych. Za wyjtkiemdanych klasy 2 klasyfikator ten jest najskuteczniejszy przy zastosowaniu wektora cechwyznaczonego metod ICA.- 93 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych8.5. Klasyfikator SVMW przypadku klasyfikatora SVM (maszyny wektorów nonych) proces klasyfikacji przebiegadwustopniowo. Zastosowany został algorytm „jedna przeciw jednej” (opis metody zawartyjest w rozdziale 6.4). W pierwszym kroku algorytm porównuje obraz testowy do dwóchwybranych klas i przyznaje punkt tej klasie, która jest najbliej obrazu testowego. Operacja tajest powtarzana dla kadego obrazu dla kadego układu dwóch klas bazowych. Punkty dlakadej klasy s sumowane (odrbnie dla kadego obrazu testowego). W drugim krokualgorytm sprawdza, która klasa otrzymała najwiksz ilo punktów – do tej klasy ostateczniezostanie przypisany obraz.Ponisze tabele przedstawiaj wyniki uzyskane dla takiego klasyfikatora. Zastosowano dwiegrupy obrazów testowych: zwykłe obrazy angiograficzne oraz te same obrazy przekształconedo postaci krawdziowej.Tabela 8.7 Klasyfikator SVM – odsetek prawidłowo sklasyfikowanych obrazów w zalenoci od zastosowanejmetody ekstrakcji cech.Metoda detekcjicechOdsetek prawidłowo sklasyfikowanych obrazówObrazy angiograficzneObrazy angiograficznekrawdzioweICA 76,923 % 57,692 %MPEG 75,320 % 54,487 %PCA 68,910 % 56,089 %W przypadku klasyfikatora opartego o maszyn wektorów nonych najlepsze wyniki dlazwykłych obrazów angiograficznych uzyskano dla deskryptora ICA dla zwykłych obrazówangiograficznych i dla obrazów krawdziowych.W przypadku obrazów angiograficznych klasyfikator SVM uzyskał najlepsze wyniki sporódwszystkich omawianych klasyfikatorów. Porównujc jednak z wynikami dla klasyfikatoraneuronowego (Tabela 8.5) charakteryzuje si on słab skutecznoci dla obrazówkrawdziowych.- 94 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychTabela 8.8 Klasyfikator SVM - odsetek prawidłowo sklasyfikowanych obrazów pod wzgldem przynalenocido klasy.Klasa1234Odsetek prawidłowo sklasyfikowanych obrazówMetodaObrazy angiograficzneObrazy angiograficznekrawdzioweICA 95,455 % 95,455 %MPEG 81,818 % 50,000 %PCA 47,727 % 54,545 %ICA 56,098 % 63,415 %MPEG 29,268 % 19,512 %PCA 19,512 % 17,073 %ICA 84,906 % 81,132 %MPEG 71,698 % 50,943 %PCA 50,943 % 67,925 %ICA 75,000 % 83,333 %MPEG 91,667 % 75,000 %PCA 75,000 % 50,000 %Klasyfikator SVM wykazał du skuteczno dla wszystkich omawianych metodwyznaczania cech tekstury. W przypadku klasy 1 wysoka skuteczno klasyfikatora maznaczenie praktyczne. Mona stworzy aplikacj, której zadaniem bdzie wsparcie lekarzaspecjalisty.Działanie aplikacji bdzie polegało na odrzucaniu (oczywicie do zatwierdzeniaprzez specjalist) obrazów, które nie zawieraj istotnych informacji. Jednak w przypadkuaplikacji majcych zastosowanie w medycynie nie mona całkowicie (zdaniem autorki)zrezygnowa z opinii specjalisty i powinna ona stanowi jeden z etapów kocowychprzetwarzania danych.- 95 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych9. ZakoczenieW niniejszej pracy przedstawiono podstawowe metody analizy tekstur w obrazach cyfrowychoraz sposoby klasyfikacji. Szczególnym aspektem tej pracy było zastosowanie badanychtechnik do analizy obrazów angiograficznych.Praca składa si z dwóch czci. W czci pierwszej przetestowane zostały metody ekstrakcjicech tekstury. Zostały wybrane trzy metody pozwalajce na utworzenie skutecznychwektorów cech tekstury. Pierwsza z nich bazuje na filtracji Gabora, a wektor cech zostałzbudowany w oparciu o modele tzw. deskryptorów w standardzie MPEG-7. Druga metodapozwala na utworzenie wektora cech poprzez przekształcenie PCA danych. Ostatnia metodakorzysta z przekształcenia ICA.Praca przedstawia sposób wykorzystania procesu analizy składowych niezalenych ICA (ang.Independent Component Analysis) do ekstrakcji cech tekstury obrazów cyfrowych – jest tonowe podejcie na gruncie polskim. Za pomoc tego algorytmu wyznaczane s wektorybazowe i odpowiadajca im przestrze cech. Wektory bazowe znalezione w procesie ICA sstatystycznie niezalene i spełniaj warunek optymalnoci, a przestrze cech jest dopasowanado danych uczcych. Inn metod, optymalizujc pewne zalene od danych kryterium, jestPCA. Z kolei omawiana filtracja Gabora, wykorzystywana w algorytmach MPEG-7, naleydo metod o heurystycznie ustalonych wektorach bazowych, niezalenie od danych testowych.- 96 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychJako kryterium jakoci omawianych metoda detekcji cech tekstury wykorzystano tzw.dyskryminant (informacja) Fishera. Warto informacji Fishera wyraa stosunek rozdzieleniacech pomidzy klasami do zwartoci cech próbek nalecych do jednej klasy – im wikszawarto, tym lepiej rozdzielone cechy rónych klas i bardziej zwarte cechy tej samej klasy.Praca zwiera równie omówienie wybranych typów klasyfikatorów. W trakcie testówsprawdzana była skuteczno stosowanych klasyfikatorów dla kadego omawianego typuwektora cech. Przeanalizowane zostały cztery typy klasyfikatorów: klasyfikator Bayesa,najbliszego ssiada, opary o maszyn wektorów nonych i neuronowy. Klasyfikatory tezastosowano do uzyskanych wektorów cech dla obrazów angiograficznych. Analiza wynikówtestów obejmowała dwa etapy. W pierwszym etapie porównano wyniki działania wybranegoklasyfikatora dla wektorów cech opartych o róne algorytmy. W drugim etapie dla wybranegowektora cech, opartego o przekształcenie ICA, poszukiwano klasyfikatora o najwikszejskutecznoci.Pierwsz tez tej pracy było stwierdzenie, e odpowiednio dobierajc reprezentacj cechtekstury do rzeczywistych danych i klasyfikator, dla którego okrelono koszty ryzyka błdnejklasyfikacji, mona stworzy narzdzie skuteczne i pomocne w analizie obrazów. W celuudowodnienia tej tezy przetestowane zostały trzy typy wektorów cech i cztery klasyfikatory.Dla kadego wektora cech testowane były parametry przekształcenia, bdcego jegopodstaw. W trakcie testów wybrano najlepsze parametry, a wyniki sprawdzono posługujcsi metodami statystycznymi (zob. rozdział 7). Z kolei dla klasyfikatorów miar przydatnocibyła ich skuteczno w klasyfikowaniu obrazów (zob. rozdział 8). Wyniki testów wyra niewskazuj, e mona dobra tak par wektor cech - klasyfikator, by dla danej grupy obrazówuzyska najlepsze wyniki. W przypadku ekstrakcji cech tekstury dla obrazówangiograficznych w skali szaroci, dokonanej algorytmem ICA najskuteczniejszymklasyfikatorem okazał si klasyfikator oparty o maszyn wektorów nonych.Druga teza pracy opiera si na stwierdzeniu, e wektor cech tekstury okrelony poprzezprzekształcenie ICA odznacza si lepsz jakoci i ułatwi poprawn klasyfikacj. Jakowektora cech opartego o ICA udowodniono poprzez wyznaczenie jego funkcji jakoci(dyskryminant Fisher’a – zob. rozdział 7.3.2). Przekształcenie ICA daje lepsze wyniki nipozostałe omawiane metody. Porównujc wyniki dla obrazów angiograficznych istandardowych obrazów tekstur rysunków albumu Brodatz’a równie mona stwierdzi- 97 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychwyszo przekształcenia ICA w zastosowaniu do obrazów angiograficznych. Dla potrzebklasyfikacji wybrano cztery róne klasyfikatory i testowano ich skuteczno dla dwóch grupobrazów angiograficznych – w skali szaroci i krawdziowych. Mona stwierdzi, ezastosowanie klasyfikatora neuronowego lub SVM podwysza jako klasyfikacji dla teksturopisanych za pomoc wektora cech powstałego w wyniku przekształcenia ICA. Ponadtozastosowanie obrazów krawdziowych jako materiału badawczego poprawiało wynikiklasyfikacji w wikszoci omawianych przypadków.Tekstura jest ródłem wanych informacji o obrazie. Analiza cyfrowych obrazówangiograficznych moe by pomocnym narzdziem w diagnostyce medycznej, a omawianealgorytmy mona zastosowa do innych typów obrazów. Oczywicie nie mona tu mówi opełnej automatyzacji stawiania diagnozy – zbyt wiele znaczy dowiadczenie lekarza, by jepomija. Mona jednak skorzysta z wyników takiej analizy do ograniczenia zbioru danych iwstpnej klasyfikacji.- 98 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychPodzikowaniaAutorka pracy dzikuje Panu Doktorowi Habilitowanemu Włodzimierzowi Kasprzakowi zatrud promowania niniejszej rozprawy i cenne wskazówki.Autorka chciałaby równie podzikowa wszystkim osobom, których pomoc przyczyniła sido powstania tej pracy.- 99 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychSpis rysunkówRysunek 1.1 Przykłady tekstur z albumu Brodatz’a ( ródło: [7]).............................................. 6Rysunek 1.2 Przykładowe obrazy angiograficzne: (a) i (b) - tkanka skórna myszy, (c) -zarodek kurzy ..................................................................................................................... 6Rysunek 1.3 Ssiedztwo punktów (pikseli) oraz kierunki analizy dla macierzy spójnocijasnoci............................................................................................................................. 11Rysunek 2.1 Podział płaszczyzny spektogramu w przekształceniach: (a) - DFT, (b) - WT.... 19Rysunek 2.2 Schemat rozkładu czstotliwoci dla 30 kanałów. .............................................. 23Rysunek 2.3 Przykłady wzorców o rónych kształtach: (a) - oryginał, (b) - wzorzecprostoktny na czarnym tle, (c) - wzorzec prostoktny na tle wypełnionym zawartocitektury wzorca, (d) - wzorzec prostoktny na tle wypełnionym inn struktur, (e) -wzorzec okrgły, (f) - wzorzec romboidalny. .................................................................. 26Rysunek 2.4 Przykłady tekstur o rónym stopniu regularnoci wzorca (od lewej -zmniejszajcy si stopie regularnoci) ........................................................................... 29Rysunek 3.1 PCA: Składowa główna próbek w dwuwymiarowej przestrzeni cech. Liniawskazuje kierunek pierwszej składowej głównej, druga składowa główna jestprostopadła (w ogólnoci - ortogonalna).......................................................................... 34Rysunek 3.2 Linie przedstawiaj powizania midzy wybranymi metodami. Opisy obok liniimówi o wymaganiach, które musz by spełnione, by relacja była prawdziwa. ........... 37Rysunek 4.1 Ilustracja składania tekstury obrazu z niezalenych składowych: x i -obserwowany i-ty blok obrazu; a i współczynniki wymieszania ródeł (tu: wartoci cechobserwowanego bloku obrazu); s 1 , s 2 ,..., s m , - ródła w ICA (ich 2-wymiarowailustracja) niezalene składowe (wektory bazowe).......................................................... 39Rysunek 4.2 Graficzna interpretacja procesu wybielania - po wybieleniu uzyskujemykwadratowy rozkład próbek, wystarczy wic znalezienie jednego kta obrotu. ............. 42Rysunek 4.3 Schemat działania aplikacji testowej................................................................... 46Rysunek 4.4 Na podstawie takiego wykresu mona odrzuci te wartoci własne, które nieprzekraczaj pewnego progu. Dla obrazu tekstury z albumu Brodatz’a o rozmiarach 128× 128, dla którego wykonano ten wykres, mona ograniczy rozmiar do (na przykład) 80próbek bez ryzyka utraty istotnych informacji................................................................. 47Rysunek 5.1 Obraz naczy krwiononych w mózgu (angiogram)........................................... 48Rysunek 5.2 Proces angiogenezy w tkance skórnej myszy. Zaznaczony obszar to miejscewstrzyknicia preparatu.................................................................................................... 49Rysunek 5.3 Proces angiogenezy w zarodku kurzym. ............................................................. 50Rysunek 6.1 Przykładowy zbiór Voronoi'a.............................................................................. 58Rysunek 6.2 Optymalna hiperpłaszczyzna rozdzielajca H* dla dwóch klas próbek. ............ 61Rysunek 6.3 Sie neuronowa jednokierunkowa jednowarstwowa. ......................................... 65- 100 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychRysunek 7.1 Przykłady tekstur z albumu Brodatz'a................................................................. 70Rysunek 7.2 Przykłady obrazów angiograficznych (zarodek kurzy)....................................... 71Rysunek 7.3 rednia intensywno pikseli dla deskryptora HTD dla serii 35 obrazówangiograficznych. ............................................................................................................. 73Rysunek 7.4 Przykładowe wyniki HTD dla serii 35 obrazów angiograficznych: odchyleniestandardowe (czerwona linia), energia (moduł, zielona linia) oraz odchyleniestandardowe energii (moduł, niebieska linia) .................................................................. 73Rysunek 7.5 PCA: Przykładowe obrazy uzyskane dla okrelonej liczby najwyszych wartociwłasnych ........................................................................................................................ 75Rysunek 7.6 Warto błdu dla obrazów uzyskanych w przekształceniu PCA dla pierwszych50 najwikszych wartoci własnych. Wyznaczone dla przykładowych obrazówangiograficznych. ............................................................................................................. 76Rysunek 7.7 Wektory bazowe dekompozycji ICA, przedstawione w postaci obrazów dlapróbki uczcej (obrazy angiograficzne). .......................................................................... 77Rysunek 7.8 Wektory bazowe dekompozycji ICA, przedstawione w postaci obrazów, dlawybranych przykładów tekstur z albumu Brodatz'a ........................................................ 77Rysunek 7.9 ICA: Przykładowe obrazy uzyskane dla ograniczonej liczby najwyszychskładowych niezalenych................................................................................................. 78Rysunek 7.10 ICA: wykres wartoci współczynników wymieszania dla obrazu klasy A....... 79Rysunek 7.11 ICA: wykres wartoci współczynników wymieszania dla obrazu klasy B....... 79Rysunek 7.12 ICA: wykres wartoci współczynników wymieszania dla obrazu klasy C....... 79Rysunek 7.13 ICA: wykres wartoci współczynników wymieszania dla obrazu klasy D....... 79Rysunek 7.14 Przykładowy obraz angiograficzny i odpowiadajcy mu obraz krawdziowy. 80Rysunek 7.15 Dyskryminant Fishera: przebieg wartoci funkcji jakoci dla pierwszych 62elementów wektorów cech wyznaczonych rónymi metodami dla obrazówangiograficznych. ............................................................................................................. 85Rysunek 7.16 Dyskryminant Fishera: przebieg wartoci funkcji jakoci dla 150współczynników wektora cech wyznaczonego algorytmem ICA dla obrazówangiograficznych. ............................................................................................................. 86Rysunek 7.17 Dyskryminant Fishera: przebieg wartoci funkcji jakoci dla 4096współczynników wektora cech wyznaczonego algorytmem PCA dla obrazówangiograficznych. ............................................................................................................. 87Rysunek 8.1 Przykłady obrazów krawdziowych rónych klas. ............................................. 91- 101 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychSpis tabelTabela 2.1 Przykładowe wyniki testów dla wzorców HTD o rónym kształcie (wska nikARR) ................................................................................................................................ 26Tabela 7.1 rednie wyniki dla deskryptora tekstury jednorodnej. Oznaczenia: – redniaintensywno pikseli, - odchylenie standardowe, |e| - energia (moduł), | e | - odchyleniestandardowe energii (moduł)............................................................................................ 72Tabela 7.2 Dyskryminant Fishera: warto funkcji jakoci dla wektorów cech (ograniczonychdo pierwszych 62 elementów) dla obrazów angiograficznych. ....................................... 84Tabela 7.3 Dyskryminant Fishera: warto funkcji jakoci dla wektorów cech (ograniczonychdo pierwszych 62 elementów) dla obrazów tekstur z albumu Brodatza. ......................... 85Tabela 8.1 Klasyfikator Bayes'a – odsetek prawidłowo sklasyfikowanych obrazów wzalenoci od zastosowanej metody ekstrakcji cech. ....................................................... 90Tabela 8.2 Klasyfikator Bayes’a - odsetek prawidłowo sklasyfikowanych obrazów podwzgldem przynalenoci do klasy. ................................................................................. 90Tabela 8.3 Klasyfikator NN – odsetek prawidłowo sklasyfikowanych obrazów w zalenociod zastosowanej metody ekstrakcji cech.......................................................................... 91Tabela 8.4 Klasyfikator NN - odsetek prawidłowo sklasyfikowanych obrazów pod wzgldemprzynalenoci do klasy. .................................................................................................. 92Tabela 8.5 Klasyfikator neuronowy – odsetek prawidłowo sklasyfikowanych obrazów wzalenoci od zastosowanej metody wyznaczania cech tekstury. .................................... 93Tabela 8.6 Klasyfikator neuronowy - odsetek prawidłowo sklasyfikowanych obrazów podwzgldem przynalenoci do klasy. ................................................................................. 93Tabela 8.7 Klasyfikator SVM – odsetek prawidłowo sklasyfikowanych obrazów w zalenociod zastosowanej metody ekstrakcji cech.......................................................................... 94Tabela 8.8 Klasyfikator SVM - odsetek prawidłowo sklasyfikowanych obrazów podwzgldem przynalenoci do klasy. ................................................................................. 95- 102 -

E. Snitkowska Analiza tekstur w obrazach cyfrowychBibliografia[1] (-), Core experiment description for binary and dynamic MPEG-7 data representation,ISO/IEC JTC1/SC29/WG11/N3577, Beijing, lipiec 2000.[2] Amari S., Neural learning in structured parameter spaces – natural Riemanniangradient. Advances in Neural Information Processing 9 NIPS’96, pp. 127-133, MITPress, Cambridge 1997.[3] Amari S., Cichocki A., Yang H.H., A new learning algorithm for blind sourceseparation. Advances in Neural Information Processing 8 NIPS’95, pp. 757-763, MITPress, Cambridge 1996.[4] Bałan B. J., Skopiska-Róewska E., Snitkowska E., Sommer E., Domaski J., SkurzakH. Ocena aktywnoci anty-angiogennej wieloskładnikowego preparatu ziołowego„Pervivo” z zastosowaniem komputerowej analizy obrazów, Terapia, rok IX, Nr 3, z.2/105, marzec 2001.[5] Bell A.J., Sejnowski T.J., An information–maximization approach to blind separationand blind decolvolution. Neural Computation, 7, pp. 1129-1159, 1995.[6] Bell A.J., Sejnowski T.J., Edges are the independent components of natural scenes.Advances in Neural Information Processing 9 NIPS’96, pp. 831-837, MIT Press,Cambridge 1997.[7] Brodatz P., Textures. A photographic album for artists and designers. Dover Publ., NewYork, 1966.[8] Burges C.J.C.: A Tutorial on Support Vector Machines for Pattern Recognition. DataMining and Knowledge Discovery, Vol. 2, No. 2, pp. 121-167, 1998.[9] Cardoso J.-F., Comon P., Independent component analysis, a survey of some algebraicmethods. Proc. ISCAS’96, Vol. 2, pp. 93-96, 1996.[10] Cardoso J.-F., Laheld B.H., Equivariant adaptive source separation. IEEE Trans. OnSignal Processing, 44(12), pp. 3017-3030, 1996.- 103 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych[11] Chen Y, Dougherty E. R., Gray-scale morphological granulometric textureclassification. Optical Engineering, Vol. 33, No. 8, pp. 2713-2722, August 1994.[12] Cichy P., Analiza tekstury obrazów cyfrowych – zastosowanie do wybranej klasyobrazów biomedycznych. Rozprawa doktorska, Politechnika Łódzka, WydziałElektrotechniki i Elektroniki, Instytut Elektroniki, Łód 2001.[13] Cichocki A., Amari S., Adaptive Blind Signal and Image Processing. John Wiley,Chichester, UK, 2002.[14] Cichocki A., Amari S.I., Thawonmas R., Blind signal extraction using self-adaptivenon-linear hebbian learning rule. Proc. NOLTA’96, pp. 377-380, 1996.[15] Cichocki A., Kasprzak W., Nonlinear learning algorithms for blind separation ofnatural images. Neural Network World, 4, pp. 515-523, 1996.[16] Cichocki A., Kasprzak W., Skarbek W., Adaptive learning algorithm for principalcomponent analysis with partial data. Cybernetics and Systems’96, Austrian Society forCybernetics Studies, Vienna, 1996, pp. 1014-1019.[17] Cichocki A., Unbehauen R., Moszczynski L., Rummert E., A new on-line adaptivealgorithm for blind separation of source signals. Proc. Int. Symposium on ArtificalNeural Networks ISANN-94, pp. 406-411, Tainan, Taiwan 1994.[18] Cieplinski L., Munchurl K. Ohm J.-R. Pickering M., Yamada A.,: Study of CD 15938-3MPEG-7 Multimedia Content Description Interface – Part 3 Visual. ISO/IECJTC1/SC29/WG11/M6809 Pisa, stycze 2001.[19] Comon P., Independent component analysis – a new concept?.Signal Processing, 36,pp.287-314, 1994.[20] Cordón O., del Jesus M. J., Herrera F., Genetic Learning Of Fuzzy Rule-BasedClassification Systems Cooperating With Fuzzy Reasoning Methods. Technical Report#DECSAI-970130, Department of Computer Science and Artificial Intelligence,Granada University, Nov. 1997.[21] Cortes C., Vapnik V., Support-Vector Networks. Machine Learning, Vol. 20, No. 3, pp.273-297, 1995.[22] Duda R.O., Hart P.E., Pattern Classification and Scene Analysis. John Wiley & Sons,New York 1973.- 104 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych[23] Faugeras O. D., Pratt W. K., Decorrelation Methods of Texture Feature Extraction.IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. PAMI-2, No. 4,July 1980, pp. 323-332.[24] de Figueiredo M.T., Leitão J.M.N., Bayesian Estimation of Ventricular Contours inAngiographic Images. IEEE Transactions on Medical Imaging, Vol. 11, No. 3, pp. 416-429, September 1992.[25] Friedman J.H., Exploratory projection pursuit. J. of the American StatisticalAssociation, 82(397), pp. 249-266, 1987.[26] Galiski G., Skarbek W., Object Tracing Using SVD and Oja Algorithm. Proceedings ofthe 11 th Portuguese Conference on Pattern Recognition, RECPAD 2000, Porto, May2000, pp.219-226.[27] Giannakopoulos X., Karhunen J., Oja E., An Experimental Comparison Of Neural ICAAlgorithms. Proc. Int. Conf. on Artificial Neural Networks ICANN’98, pp. 651-656,Sweden, 1998.[28] Giardina C. R., Daugherty E. R., Morphological Methods in Image and SignalProcessing. Prentice-Hall Inc., Englewood Cliffs, New Jersey 1988.[29] Haralick R. M., Shanmugam K., Dinstein I., Textural Features For ImageClassification. IEEE Trans. On Systems, Man and Cybernetics, Vol. SMC-3, No. 6., pp.610-621, November 1973.[30] Harman H.H., Modern Factor Analysis. University of Chicago Press, 2 nd Edition, 1967.[31] Hoyer P. O., Hyvärinen A., Independent Component Analysis Applied To FeatureExtraction From Colour And Stereo Images. Computation In Neural Systems 11, pp.191-210, August 2000.[32] Huber P.J., Projection pursuit, The Annals of Statistics, 13(2), pp. 435-475, 1985.[33] Hyvärinen A., A Family Of Fixed-Point Algorithms For Independent ComponentAnalysis. Proc. IEEE Int. Conf. on Acoustic, Speech and Signal Processing ICASSP’97,pp. 3917-3920, Munich, Germany 1997.- 105 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych[34] Hyvärinen A., Independent Component Analysis By Minimization Of MutualInformation. Report A46, Helsinki University Of Technology, Department OfComputer Science And Engineering, Laboratory Of Computer And InformationScience, 1997.[35] Hyvärinen A., Survey On Independent Component Analysis. Neural ComputingSurveys, 2, pp.94-128, 1999.[36] Hyvärinen A., Independent Component Analysis: A neural Network Approach., Ph.D.Thesis, Helsinki University Of Technology, Finland, 1997.[37] Hyvarinen A., Karhunen J., Oja E., Independent Component Analysis. John Wiley &Sons, New York etc., 2001.[38] Hyvärinen A., Oja E., One-unit Learning Rules For Independent Component Analysis.Advances in Neural Information Processing Systems 9 (proc. NIPS’96), pp. 480-486,MIT Press, 1997.[39] Hyvärinen A., Oja E., A Fast Fixed-Point Algorithm For Independent ComponentAnalysis. Neural Computation, 9(7), pp. 1483-1492, 1997.[40] Hyvärinen A., Oja E., Simple Neuron Models For Independent Component Analysis.Int. J. Of Neural Systems, 7(6), pp. 671-687, 1995.[41] Hyvärinen A., Pajunen P., Nonlinear Independent Component Analysis: Existence AndUniqueness Results. Neural Networks, 12(3), pp. 429-439, 1999.[42] Jain A. K., Farrokhnia F., Unsupervised texture segmentation using Gabor Filters.Pattern Recognition, vol. 24 (1991), No. 12, pp. 1167-1186.[43] Jenssen R., Eltoft T., ICA Filter Bank For Segmentation Of Textured Images. Proc. Int.Workshop on Independent Component Analysis and Blind Source Separation ICA2003,pp. 827-832, Nara, Japan, April 2003.[44] Jutten C., Herault J., Blind separation of sources, part I: An adaptive algorithm basedon neuromimetic architecture. Signal Processing, 24, pp.1-10, 1991.[45] Karklin Y., Lewicki M.S., Learning higher-order structure in natural images. Network:Computation in Neural Systems, 14, pp. 483-499, 2003.- 106 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych[46] Kasprzak W., Adaptive Computation Methods In Digital Image Sequence Analysis.Prace Naukowe Elektronika Z. 127, Oficyna Wydawnicza Politechniki Warszawskiej,Warszawa 2000.[47] Kasprzak W. Rozpoznawanie obrazów i sygnałów mowy. Materiały wykładowe.[48] Kasprzak W., Cichocki A., Hidden Image Separation From Incomplete Image MixturesBy Independent Component Analysis. 13th. Int. Conf. On Pattern Recognition ICPR'96,Proceedings Vol. II, pp. 394-398.[49] Kasprzak W., Cichocki A., Amari S., Blind Source Separation with Convolutive NoiceCancellation. Neural Computing and Applications, Springer, London, vol. 6 (1997), pp.127-141.[50] Kassyk-Rokicka H., Mierniki statystyczne. Pastwowe Wydawnictwo Ekonomiczne,Warszawa 1986.[51] Kendall M., Multivariate Analysis. Charles Griffin & Co., 1975.[52] Klukowski J., Algebra w zadaniach. Oficyna Wydawnicza Politechniki Warszawskiej,Warszawa 1995.[53] Krysicki W., Bartos J., Dyczka W., Królikowska K., Wasilewski M., Elementyprobabilistyki w zadaniach. Wydawnictwo Politechniki Łódzkiej, Łód 1986.[54] Kulikowski J.L., Cybernetyczne układy rozpoznajce. PWN, Warszawa 1972.[55] Lappalainen H., Ensemble Learning For Independent Component Analysis. Proc. 1stInt. Workshop on Independent Component Analysis and Signal Separation, Aussois,France, pp. 7-12, 1999.[56] Lee T.W. Lewicki M.S., Unsupervised Imane Classification, Segmentation andEnhancement Using ICA Mixture Models. IEEE Transactions on Image Processing, Vol.11, No. 3, pp.270-279, March 2002.[57] Lygeros J., A Formal Approach to Fuzzy Modelling. Proceedings of ACC, pp. 3740-3744, 1995.[58] Manjunath B.S., Shin H., Texture core experiment results: browsing. ISO/IECJTC1/WG11/M5047, Melbourne, October 1999.- 107 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych[59] Manjunath B.S., Shin H.: Texture core experiment results: similarity retrieval. ISO/IECJTC1/SC29/WG11/M5092, Melbourne, October 1999.[60] Manjunath, B.S., Wo, P., Newsam, S., Shin, H.D., A texture descriptor for browsingand similarity retrieval. Journal of Signal Processing: Image Communication, 16, Issue1-2, pp. 33-43, September 2000.[61] Manjunath B.S., Wu P., Newsam S.D., Shin H., Choi Y., MPEG-7 Core Experiment:Homogeneous Texture Descriptor (P77). ISO/IEC JTC1/SC29/WG11/M4721,Vancouver, July 1999.[62] Materka A., Elementy cyfrowego przetwarzania i analizy obrazów. PastwoweWydawnictwo Naukowe, Warszawa 1991.[63] Materka A., Metody diagnostyki obrazowej w medycynie i technice. II KrajowaKonferencja Elektroniki, pp. 23-28, Kołobrzeg 2003.[64] Matheron G., Random sets and integraf geometry. Wiley, New York 1975.[65] Nawa N. E., Hashiyama T., Furuhashi T., Uchikawa Y., A Study on Fuzzy RulesDiscovering Using Pseudo-Bacterial Genethic Algorithm with Adaptive Operator.Proceedings of IEEE International Conference on Evolutionary Computation, ICEC1997.[66] Niemann H., Pattern Analysis and Understanding. Springer, Berlin etc., 1990.[67] Niemann H., Klassifikation von Mustern. Springer, Berlin, 2003, (2nd edition).[68] Nieniewski M., Serneels R., Extraction of the Shape of Small Defects on the Surface ofFerrite Cores. Machine Graphics and Vision, vol. 9, No 1/2, pp. 453-462, 2000.[69] O’Brien J.F., Ezquerra N.F., Automated Segmentation of Coronary Vessels inAngiographic Image Sequences Utilizing Temporal, Spatial and Structural Constraints.Proc. of the 3 rd Conference on Visualization in Biomedical Computing SPIE, 1994.[70] Øien G.E., Osnes P., Diabetic retinopathy: Automatic detection of early symptoms fromretinal images. Proc. NORSIG’95, Norvegian Signal Processing Symposium, pp. 135-140, Stavanger, Norway 1995.- 108 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych[71] Oja E., Karhunen J., Hyvärinen A., From neural principal components to neuralindependent component. Proc. Int. Conf., on Artificial Neural Networks, Lausanne,Switzerland, 1997.[72] Oja E., Karhunen J., Hyvärinen A., Vigario R., Hurri J., Neural independent componentanalysis – approaches and applications. Proc. Int. Conf. on Neural InformationProcessing, Dunedin, New Zealand, 1997.[73] Osowski S., Sieci neuronowe w ujciu algorytmicznym. WNT Warszawa 1996.[74] Park N., Prasanna V.K., Cache Conscious Walsh-Hadamard Transform. Proc. ICASSP,Vol. 2, pp. 1205-1208, 2001.[75] Randen T., Husøy J. H., Filtering For Texture Classification: A Comparative Study.IEEE Trans. On Pattern Analysis And Machine Intelligence, vol. 21, no. 4, pp.291-310,April 1999.[76] Ro Y.M., Yoo K., Kim M., Kim J., Preliminary experimental results on boundaryshape effects in homogeneous texture descriptor. ISO/IEC JTC1/SC29/WG11/M5449,Maui, December 1999.[77] Ro Y.M., You K.W., Kim M., Kim J., Texture description using Radon transform.ISO/IEC JTC1/SC29/WG11/M4703, Vancouver 1999.[78] Ro Y.M., You K.W., Kim M., Kim J., Texture description using Radon transform andexperimental results on CT-5 core experiment. ISO/IEC JTC1/SC29/WG11/M5152,Vancouver 1999.[79] Ro Y.M. (ed.), A unified texture descriptor. ISO/IEC JTC1/SC29/WG11/M5490, Maui,grudzie 1999.[80] Russel S., Norvig P., Artificial Intelligence: A Modern Approach. Person Education,2nd Ed., 2003[81] Scheunders P., Livens S., Van de Wouwer G., Vautrot P., Van Dyck D., Wavelet-basedTexture Analysis. Journal on Computer Science And Information Management, Vol.1(1998), Nr 2, pp. 22-34.[82] Schurmann J., Pattern classification. A unified view of statistical and neuralapproaches. John Wiley & Sons, New York 1996.- 109 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych[83] Sikora R., Skarbek W.: On Stability of Oja Algorithm in Rough Sets and Current Trendsin Computing. (eds.: L. Polkowski, A. Skowron) Lecture Notes in Computer Science1424, pp. 354-360, 1998.[84] Singer B., Veloso M.M., Automating the Modeling and Optimization of thePerformance of Signal Transforms. IEEE Trans. on Signal Processing, 50(8), 2003.[85] Skarbek W., Metody reprezentacji obrazów cyfrowych. Akademicka OficynaWydawnicza PLJ, Warszawa 1993.[86] Skarbek W. (ed.), Multimedia – Algorytmy i standardy kompresji. Akademicka OficynaWydawnicza PLJ, Warszawa 1998.[87] Skarbek W., Local Principal Component Analysis in Transform Coding. InternationalSymposium on Nonlinear Theory and Its Applications, NOLTA 1996.[88] Skarbek S., Rough sets for enhancements of local subspace classifier. Neurocomputing,Vol. 36, pp. 67-83, 2001.[89] Skarbek W., Sikora R., Stability Analysis of Oja-RLS Learning Rule. FundamentaInformaticae 34, pp.1-13, 1998, IOS Press.[90] Smith J.R., Chang S.F., Automated Binary Texture Feature Sets for Image Retrieval.Proc. Int. Conf. Acoust., Speech, Signal Processing (ICASSP’96), Atlanta, May 1996.[91] Snitkowska E., Deskryptory tekstury w standardzie MPEG-7. VIII SympozjumNowoci w Technice Audio i Wideo, Warszawa 2001.[92] Snitkowska E., Deskryptory tekstury Snitkowska analizie obrazów angiograficznych. IXSympozjum Nowoci w Technice Audio i Wideo, Warszawa 2002.[93] Snitkowska E., Bałan B. J., Sommer E., Domanski J., Skopiska-Róewska E. Programkomputerowej analizy obrazów MOUSE OBSERVER i jego zastosowanie do ocenywyników uzyskanych w tecie skórnej angiogenezy u myszy. Terapia, rok IX, Nr 3, z.2/105, marzec 2001.[94] Snitkowska E., Kasprzak W., Procedura analizy składowych niezalenych i jejwykorzystanie do opisu tekstur w obrazach cyfrowych. VIII Krajowa KonferencjaRobotyki, KKR 2004, Polanica Zdrój, czerwiec 2004) (w druku).- 110 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych[95] Snitkowska E., Kasprzak W., Independent Komponent Analysis of Textures InAngiography Images. ICCVG 2004, Warszawa, wrzesie 2004 (w druku)[96] Strzelecki M., Segmentacja tekstur obrazów biomedycznych z wykorzystaniemwielowarstwowych sieci percepronowych. Elektronika, Prace Naukowe, Zeszyt 2, Łód1997, str. 115-135.[97] Sumengen B., Newsam S., Manjunath B.S., Shin H., Choi Y., Texture core experimentsresults: similarity retrieval. ISO/IEC JTC1/SC29/WG11/M5563, Maui, December1999.[98] Sun J., Some practical aspects of exploratory projection pursuit. SIAM J. of. Sci.Comput., 14, pp. 68-80, 1993.[99] Swets D.L., Weng J.J., Using discriminant eigenfeatures for image retrieval. IEEETrans. Patt. Anal., Mach. Intell., PAMI-18 (1996), No. 8, pp. 831-836.[100] Szabatin J., Podstawy teorii sygnałów, Wydawnictwa Komunikacji iŁcznoci,.Warszawa 1990.[101] Tadeusiewicz R., Problemy biocybernetyki. Pastwowe Wydawnictwo Naukowe,Warszawa 1991.[102] Tadeusiewicz R., Sieci neuronowe. Akademicka Oficyna Wydawnicza RM, Warszawa1993.[103] Tadeusiewicz R., Flasiski M., Rozpoznawanie obrazów. PWN, Warszawa 1991.[104] Tadeusiewicz R., Korohoda P., Komputerowa analiza i przetwarzanie obrazów.Wydawnictwo Fundacji Postpu Telekomunikacji, Kraków, 1997.[105] Tamura H., Mori S., Yamawaki T., Textural Features Corresponding To VisualPerception. IEEE Trans. On Systems, Man And Cybernetics, Vol. SMC-8, No. 6, pp.460-473, June 1978.[106] Turk M., Pentland A., Eigenfaces for recognition. Journal of Cognitive Neuroscience,vol. 3 (1991), pp. 71-86.- 111 -

E. Snitkowska Analiza tekstur w obrazach cyfrowych[107] Turner M. R., Texture Discrimination by Gabor Functions. Biological Cybernetics, vol.55 (1986), pp. 71-82.[108] Unser M., Eden M., Nonlinear Operators for Improving Texture Segmentation Based onFeatures Extracted by Spatial Filtering. IEEE Transactions on Systems, Man andCybernetics, Vol. 20, No. 4, July/August 1991, pp. 804-815.[109] Vapnik V., The Nature of Statistical Learning Theory. Springer-Verlag, New York,1995.[110] Vapnik V., Statistical Learning Theory. John Wiley and Sons Inc., New York 1998.[111] Wang L., Bhalerao A., Detecting Branching Structures using Local Gaussian Model.Proc. of IEEE International Symposium on Biomedical Imaging ISBI, Washington DC,July 2002.[112] Watkins D., Sadun A., Marenka S., Nowoczesne metody przetwarzania obrazu. WNT,Warszawa 1995.[113] Weingessel A., Natter M., Hornik K., Using Independent Component Analysis forFeature Extraction and Multivariate Data Projection. SFB Adaptive InformationSystems And Modelling In Economics And Management Science, Working Paper No.16, Vienna 1998.[114] Weldon T., Higgins W., Dunn D., Efficient Gabor Filter Design For TextureSegmentation. Pattern Recognition, Vol. 29(12), pp. 2005-2015, 1996.[115] Wu P., Manjunath B.S., Shin H., Texture core experiment results: browsing. ISO/IECJTC1/SC29/WG11/M5499, Maui, December 1999.[116] Yamada A., Pickering M., Jeannin S., Cieplinski L., Ohm J.R., Munchurl K.: MPEG-7Visual part of eXperimentation Model Version 8.0. ISO/IEC JTC1/SC29/WG11/N3673,La Baule, pa dziernik 2000.- 112 -