14. Telekomunikacioni forum TELFOR 2006 Srbija, Beograd, 21-23 Novembar, 2006

Sadržaj — Opisuje se sistem za pretraživanje baze slika,

zasnovan na objektivnom sadržaju i sa reakcijom korisnika.

Pretpostavlja se da su slike prtehodno klasifikovane. Po etno

pretraživanje je zna ajno ubrzano jer se upitna slika poredi

sa predstavnicima formiranih klasa a ne sa svim slikama iz

baze. Pore enje je bazirano na analizi sporednih

komponenata (MC). Dodatno ubrzanje i uravnoteženje

uticaja obeležja boje i teksture na rezultate pretrage se

ostvaruje koriš enjem redukovanog vektora obeležja upitne

slike. Efikasnost sistema testirana je na Corel bazi od 000

slika. Sistem je pokazao dobre karakteristike i

zadovoljavaju e rezultate.

Klju ne re i — Content-based image retrival, relevance

feedback, minor component analysis, feature vector

reduction, image classification.

I. UVOD

AGLI porast broja i obima multimedijalnih baza podataka, u poslednjoj deceniji, posledica je razvoja

vrlo “mo nih” digitalnih audio-vizuelnih ure aja. Dostupnost moderne multimedijalne tehnologije omogu ila je svakome od nas, ne samo da koristimo, ve i da aktivno u estvujemo u proizvodnji multimedijalnih sadržaja. Problem memorisanja ovakvih brojnih sadržaja rešen je razvojem “mo nih” memorijskih modula. Glavni problem koji danas zaokuplja pažnju profesionalaca i istraživa a u oblasti multimedijalnih baza podataka velikih obima, predstavlja klasifikacija i pretraga istih. Pretraživanje na osnovu sadržaja kako audio tako i video fajlova posebno je aktuelno i postoji veliki broj razli itih algoritama koji su do sada predstavljeni [ -9].

Sistemi za pretragu multimedijalnih baza zasnovani na semantici predstavljaju tekstualno orijentisan te vrlo efikasan i automatizovan princip pretrage. Velika primena ovakvih sistema je u filmskoj industriji i industriji zabave. Klju ni frejmovi se manuelno ozna avaju skupom klju nih re i. Upit je teksualan i u pretrazi se traže frejmovi ije klju ne re i najbolje odgovaraju upitnom skupu re i.Sli an princip pretrage ugra en je i u MPEG-7 video

Goran Zaji , Vladan Radosavljevi , Stevan Rudinac, Maja Rudinac, Nikola Reljin, i Branimir Reljin su sa Elektrotehni kog fakulteta Univerzitata u Beogradu, Bulevar Kralja Aleksandra 73, 000 Beograd, Srbia; Nenad Koji je sa Više ICT škole, Zdravka elara 6, 000Beograd, E-mail: gzajic@eunet.yu, vlada.radosavljevic@gmail.com,stevanrudinac@gmail.com, majarudinac@gmail.com,nikola.reljin@gmail.com, reljinb@etf.bg.ac.yu, nkojic@eunet.yu

standard. Nedostaci ovakvih sistema su dugotrajno manuelno ozna avanje klju nih frejmova, neophodnost egzaktnog poklapanja upitnog skupa re i i skupa klju nih re i zahtevanog frejma te jezi ke barijere.

Tehnike pretraživanja na osnovu sadržaja (CBIR) [ ]ekstraktuju iz klju nog frejma obeležja niskog nivoa kao što su boja, tekstura, oblik itd., a zatim ih na predefinisan na in ugra uju u vektor obeležja klju nog frejma. Pretraga se zasniva na izra unavanju objektivne mere sli nosti izme u upitnog vektora obeležja i vektora obeležja frejmova (slika) iz baze. Objektivna mera sli nosti može biti izra unata za ceo skup komponenata vektora obeležja ili pojedina no po obeležjima niskog nivoa. Ove tehnike pretrage su vrlo precizne i prevazišle su nedostatke semanti kih tehnika automatizovanom ekstrakcijom obeležja. Nedostatak ovakvog na ina pretraživanja ogleda se u ograni enim sposobnostima obeležja niskog nivoa da zadovolje korisnikove subjektivne potrebe u procesu pretrage što se u literaturi naziva imenom “semantic gap”.

Asistencija korisnika [2-9] u velikoj meri može da unapredi pretraživa ke tehnike. Korisnik je aktivan u esnik i kao rezultat pretrage dobija skup frejmova (slika) izme u kojih bira odre en broj relevantnih koje zadovaljavaju njegove subjektivne zahteve, a ostale proglašava nerelevantnim. Sistem na osnovu skupova relevantnih i nerelevantnih frejmova podešava težinske koeficijente vektora obeležja, nude i zatim korisniku novi skup frejmova koji su objektivno bliži korisnikovoj subjektivnoj percepciji. Ovaj postupak se može automatizovati tako da se pretraga obavlja u više iteracija. Ovakvi sistemi su realizovani primenom neuralnih mreža ili fuzzy sistema. Pretraživa ke tehnike na osnovu sadržaja primenom asistencije korisnika znatno smanjuju procep izme u obeležja niskog nivoa i ljudske percepcije.

U radu sa velikim bazama podataka brzina rada pretraživa a može biti veliki ograni avaju i faktor za primenu. Da bi se obezbedila velika preciznost, neophodna je detaljna inicijalna pretraga, što opet vodi ka velikoj potrošnji ra unarskog vremena. Kompromis izme upreciznosti i brzine rada rešava se odgovaraju om redukcijom vektora obeležja [8] ili prethodnom klasifikacijom slika [3,7,9]. U oba slu aja dolazi do gubitka preciznosti, u prvom slu aja zbog gubitka relevantnih informacija iz vektora obeležja, a u drugom usled preklapanja klasa.

U ovom radu predstavljamo CBIR sistem u kojem je implementirana kombinacija klasifikacije baze podataka i

Sistem za pretraživanje prethodno klasifikovanih baza slika

Goran Zaji , Nenad Koji , Vladan Radosavljevi , Stevan Rudinac, Maja Rudinac, Nikola Reljin, Member, IEEE, Branimir Reljin, Member, IEEE

N

478

redukcije vektora obeležja kao efikasan algoritam za pretragu baza slika uz asistenciju korisnika. Klasifikacija baze je izvedena primenom MC analize [9], dok je za redukciju vektora obeležja koriš en modifikovani FVR metod [9]. Priloženi su rezultati simulacija.

U nastavku teksta, u glavi II, je dat opis MC-FVR CBIR sistema uz asistenciju korisnika. U glavi III su prikazani karakteristi ni rezultati simulacija primene pomenutog CBIR sistema na delu Corel baze a u glavi IV su date zaklju ne napomene.

II. OPIS CBIR SISTEMA

Struktura predloženog CBIR sistema prikazana je na slici . Slike iz baze opisane su grupom obeležja niskog nivoa slede ih dimenzija HSV dominantne boje 32 koordinate, YCbCr dominantne boje 32 koordinate, HSV kolor histogram 64 koordinate, YCbCr kolor histogram

77 koordinata, histogrami orijentacije ivica 73 koordinate, obeležja Gabor transformacije 62 koordinate i obeležja co-occurrence matrice 6 koordinat. Ova obeležja, sa pomenutim redosledom, formiraju vektor obeležja sa 556 koordinata za svaku sliku. U Corel bazi, koja je koriš ena u simulacijama, slike su grupisane po sadržaju u klase.

Slika . Blok šema MC-FVR CBIR sistema uz asistenciju korisnika.

U predloženom sistemu svaka klasa je opisana reprezentativnim obeležjem primenom MC analize [9] na obeležja Gabor transformacije unutar vektora obeležja svake slike u klasi. Poznato je da analiza glavnih komponenata (PCA = principal component analysis)Otuda, ako su komponente sopstvenog vektora sre ene u opadaju em redosledu, glavne komponente (prvi lanovi u PC vektoru) opisuju globalni sadržaj slike koji je, uobi ajeno, odre en pozadinom. Saglasno tome, sporedne (minor) komponente, koje se nalaze na kraju PC vektora trebalo bi da pretežno odgovaraju detaljima u slici. Otuda, ako su slike klasifikovane tematski, po sadržaju, pore enjem minor komponenata upita i reprezentativnog lana koji opisuje klasu, može se klasifikovati upitna slika.

Ova ideja je primenjena u predloženom CBIR sistemu. Koristili smo malu Corel bazu [ 0] sa 000 slika – 0klasa, svaka sa 00 slika.

Slike iz svake od klasa podeljene su u dve grupe od kojih je jedna bila obu avaju i skup, a druga se koristila za

testiranje. Mi smo koristili po 50 slika za ove skupove. Komponente iz Gabor transformacije u formi vektora sa 62 lana su koriš ene za odre ivanje kovarijansne matrice i

sopstvenih vektora. Poslednjih 0 lanova sopstvenih vektora, dakle minor komponente, su koriš ene za formiranje reprezentative matrice MC komponenata za svaku od klasa slika. Upitna slika se poredila sa klasama, tako što je Gabor vektor upita projektovan na MC vektore postoje ih klasa slika i tražila se norma ovih vektora. Vektori sa najmanjom normom su deklarisani kao najsli niji upitu a odgovaraju e klase slika su kandidati slika koje odgovaraju upitu. Dalje pretraživanje je sli no kao u standardnim sistemima sa reakcijom korisnika. Korisniku se u prvom koraku prikazuje B=20 slika iz najbliže klase koje su objektivno najsli nije upitu na osnovu rastojanja. To se, esto, pokazalo dovoljnim. Ukoliko nijedna od ponu enih slika subjektivno ne odgovara upitu, tj. Nijedna nije ozna ena kao relevantna, sistem u narednom koraku nudi korisniku slike iz tri najbliže klase, odnosno, iz šest najbližih klasa, ako ni iz tri klase nije bilo relevantnih slika.

Uvo enjem podele na klase znatno e ubrzava po etno pretraživanje jer se upitna slika poredi sa predstavnicima klasa, a ne sa svim slikama iz baze. Dodatno ubrzanje postupka se može ostvariti redukcijom vektora obeležja (RFV) upitne slika [8]. Ovaj algoritam detektuje u upitnom vektoru obeležja karakteristi ne maksimume i minimume koji zadovoljavaju zadate pragove tolerancije, odnosno apsolutne odnose izme u koordinata posmatranog vektora. Koordinate koje ne zadovoljavaju zadate tolerancije brišu se iz vektora. Modifikacija FVR algoritma koja je primenjena u CBIR sistemu koji ovde predlažemo, odnosi se na podelu vektora obeležja na dva dela, na deo koji ine obeležja boje (dominantne boje, histogrami boje) i na deo koji ine obeležja teksture (histogram ivica, obeležja Gabor transformacije i obeležja co-occurrence matrice). Na svaki od pomenuta dva dela vektora obeležja primenjen je RFV algoritam za redukciju, ali sa razli itim tolerancijama. Prag tolerancije za teksturu je znatno manji od praga tolerancije za boju. Tako e, inicijalna pretraga primenom objektivne mere sli nosti vektora obeležja, ovde je zasnovana na Mahalanobis rastojanju. Nakon inicijalne pretrage korisnik dobija skup slika koje su rezultat objektivne mere sli nosti od kojih odabire slike koje smatra zaista sli nima i proglašava ih relevantnima, a ostale nerelevantnima. Na osnovu ovih pozitivnih i negativnih primera sistem e se pomeriti ka oblasti koja sadrži više relevantnih slika i generisati novi skup slika za korisnika. Asistencija korisnika realizovana je primenom neuralne mreže radijalne osnove [5,7,8,9].

III. REZULTATI SIMULACIJA

Efikasnost predstavljenog CBIR sistema testirana je na delu Corel baze [ 0] od 000 slika, koje su klasifikovane u

0 klasa, i gde svaka klasa sadrži po 00 slika. Sve slike unutar baze su numerisane, tako da slike odre enog sadržaja nalaze se u odgovaraju em intervalu brojeva: “crni ljudi” (0-99), “plaže” ( 00- 99), “spomenici” (200-

479

299), “autobusi” (300-399), “dinosaurusi” (400-499), “slonovi” (500-599), “cve e” (600-699), “konji” (700-799), “planine” (800-899), “jela” (900-999). Pri redukciji vektora obeležja prag tolerancije [8] za boju iznosio je 00%, a za teksturu 5 %. Kao upitne slike, pri izvo enju simulacija, koriš ene su slike iz baze. U svakoj iteracije pretrage korisniku je predstavljeno po 20 slika. Tabela prikazuje uspešnost detekcije klase. U prvoj koloni naveden je broj klasa koji se detektuje. U drugoj koloni je predstavljen broj slika za koje se klasa kojoj pripadaju nalazi me u detektovanim klasama.

TABELA : USPEŠNOST DETEKCIJE KLASE.

Broj klasa Broj slika klasa 927

3 klase 63

6 klasa 0

Kao što se može videti iz tabele detekcija tri klase je sasvim dovoljna za 99 % slika, da se klasa upitne slike na e me u tri detektovane. Slike za koje je neophodno detektovati grupu od šest klasa predstavljaju drasti an primer preklapanja klasa. Ovaj problem e se razmotriti na slede em primeru.

Na slici 3(a) prikazan je rezultat pretrage za sliku broj 234 iz klase „spomenici“ kada je primenjena redukcija na vektora obeležja, a na slici 3(b) prikazan je rezultat pretrage za istu sliku kada nije primenjena redukcija vektora obeležja. U ovom primeru preklapanje klasa je vrlo o ito. Neophodno je detektovati tri klase da bismo bili sigurni da se me u njimanalazi i tražena. Slika pod brojem 234 predstavlja kupolu jednog spomenika u zalasku sunca i sa takvim opisom pripada klasi “spomenici”. Me utim, vizuelno vrlo sli ne slike sa aspekta obeležja boje imamo i u klasi cvetovi, gde imamo crvene cvetove na crnoj podlozi. Ovde je presudno obeležje po teksturi za efikasno pronalaženje ostalih slika iz klase “spomenici”. Primenom redukcije vektora obeležja uravnotežen je uticaj teksture i boje na pretraživanje. U redukovanom vektoru obeležja od 62 koordinate, odnos broja koordinata za boju i teksturu je 2: respektivno. U odnosu na originalni vektor obeležja u redukovanom vektoru egzistiraju samo koordinate koje su karakteristi ne za ovu sliku. Na slici 2(a) vidimo da je primenom redukcije u prvom skupu od 20 slika koje su prezentovane korisniku kao rezultat pretrage dve slike iz klase „spomenici“, originalna slika na prvom mestu i jedina sli na toj slici po boji i strukturi na petom mestu (slika 249). Za asistenciju korisnika neophodne su bar dve slike iz iste klase da bi asistencija bila uspešna. Možemo videti da na slici 2(b), gde je primenjen originalni vektor obeležja, ovaj uslov nije zadovoljen. Na slici 3 prikazan je rezultat pretrage za istu sliku nakon prve intervencije korisnika. Može se videti da se me u prikazanim slikama nalaze i slike iz klase kojoj upitna slika pripada.

Slede i primer opisuje uticaj redukcije vektora obeležja na rezultate pretrage kada imamo više slika koje su sli ne unutar jedne klase. U ovom slu aju na osnovu upitne slike

uspešno se detektuje klasa i kada broj klasa koje detektujemo smanjimo na samo jednu. U pitanju je klasa „slonovi”, slika pod brojem 586. Na slici 4(a) prikazani su rezultati pretrage za pomenutu sliku kada je koriš en originalni vektor obeležja, a na slici 4(b) kada je primenjena redukcija vektora obeležja (47 kordinata). Možemo videti da su rezultati sli ni, sve sli ne slike su prisutne nakon inicijalne pretrage, bez obzira na gubitak dela informacija koji je usledio u slu aju primene redukcije vektora obeležja. Tako e, možemo videti da je strukturna sli nost u slu aju primene redukcije ve a nego u slu aju primene originalnog vektora obeležja.

IV. ZAKLJU AK

Iz priloženih rezultata može se videti da predstavljeni CBIR sistem ima dobre karakteristike. Primenom MC analize u klasifikaciji baze slika, obezbe ena je brža pretraga svo enjem baze na samo grupu klasa od interesa, a primenom redukcije osim na brzini procesiranja dobili smo i na strukturnoj kvaliteti pretraživanja. Dalje istraživanje e biti usmereno ka primeni algoritma na ve im bazama slika, i ka daljem usavršavanju kako klasifikacije baze slika tako i redukcije vektora obeležja.

Zahvalnica: Istraživanja u ovom radu su delimi no finansirana preko evropskog projekta COST 292, Semantic Multimodal Analysis of Digital Media.

LITERATURA

[ ] W. Y. Ma and B. S. Manjunath, “NETRA: A toolbox for navigating large image databases”, in Proc. IEEE Int. Conf. on Image Processing, 997

[2] G. Aggarwal, T. Ashwin and S. Ghosal, “An image retrieval system with automatic query modification”, IEEE Trans. Multimedia, vol. 4, pp. 20 -2 4, June 2002

[3] K.-M. Lee and W. N. Street, “Cluster-driven refinement for content-based digital image retrieval”, IEEE Trans. Multimedia, vol. 6, pp. 8 7-827, Dec. 2004.

[4] J. Calic, N. Campbell, A. Calway, M. Mirmehdi, T. Burghardt, S. Hannuna, C. Kong, S. Porter, N. Canagarajah and D. Bull, “Towards intelligent content based retrieval of wildlife videos”, in Proc. 6th Int. Workshop WIAMIS-05, EFPL, Montreux, Switzerland, April 2005.

[5] S. abarkapa, N. Koji , V. Radosavljevi , G. Zaji and B. Reljin, “Adaptive content-based image retrieval with relevance feedback”, in Proc. Conf. EUROCON-2005, Vol. , pp. 47- 50, Belgrade, 2 -24 Nov. 2005

[6] M. Jankovic and B. Reljin, “A new minor component analysis method based on Douglas-Kung-Amari minor subspace analysis method”, IEEE Signal Processing Letters, Vol. 2, No 2, pp. 859-862, Dec. 2005.

[7] V. Radosavljevi , N. Koji , S. abarkapa, G. Zaji , I. Reljin and B. Reljin, “An image retrieval system with user’s relevance feedback”, in Proc. Conf. WIAMIS-2006, pp. 9- 2, Incheon, Korea, 9-2April 2006.

[8] G.Zaji , N. Koji , V. Radosavljevi , S. abarkapa, B. Reljin, “Feature vector reduction in CBIR system with relevance feedback”, in Proc. Conf. IWSSIP, pp. 479-482, Budapest, 2 -23 Sept. 2006

[9] M. Jankovi , G. Zaji , V. Radosavljevi , N. Koji , N. Reljin, M. Rudinac, S. Rudinac, B. Reljin, “Minor component analysis (MCA) applied to image classification in CBIR systems”, in Proc. Conf. NEUREL-2006, pp. - 6, Belgrade, 25-27 Sep. 2006.

[ 0] Corel Gallery Magic 65000 ( 999), www.corel.com

480

ABSTRACT

The content-based image retrival (CBIR) system with relevance feedback is described. It is assumed that images from database are classified, first. Initial search is highly accelerated since a query image is compared to representatives of image classes instead to all images from database. Comparison is based on minor component (MC) analysis. An additional accelerating and improvement of the influence of low level features for color and texture on searching results is obtained after the feature vector reduction (FVR). System is tested on Corell image databese ( 000 images), exhibiting good performances and very promissing results.

CBIR SYSTEM FOR PRE-CLASSIFIED IMAGE DATABASES

Goran Zaji , Nenad Koji , Vladan Radosavljevi , Stevan Rudinac, Maja Rudinac, Nikola Reljin, Branimir Reljin

Slika 2(a). Rezultat inicijalne pretrage za sliku 234 kada je primenjen FVR algoritam redukcije.

Slika 2(b). Rezultat inicijalne pretrage za sliku 234 primenom originalnog vektora obeležja.

Slika 3. Rezultat pretrage za sliku 234 posle prve asistencije korisnika uz primenu FVR algoritma redukcije

Slika 4(a). Rezultat inicijalne pretrage za sliku 586 primenom FVR algoritma redukcije

Slika 4(b). Rezultat inicijalne pretrage za sliku 586, primenom originalnog vektora obeležja

481