7
http://excel.fit.vutbr.cz Mobiln ´ a aplik ´ acia pre akviz´ ıciu a ´ upravu HDR fotografi´ ı Patrik Michal´ ak* Abstrakt Ciel om tejto pr ´ ace je n ´ avrh a implement ´ acia mobilnej aplik ´ acie pre akviz´ ıciu, spracovanie, zobraze- nie a ´ upravu HDR fotografi´ ı. V rie ˇ sen´ ı bola pou ˇ zit ´ a met ´ oda generovania HDR obsahu kombinovan´ ım LDR sn´ ımok s r ˆ oznou hodnotou ˇ casu expoz´ ıcie. Vytvoren ´ e rie ˇ senie poskytuje u ˇ z´ ıvatel ovi mobiln ´ u aplik ´ aciu pre pr ´ acu s HDR fotografiou, ˇ styri met ´ ody mapovania t ´ onov a r ˆ ozne n ´ astroje, ktor ´ eu ˇ z´ ıvatel pri pr ´ aci potrebuje. Kl ´ cov ´ e slov ´ a: HDR — Spracovanie Obrazu — Mapovanie T´ onov — Mobiln´ a Aplik ´ acia Priloˇ zen ´ e materi ´ aly: Demonˇ straˇ cn´ e Video *xmicha65@stud.fit.vutbr.cz, Fakulta informaˇ cn´ ıch technologi´ ı Vysok ´ eho uˇ cen´ ı technick ´ eho v Brn ˇ e 1. ´ Uvod Okolie, ktor ´ e vn´ ımame, m´ a vysok ´ y dynamick ´ y rozsah svetla a farieb. Tmav ´ e miesta bez osvetlenia neob- sahuj ´ u takmer ˇ ziaden jas a naopak sc ´ ena zameran ´ a na zdroj svetla obsahuje privel mi vel a jasu. L udsk ´ e oko je schopn ´ e prisp ˆ osobit sa tak ´ ymto zmen ´ am a pozorovat detaily aj na sc ´ ene s rozmanit ´ ym rozsahom jasu. Fotoa- par ´ at vˇ sak nem´ a tak ´ y cit ako ˇ clovek a dok ´ a ˇ ze zachytit sn´ ımky len s ur ˇ citou hodnotou expoz´ ıcie. Preto sa digit ´ alne fotoapar ´ aty pok ´ uˇ saj ´ u odhadn ´ ut osvetlenie a automaticky nastavit ˇ cas expoz´ ıcie tak, aby mal najd ˆ ole ˇ zitej ˇ s´ ı aspekt sc ´ eny ˇ co najlepˇ si ´ ı dynamick ´ y rozsah a jas miest, ktor ´ es ´ u pr´ ıli ˇ s tmav ´ e alebo naopak pr´ ıli ˇ s svetl ´ e, je orezan ´ y na hodnoty 0 a 255. Tento probl ´ em rieˇ si HDR fotografia, avˇ sak nie vel a be ˇ zn ´ ych u ˇ z´ ıvatel ov si je vedom ´ ych, ˇ co to vlastne HDR fo- tografia znamen´ a a ako sa s ˇ nou pracuje. HDR umo ˇ z ˇ nuje zachytit vel k ´ u ˇ cast rozsahu jasu re ´ alneho sveta a n ´ asledn ´ u pr ´ acu s t ´ ymito d ´ atami. Ex- istuje viacero mobiln ´ ych aplik ´ aci ´ ı, ktor ´ e pon ´ ukaj ´ u vytvorenie a spracovanie HDR fotografie. Vel a verejne dostupn ´ ych aplik ´ aci ´ ıvˇ sak pou ˇ z´ ıva iba filter aplikovan ´ y na jednu fotografiu, ktor ´ y zv ´ yˇ si kontrast farieb a de- taily a t ´ ym sa sna ˇ z´ ı opticky vytvorit efekt HDR. Na druhej strane s ´ u aplik ´ acie, ktor ´ e vytv ´ araj ´ u HDR fo- tografiu skladan´ ım s ´ erie sn´ ımok s r ˆ oznymi nastavenia- mi expoz´ ıcie. Tieto aplik ´ acie vˇ sak pov ¨ a ˇ cˇ sine u ˇ z´ ıvatel o- vi neposkytuj ´ u dostato ˇ cne z ´ a ˇ zivn ´ eu ˇ z´ ıvatel sk ´ e rozhranie, maj ´ u pre u ˇ z´ ıvatel a vel mi obmedzen ´ e mo ˇ znosti, alebo sa s nimi t zko a neintuit´ ıvne pracuje. Zameran´ ım tejto pr ´ ace je vytvorit aplik ´ aciu, ktor ´ a by rieˇ sila nielen probl ´ emy generovania a spracova- nia HDR obsahu, ale zamerala sa aj na interakciu s u ˇ z´ ıvatel om a poskytla mu viac mo ˇ znost ´ ı ako be ˇ zn ´ a ap- lik ´ acia. Ka ˇ zd ´ a sc ´ ena je nie ˇ cim v ´ ynimo ˇ cn ´ a a jednoduch ´ e v ´ ychodzie nastavenia hodn ˆ ot parametrov nedosiahn ´ u zdy uspokojiv´ ev´ ysledky.

Mobilna aplik´ acia pre akviz´ıciu a upra´ vu HDR´ fotografi´ıexcel.fit.vutbr.cz/submissions/2018/017/17.pdf · parat v´ ˇsak nem a tak´ y cit ako´ clovek a dokˇ a´ze

  • Upload
    lamkien

  • View
    218

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Mobilna aplik´ acia pre akviz´ıciu a upra´ vu HDR´ fotografi´ıexcel.fit.vutbr.cz/submissions/2018/017/17.pdf · parat v´ ˇsak nem a tak´ y cit ako´ clovek a dokˇ a´ze

http://excel.fit.vutbr.cz

Mobilna aplikacia pre akvizıciu a upravu HDRfotografiıPatrik Michalak*

AbstraktCiel’om tejto prace je navrh a implementacia mobilnej aplikacie pre akvizıciu, spracovanie, zobraze-nie a upravu HDR fotografiı. V riesenı bola pouzita metoda generovania HDR obsahu kombinovanımLDR snımok s roznou hodnotou casu expozıcie. Vytvorene riesenie poskytuje uzıvatel’ovi mobilnuaplikaciu pre pracu s HDR fotografiou, styri metody mapovania tonov a rozne nastroje, ktore uzıvatel’pri praci potrebuje.

Kl’ucove slova: HDR — Spracovanie Obrazu — Mapovanie Tonov — Mobilna Aplikacia

Prilozene materialy: Demonstracne Video

*[email protected], Fakulta informacnıch technologiı Vysokeho ucenı technickeho v Brne

1. UvodOkolie, ktore vnımame, ma vysoky dynamicky rozsahsvetla a farieb. Tmave miesta bez osvetlenia neob-sahuju takmer ziaden jas a naopak scena zamerana nazdroj svetla obsahuje privel’mi vel’a jasu. L’udske okoje schopne prisposobit’ sa takymto zmenam a pozorovat’detaily aj na scene s rozmanitym rozsahom jasu. Fotoa-parat vsak nema taky cit ako clovek a dokaze zachytit’snımky len s urcitou hodnotou expozıcie. Preto sadigitalne fotoaparaty pokusaju odhadnut’ osvetleniea automaticky nastavit’ cas expozıcie tak, aby malnajdolezitejsı aspekt sceny co najlepsiı dynamickyrozsah a jas miest, ktore su prılis tmave alebo naopakprılis svetle, je orezany na hodnoty 0 a 255. Tentoproblem riesi HDR fotografia, avsak nie vel’a beznychuzıvatel’ov si je vedomych, co to vlastne HDR fo-tografia znamena a ako sa s nou pracuje.

HDR umoznuje zachytit’ vel’ku cast’ rozsahu jasurealneho sveta a naslednu pracu s tymito datami. Ex-

istuje viacero mobilnych aplikaciı, ktore ponukajuvytvorenie a spracovanie HDR fotografie. Vel’a verejnedostupnych aplikaciı vsak pouzıva iba filter aplikovanyna jednu fotografiu, ktory zvysi kontrast farieb a de-taily a tym sa snazı opticky vytvorit’ efekt HDR. Nadruhej strane su aplikacie, ktore vytvaraju HDR fo-tografiu skladanım serie snımok s roznymi nastavenia-mi expozıcie. Tieto aplikacie vsak povacsine uzıvatel’o-vi neposkytuju dostatocne zazivne uzıvatel’ske rozhranie,maju pre uzıvatel’a vel’mi obmedzene moznosti, alebosa s nimi t’azko a neintuitıvne pracuje.

Zameranım tejto prace je vytvorit’ aplikaciu, ktoraby riesila nielen problemy generovania a spracova-nia HDR obsahu, ale zamerala sa aj na interakciu suzıvatel’om a poskytla mu viac moznostı ako bezna ap-likacia. Kazda scena je niecim vynimocna a jednoduchevychodzie nastavenia hodnot parametrov nedosiahnuvzdy uspokojive vysledky.

Page 2: Mobilna aplik´ acia pre akviz´ıciu a upra´ vu HDR´ fotografi´ıexcel.fit.vutbr.cz/submissions/2018/017/17.pdf · parat v´ ˇsak nem a tak´ y cit ako´ clovek a dokˇ a´ze

2. Generovanie a spracovanie HDR

Je vel’mi obtiazne zachytit’ scenu, kde su svetle mi-esta mnohonasobne jasnejsie ako tmave miesta. Inakpovedane, takato scena ma vysoky dynamicky rozsah.V sucasnosti existuju 3 metody vytvarania HDR ob-sahu [1]:

• kombinovanım LDR snımok s roznou hodnotoucasu expozıcie,• zachytenie sceny specializovanym hardverom,• vytvaranie virtualnych prostredı.

Kombinovanie viacerych snımok sceny s roznouhodnotou expozıcie je pre svoju dostupnost’ a nenaroc-nost’ najviac vyuzıvanou metodou. Takto zachytımedetaily od najtmavsej, az po najsvetlejsiu oblast’.

2.1 Generovanie HDRDigitalne fotoaparaty maju vseobecnu funkciu nazyvanukrivka odozvy fotoaparatu (CRF1). Predtym, ako budemegenerovat’ HDR obsah, je potrebne vyjadrit’ tuto krivkuodozvy snımaca zariadenia. Krivku zıskame minimali-zovanım kvadratickej objektıvnej funkcie [2]:

O =N

∑i=1

P

∑j=1

[g(Zi j)− lnEi− ln∆t j]2 +λ

Zmax−1

∑z=Zmin+1

g′′(z)2

(1)kde P je pocet obrazkov s rozlicnou expozıciou, Nje pocet pixelov v jednom obrazku, Zi j je hodnotapixelu na indexe i v obrazku j, Zmin a Zmax su hodnotyminima a maxima, ktore moze pixel nadobudnut’ a∆t j je expozicny cas pre Zi j. Druhy term zabezpecujeplynulost’ funkcie g. Hodnota λ je vaha plynulostirelatıvna k prvemu termu a je zvolena podl’a mnozstvasumu ocakavaneho v Zi j. w(Zi j) je vahova funkciaodstranujuca presahujuce hodnoty [2]:

w(z) =

{z−Zmin, pre z≤ 1

2(Zmin +Zmax)

Zmax− z, pre z > 12(Zmin +Zmax)

(2)

pomocou ktorej dosiahneme, ze hodnoty v okolı Zmidbudu mat’ vacsiu vahu ako hodnoty v okolı Zmin a Zmax.Zmid je prostredna hodnota rozsahu hodnot pixelu, vy-jadrena ako Zmid = 1

2(Zmin +Zmax).Ak uz mame vyjadrenu krivku odozvy g, vieme ju

spolu s vahovou funkciou pouzit’ na prepocet hodnotypixelu na relatıvnu hodnotu ziarenia Ei [2]:

lnEi =∑

Pj=1 w(Zi j)(g(Zi j)− ln∆t j)

∑Pj=1 w(Zi j)

(3)

1Camera Response Function

2.2 Zobrazovanie HDR obsahuVzhl’ad sceny zavisı od urovne osvetlenia a rozsahukontrastu [3]. Za jasneho dna vyzera scena viac farebnea kontrastnejsie. Pre reprodukovanie presneho vizualne-ho vzhl’adu takejto sceny nestacı iba jednoducha kom-presia, aby sa uroven intenzity a rozsah kontrastuprisposobil limitom zobrazovacieho media.

Reprodukcia vizualneho vzhl’adu je primarnymciel’om pre mapovanie tonov. Mapovanie tonov je pro-ces prevodu obrazu s vysokym dynamickym rozsahomna 8-bitovy obraz pre farebny kanal, s ciel’om zachovat’co najvacsie mnozstvo detailov.

Metody mapovania tonov mozeme rozdelit’ na dvazakladne typy:

Globalne operatory (priestorovo jednotne) su nelinear-ne funkcie zalozene na svetelnych a inych global-nych premennych obrazu. [4]

Lokalne operatory (priestorovo sa meniace) su ne-linearnej funkcie, ktorych parametre sa menia vkazdom pixeli podl’a vlastnostı zıskanych z okoli-tych oblastı. [4]

Aplikaciou implementovane metody mapovaniatonov su:

Bilateralny filter - metoda sa pokusa zobrazit’ obrazyHDR rozlozenım obrazu na zakladnu vrstvua vrstvu detailov. V zakladnej vrstve je kon-trast skomprimovany bilateralnym filtrom, ktorychrani hrany. [5]

Fotograficka reprodukcia - tento operator simulujetechniku ”dodging and burning”, ktora bola pouzı-vana v pociatkoch fotografie a dovol’uje vytvarat’rozlicne expozıcie napriec fotografiou. Operatorobsahuje aj jednoduchsiu globalnu verziu. [6]

Logaritmicke mapovanie - metoda redukuje pomerkontrastu logaritmickou kompresiou hodnot jasu,napodobnujuc l’udske vnımanie svetla. [7]

Perceptualny ramec pre kontrastne spracovanie -metoda vytvara ramec pre spracovanie obrazu vpriestore vizualnej odozvy, v ktorej kontrastnehodnoty priamo koreluju so svojou viditel’nost’ouv obraze. [8]

3. Navrh a Implementacia Aplikacie

Vyber technologiı pre implementaciu casovo a priestoro-vo narocnych algoritmov je dolezita a casto narocnacast’ prace. Tato praca bude zamerana na vytvaranieHDR fotografie na platforme Android. Pre riesenienarocnych matematickych a grafickych operaciı jepouzita kniznica OpenCV.

Page 3: Mobilna aplik´ acia pre akviz´ıciu a upra´ vu HDR´ fotografi´ıexcel.fit.vutbr.cz/submissions/2018/017/17.pdf · parat v´ ˇsak nem a tak´ y cit ako´ clovek a dokˇ a´ze

Obrazok 1. Navrh uzıvatel’skeho rozhrania

3.1 Uzıvatel’ske rozhranieAplikacia sa zameriava na siroku skalu uzıvatel’ov -od narocneho fotografa az po technicky neskusenu os-obu, snaziacu sa vytvorit’ co najdoverihodnejsı zabersceny. Preto by mala aplikacia minimalistickym a in-tuitıvnym sposobom ponukat’ vsetky potrebne nastrojea moznosti, ktore moze uzıvatel’ pouzit’.

Domovska obrazovka je prıkladom toho, ze uzıvatel’moze mat’ vsetko co potrebuje, bez zbytocneho zdlhave-ho hl’adania. Na vytvorenie HDR fotografie potrebu-jeme bud’ zachytit’ aktualnu scenu fotoaparatom, alebonacıtat’ subor s HDR obsahom. Po zachytenı scenyna fotografiu, alebo nacıtanı HDR obsahu a po spra-covanı tohoto obsahu, ma uzıvatel’ na vyber z roznychtechnık mapovania tonov. Po vybere jednej z nichje uzıvatel’ovi poskytnuta moznost’ upravovania fo-tografie do vyslednej podoby pomocou prehl’adnejponuky nastrojov. Jednotlive parametre su spociatkunastavene na vhodne vychodzie hodnoty, ktore je moznepo upravach zresetovat’. Na zaver je mozne vysledokulozit’ do galerie.

3.2 SnımanieAplikacia generuje HDR obsah kombinovanım LDRfotografiı s roznou hodnotou casu expozıcie. Snımaniefotografiı je implementovane nad aplikacnym rozhranımCamera22 operacneho systemu Android.

Pre zobrazovanie sceny v realnom case zobrazu-jeme na vystup stream zaberov sceny, ktory dosiah-neme nastavenım opakovaneho poziadavku o snımanie.Pri zobrazovanı nahl’adu vyuzijeme automaticke nas-tavenia parametrov. Do vytvoreneho poziadavku o snı-manie sceny vlozıme callback, kde odchytıme objekts meta informaciami. Tento objekt obsahuje hod-noty konfiguracie snımaca zariadenia, po vytvorenıposledneho snımku. Z tejto konfiguracie naslednezıskavame hodnoty expozıcie, ISO, clony a korekciefarieb, ktore su automaticky zvolene snımacom. Hod-

2https://developer.android.com/reference/android/hardware/camera2/package-summary.html

noty ukladame do premennych, ktore neskor pouzijemev manualnom rezime snımania.

V okamihu, ked’ uzıvatel’stlacı tlacıtko pre snımaniesceny, je potrebne vytvorit’ seriu zaberov s manualnenastavenymi hodnotami parametrov. Najdolezitejsımparametrom je dlzka expozicneho casu, pocas ktorehoje snımac vystaveny svetlu z prostredia sceny.

Nastavenie casu expozıcieKazdy snımac zariadenia obsahuje subor vlastnostı anastavenı, ku ktorym pristupujeme pomocou objektuCameraCharacteristics [9]. Odtial’zıskame ajrozsah povoleneho expozicneho casu snımaca. V oka-mihu, ked’ nastane stav manualneho snımania sceny,potrebujeme vytvorit’ zoznam vybranych expozicnychcasov, ktorych strednou hodnotou bude hodnota auto-matickej expozıcie. Povoleny rozsah expozicneho casuvsak nemusı umoznovat’, aby prostrednou hodnotoubola prave tato hodnota. Pre riesenie tychto problemovbol vytvoreny algoritmus, ktory hl’ada vhodne hodnotyexpozicnych casov v povolenom rozsahu (obr. 2).

Algoritmus vytvara zoznam hodnot geometrickehoradu v tvare 2n ns v povolenom rozsahu. V tomto zoz-name sa zvolı hodnota najblizia hodnote automatickejexpozıcie ako prostredna hodnota a vo zvolenom krokusa striedavo hl’adaju hodnoty nizsie od strednej hod-noty a hodnoty vyssie. Algoritmus koncı, ak konecnyzoznam obsahuje zvoleny pocet expozicnych casov,alebo ak nie je mozne najst’ d’alsiu hodnotu.

minimumrozsahu

maximumrozsahu

hodnota automatickej expozície

01 23 456

Obrazok 2. Vyhl’adavanie vhodnych hodnotexpozıcie s krokom 2 (cısla zobrazuju poradienajdenych hodnot)

ZarovnanieNezarovnanie snımok pouzitych pri vytvaranı HDRobrazu moze mat’ za nasledok artefakty nazyvane ghost-ing (duchovia), ktore maju vplyv na vysledny obrazok.Ghosting nastava aj v prıpade, ze sa na statickej scenenachadza objekt, ktory je voci scene v pohybe.

Pre zarovnanie vytvorenych snımok je pouzitametoda Median Threshold Bitmap [10]. Vstupommetody je zoznam vytvorenych snımok. Podl’a his-togramu jasu obrazkov sa urcı 8-bitova hodnota medianua vytvoria sa MTB obrazy, kde kazdy pixel, ktoryje jasnejsı nez median, ma hodnotu 1 a v opacnomprıpade hodnotu 0. Rychlost’ tejto metody spocıva

Page 4: Mobilna aplik´ acia pre akviz´ıciu a upra´ vu HDR´ fotografi´ıexcel.fit.vutbr.cz/submissions/2018/017/17.pdf · parat v´ ˇsak nem a tak´ y cit ako´ clovek a dokˇ a´ze

0

50

100

150

200

250

300

-8 -6 -4 -2 0 2 4

log hodnota expozície

hodn

ota

pixe

lu

Obrazok 3. Graf CRF kriviek farebnych kanalov

vo vyuzıvanı bitovych operaciı nad MTB obrazmi.Vystupom metody je zoznam zarovnanych snımok.

3.3 Generovanie HDR obsahuPred generovanım samotneho HDR obsahu si musımevyjadrit’ krivku odozvy fotoaparatu a to riesenım kvadra-tickej objektıvnej funkcie z podkapitoly 2.1. Teoret-icky by sa na riesene tejto rovnice mohol vziat’ kazdypixel, kazdej expozıcie, ale to by bolo na vypocetvel’mi casovo a priestorovo narocne. My vsak nepotre-bujeme vsetky dostupne pixely. Ak mame P fotografiıpo N pixelov, vysledna intenzita ziarenia Ei bude mat’N hodnot a krivka odozvy g (Zmax−Zmin)[2] hodnot.Tieto hodnoty vsak musıme vhodne vybrat’ zo sekven-cie expozıcii. Medzi dostupne metody vyberu pixelovpre zıskanie krivky odozvy mozeme zaradit’:

• vyber pixelov pomocou histogramu,• pravidelne usporiadane pixely,• nahodny vyber pixelov (implementovane

v aplikacii).

Ked’ze aplikacia pracuje s farebnymi obrazkami,musıme vyjadrit’ krivku odozvy g pre kazdy farebnykanal (obr. 3). Aplikacia implementuje riesenie rovnicena zaklade ukazky MATLAB kodu [2]. Kod bol debu-govany pomocou vol’ne sıritel’neho softveru GNU Oc-tave3 a nasledne implementovany v Jave. V zavere al-goritmu je potrebne vykonat’ dekompozıciu vytvorenychmatıc. Dekompozıcia je realizovana pomocou metodySVD4, z kniznice OpenCV.

Na zıskanie HDR obsahu potrebujeme vyjadrit’lnEi (podkapitola 2.1) pre kazdy pixel a kazdy farebnykanal.

3.4 Prevod HDR obsahu na LDRDostali sme sa do stavu, kedy mame vytvoreny HDRobsah z n nasnımanych fotografiı. Tento obsah je nutnevhodne uzıvatel’ovi prezentovat’. Po vytvorenı HDR

3www.gnu.org/software/octave/4Singular-value Decomposition

obsahu sa preto zobrazı obrazovka, na ktorej je zoznamimplementovanych operatorov mapovania tonov s ichnahl’adom. Jednotlive operatory mapovania tonov suimplementovane pomocou kniznice OpenCV, ktoraposkytuje globalne operatory Reinhard, Dragoa lokalne operatory Durand a Mantiuk.

Ak si uzıvatel’ vyberie jeden zo zoznamu ponuka-nych operatorov mapovania tonov, zobrazı sa obra-zovka pre editovanie parametrov operatora pomocouposuvnıkov. Okrem posuvnıkov obsahuje obrazovkanahl’adovy obrazok a tlacıtka pre ulozenie HDR ob-sahu a vyslednej LDR fotografie, tlacıtko pre reseto-vanie nastavenı na vychodzie hodnoty a tlacıtko preotocenie nahl’adoveho obrazku.

Zmensenie nahl’adoveho obrazkaOperatory mapovania tonov sa pre nahl’adove obrazkyaplikuju na zmenseny HDR obsah. To zarucı mensiucasovu narocnost’ zobrazenia obrazovky s operatormimapovania tonov. Zmensenie nahl’adoveho obrazku jeimplementovane pomocou metody kniznice OpenCV,vyuzitım bilinearnej interpolacie. Na obrazovke vy-braneho operatora mapovania tonov, kde je moznemodifikovat’ vstupne parametre algoritmu, moze byt’vd’aka zmenseniu zobrazovany nahl’ad v realnom casebez vacsıch oneskorenı.

3.5 UkladanieV zavere celeho procesu vytvarania HDR fotografiemusı byt’ uzıvatel’ schopny ulozit’ si vysledok. Apli-kacia ponuka ulozenie nielen vyslednej fotografie v stan-dardnom obrazovom formate JPEG, ale aj ulozenieHDR obsahu pre neskorsiu editaciu. V tomto prıpadeje HDR obsah komprimovany kodovanım RGBE5. Ulo-zenie HDR formatu je vel’kou vyhodou, ktoru nepo-nuka ziadna z aplikaciı prieskumu. Uzıvatel’ sa totiznemusı prave nachadzat’ v situacii, kedy si najde casna vhodne prisposobenie vyslednych parametrov LDRobrazu.

Uzıvatel’ moze k ulozenym HDR suborom pris-tupovat’ kedykol’vek v obrazovke, ktora obsahuje vypisulozenych .hdr suborov v zariadenı uzıvatel’a. Vyber-om jedneho z ponukanych suborov sa subor nacıta a zo-brazı sa obrazovka pre editaciu HDR obsahu.

Pri ukladanı HDR obsahu alebo LDR vyslednejfotografie je uzıvatel’ pomocou dialogoveho okna vyz-vany, aby do textoveho pol’a vlozil nazov svojho novehosuboru.

5https://en.wikipedia.org/wiki/RGBE_image_format

Page 5: Mobilna aplik´ acia pre akviz´ıciu a upra´ vu HDR´ fotografi´ıexcel.fit.vutbr.cz/submissions/2018/017/17.pdf · parat v´ ˇsak nem a tak´ y cit ako´ clovek a dokˇ a´ze

Obrazok 4. Seria 11 snımok sceny brana zachytenych s roznym expozicnym casom

Obrazok 5. Vysledky mapovania tonov globalnymioperatormi Reinhard (vl’avo) a Drago (vpravo)

4. Merania a Vysledky PraceNa testovanie mobilnej aplikacie bolo zachytenych6 scen. Kazdu scenu tvorı 11 snımok od najtmavsejpo najsvetlejsiu expozıciu. Kazda scena je vyznacnaroznymi, pre pracu prınosnymi vlastnost’ami. Pri mera-nı a porovnavanı vysledkov sa pouzıvala primarnescena brana (obr. 4).

4.1 Vysledky operatorov mapovania tonovTestovane sceny boli hodnotene a porovnavane pripouzitı roznych nastavenı pre styri operatory mapova-nia tonov. Globalne operatory Reinhard a Drago(obr. 5) neumoznuju na scene s vysokym dynamickymzıskat’ uspokojivy vysledok, kde by boli jasne viditel’nezaroven prılis tmave a svetle oblasti.

Jedinou uzıvatel’om definovatel’nou hodnotou ope-ratora Drago je hodnota skreslenia (bias). Mensiehodnoty vytvaraju vyrazne svetlejsie snımky. Pri hod-notach, ktore sa blızia minimu rozsahu nastava nasvetlych castiach neziaduci stav - inverzia tonov.

Najlepsie vysledky ponuka uzıvatel’ovi lokalnyoperator Durand (obr. 6). Zo vsetkych operatorovponuka uzıvatel’ovi najviac moznostı editovania vs-tupnych parametrov. Pomocou nastavenia kontrastumoze uzıvatel’ dobre definovat’ pomer vyslednych hod-not jasu a tak vytvarat’ obrazy verne zobrazujuce scenualebo obrazy s umeleckym efektom. Zmenou hodnotbilateralneho filtra sigma color a sigma spaceuzıvatel’zdoraznuje detaily sceny (obr. 7). Pri maximal-nych hodnotach bilateralneho filtra si mozeme vsimnut’halo efekt (obr. 8), sposobeny ostrym prechodommedzi zretel’ne svetlou a tmavou oblast’ou.

Obrazok 6. Vysledky mapovania tonov lokalnymioperatormi Mantiuk (vl’avo) a Durand (vpravo)

Obrazok 7. Vplyv bilateralneho filtra na detaily sceny

Obrazok 8. Halo efekt

Page 6: Mobilna aplik´ acia pre akviz´ıciu a upra´ vu HDR´ fotografi´ıexcel.fit.vutbr.cz/submissions/2018/017/17.pdf · parat v´ ˇsak nem a tak´ y cit ako´ clovek a dokˇ a´ze

Obrazok 9. Scena brany zachytena vol’ne dostupnymiHDR aplikaciami (z l’ava: HDR Camera, HDR HQ,HDR Max, Ultimate HDR Camera)

4.2 Porovnania s existujucimi aplikaciamiZ prieskumu aplikaciı boli vybrane uzıvatel’mi naj-lepsie hodnotene riesenia, ktorymi bola zachytena scenabrana.

Zacneme najzaujımavejsım vysledkom, ktory vytvo-rila aplikacia Ultimate HDR Camera. Na tomto obrazkumozeme vidiet’ jasneho zastupcu fotografiı, ktore siuzıvatel’ predstavuje pod pojmom ”HDR fotografia”.Okrem umeleckeho zazitku, ktory vysledna fotografiaponuka zvyraznenım detailov a farieb, mozeme vi-diet’, ze fotografia kvalitne zobrazuje svetle aj tmaveoblasti sceny. To znamena, ze vytvara viacero snımoks dostatocnym rozsahom expozicneho casu. Z vysledkuje rozpoznatel’ne, ze sa jedna o lokalny operator, ktoryokrem mapovania tonov pracuje aj s farbami a kon-trastom fotografie. Podobny vysledok by sa nam pravde-podobne nepodarilo dosiahnut’ v nasej aplikacii, avsaktreba poznamenat’, ze ani jedna z fotografiı 9 nemadostatocny dynamicky rozsah na to, aby nepreexpono-vala oblohu v pozadı. Vo vysledkoch nasej aplikaciesu vo vsetkych operatoroch zachovane farby oblohy.

Aplikacia HDR Camera ponuka taktiez uspoko-jivy vysledok, z ktoreho mozno usudit’, ze zahrnadostatocny dynamicky rozsah sceny a je pouzity lokalnyoperator. Pri blizsom pohl’ade vsak vidıme, ze naobrazku sa nachadzaju skvrny - miesta, na ktorychsa straca farebnost’. Prıcina tohoto javu vsak nie jeobjasnena. Podobny vysledok sme schopny v nasejaplikacii dosiahnut’ Durandovym operatorom.

Aplikacie HDR HQ a HDR Max su prıkladomriesenı, ktore nezachytavaju vacsı dynamicky rozsahsceny, ale snazia sa vytvorit’ HDR efekt pomocou filtra.

4.3 Casova a priestorova zlozitost’ aplikacieV ramci analyzy casovej a priestorovej zlozitosti saporovnavala rychlost’ a pamat’ova narocnost’ jednotli-vych krokov procesu vytvarania HDR fotografie z roz-neho poctu snımok. Hodnoty zlozitosti pri vytvaranı 5snımok su strucne uvedene v tabul’ke 1.

Merali sa casy a alokovana pamat’ nielen celkov,ale aj ich podproblemov. Pri generovanı HDR obsahusme sa zamerali na vyber vzoriek pixelov, zıskavaniekrivky odozvy a vytvaranie funkcie ziarenia. Vo vlast-

Tabul’ka 1. Vysledky meranı

5 vytvorenych snımok

Snımanie 1 050 ms / 100 MBGenerovanie HDR 38 285 ms / 312 MBGenerovanie HDR (OpenCV) 8 349 ms / 218 MBOperator Mantiuk 1 299 msOperator Reinhard 1 524 msOperator Durand 1 423 msOperator Drago 1 234 msZmensenie nahl’adoveho obr. <15 msOperator Durand (nahl’ad) 72 msNacıtanie HDR 400 msUkladanie HDR 1200 ms

nej implementacii algoritmu na generovanie HDR ob-sahu najviac casu spotrebovalo vytvorenie vyslednejmatice (okolo 15 sekund), pouzitel’nej pre d’alsie krokyvykonavane kniznicou OpenCV. Vidıme, ze kniznicaOpenCV ma dostatocne optimalizovany algoritmusso skoro polovicnou spotrebou pamate. Dalej si moze-me vsimnut’, ze aplikovanie operatora mapovania tonovna zmenseny obrazok nam usetrilo dostatok casu na to,aby uzıvatel’ videl vysledok v realnom case pri zmenevstupnych parametrov.

4.4 Spatna vazba uzıvatel’ovTestovania intuitıvnosti a estetickosti uzıvatel’skehorozhrania sa ucastnilo 81 osob roznej vekovej kategorie.Uzıvatel’om bolo poskytnute zariadenie s aplikaciou anasledne boli poziadanı o vyplnenie kratkeho dotaznıka.Odpovede na povinne otazky s moznost’ami vyberu zano alebo nie su uvedene v tabul’ke 2.

Dizajn aplikacie ma pozitıvne hodnotenia, ale uzıvateliaby privıtali primerane zazivnejsie a farebnejsie rozhranie.

Najviac pripomienok mali uzıvatelia k tlacıtkam vdolnom menu vybraneho operatora. Aj napriek snahevytvorit’ ikony, najlepsie zobrazujuce svoju funkciu, jepotrebne mat’ v aplikacii dialogove okno vysvetl’ujucevyznam jednotlivych prvkov uzıvatel’skeho rozhrania.

Dalsie ohlasy boli venovane tlacıtku pre zmenu o-rientacie obrazkov. Vychodzia orientacia nahl’adovehoobrazku sa bude zıskavat’ z metadat suboru a tlacıtkobude pouzitel’ne v prıpadoch, ak by uzıvatel’ovi aktualneotocenie nahl’adoveho obrazku nevyhovovalo.

V ramci porovnania aplikacie s existujucimi riese-niami, citujem odpoved’ jedneho respondenta:

Aj napriek tomu, ze aplikacia nesledujenajnovsie trendy mobilneho dizajnu alebopravidla material designu, myslım, ze jespracovana lepsie ako vel’ky pocet aplikaciıv obchode Google Play.

Page 7: Mobilna aplik´ acia pre akviz´ıciu a upra´ vu HDR´ fotografi´ıexcel.fit.vutbr.cz/submissions/2018/017/17.pdf · parat v´ ˇsak nem a tak´ y cit ako´ clovek a dokˇ a´ze

Tabul’ka 2. Hodnotenie uzıvatel’skeho rozhrania

Otazka Ano Nie

Stretli ste sa uz s pojmom HDR? 51.9% 48.1%Vyuzıvate HDR funkcieinych zariadenı? 38.3% 61.7%Zda sa Vam aplikacia prehl’adna? 96.3% 3.7%Viete intuitıvne, ako pracovat’s aplikaciou? 75.3% 24.7%Reaguje aplikacia plynulona vase podnety? 86.4% 13.6%Ma aplikacia estetickya minimalisticky dizajn? 88.9% 11.1%

5. ZaverPrimarnym ciel’om prace je oboznamenie sa s prob-lematikou spracovania HDR obrazu a nasledny navrha implementacia mobilnej aplikacie pre akvizıciu, spra-covanie, zobrazenie a upravu HDR fotografiı. V teo-retickej casti su zhrnute znalosti nadobudnute studiomodporucanej literatury a internetovych zdrojov o aktual-nych problemoch spracovania HDR a metodach ichriesenia. V zdrojovom kode mobilnej aplikacie jerozpracovany a zdokumentovany postup tvorby HDRfotografie.

Vysledna analyza preukazala, ze aj napriek mnoz-stvu mobilnych aplikaciı s rozmanitou funkcionalitouexistuje priestor pre aplikacie, ktore by ponukali lepsieriesenie alebo uzıvatel’sky prıvetivejsie prostredie. Uce-lom je uzıvatel’ovi ponuknut’ rozhranie s funkciami,ktore potrebuje a dokaze sa v aplikacii l’ahko a in-tuitıvne pohybovat’.

Tato praca polozila zaklad pre vyvoj prepracov-anejsıch metod, ktore mozno v buducnosti vytvoriakomplexnu mobilnu aplikaciu s vyuzitel’nost’ou presiroku skalu uzıvatel’ov.

Pod’akovanieRad by som pod’akoval panovi docentovi Ing. Marti-novi Cadıkovi, Ph.D. za odbornu pomoc, pripomienkya rady poskytnute pocas tvorby tejto prace.

Literatura[1] Michael Freeman. Fotografie a vysoky dynamicky

rozsah - zaklady HDR. Zoner Press, 2008.

[2] Paul Debevec and Jitendra Malik. Recoveringhigh dynamic range radiance maps from pho-tographs, 1997.

[3] Erik Reinhard, Greg Ward, Sumanta Pattanaik,and Paul Debevec. High Dynamic Range Imag-ing: Acquisition, Display, and Image-Based

Lighting. Morgan Kaufmann Publishers Inc., 2ndedition, 2010.

[4] Francesco Banterle, Alessandro Artusi, Kurt De-battista, and Alan Chalmers. Advanced HighDynamic Range Imaging: Theory and Practice.A. K. Peters, Ltd., Natick, MA, USA, 1st edition,2011.

[5] Fredo Durand and Julie Dorsey. Fast bilateralfiltering for the display of high-dynamic-rangeimages. July 2002.

[6] Erik Reinhard, Michael Stark, Peter Shirley, andJames Ferwerda. Photographic tone reproductionfor digital images. July 2002.

[7] F. Drago, K. Myszkowski, T. Annen, andN. Chiba. Adaptive logarithmic mapping fordisplaying high contrast scenes.

[8] Rafal Mantiuk, Karol Myszkowski, and Hans-Peter Seidel. A perceptual framework for contrastprocessing of high dynamic range images. July2006.

[9] Google and Open Handset Alliance n.d. Androidapi guide. Accessed May 19, 2015.

[10] Greg Ward. Fast, robust image registration forcompositing high dynamic range photographsfrom handheld exposures, 2003.