Zajem in optimalno kodiranje slik

Zajem in optimalno kodiranje slik

Urban Burnik

Laboratorij za digitalno obdelavo signalov

Univerza v Ljubljani, Fakulteta za elektrotehniko

Predstavitev

Osnovni gradniki sistemov za zajem, prenos in prikaz slikovnega gradiva Zgoščevanje slikovnega zapisa Standardi Vrednotenje kvalitete storitev Optimizacija kodiranja

Sklep Arhitektura slikovnega sistema



Osebne komunikacijske storitve

Digitalne komunikacijske storitve Porazdeljene

informacijske vsebine Aktivna vloga

uporabnika informacij Pomen grafičnega

prikaza podatkov Navidezno delovno okolje

Heterogena oprema za dostop do vsebin

Konvergenca večpredstavnih tehnologij

Uporabnik storitve

Grafične storitve in količina podatkov Izraba trenutnih

komunikacijskih virov Optimalno kodiranje slik Osebne zahteve

uporabnikov Prilagodljive storitve za

prenos slik Upravljanje s kvaliteto

zapisa Sistemska podpora in

sredstva



Zasnova sistema za optimalni prenos slikovnega gradivaCilji: Primerna kvaliteta

prikaza Sprejemljive zakasnitve Interoperabilnost

Sredstva: Metapodatki kot osnova

za optimalno izvedbo storitve

Dodatna informacija o gradnikih informacijskega sistema

Standardiziran zapis (XML, MathML...)

PRIPRAVAGRADIVA

PRILAGODLJIVOKODIRANJE

PRILAGODLJIVODEKODIRANJE

PRIPRAVAPRIKAZA

PRIKAZSLIKE

VIRSLIKE

KRMILNALOGIKA

KOMUNIKACIJSKO OMREŽJE



Zajem slike

Zvezna preslikava (FRT)

Vzorčenje Barve in komponentni

zapis Binarna slika Indeksirani barvni

prostor Komponentni barvni

zapis

Kodiranje Brezizgubno Izgubno



Zajem slike

oblikovanjeslike

funkcija

detektor+

×

sevanje vravniniobjekta sevanje

v slikovniravnini

),( yxb

),( f

h

}{bs

)(1

izvor šuma

),( yxn1

),( yxn3

šum, odvisenod signala

),( yxr

odzivdetektorja

),( yxn2

izvor šuma

posneta slika zdodanimšumom

),(

),(

),(),(

yxn

yxn

yxryxg

3

22

2



Vzorčenje×

×

y))(ja -y x),(ia -(x 21

y)j -y x,i -(x

y))(ja x),(i(a 21 g

x)(ia1

y)(ja 2

x

y

y)j x,g(i x

y



Barve in komponentni zapis

Y

Cb, Cr

0,229 0,587 0,114

0,1687 0,3313 0,5

0,5 0,4187 0,0813b

r

Y R

C G

C B



Prikaz gradivaVelikost

prikazovalnikaLočljivostBarvni zapisFormat zapisa

Velikost slike

Barvna globina

Procesna moč

PC1600

×1200

32bit, barvna

Visoka

Prenosni PC

1024×

768

24bit, barvna

Zmerna

PDA320×

240

4bit, sivinsk

aSlabša

WAP96×65

2bit, sivinsk

a

Zelo slaba



Potreba za zgoščevanjem slikeOmejeni viri za prenos in

shranjevanjeVelikosti značilnih

digitaliziranih slik (v nezgoščeni obliki)

Slike:512x512 px x 24 bpp = 6.3 MbitVideo:640x480 px x 24 bpp x30 fps = 221 MbpsHDTV:1280x720 px x 24 bpp x 60 fps = 1.3 Gbps

TCP/IP

PSTN

UMTS



Zgoščevanje slik

Dekorelacija zapisa Krajevni prostor Linearne transformacije Večločljivostni postopki

Kvantizacija koeficientov Enakomerna Vektorska, EZW

Simbolno kodiranje Huffman-ovo, Aritmetično RLE



Osnovna načela postopkov za zgoščevanje slik

Izraba močne prostorske koreliranosti podatkov, ki tvorijo sliko

Uporaba postopkov za dekorelacijo podatkov: Transformacija koreliranih signalov v nekorelirane signale z

neenakomerno porazdelitvijo verjetnostne gostote Entropijsko kodiranje za zmanjšanje obsega

podatkov



Osnovni postopki V prostoru točke

Omejevanje ločljivosti in barvne globine

V krajevnem prostoru Napovedno kodiranje (brezizgubno) Iterativne funkcije (fraktali)

Valovno kodiranje Transformno kodiranje Podpasovno kodiranje

Postopki druge generacije Slikovni gradniki (primitivi) (objekti, vzorci)

Statistični postopki za končno zgoščevanje



Transformacijski postopkiRazlogi: Z uporabo primernih transformacij pretežni delež energije

zgostimo v nekaj točkah, pri čemer preostale člene brez bistvenega poslabšanja kvalitete zaokrožimo navzdol na 0

Dobro izbrana transformacija dekorelira (zmanjša linearno odvisnost med neničelnimi koeficienti) in s tem poveča učinek kvantizacije

Dobro izbrana transformacija razgradi signal v smeri primernih baznih funkcij

Čutila zaznavajo v frekvenčnem prostoru, zato so transformacijski postopki primerni za uporabo mere napake, ki temelji na lastnostih zaznavanja.



Optimalna transformacija

Minimizira kriterijsko funkcijo napake zaradi kvantizacije

ABI;Λ

AΛB

RA

yBx

yy

Axy

1

1

MSE minimizirar kvantizato optimalni

]ˆ[

]ˆ[

matrike vektorjilastni so matrike stolpci :acija transformKL

ˆˆ :cijarekonstruk

ˆ :jakvantizaci

:jadekorelaci

2

*

i

iii

yE

yyE

)Q(

R-kovariančna matrika signala xA-matrika transformacijeB-rekonstruirana matrika



Karhunen Loève Transformacija (KLT)

Prednosti KLT optimalno dekorelira koeficiente Bazne funkcije so lastni vektorji kovariančne matrike

signala KLT dosega optimalno koncentracijo energije Slabosti: KLT je odvisna od slike KLT ni ločljiva Ne omogoča faktorizacije v redke (sparse) matrike.Za močno korelirana območja na sliki

dober približek: DCT



DCT-algoritmi

Glavni koraki: DCT Kvantizacija Cikcak ureditev DPCM enosmernih

koeficientov RLE izmeničnih

koeficientov Entropijsko kodiranje



Diskretna kosinusna transformacija



Kvantizacija in urejanje podatkovZmanjšanje števila bitov

Kvantizacijska napaka Enakomerna kvantizacija -

> Kvantizacijske tabele

Izbor in skaliranje QM

Cik cak zaporedjeMatrika -> VektorNizke frekvence so zbrane na vrhu vektorja



Kodiranje koeficientov

Diferencialna Pulzno Kodna Modulacija (DPCM) DC komponenteDC komponenta je velika in raznolika, a pogosto podobna sosednji vrednosti

Run Length Encode (RLE) AC komponent1x64 vektor vsebuje veliko ničelniih koeficientov, ki se kodirajo kot pari (skip, value)

Entropijsko kodiranje JPEG zaporedje



Linearni večločljivostni postopki

H1(z)

H2(z)

G1(z)

G2(z)

+(z)X̂X(z)

2

2

2

2

1 2

3 45

76

1

5

2

6

3

7

4



Osnove valčnega kodiranja

Slika z 2j točkovnimi elementi, ali vektor, v Vj

Primer preprostih baznih funkcij v prostoru Vj - skaliranje



Valčki...Novi vektorski prostor Wj je ortogonalni komplement Vj v

Vj+1

Množico linearno neodvisnih funkcij, ki obsega prostor Wj imenujemo valčki

I(x) kot vsota baznih funkcij v V0, W0, in W1:

(neformalno si Wj predstavljamo kot podrobnost v Vj+1 ki je v Vj ne vidimo)

Cilj: približek z najmanj koeficienti



Valčni razcep slike



DCT “bločna popačenja” Wavelet “zvonjenje”

Primerjava kodiranja



Entropijsko kodiranje Statistični postopki za

zmanjšanje obsega podatkov na podlagi porazdelitve vrednosti koeficientov RLE Aritmetični Hufmannov

0

10

20

40

60

120

si initial p(si)

0,29

0,26

0,23

0,19

0,02

0,01

0,29

0,26

0,23

0,19

0,02

0,29

0,26

0,23

0,22

0,29

0,26

0,45

0,55

0,45

1

p(si) and p(gi)

0

1

1

0

izhodišče

0

1

1

1

0

0

0

10

20

40

60

120

00

01

10

110

1110

1111



Kriteriji kvalitete storitve

Kvantitativno vrednotenje kvalitete storitev Funkcijski model zaznavanja

signalov Vrednotenje kvalitete kodiranja Vrednotenje zakasnitev in

odzivnosti



Modeli zaznavanja signalov

Webrov zakon (1834)

0 10 20 300

1

2

3

Vzbujanje

Sp

rem

em

mb

a v

zbu

jan

ja,

pri

kate

ri r

azl

ika p

ost

an

e o

pazn

a

absolutni prag zaznavanja

Ik

I

prag zaznavanja in absolutna vrednost

vzbujanja sta v konstantnem razmerju

Fechnerjev zakon

I1 I2 I3 I4 I5

S1

S2

S3

S4

S5

jakost vzbujanja

sub

jekt

ivn

a f

un

kcija

zazn

avan

ja

analitični model zaznavanja na

podlagi Webrovega zakona:

logaritmična odvisnostlog( )S k I

razlike med čutilipotenčna funkcija

Svetilnost, b=0,33Električni šok, b=3,50

bS k I

0 10 20 30 40 50 60 70 80 90 1000

10

20

30

40

50

60

jakost vzbujanja

sub

jekt

ivn

a o

cen

a

svetilnostrazdaljabolecina

Stevensov zakon



Vrednotenje kvalitete kodiranja

Srednja kvadratična napaka

Vršno razmerje signal-šum

2

1

1 ˆN

i ii

MSE X XN

2

10log , 256M

PSNR MMSE



Subjektivno usmerjeni kriteriji

PQS Vrednotenje značilnih

napak standardnih kodirnikov

Dobra korelacija s subjektivno oceno

JND Prag zaznavanja

napake v prostoru DCT

Namenjen optimizaciji kvantizatorja

širina slike

slika višina slike

VD

H

analizalastnih

komponent

b1

b2

bj

seštevanje innormalizacija

f1(m,n)

f2(m,n)

f3h(m,n)

f3v

(m,n)

f4(m,n)

f5(m,n)

faktorji2-4

faktor 5

faktor 1

Sa

WTV

detekcija robov

močnostnizakon

močnostnizakon

-

-

i(m,n)

î(m,n)

F1

F2

F5

.

.

.

.

.

.

Z1

Z2

Z5

PQS



Vrednotenje odzivnosti sistemaZgornja meja zakasnitev

Komunikacije v realnem časuPrag zaznavanja T<100ms

(Shah)Sprejemljive zakasnitve

T<600ms (Jayant)CCITT G.114:

T<150ms sprejemljivo za večino uporabnikov

150ms<T<400ms vpliva na določene aplikacije

T>400ms v splošnem ni primerno

Odzivnost interaktivnih storitev Mejne vrednosti

0,1s(takoj) 1s (sprejemljivo) 11s (izguba

pozornosti) Uporabna

vrednost kriterija?



Zvezno vrednotenje zakasnitveStroškovni modeliPercepcija zakasnitev (Johnson)

Študija ekonomskih vplivov Uporabnost informacije

kot funkcija časa do izpolnitve zahteve

Pričakovani čas storitve Dodatne časovne prednosti

ne vrednotimo Uporabna vrednost informacije

s časom upada

Tmin Tmax

cas pridobitve informacijeupora

bna v

rednost

info

rmaci

je



Vrednotenje zakasnitev z uporabo Stevensovega zakona

Aproksimacija funkcije s predpisanimi lastnostmi s potenčno funkcijo (Stevens) na intervalu opazovanja

določimo primerni eksponent p V realnem času p3 S pričakovano zakasnitvijo p0,3

posF k t

Ta Td Tn0

1

2

3

4

5

t

F(t)



Povečanje učinkovitosti prenosa slik

Uravnavanje bitne gostote zapisa Optimalno dodeljevanje bitov in teorija R(D)

Optimalna kvaliteta zapisa ob izbrani bitni gostoti Uporaba področnih prioritet pri vrednotenju

Segmentacija, vsebina, kvaliteta Optimizacija kodiranja simbolov



Optimalno dodeljevanje bitov in teorija R(D) Optimalna kvaliteta

zapisa ob izbrani bitni gostoti

Spodnja meja srednje kvadratne vrednosti napake kodiranja (Huang & Schultheiss; Shannon)

Izbira ustrezne obratovalne točke kodirnika

R

D(R

)

mejna funkcija D(R)obratovalne tocke kodirnika

Ropt

D op

t

2

22

1log ;

2i

i i ii

R D DD



boats goldhill

lena text



0 2 4 6 8 10 12

x 104

0

20

40

60

80

100

120

140

160

180

200

JPEG

R(KB)

MS

E

boats

goldhill

lena

text

0

0 2 4 6 8 10 12

x 104

20

40

60

80

100

120

140

160

180

200Wavelet

R(KB)

MS

E

boatsgoldhill

lenatext

JPEG Wavelet



Optimalna točka obratovanja storitve Vrednotenje

skupne kvalitete storitve

Dvostopenjsko reševanje R=Ropt

Klasična optimizacija

1

2

1

2

( )

R

pos

r r ros

D R k

F R k R

P R D R F

Ropt

Popt

R

krite

riji p

opac

itev

D(R)Fos (R)

P(R)



Uporaba področnih prioritet pri kodiranju

Segmentacija Kodiranje bitne slike poljubne oblike Kvaliteta kodiranja objekta Kodiranje oblike in teksture SA-DCT, SAWT

Uporaba področnih prioritet ROI, JPEG, Wavelet Uporaba utežene kvantizacije in

standardnega dekodirnika



Primeri:

Obliki prilagojena diskretna kosinusna transformacija

a b c

d e



Primeri:

Obliki prilagojeno valčno kodiranje

a

b

H1(z)

H2(z)

2

2

visoki pas

nizki pas

c



Primeri: V obeh primerih je potrebno kodiranje oblike

ba c



Optimizacija kodiranja simbolov Optimizacija

Huffmanove kodne tabele

Smiselna v primeru visokih stopenj zgoščevanja Opazne izboljšave

kodne tabele zaradi spremembe porazdelitve koeficientov

Dodatni prenos podatkov (tabela)

0 5 10 15 20 25 30 35 40 45-10%

0%

10%

20%

30%

40%

50%

stopnja zgoscevanja

fakt

or iz

boljs

ave

lenaboatsgoldhillbaboon



Sklep

Prilagodljiva storitev na podlagi: Trenutne

komunikacijske povezave

Lastnosti uporabniškega terminala

Zahtev uporabnika

lokator

upravnikkvalitete

iskanje

uporabnik

obdelava

baza gradiva

naslov objekta+

parametri storitveizbira vsebine

zahteva

prenosterminalprikaz

tok podatkov (kritična kapaciteta)

tok metapodatkov

Primer uporabe

<ImageInfo Name="Bostjan"><IMAGE_ID> imid://ldos.fe.uni-lj.si/foto/ieee/bostjan_lecture<IMAGE_ID><FILE_FORMAT> <FILE_NAME REF="bostjan_lecture.jpg"/> <FORMAT>JPG</FORMAT> <FORMAT_VERSION>1</FORMAT_VERSION> <MIME_TYPE>image/jpeg</MIME_TYPE></FILE_FORMAT><IMAGE_SIZE> <WIDTH>480</WIDTH> <HEIGHT>640</HEIGHT></IMAGE_SIZE><IMAGE_COMP> <COLOR_INFO> <COLORSPACE>GRAY</COLORSPACE> </COLOR_INFO> <CHANNEL_INFO CHANNEL_NUMBER="1"> <CHANNEL> <CH_NAME>K</CH_NAME> <CH_SIZE>8</CH_SIZE> </CHANNEL> </CHANNEL_INFO></IMAGE_COMP><RegionInfo Name="Face"> <RECT> <X>128</X> <Y>72</Y> <WIDTH>128</WIDTH> <HEIGHT>128</HEIGHT> </RECT> <EncodingInfo> <Impact> 1.00 </Impact> </EncodingInfo></RegionInfo><RegionInfo Name="Painting"> <RECT> <X>100</X> <Y>0</Y> <WIDTH>240</WIDTH> <HEIGHT>120</HEIGHT> </RECT> <EncodingInfo> <Impact> 0.75 </Impact> </EncodingInfo></RegionInfo></ImageInfo>\end{Verbatim}JPEG 113KB, 480×640, 24bpp

<DISPLAY_FORMAT> <STANDARD> <FORMAT>JPG</FORMAT> <FORMAT_VERSION>1</FORMAT_VERSION> </STANDARD></DISPLAY_FORMAT> <DISPLAY_SIZE> <WIDTH>240</WIDTH> <HEIGHT>320</HEIGHT></DISPLAY_SIZE> <DISPLAY_CCH> <SYSTEM_INFO> <<COLORSPACE>GRAY</COLORSPACE> </SYSTEM_INFO> <CHANNEL_INFO CHANNEL_NUMBER="1"> <CHANNEL> <CH_NAME>K</CH_NAME> <CH_SIZE>8</CH_SIZE> </CHANNEL> </CHANNEL_INFO></DISPLAY_CCH> <NETWORK_INTERFACES> <INTERFACE> <LABEL>GSM</LABEL> <MAX_BITRATE>9600</MAX_BITRATE> </INTERFACE> <INTERFACE> <LABEL>HSCSD</LABEL> <MAX_BITRATE>28800</MAX_BITRATE> </INTERFACE></NETWORK_INTERFACES> <NETWORK_CONNECTION> <LABEL>GSM</LABEL> <BITRATE>9600</BITRATE></NETWORK_CONNECTION>

<USER_PREFERENCE> <ENCODING_INFO> <REGION_TYPE Name="OTHER"> <Impact> 0.1 </Impact> </REGION_TYPE> <REGION_TYPE Name="PERSON"> <Impact> 1.0 </Impact> </REGION_TYPE> <RESIZE> FALSE </RESIZE> <CROP> TRUE </CROP> </ENCODING_INFO></USER_PREFERENCE>

Priprava gradiva

JPEG kodiranje s področno prioriteto in rezanje na velikost prikazovalnika: 10 KB



3015 4891R

D(R

), F

os(R

,B),

P(R

)

D(R)F

os(R

GSM)

Fos

(RHSCSD

)

P(RGSM

)

P(RHSCSD

)

Prikaz vrednotenja kvalitete storitve na mobilnem terminalu B1=9600 bit/s (GSM)B2=28800 bit/s (HSCSD)

Optimizacija kodiranja



B=9600 bps,R=3011 B, T=2,5s

B=28800 bps, R=4898 B, T=1,35s

Documents

Zajem in optimalno kodiranje slik