2. Osnovni Pojmovi Teorije Informacije

7/21/2019 2. Osnovni Pojmovi Teorije Informacije

http://slidepdf.com/reader/full/2-osnovni-pojmovi-teorije-informacije 1/33

Kodovi i kodiranjeOsnovni pojmovi teorije

informacije



Diskretni komunikacijskisustav

• U diskretnim komunikacijskimsustavima proučavaju se diskretnisignali, koji mogu poprimiti konačanbroj diskretnih vrijednosti (uzoraka)

IZVOR

DISKRETNI

KOMUNIKACIJSKISUSTAV

SMETNJE

x3x2x5x1x0...

ODREDIŠTE



oruka

• oruka je niz simbola odabranih izneke abecede, gdje je abeceda X konačan skup od n simbola! X=" x 1,x 2,...,x i,...,x n#

• oruke nastaju na izvoru ponavljanimbiranjem simbola iz abecede – svaki simbol x i pri N$tom biranju ima

neku vjerojatnost pN(x i ) da bude odabran

– x i pN(x i ) % vjerojatnosti su odre&ene

karakteristikama izvora



oruka

• 'ednostavan slučaj! vjerojatnostpojavljivanja simbola neovisna je oprethodnim simbolima u poruci i nemijenja se x i p(x i )

• rimjeri! generiranje porukebacanjem novčia ili kocke

– bacanje novčia % dva simbola – bacanje kocke % est simbola

– u oba slučaja je rezultat svakog bacanja

neovisan o svim prethodnim bacanjima



rijenos poruke

• oruka, kao niz simbola, odabrana na izvorukroz mehanizam komunikacije uzrokuje pojavudruge poruke, kao niza simbola, na odreditu

• *dealni slučaj % niz simbola na odreditu jednak nizu simbola na izvoru

• Openiti slučaj % na odreditu se zbog smetnjiu komunikacijskom kanalu pojavljuje neka

druga poruka• *z poruke na odreditu mo+emo sa odre&enom

sigurnou (-../) odrediti koja je bilaporuka na izvoru



rijenos poruke

• oruka na odreditu je niz simbola y j izskupa Y , gdje je Y abeceda od m simbola koji se mogu pojaviti na

odreditu! Y=" y 1,y 2,...,y j,...,y m#

• 0a izvoru je je odabran simbol x i, adjelovanjem mehanizma

komunikacijskog sustava na odredituse pojavio simbol y j

• 0a odreditu se +eli zaključiti koji je

simbol odabran na izvoru



rijenos poruke! pogled saizvora

•1ko su poznata statistička svojstvakomunikacijskog sustava, tada su poznatevjerojatnosti pojavljivanja bilo kojeg simbola y j čiji je uzrok x i – uvjetne vjerojatnosti p(y j2

x i )

ym , p

( ym )

X , P

( X )

x1 , p ( x1 )

x2 , p

( x2 ) xi, p

( xi)

xn, p

( xn)

Y , P (Y )

y1 , p ( y1 ) y 2 , p

( y2 )

y j , p ( y

j )

p ( y j / x i )

1 i p ( y / x )

?

SUSTAV

SMETNJE

IZVOR

ODREDIŠTE



rijenos poruke! pogled sa odredita

• 0akon prijenosa simbola x i naodreditu se pojavio simbol y j % na

odreditu ne znamo koji je simbol

odabran na izvoru

X ,

P ( X ) x1 , p( x1 )

x2 , p( x2 )

xi , p( xi )

xn , p( xn )

Y , P (Y )

y1 , p( y1 ) y2 , p( y2 )

y j , p( y

j )

ym , p( ym )

p( xi / y

j )

p( x1 / y

j )

?

IZVOR DISKRETNI

KOMUNIKACIJSKISUSTAV

SMETNJE

ODREDIŠTE




• Ukoliko se pojave simbola na odreditupromatraju same za sebe, one su neovisne iopisane skupom vjerojatnosti p(y j )

• Uz poznavanje statističkih svojstava sustava,poznate su uvjetne vjerojatnosti p(x i2 y j ) %vjerojatnosti da je na izvoru odabran simbol x i ako je na odreditu primljen simbol y j

• Dakle, premda se nakon primanja simbola y j ne zna točno koji je simbol bio na izvoru,poznate su vjerojatnosti za svaki od x i simbola




• 0a odreditu se pojavom simbola y j

povealo znanje o tome koji je simbolposlan sa izvora, odnosno smanjena

je nesigurnost % informacija jeprimljena

• U stvarnom slučaju po+eljno je da jen=m i da su sve uvjetne vjerojatnosti p(y i2 x i ) ili p(x i2 y i ) to bli+e vrijednosti

-, a ostale to bli+e vrijednosti .



3adr+aj informacije

• 4a proučavanje prijenosa informacijepotrebna je mjera za sadr+aj(količinu) informacije u nekoj poruci

• 3rednji sadr+aj informacije % kolikoinformacije u prosjeku sadr+i svakisimbol poruke

• rimjer! 3adr+aj informacije pribacanju novčia

IZVOR



3adr+aj informacije! rimjer bacanjanovčia

• 0a izvoru se stvara poruka bacanjemnovčia % pismo ili glava

• Kao promatrač, prije bacanja novčiaznamo da mo+e pasti pismo ili glavas jednakom vjerojatnou, ali neznamo hoe li pasti pismo ili glava

• 0akon bacanja, nestala jenesigurnost i točno znamo da je palonpr5 pismo % primili smo informaciju




• Dakle, primili smo jedan bit % osnovnu jedinicu informacije

• 6it mo+emo shvatiti kao količinu

informacije koja je dovoljna zarjeavanje jedne elementarneneodre&enosti

• U ovom primjeru, srednji sadr+ajinformacije je jedan bit po simbolu, tj5svaki simbol (pismo ili glava) nosi jedanbit informacije




• 4amislimo da je na novčiu s obje stranepismo, te kao promatrači unaprijed znamotu činjenicu % nema nesigurnosti

• rilikom bacanja novčia poruke kojeopa+amo % pismo, pismo, 555, opet pismo %ne donose novu informaciju

• 3adr+aj informacije ovakvih poruka je . bita

• 1 to kada imamo novči koji u prosjeku7./ bacanja daje pismo, a 8./ bacanjaglavu9



:ntropija

• 0eka je X diskretna slučajna varijablaodabrana iz skupa od n moguihvrijednosti, gdje je za svaku vrijednost

poznata vjerojatnost odabira• :ntropija diskretne slučajne varijable X je!

;bit<simbol=,

gdje je X diskretna slučajna varijabla kojapoprima vrijednosti iz skupa" x 1,...,x i,...,x n#, a p(x i ) su vjerojatnostipojavljivanja x i za ->i>n

•



:ntropija

• 1ko se koristi logaritam sa bazom @,tada se entropija izra+ava u bitovima

• oruka sastavljena od ovakvih simbola

sadr+i u prosjeku H(X) bita po simbolu• Dakle, entropija je srednja vrijednost

vlastitog sadr+aja informacije slučajne

varijable X • Odnosno, entropija je mjera za sadr+aj

informacije ili za neodre&enost izvorainformacije



rimjer! :ntropija bacanjanovčia

• Dva mogua simbola, nA@, i oba sepojavljuju sa istom vjerojatnou p(x i )A-<@A.,B

• :ntropija je! C()A$@E.,Blog@(.,B)A-

;bit<simbol=

:ntropija bacanja novčia H u ovisnosti o vjerojatnosti

pojavljivanja pisma p



rimjer! :ntropija bacanjanovčia

• 4a slučaj novčia koji uvijek dajepismo, imamo p(x 1 )A- i p(x 2 )A.

• Fada je C()A$-Elog@(-)$.Elog@(.)A.;bit<simbol=

• 4a slučaj novčia koji u prosjeku 7./

bacanja daje pismo, a 8./ bacanjaglavu, imamo p(x 1 )A.,7 i p(x 2 )A.,8

• Fada je C()A$.,7Elog@(.,7)$

.,8Elog@(.,8)A.,GG ;bit<simbol=



rimjer! 3lo+eniji eksperimentbacanja novčia

• 6aca se novči! ako padne pismo,eksperiment se zaustavlja, a ako padneglava, eksperiment se izvodi dalje

• p % pismo, g % glava, indeks i % broj

bacanja u pojedinom eksperimentu

Događaj i Simbol x i Vjerojatnost p(x i )

H- .,B

gp H@ .,BE.,BA(.,B)@

ggp H8 .,BE.,BE.,BA(.,B)8

gggp HI .,BE.,BE.,BE.,BA(.,B)I

555




•




• Koritenjem izraza

uz

•slijediA

• Konačno

•



:ntropija, neodre&enost i sadr+ajinformacije u sustavu bez smetnji

• rije nastanka porukepostoji nesigurnost,odnosno neodre&enost% mjera je entropija

izvora H(X)• 0akon nastanka poruke

neodre&enost na izvorunestaje, a stvoren jesadr+aj informacije I(X)

• 0akon prijenosa porukenestaje neodre&enostodredita H(Y) i primase sadr+aj informacije

I(Y)=I(X)

?H ( X ) ?H (Y )

?H(Y)

PRIJE NASTANKA PORUKE

NAKON PRIJENOSA PORUKE

IZVOR DISKRETNI KOMUNIKACIJSKI

SUSTAV BEZ SMETNJI ODREDIŠTE

IZVOR

I ( X ) = H ( X ) x 3 x 2 x 5 x 1 x 0...

DISKRETNI KOMUNIKACIJSKISUSTAV BEZ

SMETNJI

ODREDIŠTE

NAKON NASTANKA ALI PRIJE SLANJA PORUKE PRIJENOS

I ( X ;Y )I (Y ) =

I ( X )=H (Y )=H ( X

)

x 3 x 2 x 5 x 1 x 0...

DISKRETNI KOMUNIKACIJSKI

SUSTAV BEZ

SMETNJI

IZVOR

ODREDIŠTE



3vojstva entropije

• :ntropija, mjera za sadr+aj informacije,odnosno neodre&enost

• Kako su vjerojatnosti p(x i ) ograničene

izme&u . i -, tada entropija ne mo+e bitinegativna! H(X)J.

• inimalni sadr+aj informacije je . (novčikoji uvijek daje pismo)

• Openito, ako se jedan simbol pojavljuje savjerojatnou -, entropija je .! H(X)A. za x i takav da je p(x i )A-

•



3vojstva entropije

• :ntropija posti+e maksimum kada suvjerojatnosti simbola jednako raspore&ene

• 4a abecedu od n simbola, vjerojatnost

pojavljivanja bilo kojeg simbola xi je p(x i )A-<n• Fada slijedi da je

• o+e se pokazati da je ova vrijednost najveamogua vrijednost entropije, tj5 za bilo koju

razdiobu vjerojatnosti pojavljivanja simbola izabecede od n simbola vrijedi! H(X)>

• 3lijedi da je neodre&enost najvea kada suvjerojatnosti jednako raspore&ene po svim

simbolima

•



3vojstva entropije

• 4ato je u deLniciji entropijelogaritamska funkcija9

• rosječni sadr+aj informacije poruke

koja se sastoji od kombinacija dvajusimbola mora biti jednak zbrojuprosječnih sadr+aja informacije porukakoje se sastoje od pojedinačnih simbola

• Uzmimo skup simbola X od n simbola x i i skup simbola Y od m simbola y j, koji sume&usobno nezavisni



3vojstva entropije

• Ure&eni parovi simbola x i i y j tvore treiskup M koji se sastoji od nm simbolaoblika ( x i y j)

• 1ko se stvaraju poruke sastavljene odsimbola iz svakog od ova tri skupa, tada uprosjeku sadr+aj informacije kombiniranihsimbola mora biti jednak zbroju sadr+aja

informacije pojedinačnih simbola, odnosnoH(XY)=H(X)+H(Y)

• Upravo logaritamska funkcija zadovoljava

ovo svojstvo



3vojstva entropije

• od pretpostavkom jednako raspore&enihvjerojatnosti unutar svakog skupa! p(x i )A-<n, p(y j )A-<m i p(x i y j )A-<nm

• slijediH(XY) A log@nm A log@n N log@m A H(X)

+H(Y)

• rimjer! bacanje dva novčia – generiraju se tri poruke! niz bacanja prvog,

drugog i oba novčia

– u prosjeku zdru+eni rezultat bacanja nosi

dvostruko vie informacije



Kodiranje

• Kodiranje je postupak dodjeljivanjakodnih riječi (kdova) simbolimaporuke

• 3vaka kodna riječ sastoji se od jednog ili vie simbola iz neke drugeabecede, odnosno skupa

• Dakle, kodiranjem se poruka (nizsimbola) pretvara u niz kodnih riječi

• 4bog čega je ovo potrebno9



Kodiranje

• Openito, smisao kodiranja je pretvorbaporuke u oblik koji ima neka bolja svojstva,npr5 povoljniji je za prijenos, zatitu ili

pohranu• 0pr5 kompresija je vrsta kodiranja kod koje je kodirana poruka kraa od izvorne porukePkriptografja je kodiranje kod kojeg

kodirana poruka ima odre&ena sigurnosnasvojstvaP zaštitno kodiranje daje porucisvojstva koja olakavaju otkrivanje i<iliispravljanje pogreaka uzrokovanih

smetnjama



Kodiranje

• U sklopu openitog komunikacijskogsustava kodiranje se doga&a unutar

predajnika – koder informacije izvodi kompresiju

– koder kanala izvodi zatitno kodiranje

IZVOR

PREDAJNIKKODER

INFOR-

MACIJE

KANAKODER

KANAA ODREDIŠTE

PRIJEMNIK

DEKODER

KANAA

DEKODER

INFOR-

MACIJE

SMETNJE

KOMUNIKACIJSKI

SUSTAV



Kodiranje i entropija

• Kada se izvodi kodiranje s ciljemkompresije podataka, jasno je damora postojati odre&ena granica do

koje se mo+e sa+imati bez gubitaka %entropija izvora

• rimjer kodiranjaSIMBOL

( x i )

VJEROJATNOST

OJAVLJIVANJA ( p(x i )=pi )

!ODNARIJE" (Ci )

D#LJINA

!ODNERIJE"I (l i )

- -<@ . -

@ -<I -. @

8 -<G --. 8

I -<G --- 8




• :ntropija ovakvog izvora je

;bit<simbol=

•Kako su poznate vjerojatnostipojavljivanja simbola, vrlo se

jednostavno mo+e izračunati prosječnaduljina kodne riječi

;bit<simbol=

•




• Dakle, uz ovaj kd potrebno je uprosjeku -,7B bita po simbolu zakodiranje informacije s ovakvog

izvora, to odgovara entropiji izvora• 0emogue je pronai neki drugi skup

kodnih riječi kojim bi se simboli s

izvora mogli jednoznačno prikazati, ačija bi prosječna duljina kodne riječibila manja od -,7B bita po simbolu

E t ij j i & ij

Documents

2. Osnovni Pojmovi Teorije Informacije