CURS TEORIA INFORMATIEI SI A CODARII

Prof.dr.ing. Adrian Mihaescu

Curs TTI

1

Curs TTI EA CUPRINS 1.1.2 Modelul unui sistem de transmisiune a informaŃiei 1.1.3 CerinŃele unui sistem de transmisiune a informaŃiei 1.1.4 Măsura informaŃiei în cazul semnalelor discrete 1.1.5 Tipuri de surse de informaŃie 1.1.6 Parametrii surselor de informaŃie 1.2.1 Terminologie 1.2.2 Entropii condiŃionate Transinforma Ńia 1.2.3 Capacitatea canalului discret

1.3 Codarea surselor pentru canale fără perturbaŃii 1.3.1 Scopul codării surselor de informaŃie 1.3.2 Tipuri de coduri 1.3.3 Lungimea medie a unui cuvânt de cod 1.3.4 EficienŃa şi redundanŃa unui cod 1.3.5 Prima teoremă a lui SHANON (teorema codării canalelor fără zgomot ) 1.3.6 Metode de codare binară

Codarea Shannon-Fano

Cap.2 Codarea pentru canale cu pertubaŃii 2.1 Scopul codării pentru protec Ńie

2.2 Clasificarea codurilor detectoare sau corectoare de erori 2.3 Teorema lui Shanonn II pentru canale cu perturbaŃii

2.4 Reguli de decizie

2.5Coduri simple detectoare de erori

2.5.1 Codul cu repetiŃie detector de erori 2.5.2 Cod cu pondere constantă detector de erori

2.6 Coduri grup 2.6.1 Principiul decodării utilizând matricea de control

2.6.2 CondiŃii impuse matricei de control pentru a detecta sau corecta erori 2.6.3 ConstrucŃia matricei de control pentru a detecta un număr impar de erori 2.6.4 ConstrucŃia matricii de control pentru a detecta două erori

2.7 Codul grup Hamming, corector de o eroare 2.7.1 Descrierea codului grup Hamming 2.7.2 Codarea codului grup Hamming 2.7.3 Decodarea codului grup Hamming

Curs TTI

2

Codul Hamming corector de o eroare şi detector de două erori

2.8 Coduri iterate

2.8.1 Coduri iterate cu distanŃa Hamming 2 x 2 2.8.2 Coduri iterate cu distanŃă Hamming 2 x 3

2.9 Coduri ciclice 2.9.1 Descrierea codurilor ciclice

2.9.2 Codarea cuvintelor cu ajutorul polinomului generator g(x)

2.9.3 Codarea cu ajutorul matricii de control

: TT HGGH =

2.9.4 Decodarea codurilor ciclice

2.9.5 Decodor cu registru de deplasare cu reacŃie

Cap.3 SEMNALE ALEATOARE

3.1 DefiniŃia şi clasificarea semnalelor aleatoare: 3.2 Variabile aleatoare

3.2.1 FuncŃia de repartiŃie a variabilei aleatoare 3.2.2 Densitatea de probabilitate a unei v.a. 3.2.3 DistribuŃia uniformă 3.2.4 DistribuŃia normală 3.2.5 Momentele de ordinul k ale v.a.

3.3 Valori medii ale semnalelor aleatore 3.3.1 Valori medii statistice ale semnalelor aleatore 3.3.2 Valori medii temporale ale semnalelor aleatoare 3.3.3 Semnale aleatoare staŃionare

3.3.4 Semnale aleatoare ergodice

3.3.5 Semnalul aleator pur

3.4 Densitatea spectrală de putere. Teorema Wiener – Hincin

3.4.1 Densitatea spectrală de putere a semnalelor aleatoare staŃionare

Curs TTI

3

3.4.2 Teorema Wiener – Hincin 3.5 Dezvoltarea Karhunen-Loève a semnalelor aleatoare în serie cu coeficienŃi necorelaŃi

3.6 Transform ări liniare ale semnalelor aleatoare

Cap.4 Transmiterea discret ă a semnalelor continue

4.1. Sisteme cu modulaŃia impulsurilor

4.2 Transferul informaŃiei în sistemele cu modulaŃie în impuls 4.3Eşantionarea. Spectrul semnalelor MIA

4.3.1 MIAN –modulaŃia impulsurilor în amplitudine natural ă 4.3.2 MIAV – modulaŃia impulsurilor în amplitudine uniform ă 4.3.3 Teorema eşantionării

4.4 Conversia Analog-numeric ă

4.4.1 Cuantizarea 4.5 ModulaŃia delta

4.5.1 ModulaŃia delta uniformă 4.5.2 ModulaŃia delta adaptivă

.

Cap.5 DETECTIA SEMANALELOR BINARE ACOPERITE DE ZGOMOT

5.1 CRITERII DE DECIZIE BINARA 5.1.1 Criteriul lui BAYES 5.1.2 Criteriul observatorului ideal 5.1.3 Criteriul probabilit ăŃii aposteriori maxime

5.1.4 Criteriul min-max

5.1.5 Criteriul Neuman-Pearson

5.2 DetecŃia discretă a semnalului binar 5.2.1 Calculul raportului de plauzibilitate 5.2.2 ProbabilităŃile deciziilor corecte şi false

5.3 Detec Ńia continuuã a unui semnal binar 5.3.1 Descompunerea semnalului recepŃinat în sumã de funcŃii ortonormate 5.3.2 Calculul raportului de plauzibilitate 5.3.3 ProbabilităŃile deciziilor corecte şi false 5.4 DetecŃia a două semnale binare observate continuu

Curs TTI

4

Cap.6 ESTIMAREA PARAMETRILOR 6.1 Introducere

6.2 Parametrii aleatori: estimatori de tip Bayes 6.2.1 Criteriul de estimare mediu pătratic. 6.2.2 Criteriul de estimare maxim aposteriori.

6.3 Estimarea discretă 6.3.1 Estimarea discretă utilizând criteriul estimării maximum aposteriori 6.4 Estimarea continuă

6.4.2 Estimarea unui parametru determinat necunoscut

6.4.3 Estimarea liniară prin observaŃii continue a unui parametru determinist necunoscut.

6.5 Criterii de evaluare ale calităŃii estimaŃilor

Curs TTI

1

Cap.1 Surse de informaŃie. Canale de transmisiune

1.1 Surse de informaŃie

1.1.1 Terminologie NoŃiunile utilizate în teoria transmisiunii informaŃiei:

InformaŃie - Presupunem că într-o situaŃie oarecare pot avea loc N evenimete diferite, egal probabile, probabilitatea de realizare a unui eveniment A fiind p(A)=1/N. Odată ce unul din cele N evenimente au fost realizate se obŃine o informaŃie. Această informaŃie este cu atât mai mare cu cât evenimentul este mai imprevizibil, respectiv cu cât probabilitatea sa este mai mică. Prin definitie informaŃia obŃinută este:

( ) ( ) NApAp

Ai 222 loglog1

log)( =−==

Ex 1. Aruncarea zarului. Ex 2. Există 12 monede din care una falsă ce poate fi mai uşoară sau mai grea. Folosind o balanŃă egală să se determine, utilizând noŃiunea de informaŃie, câte cântăriri sunt necesare pentru a determina moneda falsă şi să se specifice dacă este mai uşoară sau mai grea. A- evenimentul determinării monedei false; B- evenimentul determinării dacă moneda falsă este mai uşoară sau mai grea; C- evenimentul compus: A intersectat cu B.

p(A)= 1/12; p(B)=1/2; p(C)=1/12*1/2= 1/24

( ) 24log1

log 22 ==Cp

iC

iC – informaŃie necesară pentru a solva problema. io = log2 3 – informaŃia furnizată de o cântărire (balaŃa, la o cântărire, poate să se încline spre dreapta, spre stânga sau să nu se incline 3 posibilităŃi). kmin se află punând condiŃia ca informaŃia furnizată de cântăriri să fie mai mare decât informaŃia necesară:

kmin log23 ≥ log224 kmin =3

Concluzii:

- informaŃia, după definiŃia probabilităŃii, ne dă o măsură calitativă asupra unui sistem, ne spune de câte cântăriri avem nevoie; nu spune cum se face măsurarea cu balanŃa;

- informaŃia este o măsură cantitativă utilă pentru analiza sistemelor de transmitere a informaŃiei.

Curs TTI

2

1.1.2 Modelul unui sistem de transmisiune a informaŃiei Cel mai simplu model al unui sistem de transmisiune a informaŃiei este:

Sursa de informaŃie – un mecanism tehnic sau o procedură matematică care poate alege şi

emite un mesaj dintr-un ansamblu de mesaje posibile, alegerea făcându-se în mod aleator. Sursa de informaŃie se caracterizează prin setul de mesaje posibil a fi selectate denumite simboluri sau litere.

Utilizator – destinaŃia finală la care trebuie să ajungă mesajul transmis. Canal – totalitatea mijloacelor destinate transmiterii mesajului; prin mijloace întelegem

atât aparatura cât şi mediul prin care se poate transmite, şi include toate sursele de perturbaŃii. Modulare – transformarea unui mesaj într-un semnal, cu scopul de a facilita transmisiunea

printr-un canal dat sau de a realiza transmisiuni multiple prin acelaşi mediu. Scopul secundar al modulaŃiei este de a mări eficienŃa transmisiunii prin micşorarea efectului perturbaŃiilor ce intervin în pocesul de transmisiune.

Demodulare – operaŃia inversă modulării. Codare- prelucrarea discretă a mesajului cu scopul măririi eficienŃei de transmisie.

Uneori termenul de codare înglobează şi modularea. Decodare – operaŃia inversă codării.

1.1.3 CerinŃele unui sistem de transmisiune a informaŃiei

Sarcina unui sistem de transmisiune a informaŃiei este de a pune la dispoziŃia utilizatorului informaŃia generată de sursă, cu un grad de deteriorare specificat, admis.

În tehnicile de comunicaŃii se obişnuieşte să se introducă un criteriu de fidelitate, pentru aprecierea reproducerii semnalului generat de sursă la utilizator.

În sistemele de transmisiune analogică, criteriul de fidelitate ales este uneori eroarea medie pătratică:

x(t) – mesaj transmis; y(t) – mesaj recepŃionat;

iar medierea se face în raport cu timpul; alteori se alege drept criteriu de fidelitate raportul semnal/ zgomot.

Curs TTI

3

n(t) – zgomot perturbator; În sistemele de transmisie numerică criteriul de fidelitate îl reprezintă probabilitatea

recepŃionării unui mesaj eronat, numită rata erorii (BER –Bit Error Rate). 1.1.4 Măsura informaŃiei în cazul semnalelor discrete

InformaŃia este o măsură a nedeterminării asupra unui sistem de evenimente, respectiv o măsură a incertitudinii asupra rezultatului alegerii printr-un mecanism oarecare aleator, a unui eveniment din mulŃimea evenimentelor posibile distincte. Această măsură nu se referă la valoarea subiectivă a informaŃiei. Ea este o măsură obiectivă privind incertitudinea mecanismului prin care se realizează un eveniment din mulŃimea evenimentelor psibile.

Fie un experiment care are n realizări posibile pe care le organizăm în spaŃiul eşantioanelor.

X=x 1, x2,…, xn Fiecărui eveniment i se asociază o probabilitate

P=p(x1),p(x2),…,p(xn) a.î. ( )∑=

=n

1ii 1xp

Ansamblul [x,p] formează o sursă de informaŃie discretă.

( ) ( )

=

n1

n1

xpxp

xxX

Măsura incertitudinii asupra realizării unui eveniment xi este o funcŃie de probabilitate apriorii de realizare a acestui eveniment F(pi), unde: Pi = p(xi); U(xi) = F(pi) şi reprezintă incertitudinea iniŃială (apriori) asupra realizării evenimentului xi. Când evenimentul elementar xi se realizează, această incertitudine a fost înlăturată şi se spune că s-a obŃinut o informaŃie i(xi) asupra realizării lui x i. Acestă informaŃie poate fi definită prin :

- informaŃia obŃinută asupra lui xi prin realizarea lui xI; - anularea incertitudinii asupra realizării lui x i după ce s-a realizat xi

( ) ( ) ( )ii

def

i pFxUxi ==

FuncŃia F poate fi aleasă dintr-o clasă mare de functii care să îndeplinească condiŃia de aditivitate: dacă un eveniment xi este format din 2 evenimente xi1 şi xi2, xI = xi1 intersectat cu xi2

i(x i)=i(x i1)+i(x i2) F[p(xi)]=F[p(xi1)]+F[p(xi2)]

( ) xlog

x1

logxF 22 −==

Fie cazul cel mai simplu al unei surse discrete formată din 2 evenimente:

( ) ( )

21

21

xpxp

xx

S-a convenit să se aleagă unitatea de informaŃie ca informaŃia ce se obŃine prin alegerea la întâmplare a unui eveniment din două evenimente egale probabile:

Curs TTI

4

( ) ( ) bit12logxixi 221 ===

=

2/12/1

xxX 21

1.1.5 Tipuri de surse de informaŃie

Surse discrete – care debitează mesaje în formă discretă (de ex. succesiunea de impulsuri) Def: Xi – simbol sau literă este elementul fundamental ireductibil care conŃine informaŃie, respectiv o realizare particulară a sursei de informaŃie. X i- alfabet, totalitatea simbolurilor;

Cuvânt - o succesiune finită de simboluri binare; Limbă - totalitatea cuvintelor formate cu un anumit alfabet; Codare sau cifrare - se stabileşte o corespontenŃă între o limbă şi altă limbă; Decodare sau decifrare - operaŃia inversă codării; Sursă discretă fără memorie – sursa la care probabilitatea de apariŃie a unui simbol nu

depinde de simbolurile precedente:

( ) ( )i2i1ii xP,...x,x/xP =−−

Sursă discretă cu memorie –sursa la care probabilitatea de apariŃie a unui simbol depinde de simbolul precedent sau de un şir de simboluri anterioare, dacă sursa are o memorie mai mare.

Sursă staŃionară –sursa la care probabilitaŃile diferitelor simboluri nu depind de originea timpului în care începe observarea acesteia.

Sursă ergodică – este sursa pentru care frecvenŃele de apariŃie a diferitelor simboluri obŃinute prin observarea unei secvenŃe particulare de simboluri emise de sursă tind către probabilitaŃile acestora p1,…,pn.

Sursă discretă fără constrângeri - sursa staŃionară care nu are memorie, adică sursa la care după un simbol poate urma orice alt simbol cu aceeaşi probabilitate.

Sursa discretă cu constrângeri fixe – este sursa la care unele simboluri pot fi folosite numai în condiŃii bine precizate. 1.1.6 Parametrii surselor de informaŃie

Entropia – H(X) este incertitudinea medie apriori asupra evenimentelor sursei X sau informaŃia proprie medie pe simbol a respectivei surse.

( ) ( ) ( )∑∑==

⋅=⋅−=n

1iii

n

1ii2i xpxiplogpXH

ProprietăŃile entropiei: 1. Continuitatea - H(X) este o functie continuă în raport cu pi Є [0,1]; 2. Simetria - simetrică în raport cu pI; 3. Aditivitatea - aditivitatea informaŃiei proprie; 4. Entropia are maximul pentru P1=P2=…=Pn;

Exemplificăm pentru cazul unei surse binare:

=

21

21

pp

xxX

Curs TTI

5

( )( ) ( )121121

222121

p1logp1plogp

plogpplogpXH

−⋅−−⋅−==⋅−⋅−=

Debitul de informaŃie În unele situaŃii este util ca noŃiunea de informaŃie să fie legată de timp. În acest caz, se defineşte debitul de informaŃie ca raportul între entropia sursei şi timpul mediu de emisie a unui simbol al sursei.

( )i

n

iip

s

bitXHD ττ

τ ;

1∑=

=

=

RedundanŃa unei surse Pentru a indica cât de mult se îndepărtează entropia unei surse de la valoarea ei maximă posibilă, se defineşte redundanŃa ca fiind diferenŃa între valoarea maximă a entropiei sursei şi valoarea ei reală.

( )XHHR max −= , unde: nlogH 2max =

EficienŃa sursei EficienŃa unei surse se defineşte ca fiind:

( )maxH

XHρ =

RedundanŃa relativă Este redundanŃa raportată la entropia maximă:

( )maxmax

1H

R

H

XH =−=ρ

Curs TTI

6

1.2 Canale discrete 1.2.1 Terminologie Între sursa de informaŃie şi utilizator, există un mediu prin care trebuiesc transmise informaŃiile, care se numeşte canal. Canalul ca şi model matematic, stabileşte o transformare de la spaŃiul simbolurilor de intrare ixX = , la spaŃiul simbolurilor de ieşire

mjyY = .

Canalul se numeşte discret, dacă atât spaŃiul de intrare, cât şi cel de ieşire, sunt discrete. Vom analiza un astfel de canal discret.

( ) ( ) ( )

=

=m1

m

n1

n

yp......yp

y..........yY

)x(p......xp

x..........xX 11

Dacă nu se face nici o ipoteză asupra independenŃei sau dependenŃei elementelor xi şi yj , avem matricea de probabilităŃi sau matricea de transfer a canalului:

( )

( ) ( ) ( )

( ) ( )

=

nmn1

1m1211

x,y.....p....................x,yp

.

.

x,y........px,yp x,yp

YX,P

Această matrice, are proprietatea că:

∑=

==m

1jijimi2i1 )x,p(y)x,U(y...)x,U(y)x,pU(y1 III

)/()()/()(),(),( jijijijiij yxpypxypxpyxpxyp ===

Canalul discret poate fi definit de trei câmpuri cărora le corespund trei entropii: - câmpul de intrare H(X); - câmpul de ieşire H(Y); - câmpul reunit intrare ieşire H(X,Y).

Expresiile acestor entropii sunt:

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )ji2ji

m

1j

n

1i

j2

m

1jj

i2

n

1ii

y,xplogy,xpYX,H

yplogypYH

xplogxpXH

∑∑

∑

∑

==

=

=

−=

−=

−=

Curs TTI

7

1.2.2 Entropii condiŃionate EchivocaŃia Dacă, câmpul de evenimente de la ieşirea din canal este cunoscut, datorită efectelor

perturbaŃiilor rămâne totuşi o oarecare incertitudine asupra câmpului de la intrare. Valoarea medie a acestor incertitudini, entropia câmpului X condiŃionat de câmpul Y, se

notează cu H(X/Y) şi se numeşte echivocaŃie. Reprezintă măsura echivocului, a incertitudinii asupra câmpului de intrare, când se cunoaşte câmpul de ieşire Y.

x1 o oy1 . . . .

. oyj . . . . xno ym

Dacă la ieşirea din canal, apare simbolul yj, există o incertitudine asupra simbolului care a

fost de fapt emis. Acesta poate să fie oricare dintre x1,…..xn. Incertitudinea asupra emiterii simbolului x1 dacă s-a recepŃionat yj, este:

( ) ( ) ( ) ( )ji2ji

2jiji y/xplogy/xp

1logy/xUy/xI −===

Valoarea medie a acestei incertitudini este:

( ) ( ) ( ) ( ) ( )ji2ji

n

1ijijij yxplogyxpyxUyxpX/yH ∑∑

=−=−=

Dacă facem valoarea medie pentru toate valorile posibile ale lui yj este:

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )ji

m

1jji

n

1i

jiji

m

1jj

n

1ij

m

1jj

/yxlogp y,xp

/yxlogp/yxp ypX/yH ypX/YH

∑∑

∑∑∑

==

===

−=

=−==

Eroarea medie. În mod analog, se poate determina entropia câmpului de ieşire, dacă se cunoaşte câmpul de la intrare.

( ) ( ) ( ) ( ) =−= ∑∑==

ijiji

m

1j

n

1i/xylogp/xypxpY/XH

( ) ( )ijji

m

1j

n

1i/xylogpy,xp∑∑

==−=

Curs TTI

8

Eroarea medie, este o măsură a incertitudinii câmpului de la ieşire când se cunoaşte

câmpul de la intrare. Dacă, canalul nu are perturbaŃii atunci:

( ) ( ) ( )( )1/yxp 0Y/XHX/YH ji ===

Dacă, canalul are perturbaŃii foarte puternice, atunci:

( ) ( ) ( ) ( )YHY/X H,XHX/YH ==

Pentru determinarea entropiilor condiŃionate este necesar să cunoaştem matricile

condiŃionate de transfer ale canalului.

( )( ) ( )

( ) ( )( ) 1/yxp ;

/yx........p/yxp

./yx.......p /yxp

X/YP ji

n

1imnm1

1n11

=

= ∑=

şi

( )( ) ( )

( ) ( )( ) 1/xyp

/xy........p/xyp

./xy.......p /xyp

Y/XP ij

m

1jnmn1

1m11

=

= ∑=

Transinforma Ńia

Dacă considerăm ieşirea canalului şi observăm la un moment dat evenimentul yj, măsura incertitudinii, dacă la intrarea acestuia s-a introdus xi, este:

( ) ( )[ ]jiji /yxpF/yxU =

InformaŃia obŃinută la ieşirea canalului asupra realizării lui x i, când a ieşit yj, este egală cu scăderea din incertitudinea apriori despre realizarea lui xi a incertitudinii aposteriori ( )ji y/xU ,

adică: ( ) ( ) ( )

( )[ ] ( )[ ] ( ) ( )ji2ijii

jiiji

/yxplogxplog/yxpFxpF

/yxUxUy,xI

2+−=−=

=−=

sau

( ) ( )( )ji

i2ji /yxp

xplogy,xI −=

Curs TTI

9

Deci ( )ii y,xI reprezintă informaŃia mutuală ce se obŃine asupra evenimentului ix când se

recepŃionează jy .

În absenŃa perturbaŃiilor recepŃionând simbolul yj, putem afirma cu certitudine că s-a emis xi, adică:

( ) 1/yxp ji = şi

( ) ( )iji xlogpy,xI −=

În cazul general, din cauza zgomotelor p(xi/yj)<1 şi în consecinŃă informaŃia mutuală este mai mică decât informaŃia proprie şi este dată de expresiile:

( ) ( )( )

( )( )

( )( ) ( )ji

ji2

j

ij2

i

ji2ji ypxp

y,xplog

yp

/xyplog

xp

/yxplogy,xI ===

unde

deci: ( ) ( ) ( ) ( )( ) ( )jiij

ijijij

y,xpx,yp

/xypxp/yxpyp

=

=

Valoarea medie a informaŃiei mutuale se obŃine considerând toate perechile de simboluri posibile intrare-ieşire (xi;yj), cu probabilităŃile p(xi;yj).

( ) ( ) ( ) ( )YX,HYHXHYX,I −+=

unde H(X,Y), reprezintă entropia câmpurilor reunite de intrare şi ieşire.

( ) ( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( )( ) ( ) ( )ijiji

ijiji

m

1j

n

1ii2i

n

1i

ijji

m

1j

n

1iiji

m

1j

n

1ijiji

m

1j

n

1i

x,ypxpy,xp

x,ylogp/xypxpxplogxp

/xylogpy,xpxlogpy,xpy,xlogpy,xpYX,H

=

−−=

=−−=−=

∑∑∑

∑∑∑∑∑∑

===

======

( ) ( ) ( ) ( ) ( )

analog

X/YHYHY/XHXHYX,H

↑

+=+=

( ) ( ) ( )( ) ( )

( ) ( )

( )

( ) ( )

( )

( ) ( )

( ) ( ) ( ) ( ) ( ) ( )=+−−=

=+−−=

==

∑∑∑∑

∑∑∑∑∑∑

∑∑

====

======

==

ji

m

jji

n

ijj

m

jii

n

i

jiji

m

j

n

i

yp

ii

n

ij

m

j

xp

ii

m

ji

n

i

ji

jiji

m

j

n

i

yxpyxPypypxpxp

yxyxPyxpypyxPxp

ypxp

yxpyxPYXI

ji

,log,loglog

,log,,log,log

,log,,

12

12

12

1

21111

211

2

211

4847648476

Curs TTI

10

Deci:

( ) ( ) ( ) ( ) ( )Y/XHYHX/YHXHYX,I −=−= I(X,Y), este valoarea medie a informaŃiei mutuale, adică a informaŃiei ce se obŃine asupra alfabetului de intrare X, prin recepŃionarea alfabetului de la ieşire Y, cu alte cuvinte, informaŃia medie transmisă prin canal. Din această cauză, se numeşte transinformaŃie. Dacă, canalul nu are perturbaŃii:

( ) ( ) ( )YHXHYX,I == 1.2.3 Capacitatea canalului discret

Pentru a defini o măsură a eficienŃei în care se transmite informaŃia şi a găsi o limită superioară a acesteia Shannon a introdus noŃiunea de capacitate a canalului. Capacitatea canalului este definită ca fiind valoarea maximă a transinformaŃiei.

( ) ( ) ( ) ( ) ( )[ ] ( ) ( )[ ]Y/XHYHmaxX/YHXHmaxYX,ImaxC

n1 x,...pxp−=−==

Maximizarea, se face în raport cu setul de probabilităŃi a câmpului de intrare p(x1)……p(xn).

( ) pxyp −=1/ 11

( )

−=

p-1 p

p p1X/YP

Capacitatea canalului binar simetric:

( ) ( ) ( )[ ]XYHYHYXIC /max,max −==

( ) ( ) ( ) ( )( ) ( )[ ]p1logp1plogp

/xylogp/xypxpY/XH ijiji

2

1j

2

1i

−−+−=

=−= ∑∑==

( ) ( ) ( ) ( )2121 yPyPxPxP =⇒=

( ) ( )[ ]( ) ( ) ( )[ ] =−−++= ppppYHC

xpxp1log1logmax

21

= ( ) ( ) ( ) ( ) ( )ppppppppYH −−++=−−++ 1log1log11log1logmax

rezultă ( ) ( )ppppC −−++= 1log1log1 22

Curs TTI

11

1.3 Codarea surselor pentru canale fără perturbaŃii 1.3.1 Scopul codării surselor de informaŃie

În general alfabetul unei surse diferă de alfabetul canalului şi, ca urmare, primul obiectiv al codării surselor este acela de a trece de la alfabetul sursei la alfabetul canalului. Mai mult decât atât, dorim ca transinformaŃia să fie maximă pentru a se atinge eficienŃa maximă, şi, în acest scop, prin codare, trebuie să asigurăm ca sursa secundară, definită la ieşirea codorului, să genereze simboluri cu probabilităŃi care să asigure maximul transinformaŃiei sau cât mai aproape de acesta . În cazul canalelor fără perturbaŃii acest obiectiv se atinge când sursa secundară este o sursă de entropie maximă :

C = max H(X) = log 2 N ; ( H(X,Y)=0 ) unde N este numărul de simboluri din alfabetul canalului sau respectiv a codului folosit.

Obiectivul codării surselor este de a transforma o sursă dată cu un set de probabilităŃi determinat, pe care o numim sursă primară, într-o sursă cu entropie maximă sau, cu alte cuvinte, prin codare se caută să se anuleze redundanŃa sursei. 1.3.2 Tipuri de coduri

Coduri unic decodabile Fie o sursă discretă, fără memorie, furnizând simboluri dintr-o mulŃime [S] numită alfabetul sursei:

[ ]

=N21

N21p ... p p

... S sss

Fie [X] = x1 , x2 , ... ,xN alfabetul finit al codului respectiv al canalului. Cu aceste litere se formează N cuvinte de cod:

[C] = [ c1 , c2 ,..., cN ] Cuvintele de cod sunt succesiuni de litere din alfabetul [X] . Codarea reprezintă stabilirea

unei corespondenŃe biunivoce între simbolurile sk ∈ S şi cuvintele ck ∈ C. Totalitatea cuvintelor ck formează un cod. Cu alfabetul [X] se pot forma cuvinte cărora să nu le corespundă simboluri din alfabetul sursei. Acestea se numesc cuvinte fără sens, în contrast cu cele cărora le corespund simboluri ale sursei care se numesc cu sens.

Cod unic decodabil – prin alegerea convenabilă a cuvintelor de cod se poate ajunge la rezultatul că fiecărei succesiuni de cuvinte de cod îi va corespunde o singură succesiune de simboluri ale sursei (decodare unică)

Cod separabil – este un cod unic decodabil care nu utilizează semne de demarcare între cuvintele de cod. Ex:

A B C D s1 00 0 0 0 s2 01 10 01 10 s3 10 110 011 110 s4 11 1110 0111 111

Curs TTI

12

A – unic decodabil; B – unic decodabil, 0 indică sfârşitul fiecărui cuvânt de cod; C – unic decodabil, 0 indică începutul fiecărui cuvânt; D – este de asemenea unic decodabil.

Coduri instantanee. Între codurile B şi C din exemplul de mai sus există o diferenŃă importantă: la codul B pe măsură ce se recepŃionează succesiunea de litere din alfabetul codului se pot determina cuvintele codului fără referinŃă la literele următoare :

0 10 110 0 1110 0 s1 s2 s3 s1 s4 s1

adică dacă succesiunea de litere din alfabetul codului formează un cuvânt din vocabularul codului (căruia îi corespunde un simbol al sursei) acesta este unic, deoarece prin adăugarea unei litere la un cuvânt de cod nu se obŃine alt cuvânt de cod. Un asemenea cod se numeşte instantaneu.

Codul C nu este instantaneu ex: s2 adaugă 1 s3 ( 01 011 ) DefiniŃie: Fie [Ci] = [ xi1 , xi2 , ... , xiN ] un cuvânt de cod; şirul de litere xi1 , .. , xik cu

k<m se numeşte prefixul cuvântului Ci. CondiŃia necesară şi suficientă ca un cod să fie instantaneu este ca nici un cuvânt al

codului să nu fie un prefix al altui cuvânt de cod ; se mai numesc şi coduri ireductibile. Algoritm s

0 1 s0 s1 0 1 0 1 s00 s01 s10 s11 0 1 0 1 0 1 0 1 1.3.3 Lungimea medie a unui cuvânt de cod

În general prin codare se urmăreşte mărirea eficienŃei transmisiei informaŃiei. În calculul ce urmează se va defini noŃiunea de eficienŃă . În cazul canalelor fără zgomot eficienŃa este apreciată printr-o valoare medie a unei anumite funcŃii de cost care este egală în acest caz cu lungimea medie a cuvântului de cod.

∑=

==N

1iii l)(pC ls

Mărirea eficienŃei transmisiei în cazul canalelor fără zgomot se poate face deci atribuind în mod convenabil fiecărui simbol al sursei si , un cuvânt de cod ci ,de lungime l i astfel aleasă încât lungimea medie a cuvintelor de cod rezultate să fie minimă . EficienŃa transmisiei poate fi definită numai dacă se cunoaşte marginea inferioara a lui l . Limita inferioara a lungimii medii a unui cuvânt de cod Fie o sursa [S] şi codul corespunzător [C]

=ppss

N1

N1

.....

.....S ;

=ppllcc

N1

N1

N1

.....

.....

.....

C ; cu alfabetul: [ ] xx M1,...,X =

Entropia sursei este:

Curs TTI

13

∑∑==

−=−==N

1ii2i

N

1ii2i plogpslogs )p()p(H(C)H(S)

Entropia alfabetului codului [X] este:

∑=

−=M

1ii2i )p(x)p(xH(X) log

InformaŃia medie pe un cuvânt de cod este dată de produsul dintre numărul mediu de litere l şi informaŃia medie pe literă H(X)

)H(XlH(C)H(S) ⋅== Valoarea maximă a entropiei H(X) se obŃine atunci când :

p(x1) = p(x2) = ... = p(xM) = M

1, această valoare este )(XHmax = log 2 M şi deci

H(X) ≤ log 2 M Deci : H(S) = H(C) = l H(X) ≤l log 2 M , de unde rezultă:

llog min2M

)S(Hl =≥

RelaŃia de mai sus arată că lungimea medie a unui cuvânt de cod are o valoare minimă. În cazul în care codul este binar, M=2, lungimea minimă a cuvintelor de cod devine egală cu entropia sursei. 1.3.4 EficienŃa şi redundanŃa unui cod

EficienŃa codului este raportul dintre lungimea medie minimă şi lungimea medie a cuvintelor de cod.

η _ lmin _ H(S) sau Ńinând seama de relaŃia l _ H(S) l l log M H(X)

η _ H(X) iar pentru cazul binar M = 2

log 2 M

η _ H(S) l

RedundanŃa codului este mărimea complementară eficienŃei: ρ = 1 - η Coduri absolut optimale. DefiniŃia lungimii medii minime a cuvintelor de cod

M

)C(H

M

)S(H

loglogl22

min ==

Curs TTI

14

ne dă condiŃia eficienŃei maxime : H(C) = lmin log 2 M. Această egalitate poate avea loc numai dacă literele alfabetului codului au probabilităŃi

egale.

p(x1) = p(x2) = ... = p(xM) = 1/ M -în acest caz H(X) = log 2 M şi rezultă : η _ H(X) _ 1

log 2 M

Literele din alfabetul codului fiind considerate independente rezultă:

MM1

cs ll

iii

i

)(p)(p −===

şi deoarece:

===⇒= ∑∑∑=

−

=

−

=111)(p

N

1i

lN

1i

lN

1ii 2Ms ii → cazul binar

Această relaŃie ne dă legătură care trebuie să existe între lungimea li şi numărul de litere M din alfabetul codului în cazul unui cod absolut optimal . Codurile cu eficienŃă egală cu unitatea se numesc coduri absolut optimale . Teorema de existenŃă a codurilor ireductibile se exprimă cu inegalitatea McMillan:

1N

1i

lM i ≤∑=

−

1.3.5 Prima teoremă a lui SHANON (teorema codării canalelor fără zgomot )

Dacă probabilităŃile mesajelor sursei au anumite valori particulare care satisfac relaŃia:

P(si) = M -li (= 2 -li în cazul binar )

eficienŃa codului este maximă . În acest caz:

( ))(pM

)(pslog

logslog

l i22

i2i −=−= → în cazul binar

Se pune problema ce se întâmplă dacă simbolurile sunt codate cu un set arbitrar de probabilităŃi care nu satisfac relaŃia de mai sus .

În acest caz: li = - log2 p(si) / log2 M nu mai este un număr întreg care să poate fi considerat ca fiind lungimea li a cuvântului de cod ci . Dar li va satisface inegalitatea : _ log2 pi ≤ li < _ log2 pi + 1 sau în cazul binar -log2 pi ≤ li < -log2 pi +1

log 2 M log 2 M Urmează să se verifice dacă lungimile date de relaŃia de mai sus verifică relaŃia lui

McMillan care indică dacă cu acestea se poate forma un cod ireductibil.

Curs TTI

15

Avem mai departe : N

-log 2 pi ≤ li log 2 M ≤ log 2 M -li pi ≥ M -li => ∑ M -li ≤1 i=1

adică există un cod ireductibil având cuvinte de lungime li N

_ log2 pi ≤ li < _ log2 pi +1 * pi ∑ şi obŃinem :

log 2 M log 2 M i=1 H(S) ≤ l < _ H(s) +1

log 2 M log 2 M

Această relaŃie este valabilă pentru orice sursă fără memorie. În particular este valabilă şi pentru o sursă oarecare [ S n ] unde fiecare simbol este format dintr-o succesiune de n simboluri ale sursei [S].

În acest caz entropia sursei [Sn] este: H(S) = n H(S) deoarece s-a văzut că entropia a două câmpuri de evenimente independente reunite este suma entropiilor corespunzătoare H (X,Y) = H(X) + H(Y) => H(S,S) = H(S²) = 2 H(S); ca atare vom avea :

H(Sn ) ≤ ln < H (Sn ) +1

log 2 M log 2 M unde prin ln am notat lungimea medie a unui cuvânt de cod corespunzător mesajului din Sn format din n simboluri ale sursei S n H(S) ≤ ln < n H (S) +1

log 2 M log 2 M H(S) ≤ ln < H (S) + 1 Dacă n este foarte mare rezultă :

log 2 M n log 2 M n lim ln _ H (S) _ l min

n→∞ n log 2 M unde l min este lungimea medie a cuvintelor de cod [C] . RelaŃia de mai sus ne arată că printr-o codare corespunzătoare (codarea de grupuri de lungime n a simbolurilor sursei) informaŃia medie pe literă din alfabetul codului H(S) /l poate fi făcută oricât de apropiată de log 2 M, adică codarea este absolut optimală . Sau altfel spus o codare se poate face cu eficienŃă maximă egală cu unitatea (η=1) dacă se supune codării extensia de ordin mare [S n ] a sursei de informaŃie [S].

Curs TTI

16

1.3.6 Metode de codare binară Codarea Shannon-Fano Se considerã cã simbolurile sursei sunt codate în mod individual unul câte unul .În cazul

particular în care mulŃimea simbolurilor sursei [S]=[s1 ,…….sN], poate fi împărŃită în douã mulŃimi So şi S1 de aceeaşi probabilitate P(So)=P(S1)=1/2 iar mulŃimile So şi S1 la nivelul lor pot fi divizate în Soo şi So1 respectiv în S1o şi S11 toate având aceeaşi probabilitate egalã cu ¼.Continuãm aceastã operaŃie până când mulŃimile respective nu conŃin decât un singur element. În acest fel codarea Shannon-Fano conduce la un cod absolut optimal. EX:

=16

1

16

1

16

1

16

1

8

1

8

1

4

1

4

1Sssssssss 87654321

Ck Lk

S1 ¼

So

S2 ¼

Soo

So1

00 01

2 2

S100 100 3 S3 1/8

S4 1/8

S1o S101 101 3

S1100 1100 4 S110 S1101 1101 4

S1110 1110 4

S5

S1 S6

S7

S8

S11

S111 S1111 1111 4

Σpi=1 I=2.75 H(S)=2x 0.25log0.25+2x 0.125log0.125+4x 0.0625log0.0625=2.75 biŃi/simbol

Codarea binarã Huffman

Fie sursa

=ppss

N1

N1

...

...S cu probabilităŃile ordonate p1≥p2≥p3 ≥……≥pN

Codarea Huffman este bazatã pe ideea de a împãrŃi mulŃimea mesajelor S = s1…..sN

ordonatã descrescător în funcŃie de probabilităŃile corespunzătoare în submulŃimile So şi S1 cu probabilităŃi cât mai apropiate, iar mulŃimile S00 şi S01 respectiv cu probabilităŃi cât mai apropiate. În cazul particular în care probabilităŃile mulŃimilor obŃinute sunt egale codarea este absolut optimalã de tip Shannon-Fano. Algoritmul de codare funcŃionează după următorii paşi:

1) Se ordonează mulŃimea mesajelor [S] în ordinea probabilităŃilor descrescătoare.

S=[s1,s2, ….. sN] p(s1)≥p(s2)≥……….≥p(sN)

Curs TTI

17

2) Se formează mulŃimi de simboluri care sã poată fi furnizate în douã submulŃimi de probabilităŃi cât mai apropiate: a) Se grupează r1=sN U sN-1 => p(r1)=p(sN)+p(sN-1)

b) MulŃimea r1 se considerã ca un nou mesaj care se include în mulŃimea celorlalte mesaje în ordinea probabilităŃilor descrescătoare.

[R1]=[s1,s2, …….r1……] cu p(s1)>p(s2)≥……..≥p(r1)≥….. Ultimele douã mesaje se grupează ca şi în cazul precedent operaŃia continuând până în cazul în care se ajunge la un şir de numai douā elemente [rn ,rn-1]=[Rn] c) Cuvintele de cod corespunzătoare fiecărui mesaj se obŃin în felul următor:

-mulŃimii rn i se alocã simbolul 0; -mulŃimii rn-1 i se alocã simbolul 1; -la fiecare nouã diviziune se alocã în plus un nou simbol 0 sau 1 până când se ajunge la o mulŃime care conŃine un singur element sk.

d) Din cele precedente rezultã cã formarea cuvântului de cod corespunzător mesajului sk nu este unicã fiindcă la fiecare diviziune alocarea lui o sau 1 este arbitrarã. Rezultã cã se pot forma mai multe coduri care au aceeaşi lungime medie.

EX: Se considerã sursa:

=05.01.015.015,025,03,0

S ssssss 654321

Se aranjează simbolurile sursei în ordinea descrescătoare a probabilităŃilor şi se construieşte următorul tablou al surselor restrânse: Ck R1 R2 R3 S1 0.3(00) 0.3(00) 0.3(00) 0.4(1) 0.6(0) 0.3 (01) S2 0.25(10) 0.25(10) 0.25 10 0.3 00 0.4(1) S3 0.15(11) 0.15(11) 0.15 11 0.3 01 S4 0.15(010) 0.15(010) 0.15(011) S5 0.10(0110) S6 0.05(0111)

H(S)=0.3log0.3+0.25log0.25+0.3log0.5+0.1log0.1+0.05log0.05=2.4 bit/simbol

l = 2.45 bit/simbol = Σl ipi

975,02l

)S(H

log2

==η

Curs TTI

18

Cap.2 Codarea pentru canale cu pertubaŃii

2.1 Scopul codării pentru protec Ńie

În capitolul precedent s-a studiat metoda de a transforma o sursã oarecare într-o sursã de entropie maximã sau apropiatã de valoarea maximã în vederea obŃinerii unei eficienŃe cât mai mari.

În prezentul apropiat se considerã sursa ca fiind de entropie maximã, adică avem o sursã a cărei simboluri, numite simboluri de informaŃie au aceeaşi probabilitate. Înainte de a transmite aceste simboluri pe canalul cu perturbaŃii se adaugă o anumitã redundanŃă – de obicei prin adăugarea unor simboluri numite simboluri de control care au menirea sã indice utilizatorului prezenŃa erorilor, ba chiar să-i dea posibilitatea să le corecteze.

În acest sens vorbim de coduri detectoare de erori şi de coduri corectoare de erori. În cazul detecŃiei erorilor este necesar un canal de întoarcere prin care utilizatorul să

solicite sursei repetarea mesajului eronat.

Deoarece cantitatea de informaŃie necesară solicitării unei retransmisii este foarte mică rezultă că şi capacitatea canalului de retur este foarte mică. Sistemul de detecŃie al erorilor şi de repetare la cerere a mesajelor eronate cunoscut sub numele ARQ (automatic repetition request) este larg utilizat în cazul surselor cu debit controlabil.

În cazul surselor cu perturbaŃii mari pentru a se evita repetări prea frecvente se foloseşte un sistem de corecŃie automată a erorilor , rămânând ca eroarea de repetiŃie să fie făcută numai atunci când numărul erorilor depăşeşte probabilitatea sistemului de corecŃie.

În cazul surselor cu debit necontrolabil sau atunci când informaŃia este înmagazinată în diferite tipuri de memorii susceptibile a se degrada este necesar să se utilizeze un sistem de corecŃie automată a erorilor.

Cd

Ci US

P

P

Curs TTI

19

2.2 Clasificarea codurilor detectoare sau corectoare de erori

Coduri bloc-dacă prelucrările necesare funcŃiilor de detecŃie sau de corecŃie se fac în blocuri de n simboluri spunem că avem de a face cu coduri bloc.

Coduri convoluŃionale-prelucrarea simbolurilor generate de sursa nu se face pe blocuri ci în mod continuu.

Codurile bloc grup-în care cuvintele sunt considerate ca făcând parte dintr-un spaŃiu vectorial.

Codurile bloc ciclice-în care cuvintele sunt considerate ca făcând parte dintr-o algebră.

2.3 Teorema lui Shanonn II pentru canale cu perturbaŃii

Dacă avem o sursă cu un debit de informaŃie de R biŃi/sec şi un canal cu capacitate C biŃi/sec şi dacă R<C există un cod cu cuvinte de lungime n astfel încât probabilitatea unei erori de decodare PE să fie făcută oricât de mică. PE≤ )(2 REn− unde n-lungimea cuvântului de cod;

E(R)-o funcŃie nenegativă de R(debitul de transmisie) numită exponentul erorii. Teorema afirmă existenŃa unor coduri a căror probabilitate de decodare eronată este

arbitrar de mică, dar nu arată cum pot fi construite asemenea coduri . Această teoremă afirma un lucru surprinzător şi anume că se pot face transmisiuni cu o

probabilitate a erorii oricât de mică.

2.4 Reguli de decizie Prin canalul binar se transmit succesiuni de simboluri binare, numite la emisie cuvinte de

cod, iar la recepŃie cuvinte recepŃionate. În general cuvântul emis nu este identic cu cel recepŃionat, diferenŃa provenind din canal şi numindu-se cuvântul eroare. Un cuvânt de cod Vi aparŃine submulŃimii cuvintelor de cod V, oricare Vi putând fi emis. Cuvântul recepŃionat Vi diferă de primul prin cuvântul de eroare Ei.

V i=Vi+Ei Se pune problema ca pe baza cuvântului recepŃionat ,Vi ,să se determine cuvântul emis Vj

,cunoscând statistica canalului de transmisie şi mulŃimea cuvintelor de cod emisibile. Decizia pe baza probabilităŃii aposteriori maxime - această metodă stabileşte cuvântul

care s-a emis Vj ca fiind acela pentru care probabilitatea aposteriori P(Vj/V i) este maximă. Deoarece P(Vj/V i)=P(Vj)P(Vi/V j)/P(Vi) este clar că pentru a calcula probabilitatea aposteriori trebuie să cunoaştem atât probabilitatea sursei P(Vj) cât şi matricea de transfer a canalului P(Vi/V j). Aceste din urmă probabilităŃi pot fi determinate şi pe baza distanŃei Hamming. Atunci când P(Vj) nu se cunoaşte şi se acceptă echiprobabilitatea simbolurilor, sursei P(Vj)=ct, regula deciziei maxime aposteriori se transforma în regula de decizie a probabilităŃii maxime conform căreia s-a transmis acel cuvânt de cod Vj care are cea mai mare probabilitate p(Vi/V j) adică:

P(Vi/V j)>p(Vi/Vk) => s-a emis Vj Decizia pe baza distanŃei Hamming minime DistanŃa Hamming dintre două cuvinte de cod de aceeaşi lungime este egală cu numărul

de simboluri prin care cele două cuvinte se deosebesc.

Curs TTI

20

Presupunem că avem cazul unui canal binar simetric caracterizat de probabilitatea p. În acest caz p condiŃionată:P(Vi/V j) şi P(Vi/V j) pentru cuvinte de cod de lungime n sunt: D(V i,Vj) n-D(Vi,Vj) P(Vi/V j)= P (1-P) D(V i,Vk) n-D(Vi,Vk) P(Vi/Vk)=P (1-P) unde D(Vi,Vj) este distanta Hamming dintre cuvintele (Vi,Vj) .

Regula de decizie a probabilităŃii maxime enunŃată mai sus conduce la: P(Vi/V j)>P(Vi/Vk) =>s-a transmis Vi deoarece p<<1 în cazurile reale condiŃia de mai sus conduce la:

D(V i/V j)<D(Vi/Vk) =>Vj Aceasta este regula de decizie după valoarea minimă a distantei Hamming.

2.5Coduri simple detectoare de erori

2.5.1 Codul cu repetiŃie detector de erori

Codul cu repetiŃie codează informaŃia conŃinută în k biŃi pe 2k biŃi. Astfel: a) dacă secvenŃa de informaŃie conŃine un număr par de 1 secvenŃa de k biŃi se repetă aşa cum

este; b) dacă secvenŃa de informaŃie are un număr impar de 1 se repetă complementată bit cu bit. EX: 1010 10101010 1101 11010010 k cuv. cod

AbsenŃa corelaŃiei între primii şi ultimii k bi Ńi indică prezenŃa erorii. Capacitatea de detecŃie se defineşte ca raportul dintre numărul cuvintelor detectabile supra

numărul total de cuvinte eronate care se pot forma cu 2k biŃi.

11

)1()1(

222

222C k2

kk2

k2

kk2

d −−=

−−−−=

unde 12k − este numărul de cuvinte de cod care se pot forma. Probabilitatea deciziei false se va calcula ştiind că o asemenea decizie se ia dacă ,după

introducerea unor erori în prima jumătate a cuvântului de cod, se vor introduce erori în mod corespunzător şi în a doua jumătate astfel încât între cele două jumătăŃi să existe corelaŃia care stă la baza codării. Dacă codul are k>3 probabilitatea erorii false este dată de relaŃia:

[ ] 42k42kf p1pCP −−⋅⋅=

unde p este rata erorii din canalul binar simetric. 2.5.2 Cod cu pondere constantă detector de erori

Cunoscut şi sub numele de cod M din N acesta are cuvinte de cod de lungime N compuse

din M unuri şi N-M zerouri. Numărul cuvintelor de cod este: CMN .

Capacitatea de detecŃie a codului este numărul de cuvinte detectabile supra numărul total de cuvinte eronate, atunci când s-a emis un cuvânt de cod.

Curs TTI

21

11

)1()1(

2C2

2C2

C N

MN

N

N

MN

N

d −−

=−

−−−=

O altă mărime care caracterizează codul M/N este probabilitatea deciziei false Pf. O decizie falsă se ia dacă sunt erori în număr par şi jumătate din ele sunt “0”- uri transformate în “1”- uri, iar cealaltă jumătate 1 → 0. Pentru două erori în cuvântul de cod, una va fi de tipul 1 → 0 iar alta 0 → 1. Numărul total de cuvinte astfel eronate este M(N-M) pentru că M sunt unuri care suferă prima transformare iar N-M sunt zerouri care suferă cea de a doua transformare, probabilitatea

unui asemenea cuvânt eronat este )p1(p 2N2 − −. Pentru două erori avem CC 2

MN2M −⋅ , cu

probabilitatea )p1(p 4N4 − − , în total:

∑ −α

=−

−=1i

iMN

iM

i2Ni2f CC)p1(pP

în care α = min (M, N-M).

TTI

21

11

)1()1(

2C2

2C2

C N

MN

N

N

MN

N

d −−

=−

−−−=

O altă mărime care caracterizează codul M/N este probabilitatea deciziei false Pf. O decizie falsă se ia dacă sunt erori în număr par şi jumătate din ele sunt “0”- uri transformate în “1”- uri, iar cealaltă jumătate 1 → 0. Pentru două erori în cuvântul de cod, una va fi de tipul 1 → 0 iar alta 0 → 1. Numărul total de cuvinte astfel eronate este M(N-M) pentru că M sunt unuri care suferă prima transformare iar N-M sunt zerouri care suferă cea de a doua transformare,

probabilitatea unui asemenea cuvânt eronat este )p1(p 2N2 − −. Pentru două erori avem

CC 2MN

2M −⋅ , cu probabilitatea )p1(p 4N4 − −

, în total:

∑ −α

=−

−=1i

iMN

iM

i2Ni2f CC)p1(pP

în care α = min (M, N-M).

2.6 Coduri grup 2.6.1 Principiul decodării utilizând matricea de control

Procesul de detecŃie şi corecŃie a erorilor presupune tratarea într-un anumit mod a semnalului recepŃionat, astfel încât să fie corectat efectul perturbaŃiilor din canalul de transmisie. Putem face considerând o mulŃime Z, numită mulŃimea corectorilor şi care conŃine vectori m dimensionali, capabili să corecteze sau să detecteze erorile introduse în canal. Între mulŃimea cuvintelor recepŃionate, W şi mulŃimea corectorilor Z se stabileşte o aplicaŃie definită pe W cu valori în Z astfel încât pentru orice cuvânt recepŃionat să putem defini un corector Zi. Având în vedere caracterul vectorial al câmpurilor W şi Z în care vectorii pot fi reprezentaŃi prin matrici, aplicaŃia va fi definită ca un produs matricial:

(1.) 'vZ Tii H= , unde 'v T

i este transpusa matricei 'v i .

Matricea H poartă numele de matrice de control şi este alcătuită din m linii şi n coloane. Prin definiŃie:

[ ]hh

hh

hhhh

n1

mn1m

n221

n111

.........

.........

....................

..........

..........

H =

=

Având în vedere scopul introducerii mulŃimii Z, acela de a detecta şi corecta erori de transmisie, convenim să construim în aşa fel această mulŃime încât oricând operaŃia (1.) se

efectuează asupra unui cuvânt de cod Vvi ∈ să se obŃină acelaşi corector

=0

:

0

Z0 care

are toate componentele nule.

TTI

22

(2.) 0H vT =⋅ Această condiŃie va constitui şi relaŃia de codare. Dacă la recepŃia

unui cuvânt de cod 'v i avem îndeplinită relaŃia (2.) 'v i este fără erori şi dacă 0H 'v Ti ≠⋅

rezultă că în 'v i sunt erori. RelaŃia (1.) serveşte deci la DETECłIA ERORILOR.

(3.) EEv)Ev('vZ Ti

Ti

Tiii

TTii HHHHH =+==⋅= +

unde Ei este cuvântul eroare. Deci relaŃia (1.) poate conduce la localizarea erorilor care au afectat cuvântul de cod, dacă se decodifică corectorul cu ajutorul relaŃiei (3.) obŃinând cuvântul eroare. 2.6.2 CondiŃii impuse matricei de control pentru a detecta sau corecta erori Stabilim condiŃia pe care trebuie să o satisfacă matricea de control H, pentru a detecta prezenŃa erorilor. În acest scop presupunem H compusă din coloane:

hhhh ni21 ......H ⋅⋅⋅⋅= , iar pe Ei de forma: ...]0............0[ it2i1iiE εεε= , în care s-au

inclus t componente εij cu valoare 1. Se constată că 0Zi ≠ .

0...H hhhEZ it2i1iTii ≠+++==

Deci pentru a detecta prezenŃa unui cuvânt eroare cu t erori este suficient ca suma a t coloane oarecare din H să fie nenulă. Stabilim condiŃia pe care trebuie să o îndeplinească matricea H pentru a putea corecta cuvinte cu maxim t erori. În acest caz calculăm corectorul Zi pentru două cuvinte de eroare diferite cu t erori, şi obŃinem:

hhhZ it2i1ii ...+++= şi hhhZ jt2j1jj ...+++= ,

iar condiŃiile de injectivitate impun că: ZZ ji ≠ sau 0ZZ ji ≠+ , adică:

0...... hhhhhh jt2j1jit2i1i ≠+++++++

Cu alte cuvinte pentru ca matricea de control să poată fi folosită la corecŃia a t erori, este necesar ca suma a oricăror 2t coloane din matrice să fie diferită de zero. Din cele două condiŃii de a corecta respectiv de a detecta erori, rezultă suplimentar că o matrice de control capabilă să corecteze t erori, este capabilă să detecteze 2t erori. Denumim pondere a unui cuvânt de cod, numărul componentelor sale diferite de zero. Fie două cuvinte de cod vi şi vj ∈V. Deoarece V are structură de grup rezultă că vi+vj∈V şi este şi el un cuvânt de cod. Pe de altă parte vi + vj dă un cuvânt a cărui pondere este egală cu distanŃa Hamming dintre vi şi vj. Denumim distanŃa Hamming a unui cod, cea mai mică distanŃă Hamming dintre cuvintele codului. Se vede deci că distanŃa Hamming a unui cod este egală cu ponderea cea mai mică a cuvintelor de cod exceptând cuvântul nul. Dacă distanŃa Hamming a codului este 2t+1, atunci există un cuvânt de cod vr, cu

ponderea 2t+1. Pentru acest cuvânt: 0...H hhhv 1t2,i2i1iTr =+++=⋅ + , ceea ce înseamnă

că suma a 2t+1 coloane este zero. Dacă matricea H poate corecta t erori rezultă că suma a 2t coloane este diferită de zero şi că există un cuvânt de cod pentru care suma a 2t+1 coloane este nulă. Ceea ce înseamnă că un cod capabil să corecteze t erori are distanŃa Hamming cel puŃin 2t+1. Un cod capabil să detecteze t erori are distanŃa Hamming 2t+1. 2.6.3 ConstrucŃia matricei de control pentru a detecta un număr impar de erori Ne propunem să aflăm structura unei matrice de control capabile să detecteze 2t+1 erori. Fie:

=

1........1

.....H hh n1

TTI

23

în care considerăm că fiecare coloană se termină cu 1, ca atare relaŃia (1.) devine:

011

...1

H hhhEZ

1r2,ir2,i1iTii ≠

+

++

== +

Această sumă de coloane va conŃine în ultima linie un număr impar de “1”-uri a căror sumă nu este zero ceea ce înseamnă că se satisface condiŃia detectării erorii (1.), indiferent de conŃinutul coloanelor h1...hn din matricea H, acestea putând fi nule. Fie: [ ]1.....11H1 = .

O asemenea matrice are dimensiunea m=1, ceea ce înseamnă că în mulŃimea Z a corectorilor vor fi numai 2 elemente: corectorul Z=0 şi Z=1. Primul va indica absenŃa erorilor în număr impar iar al doilea Z=1 va indica prezenŃa erorilor în număr impar. Acest

procedeu de codare cu 0vH T1 = implică existenŃa unui număr par de 1 în cuvintele de cod

'Vv∈ . Acest tip de codare se numeşte codare cu control de paritate. 2.6.4 ConstrucŃia matricii de control pentru a detecta două erori Am stabilit în paragraful precedent că adăugarea unui simbol de control la cele n-1 simboluri de informaŃie poate verifica existenŃa unui număr impar de erori. Tot aşa de bine putem spune că verifică şi existenŃa unui număr par de erori, în acest caz numărul de “1” –uri din cuvântul recepŃionat fiind par. Admitem că n-1 biŃi ai cuvântului transmis sunt constituiŃi astfel încât să poată corecta

o eroare satisfăcându-se condiŃia 0'H vT = pentru cuvântul cu n-1 biŃi. Dacă adăugăm încă un bit, cel de al n-lea, obŃinem un cuvânt de cod care corectează o eroare şi detectează 2

erori. În acest scop construim matricea

=

11

'H0H din matricea H’ prin adăugarea unei

coloane nule şi a unei linii compuse numai din 1. În acest caz condiŃia de codare devine:

0....

....

......1.....111

.....0H

vvv'hv'hv'hv

v

vv

'h'h'hv

1n10

1n1n2211

1n

1

0

1n21T =

++++++

=

⋅

=

−

−−

−

−

La recepŃie:

=

++++++

==−

−−

e....

....H 'Z

'v'v'v'h'v'h'v'h'v

'vZ1

1n10

1n1n2211Ti

Se constată că la emisie: 0.... 'hv'hv'hv 1n1n2211 =+++ −− ; reprezintă condiŃia pentru un

cuvânt de cod cu n-1 simboluri. La recepŃie: 'Z.... 'h'v'h'v'h'v 1n1n2211 =+++ −− ; reprezintă corectorul acestui cuvânt de

cod. O eroare în cuvântul recepŃionat se va detecta şi se va corecta prin intermediul corectorului 'Z i .

Constatăm că la emisie: 0.... vvv 1n10 =+++ − ceea ce înseamnă că v0 face paritatea

canalului de cod. La recepŃie: 'v'v'v 1n10 ....C −+++= ; care poate să fie 1 (numărul de erori este impar),

sau 0 (numărul de erori este par). Avem situaŃia:

TTI

24

0'Z i = , e=0 → nu sunt erori;

0'Z i ≠ , e=1 → este o eroare corectabilă prin 'Z i

0'Z i = , e=1 → este o eroare în poziŃia 'v o

0'Z i ≠ , e=0 → sunt detectate două erori

2.7 Codul grup Hamming, corector de o eroare

2.7.1 Descrierea codului grup Hamming Structura cuvântului de cod Hamming este ....iiciiiciccv 10987654321i = unde prin

ci am notat simbolurile de control, iar prin i j simbolurile de informaŃie. Matricea de

control are particularitatea că fiecare coloană reprezintă codul binar al numărului de ordine al coloanei respective.

=

...10101

...00110

...11000

................

H

Din această structură rezultă o facilitate privind corectorii. Fie cuvântul de eroare: Ei=00..1 00... cu un 1 în poziŃia i.

[ ] hhhhhEZ ini

T

iiH =

⋅==

0

...

1

...

0

0

......21

; adică coloana hi a matricii de control.

n = k + m

N2k ≥ → numărul de simboluri ale sursei care se codează. ∑=

≥e

1i

in

m C2 este numărul de

erori care se corectează. Dacă e = 1 avem: 1mk2k ++≥ 2.7.2 Codarea codului grup Hamming

Din relaŃia de codare 0H vT = rezultă: c1 + i3 + i5 + i7 + i9 + ... = 0; c1 = i3 + i5 + i7 + i9 + ... c2 + i3 + i6 + i7 + i10 + ... = 0 ; c2 = i3 + i6 + i7 + i10 + ... c4 + i5 + i6 + i7 + i12 + ... = 0 ; c4 = i5 + i6 + i7 + i12 + ... c8 + i9 + i10 + i11 + i12 + ... = 0; c8 = i9 + i10 + i11 + i12+ ... AplicaŃie: Fie k = 6, să determinăm valorile simbolurilor de control a unui cod Hamming corector de o eroare precum şi schema de codare. În acest caz: v = c1c2i3c4i5i6i7c8i9i10 c1 = i3 + i5 + i7 + i9 c2 = i3 + i6 + i7 + i10

TTI

25

c4 = i5 + i6 + i7 c8 = i9 + i10

Atunci când se implementează o transmisie a unor semnale codate cu un cod Hamming, în canal se introduc semnalele în serie. În acest scop cele n ieşiri ale schemei combinaŃionale vor fi serializate în ordinea biŃilor din cuvântul de cod cu ajutorul unui convertor paralel serie. 2.7.3 Decodarea codului grup Hamming La recepŃie se obŃine cuvântul 'v i , sumă dintre cuvântul de cod vi şi cuvântul eroare

Ei . Aşa cum s-a arătat: hE'vZ iTi

Tii HH === . Pentru calculul lui j, care indică bitul

eronat, se decodează în zecimal expresia binară a lui hi .

==

ZZZZv i

T

iH

1

2

4

:

'

Z1 = c1’ + i3’+i 5’+i 7’+i 9’ Z2 = c2’ + i3’ + i6’ + i7’ + i10’ Z4 = c4’ + i5’ + i6’ + i7’ + i12’ Z8 = c8’ + i9’ + i10’ + i11’ + i12’

∑=

−=

m

ij

j zj1 2

12

AplicaŃie: Pentru cazul k=6 considerat şi în aplicaŃia anterioară la emisie schema de corecŃie este:

i3

i5

i6

i7

i9

i10

c1

c2

c4

c8

TTI

26

Codul Hamming corector de o eroare şi detector de două erori

K9876543210 iCiiiCiCCCvi =

=

=

111

0

11

0 1'

K

K nhhHH

K9876543210 iCiiiCiCCC ++++++++=

K'6

'5

'4

'3

'2

'1

'0

, iiCiCCCwi =

=

==

C

z

i

i

C

C

C

hhhvHz i

n

nTii

'

3

2

1

0

21

1111

0

M

K

K

00' == Czi - nu avem erori

10' =≠ Czi - avem o eroare a cărei poziŃie este indicată de 'iz

00' =≠ Czi - avem două erori

10' == Czi - este eronat '0C

TTI

27

2.8 Coduri iterate

Combinând două coduri cu performanŃe modeste se poate obŃine un cod cu performanŃe mai bune. Spre exemplu o combinaŃie din două coduri detectoare de o eroare, poate constitui un cod corector de o eroare, sau un cod detector de o eroare compus cu un cod corector de o eroare, poate corecta două erori independente. În acest mod se obŃin coduri iterate sau cu control încrucişat .

2.8.1 Coduri iterate cu distanŃa Hamming 2 x 2 Dacă combinăm două coduri detectoare de erori cu distanŃa Hamming 2 , codul obŃinut va avea distanŃa Hamming egală cu produsul distanŃelor celor două coduri adică 2 x 2 = 4 fiind deci capabil să detecteze 3 erori sau să corecteze o eroare . O transmisie cu cod iterat 2 x 2 se face organizând informaŃia binară în pachete de (n – 1) cuvinte a (t – 1) simboluri fiecare. Acest pachet se codează de două ori. Prima codare se face completând fiecare linie cu bitul de paritate iar a doua codare completând fiecare coloană cu bitul de paritate . 1 0 1 0 1 0 1 0 1 0 1 0 1 1 1 1 1 0 0 1 0 1 0 0 0 1 1 1 0 0 1 1 0 0 0 1 0 1 0 0 1 1

Decodarea unui asemenea pachet se face efectuând controlul parităŃii pe orizontală şi pe verticală. Dacă este o singură eroare aceasta va schimba paritatea pe linia şi pe coloana pe care se află. În consecinŃă dacă vom depista la decodare, o linie cu defect de paritate şi o coloană cu defect de paritate, la intersecŃia acestor două se găseşte simbolul eronat. 2.8.2 Coduri iterate cu distanŃă Hamming 2 x 3 Un cod iterat cu distanŃe Hamming 2 x 3 se compune dintr-un cod detector de o eroare (D = 2) şi un cod corector de o eroare (D = 3). Noul cod obŃinut de această combinaŃie are distanŃa egală cu 2 x 3 = 6 şi deci poate corecta două erori sau poate detecta cinci erori. Ca şi codul iterat descris anterior vom organiza informaŃia în pachete . Prima codare va consta în completarea fiecărei linii cu un bit de paritate. A doua codare va urmări ca fiecare coloană să reprezinte un cuvânt de cod corector de o eroare. Aceasta poate fi un cod Hamming corector de o eroare sau un cod ciclic corector de o eroare: Exemplificăm pentru cazul codului Hamming corector de o eroare. Coloana de paritate e1e2… trebuie şi ea să fie un cuvânt de cod Hamming. Pachetul obŃinut va arăta astfel:

11

21

11

−tCCC KKKKKK 1e 1

222

12

−tCCC KKKKKK 2e 1

323

13

−tiii KKKKKKK 3e 1

424

14

−tCCC KKKKKK 4e 1

525

15

−tiii KKKKKKK 5e 1

626

16

−tiii KKKKKKK 6e 1

727

17

−tiii KKKKKKK 7e

MMM

KKKKKK1

828

18

−tCCC

M

8e

TTI

28

Exemplu numeric de codare Fiind dat pachetul de informaŃie :

1011

1010

0111

1001

Să se codeze cu un cod iterat 2 x 3

=1010101

1100110

1111000

H

7654321 iiiCiCCv =

7531 iiiC ++=

7632 iiiC ++=

7654 iiiC ++=

Avem următoarele situaŃii :

1.Nu sunt erori în pachetul recepŃionat. Acest fapt se pune în evidenŃă prin existenŃa parităŃii pe orizontală şi prin faptul că cuvintele de cod de pe verticală satisfac relaŃia

0=THv .

2.Există o eroare în pachet 0≠TeronatHv şi controlul de paritate indică la

intersecŃie poziŃia erori. 3.Există două erori pe aceeaşi linie . Controlul de paritate nu dă nici un rezultat în

schimb [ ]11 zHvTe = şi [ ]22 zHvT

e = prin decodare se obŃine poziŃia erorii .

4.Există două erori pe aceeaşi coloană 0≠TerHv şi controlul de paritate indică poziŃia

erorii. 5.Există două erori în două coloane şi două linii diferite. Controlul parităŃii pune în

evidenŃă cele două linii iar 01 ≠TeHv şi 02 ≠T

eHv determină coloanele .

6.Există mai mult de două erori şi nu se pot corecta, dar se pot detecta. De exemplu dacă pe o coloană avem trei defecte, paritatea va indica prezenŃa a trei erori, dar atât cuvântul de pe

coloană cât şi cel de paritate vor da 0≠THv , încât nu se va şti unde sunt localizate erorile.

Ex. numeric: decodarea :

11011

01010

10111

00110

00000

11000

00101

1011

1010

0111

0110

1001

1000

0101

1

0

1

0

0

1

0

TTI

29

2.9 Coduri ciclice 2.9.1 Descrierea codurilor ciclice Codurile ciclice sunt coduri bloc în care cele n simboluri care formează un cuvânt sunt considerate ca fiind coeficienŃii unui polinom de gradul n-1 şi anume:

( ) 1110

−−++= n

n xaxaaxv K .

Ca şi în cazul codurilor grup simbolurile unui cuvânt de cod respectiv coeficienŃii polinomului ( )xv pot fi reprezentaŃi sub formă de matrice.

[ ]110 −= naaav K

Codurile ciclice au proprietatea că dacă v este un cuvânt cu sens atunci şi orice permutare ciclică a simbolurilor sale este un cuvânt cu sens :

[ ]1011 −−+ inii aaaaa KK

MulŃimea tuturor cuvintelor cu sens formează un ideal iar mulŃimea tuturor cuvintelor de n bit formează o algebră . MulŃimea claselor de resturi modulo:

( ) 1+= nxxp are n2 elemente.

Din acestea alegem k2 cărora le atribuim un sens şi anume le atribuim sens elementelor generate de un polinom ( )xg de gradul m numit polinom generator .

( ) ( )( ) ( )xh

x

xh

xpxg

n 1+==

Polinomul g(x) trebuie să fie divizor a lui p(x) iar h(x) poartă denumirea de polinom de control.

2.9.2 Codarea cuvintelor cu ajutorul polinomului generator g(x) În acest caz ( )xv trebuie să fie un multiplu a lui ( )xg : ( ) ( ) ( )xgxixv = unde ( )xi

este polinomul simbolurilor de informaŃie ( ) mmkmmm xxixiixi ++++= −

−++1

11 K Im+k

Polinomul generator este notat cu : ( ) mmm xxgxggxg ++++= −

−1

110 K fiind în mod

obligatoriu de grad m . Polinomul simbolurilor de control se notează cu :

( ) 1110

−−+++= m

m xCxCCxC K

11110 −++−= kmmmm iiiCCCv KK

( ) ( ) ( )xixxCxv m+=

dar ( )

( ) ( ) ( )( )xg

xrxq

xg

xixm

+=

sau ( ) ( )( )

( )( )xg

xix

xg

xrxq

m

+=

sau ( ) ( ) ( ) ( ) ( )xvxqxgxixxr m ==+

TTI

30

Cuvântul de cod fiind multiplu a lui ( )xg rezultă : ( ) ( ) ( )( )xg

xixrestxxC

m

== τ

adică polinomul simbolurilor de control se obŃine prin divizarea polinomului cu polinomul generator ( )xg .

RelaŃia de codare polinomială ( ) ( ) ( )xgxixv = mai poate fi scrisă şi sub formă

matricială Giv = unde:

= −

m

mm

m

ggg

ggg

ggg

G

L

LLLLLL

LL

LL

10

10

10

000

00

0

k

n

2.9.3 Codarea cu ajutorul matricii de control

Polinomul de control ( )xh este: ( ) kk xhxhhxh +++= K10

şi este legat de polinomul generator prin relaŃia :

( ) ( )xg

xxh

n 1+=

Cu ajutorul coeficienŃilor săi se formează matricea de control:

= −

000

00

00

0

01

0

LL

LLLLL

LL

LL

hh

hhh

hh

H

k

kk

k

iar codarea se face după relaŃia bine cunoscută : 0=THv şi în plus avem: TT HGGH =

2.9.4 Decodarea codurilor ciclice Problema decodării ciclice constă în găsirea unei corespondenŃe între cuvântul eronat recepŃionat v’(x) şi cuvântul de eroare ε(x), care reprezintă erorile introduse în canal.

( ) ( ) ( )xxvxv ε+='

Dacă, recepŃionând v’(x) se poate calcula ε(x), atunci corecŃia se realizează cu relaŃia:

( ) ( ) ( )xxvxv ε+= ' Corectorul se obŃine prin însumarea simbolurilor de control recepŃionate c’(x). Cu simbolurile de control obŃinute prin codificarea simbolurilor de informaŃie recepŃionate:

( ) ( )( )xg

xixrestxC

m ''' =

adică :

( ) ( ) ( ) ( ) ( )( )xg

xixrestxCxCxCxz

m ''''' +=+=

( )xC ' fiind de grad mai mic decât m se poate scrie :

TTI

31

( ) ( ) ( )

( )( )( )

( )( )xg

xrest

xg

xvrest

xg

ixxCrestxz

xm ε==+='''

Dacă ( ) ( )xvxv =' condiŃia pe care un cuvânt recepŃionat trebuie să o îndeplinească ca să fie cuvânt de cod . Decodarea se poate face în mai multe moduri :

a) Pe baza tabloului claselor de resturi la care pentru fiecare ( )xz îi

corespunde un ( )xε cu ajutorul căruia se face corecŃia pe baza relaŃiei :

( ) ( ) ( )xxvxv ε+= '

b) Recodarea cu ajutorul circuitelor de deplasare care realizează în mod automat căutarea lui E(x).

c) Decodarea cu ajutorul registrelor de deplasare cu reacŃie care realizează aceeaşi funcŃie. Explicăm codarea şi decodarea cu ajutorul registrelor de deplasare cu reacŃie: RDR

Registrul de deplasare cu reacŃie este un circuit secvenŃial liniar care poate funcŃiona autonom fără semnal din exterior numai cu semnal reacŃie: Sn-1 Sn-2 S1 S0

…. gm =1 gm-1 gm-2 g2 g1 g0=1 E

Starea registrului poate fi descrisă matricial:

Numărul de stări nenule este: n=2m-1 Convenim să notăm starea iniŃială a registrului starea:

În acest caz stările nenule ale registrului sunt:

mmm xxgxggxg ++++= −

−1

110 ...)(

=

=0

1

00

0 ...

mS

S

S

=

=1

1

10

1 ...

mS

S

S

=

= 10 ...

1...000

.....

0...100

0...010

mgg

T

=

1

.

0

0

U

01 STTSS nnn == −

Cm-1 Cm-2

C1 C0

TTI

32

Exemplificarea codări şi decodări cu RDR a codului ciclic o facem în cazul particular al unei probleme. Considerăm un număr de 16 simboluri care se transmit pe un canal cu perturbaŃii care utilizează un cod ciclic corector de o eroare.

Să se determine: a)parametri codului. b)să se aleagă polinomul generator dintre polinoamele:

c)să se scrie matricea generatoare G şi de control H. d)să se scrie relaŃiile dintre biŃii de control şi cei de informaŃie. e)să se facă codarea cu un RDR. f)să se facă decodarea cu o schemă ce utilizează un RDR. a)

b)

c)

UUTUTUTTUUUT nn == − ,,...,,, 120

7,1,1,1 2432 +++++++ xxxxxxx

7

312

42

16

0

=+=

=⇒+=≥

=⇒≥=

∑=

kmn

mnC

kN

N

e

i

in

m

k

33

2210

3 1)( xgxgxggxxxg +++=++=

=

=

1011000

0101100

0010110

0001011

000

000

000

000

3210

3210

3210

3210

gggg

gggg

gggg

gggg

G

++=++=++=++=

⇒=

=

=

++++=+++==

+=+=

=

6534320

5431

6542

01234

01234

01234

44

33

2210

24

7

6543210

0

0011101

0111010

1110100

00

00

00

1)()()(

11)(

iiiiicc

iiic

iiic

Hv

hhhhh

hhhhh

hhhhh

H

xhxhxhxhhxxxxgxpxh

xxxp

iiiicccv

T

n

TTI

33

d)Schema de codare cu RDR:

……. gm-1 g1 g0

gm

A C 2 E B 1 în cazul nostru II n-1….…In-k

g3 g1 g0

A S2 B 2 S1

C 1

E i6i5i4i3c2c1c0 I i6i5i4i3

Codorul este format din RDR cu C0, C1, C2, comutatorul k şi sumatoarele modulo2, S1

şi S2. Pe primele 4 tacte comutatorul C este pe poziŃia 1 în codor vor intra i6, i5, i4, i3, care se transmit în acelaşi timp la ieşire. În decursul ultimelor tacte în registru (datorită faptului că C→2) se introduce zero, starea finală fiind 000. La ieşire vor apărea simbolurile de control c2, c1, c0, corespunzătoare ieşirii sumatorului S1:

S1=St(C1)⊕St(C0) Avem tabelul care indică funcŃionarea:

Tact C Intrare St(C2) St(C1) St(C0) Ieşire

1 1 I6 I6 0 0 I6

2 1 I5 I5 I6 0 I5

3 1 I4 I6+I4 I5 I6 I4

4 1 I3 I3+I5+I6 I4+I6 I5 I3

5 2 C2 0 I3+I5+I6 I4+I6 C2=I4+I5+I6

6 2 C1 0 0 I3+I5+I6 C1=I3+I4+I6

7 2 C0 0 0 0 C0=I3+I5+I6

333

2210 1)( xxxgxgxggxg ++=+++=

Cm-1 Cm-2 C1 C0

C2 C1 C0

TTI

34

+++=+++=+=

+=++=+=

=

=+=+=

==

=

=

=

=

=

=

=

=

=

=+=

=

−−

653

64

53

62

543334

64

5

62

654423

2

1

0

5

665512

6

610

165432

210

11

0

0

0

0

0

0

0

0

1

0

1

1

1

1

1

1

1

0

1

0

1

0

1

0

100

010

1

0

0

iii

ii

i

UTiUTiTUiUiUiTSS

ii

i

i

UTiTUiUiUiTSS

c

c

c

i

iTUiUiUiTSS

i

UiSSiar

UTUTUTUTUTUTTU

ggg

TsiUundeUaTSS nii

=++++++=

+=+=

+

++=+++++=+=

+++

=++++=+=

0

0

0

0

0

0

0

66

55

44

33

2210

00

267

11

6535

64

53

42

321156

653

644

63

52

432245

UTiUTiUTiUTiUTCTUCUC

CC

UCTSS

CC

iii

UTiUTiUTiUTiTUCUCUCTSS

iii

ii

UTiUTiUTiTUiUCUCTSS

Acelaşi lucru se poate obŃine folosind relaŃiile matriciale care descriu starea RDR:

În timpul ultimelor 3 tacte C fiind în poziŃia 2 simbolurile de la intrarea sumatorului S3 sunt simbolurile de control accesibile şi la ieşire:

2.9.5 Decodor cu registru de deplasare cu reacŃie Schema bloc este dată în figura de mai jos. Unitatea de decodare conŃine un registru de deplasare numit principial (RP)şi doi decodori DC1 şi DC2.

În registrul principal se înmagazinează cuvântul recepŃionat de lungime n. Această înmagazinare trebuie să dureze până când se recepŃionează toate simbolurile de control şi se face calculul necesar.

Decodorul are un RDR identic cu cel de la codare, la celulele căruia este legat decodificatorul de erori D. FuncŃia decodificatorului este de a recunoaşte anumite stări ale registrului de deplasare cu reacŃie şi de a emite 1 atunci când registrul se găseşte în una din aceste stări. Acest simbol “1” se însumează modulo 2 cu simbolul eronat când acesta se află în ultima celulă M0 a registrului principal efectuând în acest fel corecŃia erorii.

TTI

35

6543210 iiii'ccc'v =

Mn-1 RP M1 M0 ……………………………………. . E

I

DC1 … gm-1 g1 g0

1 2 ……….. gm-1 g1 g0

Continuăm exemplul din problema propusă: j) Decodorul este format din registrul principal cu 7 celule RP, registrele DEC1 si

DEC2 şi un comutator C. Cuvântul recepŃionat v’ este introdus în DEC1 când comutatorul C este pe poziŃia 1 şi în DEC2 când comutatorul C este pe poziŃia 2; DEC1 va asigura corecŃia cuvintelor impare 1,3,5…iar DEC2 pe cele pare 2,4,6… . Semnalul de corecŃie se obŃine la ieşirile circuitelor SI1 şi SI2 şi se aplică celulei M0 prin circuitul SAU.

Presupunem că decodorul a recepŃionat cuvântul v’. În primele 7 tacte simbolurile circuitului sânt introduse în DEC1. În următoarele 7 tacte DEC1 determină poziŃia eronată. Dacă v’=v este corect la sfârşitul primelor 7 tacte DEC1 va ajunge la starea zero.

Pentru a vedea cum funcŃionează să presupunem că: recepŃionat are simbolul eronat 'C2 .

D P

Cm-1 Cm-1 C1 C0

τ

D P

Cm-1 C1 C0

τ

P

P

1)( 3 ++= xxxg

TTI

36

Schema decodorului: v’ E D SI1 v 0 0 1 SI2

g1 g0 A S3 S1 S0 DEC1

1 2 DEC2

M6 M5 M4

C2 C1 C0

M0

MM2 M3

B B

M1

===+++++++=+=

=+++

++=++++++=+=

=++++++

+=+++++=++=++=+=

+++=+++=+=

+=++=+=

=

+

=+=+=

==

1

0

1

0

1

11

)1(

0

0

0

011

100

010

1

0

0

0

0

226

65

54

43

32

2102

607

5431

6535

64

53

42

321516

6542

653

644

63

52

43242424'25

653

64

53

62

543334

46

5

62

654243

5

6

6

565152

6

61

hUTUTiUTiUTiUTiUTCTUCUCUTTSUCS

iiic

iii

UTiUTiUTiUTiTUCUCTUTSUCS

iiic

iii

ii

UTiUTiUTiTUiUCUTSUCUTSUCTSUCS

iii

ii

i

UTiUTiTUiUiTSUiS

ii

i

i

UTiTUiUiTSUiS

i

i

i

iTUiUiTSUiS

i

UiS

TTI

37

După primele 7 tacte în registrul principal de 7 celule a intrat cuvântul v’ iar

decodorul a ajuns în starea: 0UTS 27 ≠= . Din acest moment DEC1 determină poziŃia e

eronată iar din RP se ia pe rând simbolurile cuvântului de cod:

din M0 iese i6 st(M0)< i5 În continuare:

iar din M0 iese i5 ;st(M0) = i4

iar din M0 iese i4; st(M0) = i3

iar din M0 iese i3; st(M0)= 'c2

Deci simbolul eronat se află în M0 şi RDR trece prin starea fixă:

Această stare este recunoscută de circuitul SI1 care formează impulsul de corecŃie aplicat celulei M0 prin circuitul SAU. Impulsul de corecŃie este de asemenea folosit pentru aducerea pe zero a celulei C0 a DEC prin bistabilul B. Circuitul SI2 inhibă formarea impulsului de corecŃie dacă în decursul primelor 7 tacte a apărut starea: T-1U

===1

1

0

UTTSS 378

===0

1

15

910 UTTSS

===0

0

16

1011 UTTSS

== =

0

0

11

11 UTS

===1

1

14

89 UTTSS

38

4. Codurile convolutionale Codurile convolutionale sau recurente, sunt coduri corectoare de erori,

caracterizate prin absenta cuvintelor de cod, mesajul beneficiind de o transmitere continua, cu un inceput dar fara sfarsit. Secventa emisa in canal contine biti de informatie si biti de control, acestia din urma depinzand ca numar, valoare si pozitie, de codul utilizat si de bitii de informatie. O secventa de cod se va constitui din combinatii, o combinatie avand k biti de informatie, urmati de m biti de control .

4.1. Descrierea codurilor convolutionale

Un cod convolutional este caracterizat prin urmatorii parametrii: n – numar de simboluri binare dintr-o cumbinatie, din acestea m simboluri

fiind de control, k – numarul de simboluri de informatie dintr-o combinatie, N – lungimea de constrangere egala cu numarul cel mai mare de combinatii

in care se afla simboluri de informatie participante la constructia unui simbol de control oarecare,

u – distanta de deplasare egala cu cel mai mic numar de combinatii existente intre simbolul de informatie si simbolul de control la constructia caruia a participat.

Fiind data o succesiune de simboluri informationale, 1, va trebui sa construim succesiunea codata, v, folosind una din urmatoarele metode de descriere a codului convolutional, descriere prin matrice generatoare sau descriere prin polinoame generatoare.

4.1.1 Matricea generatoare a codului convolutional Caracterul semiinfinit al secventei emise ne conduce la o matrice

generatoare cu acelasi caracter, deoarece , ca si mai inainte este

valabila relatia generala : V= iG (4.1) In care v este secventa de cod, i este secventa de informatie, semiinfinita, iar

G este matricea generatoare.

39

Aceasta din urma este o matrice si contine: • matrice nula, o, avand k linii si k coloane, sau k linii si n coloane, • matricea unitate, IK, • matrice de codare, P1, P2, …, PN, cu k linii si n coloane.

Aranjarea acestora se vede mai jos

G =

.

.

.

1000000000

2010000000

...

...

...

...01010000

000...20100

000030201

PIk

PPIk

PNPNPIk

PNPPIk

PPPIk

−

(4.2)

Numarul matricelor de codare este egal cu N, lungimea de constrangere. Continutul acestora este astfel aranjat incat codarea si decodarea sa permita corectia unor erori.

Din modul de aranjarea a matricelor componente in matricea generatoare se observa ca secventa codata contine:

• k – simboluri de informatie rezultate prin inmultirea secventei de informatie, i, cu matricea unitate de ordinul k,

• m – simboluri de control, obtinute din simbolurile de informatie cuprinse in N combinatii, generate atunci cand produsul (4.1) se executa pentru coloanele din G componente ale matricelor de codare Pi (i= 1…N)

Parametrul u, care ofera indicii asupra intarzierii transmisiei bitilor de control, se pune in evidenta prin numarul de matrici nule plasate in dreapta matricei unitate. In 4.2, in aceasta pozitie nefiind o matrice nula, rezulta u = 0, matricele Pi se plaseaza mai sus lasand in dreapta matricei I o coloana de u

40

matrice nule, fiecare avand k linii. Pentru exemplificare scriem in 4.2 matricea generatoare a unui cod convolutional avand k=2; m=1; N=3; u=2.

G =

001000000000000000000

010000000000000000000

000001000000000000000

000010000000000000000

010000001000000000000

100000010000000000000

100000000001000000000

000100000010000000000

100100000000001000000

100000100000010000000

000100100000000001000

000100000100000010000

000000100100000000001

000000100000100000010

N= 3

Se poate observa ca matricea generatoare G se compune dintr-un pachet de

matrice ce se deplaseaza in stanga si in jos asa cum apar succesiunile de beti de informatie urmate de succesiuni de biti de control.

4.1.2 Descrierea polinomiala a codului convolutional Codul convolutional poate fii descris comod cu ajutorul polinoamelor facand

aceeasi echivalenta intre polinoame si secvente binare pe care am intalnit-o si in cazul codurilor ciclice.

Fata de codurile ciclice, in care polinoamele associate cuvintelor binare erau de grad finit, la codurile convolutionale, unde secventele sunt semiinfinite, vom intalni polinoame asociate de grad semiinfinit. Puterea 0 a variabilei x este asociata primului simbol emis in canal. Puterea 1 a variabilei x este asociata celui de-al 2-lea semnal emis, si asa mai departe. Pe masura ce un simbol binar apare mai tarziu, exponentul lui x care il reprezinta in descrierea polinomiala este mai mare.

u = 2

41

Acceptam pentru secventa de informatie k polinomiale semiinfinite: a(x) = a0x 0 + a1x1 + a2x 2 + a3x 3 + …

b(x) = b0x 0 + b1x1 + b2x 2 + b3x 3 + …

a(x) = a0x 0 + a1x1 + a2x 2 + a3x 3 + …

.

.

. k(x) = k0x 0 + k1x1 + k2x 2 + k3x 3 + …

iar pentru secventa de control urmatoare m polinoame α(x) = α0x 0 + α1x1 + α2x 2 + α3x 3 + …

β(x) = β0x 0 + β1x1 + β2x 2 + β3x 3 + …

.

.

. m(x) = m0x 0 + m1x1 + m2x 2 + m3x 3 + …

In aceast caz, pentru secventa transmisa in linie, rezulta urmatoarea

succesiune: V=a0 b0 … k0 α0 β0 … m0 a1 b1 ... k1 α1 β1 … m1 α2 β2 … k biti m biti n biti de informatie de control in secventa In care se observa organizarea in combinatii de cate n simboluri binare, k de

informatie si n de control, o combinatie fiind constituita din coeficientii variabili x de acelasi grad, existenti in polinoamele care descriu secventele de informatie, respective de control. Coeficientii polinoamelor de informatie sunt simboluri binare ce se vor coda, iar coeficientii polinoamelor de control rezulta din produsul dintre polinoamele de informatie si polinoame generatoare, adica:

α(x) = haαa(x) + hbαb(x) + … + hkαk(x) β(x) = ha βa(x) + hbβb(x) + … + hkβk(x) (4.4)

42

In care orice polinom hij , i = 1 … k, j = 1 … n, este un subgenerator al codului convolutional. Numarul polinoamelor generatoare este egal cu k*m, pentru ca se introduce k polinoame generatoare in constructia fiecarui polinom de control, pentru a inmulti, fiecare in parte, cate un polinom de informatie si pentru ca se construiesc m polinoame de control.

Ca sa descriem ceilalti parametri codului convolutional, punem fiecare polinom generator in forma:

h(x) = xq (1 + … + xp) (4.5) Lungimea de constrangere, N este cu 1 mai mare decat gradul p al

polinomului generator de cel mai mare grad, daca acesta se scrie in forma (4.5); distanta de deplasare este egala cu gradul q al monomului de cel mai mic grad.

Cele mai des utilizate coduri convolutionale au k = n – 1, ceea ce inseamna un singur simbol de informatie in fiecare combinatie si deci k polinoame generatoare.

4.1.3 Codarea codurilor convolutionale Daca descriem codul convolutional prin matricea generatoare, codarea va

insemna executarea produsului matriceal: v = iG asupra secventei de informatie i nefiind nici o restrictie. Dupa executarea

produsului, daca pentru i am putut scrie succesiunea: i =i1 i2 i3 … ik ik+1 ik+2 . . . i2k i2k+1 … pentru v va rezulta o succesiune de forma: v = i1 i2 i3 …ik c1 c2 … cm ik+1 ik+2 . . . i2k cm+1 cm+2 … astfel realizandu-se fragmentarea secventei codate in combinatii de k + m

simboluri. Daca codul convolutional este descris prin polinoame generatoare, codarea

inseamna executarea produselor polinoamelor in forma 4.4 si insumarea produselor apoi emiterea succesiva in linie a bitilor de informatie urmati de bitii de control de acelasi grad. Realizarea tehnica a produselor polinoamelor ca

43

x x

∑ x

coeficienti binari, se executa cu register de deplasare si sumatoare modulo 2. Semnalul de la iesirea unui registru de deplasare cu o celula apare intarziat cu un tact fata de semnalul de la intrarea sa. Aceasta inseamna ca exponentul variabilei x din semnalul de iesire, este cu 1 mai mare decat al semnalului de intrare. Daca la intrare se aduce a5 * x 5 in intervalul al 6-lea de timp, atunci, trecandu-l prin registrul de deplasare cu o celula, va apare la iesire in intervalul al 7-lea de timp. Semnalul de iesire va fii deci a5 * x 6 adica x * a5 * x 5 . In consecinta orice inmultire se face prin trecerea semnalului prin registre de deplasare. Insumarea polinoamelor se face cu sumatoare modulo 2, fara alte complicatii, deoarece la un moment dat, se vor aduna coeficientii variabilei x de acelasi exponent, un exponent dar fixand, valoarea sa, tocmai momentul de timp in care apare coeficientul pe langa care sta.

Fie spre exemplu codul cu n = 3 si k =2 avand polinoamele generatoare, ha(x) = x + 1 si hb(x) = x2 + 1. Schema de codare se va conduce dupa relatia:

c(x) = a(x) * ha(x) + b(x) * hb(x) = a(x)( x + 1) + b(x)( x2 + 1) (4.6) Si va avea deci 2 registre de deplasare si un sumator. Pentru transmisia in

linii punem un comutator cu 3 pozitii pentru ca prin deplasare sa transmita pe rand un semnal din secventa a, un semnal dn secventa b apoi un semnal din secventa de control, c.

a(x) a(x) a(x) xa(x) c(x) → emisie in linie b(x) x2 b(x) b(x) b(x) fig .4.1.

44

Sortare

La figura 4.1. se prezinta schema adecvata relatiei de codare 4.6. Pentru a calcula a(x)*(1+x) se utilizeaza un registru de deplasare cu o celula, obtinandu-se la iesirea acestuia produsul xa(x). In acelasi mod utilizand un registru de deplasare cu 2 celule, se obtine x2 b(x). Intr-un sumator cu 4 intrari se face suma necesara obtinerii secventei de control c(x).

4.1.4 Decodarea codurilor convolutionale

Pentru decodarea codurilor convolutionale se compune un sincron si prin

analiza acestuia se precizeaza pozitia erorilor. Schema generara de decodare este prezentata in figura 4.2

v’(x)

i’(x) c’(x) c’’(x) S(x) ε(x) ir(x) Fig.4.2. Prima operatie care se face este sortarea secventei receptionate, v’(x), in 2

secvente, una continand simbolurile de informatie receptionate, i’(x), cealalalta continand simbolurile de control receptionate, c’(x). A doua operatie consta in codarea secventei de informatie receptionate, cu acelasi procedeu cu care s-a

codat si la emisie, obtinandu-se secventa de control c”(x). Evident c”(x) = i'(x)h(x) in care h(x) este polinomul generator. Intr-un sumator se aduna c'(x) cu c”(x) si se obine sindromul S(x). A treia operatie consta in analiza sindromului S(x), pentru a se pune in evidenta erorile. La iesirea blocului de analiza se obtin semnale diferite de zero, numa in intervalele de timp in care, trecand printr-un circuit de intarzaiere, secventa de informatie receptionata, i' , prezinta tocmai un simbol eronat. Circuitul de intarzaiere de pe traseul secventei I' este necesar, deoarece procesul de analiza a sindromului

Codare Intarziere

+ Analiza +

45

consuma timp. Un sumator modulo doi aduna i'(x) cu semnalul analizat ε(x), pentru a furniza informatia receptionata si corectata ir(x). Introducerea erorilor in secventa transmisa se poate exprima prin polinoame semiinfinite, Ei(x), aferent simbolulrilor de informatie, respectiv Ec(x), aferent secventei de control, adica

i'(x) = i(x) + Ei(x) ; c'(x) = c(x) + Ec(x) (4.7) in care evident : c(x) = i(x)h(x) (4.8) In acest caz se va scrie pentru sindromul S(x) : S(x) = c'(x) + c”(x) = [i(x) + Ei(x)]h(x) + c(x) + Ec(x) adica, tinand cont de (4.8) S(x) = Ei(x)h(x) + Ec(x) (4.9) ceea ce inseamna ca, sindromul este independent de semnalul de informatie emis, fiind dependent de polinoamele erorilor si de polinomul generator. Daca informatia are mai multe componente, k>1, rezultand mai multe polinoame generatoare, concluziile asupra dependentei sindromului nu se schimba. Schema blocului de analiza trebuie conceputa in functie de performantele pe care urmeaza sa le aiba codul, fiind deci dependenta, ca si structura polinoamelor generatoare, de capacitatea de corectie pe care urmeaza sa o realizam. In fiecare caz in parte se va putea preciza structura acestui bloc.

4.2. CODURI CONVOLUTIONALE CORECTOARE DE ERORI MULTIPLE

Dintre codurile convolutionale, cele care au m=1 se bucura de o raspandire larga. Cu asemenea coduri se pot corecta erori independente, daca intre doua erori exista un interval de siguranta compus din simboluri corecte. Lungimea intervalului de siguranta se poate preciza pentru fiecare cod in parte. Avand n biti intr-o secventa, codul convolutional corector de erori independente, are k=n-1 biti de informatie. Pentru descrierea lui sunt necesare k polinoame generatoare, h1(x) h2(x)...hk(x). Structura acestor polinoame da indicatii asupra parametrilor codului, spre exemplu gradul cel mai mare al polinoamelor h1(x) precizeaza lungimea de constrangere a codului.

46

4.2.1 Codarea codului dconvolutional corector de

erori independente Un cod convolutional corector de erori independente se exprima comod cu ajutorul polinoamelor. Pentru secventa de informatie acceptam partitia in grup de cate k smboluri, notate polinomial astfel :

i1ẸxẸ= a10 x0Ẹ a11x1

Ẹ a12x2Ẹ a13x3

Ẹ ...

i2ẸxẸ= a20x0Ẹ a21x1

Ẹ a22x2Ẹ a23 x3

Ẹ ......ikẸxẸ= ak0 x0

Ẹ ak1 x1Ẹ ak2 x2

Ẹ ak3 ¿x3Ẹ ...

Secventa de control se obtine prin suma de produse de polinoame, de forma :

cẸxẸ= i1ẸxẸh1ẸxẸẸ i2ẸxẸh2ẸxẸẸ ...i kẸxẸhkẸxẸ si va avea structura secventiala : cẸxẸ= c0 x0Ẹ c1 x1Ẹ c2 x2Ẹ c3 x3Ẹ ... In canal se transmite succesiunea :

a10a20...ak0 c0 a11a21...ak1 c1 a12a22...ak2 c2 a13... compusa, dupa cum se vede, din secvente de cate n simboluri, k, de informatie si unul de control. Procesul de codare implica scheme de inmultire in campul binar si sumatoare modulo doi. Pentru polinoamele generatoare, se aleg polinoame diferite unele de altele si de grad ca mai mic. O analiza sumara ne conduce la concluzia ca pentru k se va alege o valoare care satisface relatia 2t -1≥k, t urmand sa fie gradul maxim al polinoamelor generatoare, deoarece in acest caz se pot construi ct

1Ẹ ct2Ẹ ...c t

t= k polinoame distincte de grad maxim t, fiecare avand un termen liber.

4.2.2Codarea codului convolutional (n=4, m=1) corector de erori independente

Pentru acest cod rezulta t=2 si deci se vor utiliza k=3 polinoame generatoare de grad maxim doi

h1ẸxẸ= x2Ẹ xẸ1; h2ẸxẸ= x2

Ẹ1; h3ẸxẸ= xẸ1 (4.11) Schema de codare este reprezentata in figura 4.3 si contine trei circuite de inmultire realizate, prin registre de deplasare, c1

` , c2” ; c2

' , c2” si c3

' , urmate de un sumator cu sapte intrari, deoarece pentru c(x) urmeaza a se scrie un polinom cu coeficientii compusi din cate sapte componente :

cẸxẸ= i1ẸxẸẸx2Ẹ xẸ1ẸẸ i2ẸxẸẸx

2Ẹ 1ẸẸ i3ẸxẸẸxẸ1Ẹ

47

fig. 4.3.

Incanalul de transmisie se introduc consecutiv trei simboluri de informati, urmate de control, toate patru fiid coeficientii variabilei x la aceiasi putere, apoi o alta secventa de aceeasi structura etc.

4.2.3 Decodarea codului convolutional corector de

erori independente Ca orice cod convolutional si acesta va utiliza algoritmul descris in cap 4.1.4. Aceasta inseamna ca sindromul va fi de forma relatiei 4.9 :

SẸxẸ=∑j=1

k

h jẸxẸP jẸxẸẸ EẸxẸ

in care Pj(x) este polinomul erorii care efectueaza secventa de informatie, i j(x), j=l-k, iar E(x) este polinomul erorii care afecteaza succesiunea de control. Spre exemplu :

P jẸxẸ= ε j0 x0Ẹ ε j1 x1

Ẹ ε j2 x2Ẹ ε j3 x3

Ẹ ... (4.13) Sindromul S(x) are forma : SẸxẸ= S0 x0

Ẹ S 1x1Ẹ S 2 x2

ẸS 3 x3Ẹ ...

ceea ce se poate scrie printr-un termen general :

+

C1' C1

”

C2' C2

”

C3'

c(x)

i1(x)

i2(x)

i3(x)

xi1(x)

i1(x)

i2(x)

i3(x)

x2i1(x)

x2i2(x)

xi3(x)

48

SẸxẸ= ...ε1r xr

Ẹ x ε1r− 1xr− 1Ẹ x2

ε i , r− 2Ẹ ... +

Ẹ ε2x xrẸ x ε2, x− l xr− 1

Ẹ x2ε2,r− 2 xr− 2

Ẹ ... +

Ẹ εkr xrẸ x εk , r− 1 xr− 1

Ẹ ...Ẹ εcr xrẸ ...

(4.14) Cata vreme nu sunt erori, coeficientii Sr sunt nuli. La prima eroare aparuta in secventa de informatie sau in cod de contro, un termen din sindrom va avea coeficientul diferit de zero. Daca toate polinoamele generatoare au termen liber atunci termenul Sr≠0 contine urmatoarele n componente : ε 1r , ε2r , ε3r...εkr , εcr dintre care una este nenula. Celelalte componente ale termenului Sr, asa cum se vede in relatia (4.14), provin din inmultirea lui x, x2...xt din polinoamele generatoare h(x), cu termeni de grad mai mic decat r din polinoamele eroare, avand deci forma : ε 1,r−1ε1, r− 2 ...ε2, r− 1ε 2,r− 2 ...ε k , r− 1 ... Deoarece aceste componente au figurat in Sr-1 , Sr-2, inseamna ca sunt nule, termenii Sr-1 ... fiind nuli. Aceasta inseamna ca la primul Sr≠0 se sesizeaza aparitia unei erori si aceasta nu poate fi decat printre cei k+1 coeficienti ai polinoamelor eorirlor de pe langa variabila xr. Pentru gasirea erorii vom folosi informatiile oferite de urmatorii coeficienti din sindrom, Sr+1 , Sr+2, ..., deoarece acestia contin eroarea, ca urmare a multiplicarii acesteia cu termenii x, x2,... din polinoamele generatoare. Se vede de aici ca, este necesar ca polinoamele generatoare sa fie diferite unul fata de altul, in caz contrar eroarea dintr-o secventa de informatie are acelleasi urmari ca si eroarea din alta secventa de informatie si deci decalarea nu este posibila. Avand n componente suspecte, ne sunt necesari t coeficienti Sr+1 , Sr+2 ... Sr+t, cu t dat de relatia : 2t≥n pentru ca din combinatiile posibile ale celor t coeficienti binari sa gasim una din cele n erori posibile. Se vede de aici ca este nevoie ca in urmatorii t termeni din sindrom sa nu apara o eroare noua pe langa aceea pe care o cautam, adica sa existe un spatiu de siguranta, care sa cuprinda un numar de t combinatii a n simboluri receptionate fara erori. Structura polinoameler generatoare, ofera in fiecare caz in parte, posibilitatea constructiei unei scheme, care sa execute analiza sindromului, a coeficientilor Sr+1, Sr+2, ... pentru a indica eroarea aparuta.

49

4.2.4. Decodarea codulului convolutional (n=4;m=1) corector de erori incependente

Acceptam pentru polinoamele erorilor secventelor de informatie si a celei de control, expresii de forma (4.13) si scriem :

P1ẸxẸ= ε10c0Ẹ ε11x1

Ẹ ε12 x2Ẹ ...

P2ẸxẸ= ε20 x0Ẹ ε21x1

Ẹ ε22 x2Ẹ ...

P3ẸxẸ= ε 30x0Ẹ ε31 x1

Ẹ ε32 x2Ẹ ...

EẸxẸ= εc0 x0Ẹ εc1 x1

Ẹ εc2 x2Ẹ ...

Aplicand relatia de calcul a sindromului (4.12) si tinand cont de expresiile polinoamelor generatoare (4.11) vom obtine pentru sindrom termeni de forma :

SẸxẸ= ...Ẹε1, r− 2Ẹ ε1,r− 1Ẹ ε2,r− 2Ẹ ε3,r− 1Ẹ ε1rẸ ε2rẸ ε3rẸ ε crẸx

r +

+Ẹε1, r− 1Ẹ ε1,rẸ ε2,r− 1Ẹ ε3rẸ ε1, rẸ1Ẹ ε2, rẸ1Ẹ ε3,rẸ1Ẹ ε c ,rẸ1ẸxrẸ1+

+Ẹε1, rẸ ε1, rẸ1Ẹ ε2,rẸ ε3,rẸ1Ẹ ε 1,rẸ2Ẹ ε 2,rẸ2Ẹ εc , rẸ2ẸxrẸ2Ẹ ...

Acceptam ca primul termen nenul este Srxr, ceea ce inseamna ca una din

componentele ε1r , ε2r , ε3r , εcr este nenula. Celelalte componente fiind mai vechi si deci nule. Deoarece toate simbolurile cu indice r+1, r+2 nu mai au erori, fiind cuprinse in spatiul de siguranta, rezulta ca in termenii Sr+1x

r+1 , Sr+2x

r+2 nu va mai fi o alta eroare in afara celei cautate. Daca eroarea este ε 1r , deoarece apare in Sr+1 si in Sr+2, inseamna ca aceasi coeficienti vor fi amandoi diferiti de zero. Dacaε 2r este nenul, deoarece apare si in Sr+2, dar nu apare in Sr+1, inseamna ca Sr+2=1 si Sr+1=0. Daza ε3r este nenul, atunci Sr+1=1 si Sr+2 = 0, deoarece ε3r mai apare si in Sr+1 dar nu apare in Sr+2, si in final, daca ε cr este nenul, atunci inseamna ca Sr+1=Sr+2=0, ambele necontinand pe ε cr . Din aceasta analiza urmeaza sa se construiasca o schema de decodare, asa cum se vede in figura 4.4, construita conform tabelului :

Sr Sr+1 Sr+2

1 1 1 eroareε1r

1 1 0 eroareε2r

1 0 1 eroareε3r

1 0 0 eroareεcr acesta putendu-se materializa prin scheme de coincidenta. Localizarea erorii impune existenta simulata a coeficientilor Sr , Sr+1 si Sr+2. Acestia apar in S(x) decalati in timp cu unu si doua tacte. Pentru a-i avea

50

simultan si a-i introduce intr-o schema de coincidenta, sindromul se trece printr-un registru de deplasare cu doua celule, astfel ca dupa prima celula apare S(x) intarziat cu un tact iar la capat intarziat cu

Fig.4.4.

Daca 1≤ ε1 aceste doua conditii sunt indeplinite, asa cum am vazut

in capitolul anterior, cu observatia ca acum conditia a doua, fiind mai complexa, impune suplimentar ca, gradul maxim al polinomului τ11(x)x 12 +t din S’’(x), sa fie mai mic decat gradul minim al polinomului E12(x)x 12 −− tp din S’(x). Aceasta conditie revine, daca 1≤ t, la : l-1+2t+1 p-2t-1→p>5t+1 ceea ce presupune ca p-l componente de informatie sunt fara erori.

Aceasta inseamna ca spatial de siguranta dintre doua pachete de erori, compus din 2I simboluri ale secventei codate, unde nu sunt admise erori, trebuie sa se supuna restrictiei: I>4t+1

4.3.4. Codarea si decodarea codului Fink-Hagelbarger

Instalatia de codare a codurilor convolutionale accepta la intrare o secventa continua de simboluri binare si scoate o secventa continua de simboluri codate. In secventa codata apar succesiv un symbol de informatie si un symbol de control. Procesul de codare va executa produsul i(x)h(x), ceea ce inseamna introducerea unor circuite de inmultire cu celule de register. Pentru a se evita inmultirile cu polinoame avand exponenti negativi, secventa de informatie i(x) va suferi o deplasare initiala trecand printr-un registru cu t+1 celule asa cum se vede in figura 4.5.

51

Fig 4.5.

Registrele de deplasare sunt conduse cu o secventa de tact. Iesind

din registrul t+1, secventa de informatie trece spre canal conditionata de semnalul Pi existent in decursul primei jumatati a semnalului de tact. Daca exprimam v(x) drept polinom al secventei de cod, avand cate doua componente pentru fiecare putere a variabilei x, prima pentru partea de informatie si a doua pentru partea de control, sub forma: v(x)=vi (x); v c (x) constatam ca: vi (x)=i(x)* x 1+t La intrarea sumatorului + se aplica doua secvente, decalate intre ele cu 2t+1 tacte, astfel incat iesirea va corespunde polinomului: i(x)+ i(x) x 12 +t = x 1+t i(x)[x t +x 1−−t ]= x 1+t *c(x) ceea ce inseamna, asa cum rezulta prin comparatie cu (4.17), ca este polinomul secventei de control, c(x) decalat cu t+1 tacte. Impreuna cu semnalul Pc , existent in decursul celei de a doua jumatati a intervalulu ide tact, in canal va patrunde iesirea din sumator,constituind componenta vc (x) vc (x)=c(x)* x 1+t Decodarea codului Fink-Hagelberger are nevoie de o separare a secventei de control de cea de informatie, de o racordare a acesteia, de o insumare cu secventa de control receptionata pentru a crea sindromul si de deplasari ale sindromului pentru a avea polinoame din care eroarea secventei de informatie sa poata fi extrasa prin circuite de coincidenta. In figura 4.6. se prezinta sumar o schema de decodare.

52

Fig.4.6.

Pi si Pc , existente fiecare de-a lungul unei jumatati din intervalul de tact, sincrone cu semnale cu acelasi nume din schema de codare. Din acest motiv secventa vi (x), impreuna cu eroarea care a afectat-o la trecerea prin canal, E1(x), va patrunde in registrul cu 2t+1 celule, iar secventa de control, vc (x) impreuna cu eroarea obtinuta la traversarea canalului, Ec (x), va patrunde in registrul cu t+1 celule. In consecinta i1(x)=v1(x)+ E1(x)=i(x)*x 1+t +E1(x) c1(x)= v c (x)+Ec (x)=i(x)*x 1+t ( x t +x 1−−t )+ Ec (x) La iesirea celor doua register se obtin: i2 (x)=i 1(x)*x 12 +t =i(x)*x 23 +t +E1(x)*x 12 +t c2 (x)=c1(x)*x 1+t = i(x)*x 22 +t (x t +x 1−−t )+ Ec (x)*x 1+t (4.23) Sumatorul cu trei intrari, R1 scoate sindromul S1 adunand secventele i1, i 2 si c2 adica S1(x)= i1(x)+i 2 (x)+c2 (x) S1 (x)=i(x)[x 1+t +x 23 +t +x 23 +t +x 1+t ]+E1(x)+E1(x)*x 12 +t +Ec (x)*x 1+t Se poate observa ca S1(x) este un polinom deplasat cu t+1 tacte fata de sindromul S(x) (rel 4.18). Sinromul S2 , care este deplasarea cu 2t+1 tacte a sindromului S1 , se aplica circuitului de coincidenta P impreuna cu semnalul S1 astfel ca iesirea din P va avea numai componentele comune din S1 si S2 . Scriem sindromul S2 : S2 (x)= x 12 +t * S1(x)= E1(x)*x 12 +t + E1(x)*x 24 +t + Ec (x)* x 23 +t Si deci

53

P= S1(x) ∧ S2 (x)= E1(x)*x 12 +t (4.24) Sumatorul de iesire, R, ofera semnalul i r ca suma a doua semnale, primul sosit din canal, i2 , iar al doilea oferit de circuitul de coincidenta, P, deci, coniderand relatiile (4.23) si (4.24) obtinem: ir (x)= i 2 (x)+ S1(x) ∧ S2 (x) ir (x)=i(x)*x 13 +t + E1(x)*x 12 +t + E1(x)*x 12 +t =i(x) *x 13 +t din ultima relatie se vede ca iesirea ir a decodorului contine semnalul secventei de informatie, i(x) decalat cu 3t+1 intervale de tact si cu erorile E1(x) eliminate prin procesul de decodare. Problema. Nu se cunoaste parametrul t al codului convolutional tip Fink-Hagelbarger, corector de pachete de erori. Daca se transmite in linie informatie cu un debit de 2000 bit/secunda, iar perturbatia care deformeaza semnalul are o durata de 10 ms, cat trebuie sa fie t, cayt este intervalul de siguranta si cat este lungimea de constrangere, dar lungimea pachetului de erori? R: t=10; I=41 ms(82 bits); n=22; l≤20 bits. Problema. Pentru codul de mai sus care va fi polinomul erorii secventei de informatie, daca sindromul receptiei are expresia: 0000 0000 0101 0100 1000 0100 0000 1110 1010 0100 R=x20+x 22+x 24+x 27 Problema. Pentru codul de mai sus avand insa t=5 si informatia de forma: i(x)=x30+x 32+x 33+x 38 care va fi secventa emisa in linie, dar secventa receptionata cu erorile definite prin polinoamele: E1(x)= x30 + x33 ; Ec (x)=x 31+ x32 Care va fi expresia polinomiala a sindromului? R: V=000101000100001010011000010100110000000001… ↑

54

x23 V’=000101000100010011000000010101110000000001… S(x)= x24+x 27+ x31+ x32+x 35+ x38

4.4. DECODAREA SECVENTIALA A CODURILOR CONVOLUTIONALE

Sub aceasta denumire este cunoscuta o metoda pprobabilistica de decodare a codurilor convolutionale, in care caracterul convolutional este pregnant, iar cel probabilistic este evidentiat atat prin considerarea particulitatilor canalului cat si prin parametrii introdusi in calcule, asa cum se va vadea in continuare.

4.4.1.Graful de codare

Codul convolutional ce va fi decodat secvential, se codeaza sau cu o matrice generatoare,sau cu polinoame generatoare. In mod obisnuit secventa codata, v(x), contine in fiecare grupa un bit de informatie urmat de unul sau doi biti de control: V(x)=i(x); c1(x); c2 (x) Fiecare secventa de control se compune cu un polinom generator propriu, c1(x)=i(x)*h 1(x); c2 (x)=i(x)*h 2 (x) avand gradul egal cu 3 sau 4, ceea ce inseamna ca se va obtine o lungime de constrangere egala cu 4 sau 5. Atat i(x) cat si c1(x) si c2 (x) contin termini cu x la toate puteriile incepand cu 0. In canal se va transmite pentru fiecare bit de informatie trei simboluri reprezentand pe i(x), pe c1(x) si c2 (x). Considerand un graf construit prin ramnificatie in doua directi a fiecarui nod, o directie pentru simbolul 0 iar a doua pentru simbolul 1 din secventa de informatie. Existentei unei anumite secvente de informatie ai corespunde un anumit traseu in arboreal astfel construit. Pe fiecare ramura a acestui graf se poate nota secventa de cod ce corespunde emisiei secventei de informatie considerat, dependenta de polinoamele generatoare. In figura 4.7 se prezinta un graf de codare pentru un cod convolutional cu h1(x)=1+x2 +x 3 si h2 (x)=1+x+x3 Daca pentru i(x) se scrie:

55

i(x)=a0*x

0+a1*x1+a2 *x 2 +a3*x

3+a4 *x 4 … Atunci pentru polinoamele de control se obtine: c1(x)= a0*x

0+a1*x1+(a0+a2 )*x 2 +( a0+ a1+a3)* x

3+( a1+a2 + a4 )* x 4 … c 2 (x)=a0*x

0+(a0+ a1)* x1+(a1+a2 )*x 2 +(a0+a2 +a3)* x

3+(a1+a3+a4 )* x 4 … In graf sa notat, deasupra arcelor, valoarea simbolurilor de informatie, iar dedesubt secventa de cod corespunzatoare. In partea superioara sa notat variabila x. Pentru o secventa de informatie i=10100.., drumul strabatut la emisie este desenat ingrosat, iar secventa emisa in canal va fi: v=111001101010010.. Decodarea secventiala urmareste reconstituirea drumului parcurs la codare, facand analize statistice. Pentru un simbol oarecare se analizeaza secventa in care apare acest symbol de informatie si inca 3 sau 4 secvente care urmeaza. In acest fel inainte de a se lua o decizie asupra unui bit se vor receptiona inca 3-4 grupe de simboluri si se vor analiza 23-2 4 drumuri posibile in graful de codare. Decizia se va lua statistic analizand probabilitatea fiecarui drum de a se fi urmat la emisie, atunci cand se cunoaste secventa receptionata. Dupa luarea deciziei asupra unui

56

nivel x0 x1 x2 x3 x4

Fig. 4.7.

simbol, se va analiza simbolul urmator intr-o maniera asemanatoare, procesul decurgand secvential. Daca drumulreconstruit este correct, si are n biti emisi, acesta va avea drept correspondent o secventa care difera de cea emisa in pn pozitii, p fiind rata erorilor din canal (p<0,5). Daca drumul se indeparteaza de cel emis, succesiunea emisa si aceea considerate la receptie devin tot mai independente si distanta Hamming tinde spre 0,5 N.

57

4.4.2. FuncŃia de plauzabilitate

Considerăm că am aflat temenul at-1x

t-1 din secvenŃa de informaŃie şi urmează să calculăm termenul atx

t. Vom considera secvenŃa sosită, '2

'1

''1 ttt ccan = . în graful de decodare ne găsim în nodul corespunzător ultimului

simbol decodat, din care pornesc două arce, corespunzătoare emisiei simbolului de informaŃie at=1 respectiv at=0, precum şi două secvenŃe ce s-ar fi emis în canal 0

1n ; 11n , corespunzătoare acestor două valori ale simbolului de

informaŃie. Se compară cele două secvenŃe posibile a fi emise , 01n ; 11n cu

secvenŃa sosită '1n , în funcŃie de diferenŃă (distanŃă Hamming) se calculează

un număr P ( ) 0

1'10 ; nnDfP = ; ( ) 1

1'11 ; nnDfP = (4.25)

DependenŃa f a numerelor P de distanŃa Hamming D se estimează după experienŃa analistului, pentru început putând fi o dependenŃă liniară. Se compară ambele valori, P0, P1 cu un prag K1. Dacă una din valorile P0, P1 este mai mică decât pragul K1 se termină analiza si se decide: 010 =→< taKP ; 111 =→< taKP Daca nu se îndeplineşte nici una din aceste relaŃii, atunci se aşteaptă secvenŃa următoare, '

2n . Acum se consideră n1 n2 ca secvenŃă sosită şi patru secvenŃe emisibile, conform grafului de codare . Se vor calcula patru diferenŃe şi vor rezulta, cu relaŃii asemanatoare cu (4.25) patru funcŃii de plauzabilitate.

( ) 02

01

'2

'100 : nnnnDfP = ; 0200 =→< taKP

( ) 12

01

'2

'101 : nnnnDfP = ; 0201 =→< taKP

( ) 02

11

'2

'110 : nnnnDfP = ; 1210 =→< taKP (4.26)

( ) 12

11

'2

'111 : nnnnDfP = ; 1211 =→< taKP

Se face comparaŃia fiecărei funcŃii de plauzabilitate cu pragul testului K2 corespunzător nivelului doi de testare. Dacă una din funcŃii este mai mică decât K2 se decide în mod corespunzător. (FuncŃia de plauzabilitate P10 spre exemplu este dependentă de distanŃa dintre cele două secvenŃe sosite şi

58

secvenŃele ce s-ar fi emis dacă informaŃia ar fi fost 10). Decizia asupra simbolului at, prin relaŃiile (4.26) nu implică si deciziile asupra lui at+1, pentru aceasta urmând să executăm analize ca şi pentru at , de la nivelul unu de testare. Dacă nici una dintre relaŃiile de testare un este îndeplinită, se aşteaptă '

3n şi se reface calculul pentru opt secvenŃe emisibile, rezultând funcŃii de plauzabilitate ce se vor compara cu pragul K3 de pe nivelul al treilea. In mod obişnuit nu se depăşeşte nivelul patru în calculele care se fac. Asupra pragurilor K1,K2,K3 .... se fac următoarele observaŃii. Praguri mai mari înseamnă posibilitatea ca încă de la primele încercări, la nivelele inferioare de testare să se ia decizia şi aceasta ar putea fi deseori falsă. Probabilitatea de a decide fals creşte cu creşterea pragului de testare. Dacă pragurile sunt mici, volumul de calcule crşte şi ar creşte şi volumul memoriei în care se păstrează secvenŃele sosite până la decodificare. Creşterea timpului de calcul este exponenŃială cu numărul nivelului la cere se ia decizia. Din aceste motive stabilirea pragurilor nu se poate face uşor, fiind necesar un proces de observare a canalului şi de căutare a valorilor pragurilor, care să ducă la o decizie acceptabilă ântr-un număr nu prea mare de testări. Unii autori acceptă ca limită maximă 4-5 secvenŃe sosite şi analizate, pentru a lua decizia asupra primei secvenŃe.

4.4.3 Exemplu de decodare

Considerăm pentru funcŃia de plauzabilitate egalitatea cu distanŃa Hamming, iar iar pentru pragurile de testare valorile K1=1, K2=2, K3=3,K4=4, K5=5.

Fie secevenŃa recepŃionată v’=010101011010 ... iar poziŃia în graful de decodare în punctul A, reprezentând bitul at-1 care a fost decodat deja.

Nivelul unu de testare se face faŃă de K1=1, cu funcŃiile de plauzabilitate calculate pentru:

'1n = 010 , primele trei simboluri din v’ 01n = 001 , secvenŃa care s-ar fi emis dacă at=0 11n = 110 , secvenŃa care s-ar fi emis dacă at=1

P0= D(010:001) =2 >K1 ; P1 = D(101:110) = 1 < K1 După nivelul unu de testare nu se poate decide asupra bitlui at , existând indicii că ar putea fi at=1. Nivelul doi de testare se face faŃă de K2 , construind patru funcŃii de plauzabilitate, corespunzătoare celor patru secvenŃe posibile a fi emise, pentru secvenŃa receptionată: '

1n '2n = 010101 , primele 6 simboluri recepŃionate

20002

01 5)001010:010101(,001010 KDPnn >===

59

20112

01 2)001101:010101(,001101 KDPnn <===

21002

11 4)110011:010101(,110011 KDPnn >===

21112

11 2)110100:010101(,110100 KDPnn <===

Nefiind împlinit pragul testului (6), nu se poate lua decizia. Conotăm ca până acum în prima etapă at=1 avea şanse mari de a se confirma. În a doua etapă at=1 şi at=0 au obŃinut şanse egale, funcŃia de plauzabilitate fiind de aceaşi valoare pantru două drumuri, unul începând cu at=1, iar celălalt începând cu at=0. trecerea de la prima atapă la a doua etapă a decurs în favoarea ipotezei at=0. Continuăm cu etapa a treia. Vor fi opt funcŃii de plauzabilitate. Nu vom scrie pe cele care au ca prime doua secvenŃe 0

1n 02n

sau 11n 0

2n , acestea avân deja în etapa anterioarăfuncŃia de plauzabilitate mare. Vom scrie doar pentru acelea ce derivă din funcŃiile de plauzabilitate cu valori mici.

'1n '

2n '3n = 010101011

03

12

01 nnn =001101010 , P000=3 =K3

13

12

01 nnn =001101111 , P011=3 =K3

03

12

11 nnn =110100000 , P110=4 >K3

13

12

11 nnn =110100111 , P111=3 =K3

După etapa a treia, avem trei dintre cele opt funcŃii de plauzabilitate egale cu pragul de testare, nu putem lua decizia dar constatăm că a crescut gradul de încredere în ipoteza at=0, deoarece două din cele trei funcŃii cu valoare minimă conduc la această concluzie. Etapa a patra se va calcula pentru şase funcŃii, corespunzătoare celor trei funcŃii de plauzabilitate de egală valoare din etapa a treia:

'1n '

2n '3n '

4n = 010101011010 04

03

12

01 nnnn = 001101010010 , P0100 = 3 < K4

14

03

12

01 nnnn = 001101010101 , P0101 = 6 > K4

04

13

12

01 nnnn = 001101111011 , P0110 = 4 = K4

14

13

12

01 nnnn = 001101111100 , P0111 = 5 > K4

04

13

12

11 nnnn = 110100111000 , P1110 = 4 = K4

14

13

12

11 nnnn = 110100111111 , P1111 = 5 > K4

Acum se poate lua decizia, secvenŃa sosită fiind distanŃată de cea emisibilă sub forma 001101010010 , la o distanŃă mai mică decât pragul K4=4 . Se poate constata că at=0 şi că ar fi fost greşit să se decidă at=1 după

60

aprecierea distanŃei Hamming din etapa întâia, în care at=1 părea mai posibilă decât at=0.

4.5 COMPARAłIA CODURILOR DETECOARE ŞI CORECTOARE DE ERORI

4.5.1 CondiŃiile comparaŃiei codurilor O comparaŃie între mai multe coduri, ce pot fi luate în funcŃie de implemetarea unui sistem de transmisie numerică, cu scopul luării unei decizii asupra codului ce va fi utilizat., implică o analiză din care să rezulte, în condiŃiile date ale aplicaŃiei, care cod este mai eficient. Calitatea de cod corector nu este suficientă pentru a alege, doarece un astfel de cod este mult mai redundant decât un cod corector de erori, iar acesta este el însuşi mai redundant decât codul neprotejat la zgomotele din canal. Ori, cu cŃt este mai redundant un cod, cu atât este mai scumpă transmisia şi s-ar putea obŃine o transmisie mai economică, la aceaşi calitate, cu un cod mai simplu. Analiza trebuie să ia în discuŃie costuri, viteze de transmisie, complexitatea in exploatare etc. Aprecierea eficienŃei oricărui cod, trebuie făcută si din punctul de vedere al utilizatorului, care solicită o transmisie cu un grad precizat de fidelitate, de asemănare între semnalul predat spre transmisie şi cel primit la celălalt capăt al canalului. O comparaŃie care Ńine seama de fidelitatea transmisiei, face considerând constante anumite mărimi, cum ar fi puterea emisiei, puterea zgomotului din canal, viteza de transmisie a mesajelor către utilizator.

4.5.2 ComparaŃie între coduri corectoare de erori

Vom accepta existenŃa a două coduri corectoare de erori R1 şi R2 cu parametrii n1,k1,e1; n2,k2,e2, reprezentând numărul simbolurilor din cuvântul de cod, numărul simbolurilor de informaŃie din cuvântul de cod şi numărul de erori corectabile. Indicele 1 respectiv 2 se referă la la primul respectiv la al doilea cod supuse comparaŃiei. Acceptăm de asemenea ca beneficiarul primeşte mesajul cu viteza de q biŃi/secundă. Puterea emiŃătorului este aceaşi pentru ambele coduri şi aceaşi este şi puterea zgomotului din canal.

O constatare sumară, calitativă , se face imediat. Dacă codul R1 este mai capabil de a corecta erori decât R2, adică e1/n1>e2/n2, atunci R1 este mai redundant şi, la viteza q=constant, trebuie să aibă, relativ la al doilea cod, mai mulŃi biŃi utilizaŃi la protecŃie, adică (n1-k1)/n1>(n2-k2)/n2 , ceea ce va însemna că, durata unui bit va fi mai mică, deci frecvenŃa în canal va fi mai

61

mare şi puterea zgomotului care trece prin filtrul de la intrare, de bandă mai largă, va fi mai mare, evident conducând la creşterea ratei erorilor. De aici se vede că , dacă e1>e2, nu înseamnă neaparat că codul R1 este mai bun decât codul R2.

În analiza care o facem acceptăm că, la orice transmisie, probabilitatea eronării unui bit nu depinde de poziŃia bitului în cuvântul de cod transmis. Acceptăm de asemenea că eronarea sau recepŃia corectă a unor simboluri, sunt procese independen1te, necorelate între ele, precum şi faptul că rata erorilor în canalele de transmisie este suficient de mică, pentru ca uneori să se poată face aproximaŃia 1-p = 1 , p fiind probabilitatea eronării unui bit la trecerea prin canal.

Pentru n1,k1,e1, ori de câte ori numărul erorilo manifestate în cuvântul transmis este mai mic sau egal cu e1, schema de decodare va face corecŃia necesară. Dacă numărul erorilor este mai mare decât e1, se va lua o decizie falsă asupra semnalului recepŃionat. Probabilitatea deciziei falese sau probabilitatea deciziei corecte , poate fi un criteriu de comparaŃie între cele două coduri corectoare de erori.

Fie p1 probabilitatea de eronare a unui bit la transmisia codului R1. probabilitatea luării unei decizii false asupra unui cuvânt, atunci când sunt prezente mai multe erori decât aste capabil codul să corecteze se scrie relaŃia:

∑+=

−−=1

1

1

1

11111 )1(

n

ei

niine ppCP (4.27)

în care intervine ip1 pentru că sunt i evenimente independente constituite de erori de un bit, fiecare având probabilitatea p1 şi n-i evenimente, de asemenea independente, constituite de recepŃia corectă a celorlalŃi n-1 biŃi. Se ia în combinări din n câte i, pentru că atâtea secvenŃe diferite se pot recepŃiona, în fiecare existând i biŃi eronaŃi şi n-i biŃi corecŃi, aranjaŃi cumva. Însumarea pe domeniul e+1÷n se face, pentru că numai când numărul de erori din cuvântul recepŃionat este mai mare ca e1 se ia deci o decizie falsă. Limita superioară a numărului erorilor este n1, când toŃi biŃii sunt eronaŃi. În cazul transmisiei informaşiei cu cel de al doilea cod, probabilitatea deciziei false asupra unui cuvânt recepŃionat va fi asemănător relaŃiei (4.27)

∑+=

−−=2

2

2

1

12222 )1(

n

ei

niine ppCP (4.28)

Drept criteriu de fideliate acceptată de beneficiarul transmisiei, vom considera probabilitatea deciziei corecte asupra unei cantităŃi de simboluri

62

binare, aceaşi pentru ambele coduri, conŃinută în N1 cuvinte transmise prin codul R1 ca şi în N2 cuvinte transmise prin codul R2. Evident N1k1=N2k2. Dacă 1-Pe1 este probabilitatea luări unei decizii corecte asupra unui cuvânt recepŃionat la transmisia codului R1, iar 1-Pe2 este probabilitatea similară la transmisia codului R2, conform criteriului de fidelitate acceptat mai sus, se va considera că R1 este mai eficient decât R2 adică ( ) ( ) 21

21 11 Ne

Ne PP −>− (4.29)

În relaŃia (4.29) cele două părŃi ale inegalităŃii exprimă probabilitatea intersecŃiilor unor evenimente independente şi de egală probabilitate (deciziile corecte luate asupra cuvintelor codurilor R1 respectiv R2).

Deoarece <<1; <<1, se va putea scrie pentru(4.29) : 1- >>1-

sau, < ; <

(4.30) Considerand relatia (4.27) si observand ca <<1 vom putea exprima

cu relatia : deoarece ceilalti termeni din suma vor contine la o putere mai mare cu o unitate, deci vor avea ponderi de circa ori mai mici decat primul termen. In acest fel relatia (4.30) devine :

(4.31) pentru a decide ca este mai eficient ca .

Pentru a putea preciza valorile probabilitatiilor si acceptam in canal un zgmot gaussian cu densitatea spectrala de putere constanta, . In acest caz, puterea zgomotului care afecteaza decizia asupra unui bit receptionat si face posibila o eroare, va depinde de largimea de banda a filtrului de intrare la receptor. Pentru probabilitatea unei decizii eronate asupra unui bit, vom scrie urmatoarea relatie, dedusa in capitolul detectiei semnalelor binare de sub zgomot

=1-F( ) (4.32)

In care F(x) este functia integrala Laplace, tabelata, E este energia semnalului util receptionat, este puterea zgomotului suprapus peste semnalul util in receptor. Vom scrie

63

= dw =

(4.33) in care este frecventa de taiere a filtrului de bansa de la intrarea in receptor. Cele 2 coduri si , vor fi dotate cu filter diferite, in corformitate cu diferentele intre .

Pentru a se transmite cu viteza de mesaj constanta, q biti /secunda, cele 2 coduri vor folosi frecventele diferite. Acceptam pentru frecventa de transmisie jumatatea inversului duratei unui bit din linie = ; = (4.34)

fiind duratele impuslsurilor in cele doua coduri. Viteza de transmisie rezultata impartind numarul de biti de informatie transmisi la durata transmisiei = ; =

iar la aceiasi viteza de transmisie = = q = (4.35)

Considerand ultima relatie, se va scrie pentru (4.34) = q ; = q

iar pentru (4.33) = q ; = q

(4.36) In acest fel, rezulta urmatoarea relatie de decizie asupra codului mai

eficient, obtinuta prin introducerea relatiei (4.35) in relatia (4.32) si apoi in (4.31) :

(4.37) In aceasta relatie, produsul este constant, comparatia necesara putandu-se deci face.

4.5.3. Comparatie intre coduri detectoare de erori

Ca si pentru codurile detectoare de erori, vom accepta existenta a doua coduri detectoare de erori, si , caracterizate prin parametri

recpectiv , de data aceasta prin si intelegand numarul de erori detectate.

64

Drept criterii de alegere vom putea considera urmatoarele : - Eficienta detectarii cuvintelor eronate

- probabilitatea deciziei corecte.

Eficienta detectarii cuvintelor eronate se calculeaza din parametri codului, fara sa se tina seama de probabilitatea de eroare a bitilor, la trecerea prin canal, ca raport intre numarul de secvente eronate detectate ca eronate, catre numarul total de secvente eronate.

=

(4.38) Este lesne de inteles ca numarul total de secvente eronate, , este cu 1

mai mic decat numarul maxim de secvente ce se poate construi din n biti. Numarul de secvente eronate detectate, , este egal cu diferenta dintre numarul de secvente construibile din n biti, si numarul de cuvinte de cod,

, deoarece detectia erorilor se bazeaza pe inexistenta cuvintului cu erori printre cuvintele transmisibile. In consecinta,criteriul eficientei detectarii cuvintelor eronate (4.38) se va scrie pentru cele doua coduri comparate :

(4.39) In multe coduri detectore de erori, k poate fi un numar fractionar, ca in

codul de pondere constanta M din N. Criteriul de decizie (4.38), bazat pe eficienta detectarii nu tine seama

decat de parametri codului, ignoreza atat actiunea canalului cat si eficienta transmisiei. Din acest motiv un cod lent, cu raportul n/k mare, va avea eficienta detectarii mare, desi in transmisie nu este deosebit de economic.

Eficienta codului detector de erori, estimata pe baza probabilitatii deciziei corecte, are o baza de calcul mai apropiata de necesitatiile beneficiarului, pe acesta interesandu-l in primul rand fidelitatatea, asemanarea intre ce a primit si ceea ce s-a emis. Daca in relatia (4.27), vom intelege prin numarul de erori detectabile prin codul , probabilitatea va reprezenta probabilitatea deciziei false, aceasta avand loc de cate ori numarul de erori introduse de canal depaseste pe . In aceeasi maniera vom discuta despre relatia (4.28), referitoare la codul .

Relatiile (4.27 si 4.28) au stat la baza deducerii formulei (4.31), care acum va indica conditia in care codul este mai eficient decat codul . Toate deductiile referitoare la probabilitatea eronarii unui semnal in canalul

65

de transmisie, prezentate in cazul codurilor detectoare de erori, efectul pertubatiilor asupra unui semnal ce traverseaza canalul fiind independent de calitatiile de structura ale codului. Din acest motiv relatia (4.37) este potrivita, pentru a decide care cod este mai eficient, atat in cazul codurilor corectoare de erori , cat si in cazul celor detectoare de erori. Trebuie sa facem precizarea urmatoare. Numarul de erori detectabile este garantat de cod. In unele situatii insa, codul in cauza poate detecta un numar mai mare de erori. Spre exemplu codul cu repetitie, cu n>6 detecteaza simple, duble si triple avand e=3. El insa detecteza si unele erori cvadruple. La analiza eficientei, aceasta situatie trebuie luata in consideratie, pentru ca ar putea sa schimbe decizia. In acest scop va trebui sa se intervina asupra coeficientului , acesta urmand sa fie calculat in conformitate cu performantele reale ale codului pus in discutie. Din acest motiv, pentru a evidentia probabilitatea corecta a deciziei false la un cod, relatia de decizie asupra eficientei codurilor codul si comparate, se va scrie

[1-F ] [1-F ]

in relatia de mai sus (respectiv ) reprezinta numarul de secvente diferite ce pot sosi cu (respectiv ) erori, pe care codul nu le poate detecta, daca evident toate secventele posibile cu (respectiv ) erori sunt detectate. Probleme 1.intr-un cod convolutional se stie ca (x)=1+x si (x)=1+ , n=3 sunt in numar de 3 , distantate intre ele prin ? biti neeronati. Sa se exprime sindromul receptiei. R. n=3 ; k=2 ; m=1 I. prima eroare in sirul primei informatii , in pozitia si deci : (x) = (x) = (x) = S(x) = (x) (x) + (x) + (x) S(x) = + + II. prima eroare in sirul informatiei in pozitia (x) = (x) = (x) =

66

S(x) = + + III. prima eroare apare in secventa de control i pozitia (x) = (x) = (x) = S(x) = + + + +

2. Un cod convolutional corector de pacete de erori, de tip Fink-Hagelberber, are n=2 si t=7. O portiune din sindrom se scrie in binar cu expresia

... 001001101000110001001101000 ... Sa se scrie expresia posibila a polinomului erorii secventei de informatie.

R. E(x) = + ( + + + ) cu p ε N. 3. La receptia unui cod convolutional corector de erori independente

s-a calculat sindromul s = 00000011000010100010010000 ...

Se stie ca n=3, redundanta este 1/3 iar polinoamele subgeneratoare au cel mai mic grad posibil si cei mai putini termeni. Sa se scrie parametri codului, polinoamele subgeneratoare si locul erorilor in secventa receptionata. Sa se rezolve aceiasi problema daca polinoamele generatoare au cel mai mare numar de termeni ramanand in continuare de grad minim. R. n=3 ; k=2 ; m=1 ; H=3

I. (x) = 1 + x (x) = 1 + (x) = ; (x) = ; (x) = +

II. (x) = 1 + x (x) = 1 + x + (x) = ; (x) = + indica erori care au depasit capacitatea de corectie a codului.

TTI

67

Cap.3 SEMNALE ALEATOARE

3.1 DefiniŃia şi clasificarea semnalelor aleatoare:

Semnalele care apar în natură şi în tehnică se împart în trei mari clase: 1. semnale deterministe; 2. semnale aleatoare; 3. semnale pseudo-aleatoare; Semnalele deterministe: sunt semnalele a căror evoluŃie în timp poate fi prezisă, mai

exact a căror amplitudine la un moment de timp dat t1 este bine precizată. Semnalele aleatoare: sunt semnalele a căror evoluŃie în timp nu poate fi prevăzută,

ele supunându-se legilor întâmplătoare, probabilistice. Semnalele pseudo-aleatoare: sunt acele semnale care au o evoluŃie aleatoare doar pe

o durată de timp limitată T, după care îşi reiau ciclul de evoluŃie. v.a.1 v.a.2 v.a.n t1 t2 tn t Fig. 3.1

Un semnal aleator se defineşte ca o funcŃie (x:T→V) definită pe o mulŃime de timp cu valori în mulŃimea variabilelor aleatoare care descriu starea unui sistem de evenimente Ω. Fiecărui moment t∈T i se asociază o variabilă aleatoare, deci semnalul aleator x reflectă evoluŃia în timp a sistemului Ω dat.

Deci, spre deosebire de semnalele deterministe, semnalele aleatoare descriu evoluŃia unor sisteme care, în momentul dat de timp, au o stare nedeterminată (aleatoare), stare care poate fi cunoscută numai probabilistic.

Formal, un semnal aleator depinde de două variabile t∈T şi ω∈Ω. Se pot folosi notaŃiile echivalente x(t,ω) sau xt(ω). Pentru fiecare moment de timp t∈T, xt(•). reprezintă o variabilă aleatoare, iar pentru fiecare eveniment elementar ω∈Ω, x(•,ω) reprezintă o funcŃie de timp definită pe T, numită traiectorie (realizare, selecŃie), a semnalului aleator. Orice realizare apare ca rezultat al unei observări a semnalului aleator şi este un semnal determinist.

Astfel un semnal aleator x poate fi privit ca o corespondenŃă între un câmp de evenimente ω1, ….ωn, care definesc un sistem fizic Ω şi o familie de semnale deterministe x(•,ω), ω∈Ω. Deci noŃiunea de semnal aleator constituie o extindere a noŃiunii de semnal determinist, acesta putând fi considerat ca un semnal aleator cu o singură traiectorie sau cu N traiectorii identice.

După tipul discret sau continuu al domeniului amplitudinilor şi mulŃimii de timp T, semnalele aleatoare se împart în 4 categorii mai importante pe care le-am reprezentat în fig.3.2 printr-o singură realizare x(ωk, t) = x(k)(t). 1. Procesul aleator continuu: semnalul aleator are atât domeniul amplitudinilor X cât şi domeniul de timp continuu.

TTI

68

xk(t) Fig. 3.2a 2. Procesul aleator discret: semnalul aleator are domeniul amplitudinilor discret x1, x2 ,

….xn şi domeniul de timp continuu. xk(t)

x1

x2

x3

x4 t Fig. 3.2b 3. Seria aleatoare continuă: semnalul are domeniul amplitudinilor continuu, iar domeniul de timp T este discret: t1, t2,….tn xk(t)

t3

t1 t2 t4 t Fig.3.2c 4. Seria aleatoare discretă: semnalul are valori discrete atât în domeniul timp cât şi în domeniul amplitudinilor . xk(t)

t4

t1 t2 t3 t Din punct de vedere al proprietăŃilor statistice clasificarea semnalelor aleatoare este:

nestaŃionare staŃionare:-ergodice

-neergodice a) în sens larg b) în sens strict

3.2 Variabile aleatoare

Expresia cantitativă a realizărilor unui eveniment aleator poartă numele de variabilă

aleatoare. Variabilele aleatoare pot fi continue sau discrete după cum valorile numerice pe care le pot lua aparŃin unui interval sau unei mulŃimi numărabile de valori.

t

Fig.3.2d

TTI

69

Ex.2: x1 x2 x3 x4 x5 -2,5 -0,2 0,31 1,4 2,53 v.a. continuă x∈[a , b ]; v.a . discretă finită = ϕ1 ϕ2 ϕ3 ϕ4 ϕ5 P(x)∈[a , b ]; 0,2 0,3 0,25 0,1 0,15 3.2.1 FuncŃia de repartiŃie a variabilei aleatoare

Fie v.a. discretă din exemplul anterior. Valoarea funcŃiei de repartiŃie a v.a. în x3 este egală cu probabilitatea ca variabila aleatoare discretă să nu depăşească nivelul x3 adică: F1(x3) = Pξ≤x3 = P1+P2+P3 = 0,75; avem în plus F1(x<x1) = 0 şi F1(x>x5) = 1

În cazul mai general când variabila aleatoare este continuă şi x∈(-∞ , ∞) F1 (x) = P ξ≤ x şi în cazul v.a. discrete F1(x)=∑ pk

xk≤x unde pk =Px=xk Dacă reprezentăm grafic funcŃia de repartiŃie din Ex.2 obŃinem: Ex.3: sau n 0.85 F1(x)=∑ Pk u(x-xk); Pk=Pξ=xk 0.75 k=1

0.5 0.2 1 ; x ≥ 0 şi u (x) = 0 ; x< 0 fig.1.3

În cazul unei v.a. continue funcŃia de repartiŃie arată ca în figura următoare:

Px1< ξ ≤ x2= F(x2)-F(x1) Dem. F(x2)=Pξ ≤ x2= P ξ ≤ x1 sau ξ ∈(x1; x2)= P ξ ≤ x1+ Px 1< ξ ≤ x2= ==>Px1< ξ ≤ x2= F(x2)-F(x1) . fig. 1.4 3.2.2 Densitatea de probabilitate a unei v.a.

Dacă funcŃia de repartiŃie a unei v.a. continue este continuă şi derivabilă, derivata sa se numeşte densitate de probabilitate:

( )dx

(x)dFx 1

1p =

Din probabilitatea ca o variabilă aleatoare să ia valori cuprinse într-un interval (x1,x2) se poate deduce acum definiŃia densităŃii de probabilitate: x2

Px1< ξ ≤ x2= ∫ p1(x) dx x1

1

F(x)

-2,5 -0,2 0,31 1,4 2,53 x

x

F(x)

a b 0

1

TTI

70

Pentru cazul unor v.a. discrete n F1(x) = ∑ Pj u(x-xj); unde Pj=Pξ = xj i=1 1 ; x ≥ iar u(x)= 0 ; x<0 este funcŃia treaptă unitară; ca urmare funcŃia densitate de probabilitate va fi: P3

P2 Fig.3.5 P1 P4 x1 x2 x3 x4 . . . . x Fig. 3.6 ∂ F1(x) P1(x) = = ∑ Pj δ(x-xj) şi arată ca în fig .3.6 prezentată mai sus. ∂ x j

În continuare prezentăm două din cele mai întâlnite distribuŃii de v.a. precum şi câteva din proprietăŃile acestora. 3.2.3 DistribuŃia uniformă

În acest caz funcŃia de repartiŃie şi densitatea de probabilitate de ordinul întâi sunt:

><

≤≤−−

=bx;1

ax;0

bxa;ab

ax

)x(F1

><

≤≤−=

bx,ax;0

bxa;ab

1)x(p1

F1(x) P1(x) 1 1 b - a a b x a b x

3.2.4 DistribuŃia normală

P1(x)

F1(x)

x1 x2 x x

x

F(x)

1

0,5

-3 -2 -1 0 1 2 3

σ− ax

-3 -2 -1 0 1 2 3

0,1

0,2 0,3

0,4

σ− ax

TTI

71

du2

1)x(

x au

2

1

1 eF2

∫∞−

σ−−

πσ= eP

ax

2

1

1

2

2

1)x(

σ−−

πσ=

a = valoarea medie a v.a. σ = dispersia v.a

sau normalizând: σ−= ax

y ; σ−

=a

z x1

dt2

1)z(FzyPxP)(

zt

2

1

111 exxF2

∫∞−

−

π==≤=≤=

F(z) poartă numele de integrală Laplace şi se găseşte în tabele. 3.2.5 Momentele de ordinul k ale v.a.

FuncŃia de repartiŃie şi densitatea de probabilitate a v.a. dau o caracterizare completă a v.a., dar în multe aplicaŃii sunt necesari doar nişte parametrii pentru caracterizarea v.a.. Aceşti parametrii sunt de obicei momentele de ordinul k. ∞ mk( ξ)= ∫ xk p1(x) dx pt. v.a. continuă -∞ n mk( ξ)= ∑ xk

I pi unde pi=Pξ = xi i=1

Cunoaşterea tuturor momentelor de ordin k înseamnă de obicei cunoaşterea completă a v.a.. În practică se utilizează doar trei: Valoarea medie de ordinul 1: ∞ a = m1 ξ = ∫ x p1(x) dx v.a. continuă -∞ n = ∑ xi Pi v.a. discretă i=1 Media de ordinul 2 ∞ ∫ x2 p1(x) dx v.a. continuă - ∞ m2 ( x ) = n ∑ xi

2 pi v.a. discretă i=1 Dispersia (sau varianŃă) v.a , σ2 ∞ ∫ (x-a)2 , ϕ1(x)dx v.a. continuă - ∞ σ 2 = m2 ξ- a = n ∑ (x1-a)2 Pi v.a. discretă i =1 n ∞ În general avem: ∑ P1 =1 = ∫ P1(x) dx i =1 -∞

TTI

72

3.3 Valori medii ale semnalelor aleatore 3.3.1 Valori medii statistice ale semnalelor aleatore

Deoarece aşa cum am arătat, semnalele aleatore pot fi cunoscute numai din proprietăŃile lor probabilistice, definim principalele caracteristici statistice ale semnalelor aleatoare care prezintă interes în aplicaŃii. Acestea se calculează pe ansamblul realizărilor x(.,ω) ω∈Ω ale unui semnal aleator x(t,ω) pe care de acum în colo îl vom nota simplu x(t). Avem următoarele mărimi mai importante definite la momente de timp t1,…,tn alese arbitrar.

-valoarea medie, sau momentul de ordinul întâi ∞ x(ti) = ∫ xi pi(x, tI) dx -∞

-valoarea pătratică medie (puterea momentană a semnalului):

-funcŃia de autocorelaŃie:

-funcŃia de corelaŃie mutuală (intercorelaŃie):

-dispersia σ2:

-funcŃia de covariaŃie:

-funcŃia de covariaŃie mutuală:

O diferenŃă imediată între funcŃia de corelaŃie mutuală Bxy(t1,t2) şi cea de covariaŃie mutuală Kxy(t1,t2) a semnalelor aleatoare se remarcă în cazul semnalelor statistic independente. Astfel, funcŃia de covariaŃie mutuală este nulă fără ca mediile semnalelor aleatoare să fie nule, pe când funcŃia de corelaŃie mutuală este nulă numai dacă mediile semnalelor sunt nule. Adică pentru:

avem:

dx)t,x(px)t(x)t(P i12

i2

i ∫∞

∞−

==

∫ ∫∞

∞−

∞

∞−

=⋅= 2121212212121xx dxdx)t,t,x,x(pxx)t(x)t(x)t,t(B

∫ ∫∞

∞−

∞

∞−

=⋅= dydx)t,t,y,x(xyp)t(y)t(x)t,t(B 2122121xy

211

221111

2

21111

221111

2x

])x(t[)(tx])x(t[)x(t)x(t2)(tx

])x(t[)x(t)2x(t)(tx])x(t)[x(t)disp(t)(tσ

−=+−=

=+−=−==

])t(x)t(x][)t(x)t(x[)t,t(K 221121xx −−=

])t(y)t(y][)t(x)t(x[)t,t(K 221121xy −−=

)t,y(P)t,x(P)tt,y,x(P 2212111121212 ⋅=+ 0)t(y)t(x 21 ==

0)t,t(K)t,t(B 21xy21xy ==

TTI

73

3.3.2 Valori medii temporale ale semnalelor aleatoare În acest caz din mulŃimea realizărilor x( ⋅,ω) ω∈Ω se consideră o realizare

particulară x(t, ωκ)=x(k)(t) şi se calculează valorile medii temporale ale acesteia. -valoarea medie temporală:

care nu depinde de momentul iniŃial t0 al medierii şi reprezintă componenta continuă a realizării semnalului aleator. -valoarea pătratică medie temporală:

care nu depinde de originea timpului t0 şi reprezintă puterea medie a semnalului pe o sarcină unitară. - funcŃia de autocorelaŃie temporală:

aceasta nu depinde de originea timpului şi numai de τ=t2-t1

- funcŃia de corelaŃie mutuală temporală:

acesta nu depinde de originea timpului. În general, Rxy (k)(τ) nu este o funcŃie simetrică.

3.3.3 Semnale aleatoare staŃionare

Cu ajutorul definiŃiilor proprietăŃilor statistice ale semnalelor aleatoare putem caracteriza principalele clase de semnale aleatoare prezentate. O clasă de semnale aleatoare cu o deosebită importanŃă practică sunt semnalele aleatoare staŃionare. Acestea sunt acele semnale aleatoare ale căror proprietăŃi statistice sunt invariante la schimbarea arbitrară a originii timpului.

Pn(x1,x2,…,xn,t1,…,tn)=pn(x1,…,xn,t1+τ,…,tn+τ)

Semnalele care se bucură de proprietatea anunŃată se numesc semnale aleatoare în sens STRICT.

3.3.4 Semnale aleatoare ergodice

Semnalele aleatoare ergodice sunt semnale staŃionare în sens strict care au proprietatea că mediile statistice sunt egale cu cele temporale. Adică :

funcŃiile de autocorelaŃie

)t(xdt)]tt(x[T

1lim)tt(x )k(

2T

2T

0)k(

To)k( =+=+ ∫

−∞

2)k(2

T

2T

20

)k(T

2o

)k( )]t(x[dt)]tt(x[T

1lim)]tt(x[ =+=+ ∫

−∞

)tt(x)tt(x)t,t(R 2)k(

1)k(

21)k(

xx +⋅+= )tt(Rdt)tt(x)tt(xT1

lim 12)k(

x

2T

2T

2)k(

1)k(

T −=+⋅+= ∫−

∞

)tt(y)tt(x)t,t(R 2)k(

1)k(

21)k(

xy +⋅+= )(Rdt)tt(y)tt(xT

1lim )k(

xy

2T

2T

2)k(

1)k(

T τ=+⋅+= ∫−

∞

)t,t(R)tt(x)tt(x)t(x)t(x)t,t(B

)]t(x[)]t(x[

)t(x)t(x

21)k(

xx2)k(

1)k(

2121xx

2)k(2

k

=++==

=

=

TTI

74

egalitatea func-Ńiilor de corelaŃie mutuală

EgalităŃile de mai sus se iau în sensul convergenŃei în probabilitate

Clasa semnalelor ergodice are o deosebită însemnătate deoarece elimină necesitatea obŃinerii tuturor realizărilor unui semnal aleator x(t), putându-se determina probabilităŃile statistice dintr-o singură realizare.

3.3.5 Semnalul aleator pur

Semnalul aleator pur este acel semnal pentru care variabilele aleatoare succesive ale lui x(t) luate la intervale oricât de mici sunt independente. Se poate exprima acest fapt prin:

Se observă că acest semnal este descris complet de densitatea de probabilitate de ordinul întâi. Zgomotul alb este un semnal aleator pur şi are funcŃia de autocorelaŃie egală cu funcŃia Dirac.

Deoarece aşa cum vom vedea densitatea spectrală de putere a semnalului aleator este pereche Fourier cu funcŃia de autocorelaŃie, rezultă că zgomotul alb are un spectru de putere uniform şi infinit.

3.4 Densitatea spectrală de putere. Teorema Wiener – Hincin

3.4.1 Densitatea spectrală de putere a semnalelor aleatoare staŃionare

Deoarece semnalele aleatoare sunt infinite rezultă că norma lor este infinită Şi ca atare nu se poate aplica analiza armonică a semnalelor deterministe. Pentru a se putea extinde analiza spectrală şi în cazul semnalelor aleatoare se consideră semnalul xT

(k)(t) dintr-o realizare particulară x(k)(t) a semnalului aleator x(t). xT

(k) xT

(k)(t)= x(k)(t) , pentru |t|<=T/2 xT

(k)(t)=0 , pentru |t|>T/2 t -T T Puterea medie a semnalului trunchiat este:

Dacă se notează cu:

)t,t(R)tt(y)tt(x)t(y)t(x)t,t(B 21)k(

xy2)k(

1)k(

2121xy =++==

1|)t(x)t(x|Plim )k(TT =ε<−∞

∏=

=n

1kkk1n1n21n )t,x(P)t,...,t,x,...,x,x(P

)(N)(B 0xx τδ=τ 0x N2)( =ωδ

)t(xF)(X )k(T

)k(T =ω

∫∫∞

∞−−

=== dt)]t(x[T

1dt)]t(x[

T

1

T

EP 2)k(

T

2T

2T

2)k()k(

T)k(T

∫∞

∞−

∞→dt|)t(x| 2)k(

TTI

75

rezultă :

Densitatea spectrală de putere a semnalului trunchiat se defineşte prin relaŃia:

iar puterea medie a realizării xT(k)(t) este:

Deoarece | xT

(k)(ω)|2 este o funcŃie pară de ω, densitatea spectrală de putere poate fi definită în domeniul ω>0 prin:

În cazul în care se consideră că întreaga realizare T tinde la infinit, rezultă puterea

medie a semnalului, presupunând existenŃa limitei:

Această presupunere este justificată deoarece semnalul are întotdeauna o putere finită. Deoarece nu ne interesează puterea unei realizări particulare (k), ci puterea medie a semnalului aleator înainte de a trece de la limită în relaŃia de mai sus se face o mediere peste toate realizările şi obŃinem puterea medie:

este densitatea spectrală de putere DSP.

DSP se poate definii şi pentru frecvenŃele ne negative:

U(ω)=1 , dacă ω>=0 U(ω)=0 , dacă ω<0

Puterea unui semnal aleator într-o bandă ∆ finită se obŃine din:

∫∫

∫∫

∫ ∫

∞

∞−

∞

∞−

∞

∞−

ω∞

∞−

∞

∞−

∞

∞−

ω

ωωπ

=ωωωπ

=

=ωωπ

=

=ωω=

dT

|)(X|

2

1d)(*x)(X

T

1

2

1

d)dtex()(XT

1

2

1

)de)(X(dt)t(xT

1P

2)k(T)k(

T)k(

T

tj)k(T

)k(T

tj)k(T

)k(T

)k(T

T

|)(X|)(Q

2)k(T)k(

T

ω=ω

∫∞

∞−

ωωπ

= d)(Q2

1P )k(

T)k(

T

),( ∞−∞∈ω

)(Q2T

|)(X|2)(S )k(

T

2)k(T)k(

X ω=ω=ω0>ω

∫∞

∞−∞∞ ωω

π== d)(Q

2

1limPlimP )k(

TT)k(

TT)k(

∫∫∞

∞−

∞

∞−∞ ωω

π=ωω

π= d)(Q

2

1d)(Q

2

1limP X

)k(TT

T

|)(X|lim)(Q

2)k(T

TX

ω=ω ∞

)(U)(Q2)(S XX ωω=ω

∫ ∫∞ ∞

∞−

==ωωπ

=ωωπ

=0

2xxXX )t(x)0(Bd)(Q

2

1d)(S

2

1P

∫∆

∆ ωωπ

=0

X d)(S2

1P

TTI

76

3.4.2 Teorema Wiener – Hincin Teorema Wiener – Hincin, reprezintă un rezultat remarcabil al teoriei semnalelor aleatoare staŃionare şi afirmă că densitatea spectrală de putere şi funcŃia de autocorelaŃie ale unui semnal aleator sunt perechi Fourier. Adică

şi reciproc.

∫∫∞

∞−

∞

∞−

ωτ− =ωωτωπ

=ωωπ

=ω=τ )(d)cos()(Q21

)(d)(Q21

)(Q)(B xj

xx1

xx eF

∫∞

ωωτωπ

=0

x )(d)cos()(Q1

∫∫∞

∞−

∞

∞−

ωτ =ωωτωπ

=ωωπ

=τ )(d)cos()(S41

)(d)(S41

)(B xj

xxx e

∫∞

ωωτωπ

=0

x )(d)cos()(S21

Puterea totală a unui semnal aleator este:

3.5 Dezvoltarea Karhunen-Loève a semnalelor aleatoare în serie cu

coeficienŃi necorelaŃi Fie θi(t) o mulŃime de funcŃii ortonormate de t∈[0,T] adică

=≠

==∫ ji1

ji0Sdt)t(v)t(v ijj

T

0i

Dorim să reprezentăm semnalul aleator x(t) în forma

]T,0[t)t(v)t(x i

N

1ii

Nlim ∈α= ∑

=∞→

∫=αT

0ii dt)t(v)t(x

Această integrală este o integrală de tip medie pătratică şi reprezintă o v.a.

∑=

−

→∆∞→

−=α=α−αN

1k1kkkikiN

2iNi

0tN

)tt)(t(v)t(xunde,0)(limk

Iar limita se defineşte în sensul mediei pătratice

∫∫∫∞∞

∞−

ωτ−∞∞− τωττ=τωττ=ττ=ω

0

xxxxj

xxx )(d)cos()(B2)(d)cos()(B)(d)(B)(Q e

∫∞

τωττ=ωω=ω0

xxxx )(d)cos()(B4)(U)(Q2)(S

∫∫∞∞

ωωπ

=ωωπ

==0

x

0

xxx2 )(d)(Q

1)(d)(S

2

1)0(B)t(x

TTI

77

]T,0[t)t(vxunde,0)x)t(x(N

1iiiN

2N

Nlim ∈α==− ∑

=∞→

Trebuie să alegem în aşa fel funcŃiile de bază astfel încât coeficienŃii dezvoltării αi

să fie necorelaŃi. Astfel dacă presupunem că media semnalului x(t) este nulă, adică

∫ ==α=α →=T

0

iiiatunci 0)t(d)t(v)t(xunde,00)t(x

Stabilim acum că dacă funcŃiile vi (t) sunt soluŃii ale ecuaŃiei integrale

]T,0[t)()t(vdu)u(v)u,t(KT

0jjjxx∫ ∈⊗λ=

Unde Kxx (t,u) este funcŃia de covariaŃie a semnalului aleator x(t), atunci coeficienŃii αi sunt necorelaŃi şi îndeplinesc condiŃia

≠=λ

=δλ=ααji0

jiiijiji

∫∫∫∫ ===ααT

0212j1i21

T

0

T

0212j1i21

T

0ji dtdt)t(v)t(v)]t(x)t(x[dtdt)t(v)t(v)t(x)t(x

=λ=

= ∫∫∫ 11i1j

T

0j11i

T

022j21xx

T

0

dt)t(v)t(vdt)t(vdt)t(v)t,t(K

∫ λ=λ=T

0

ijj11i1jj Sdt)t(v)t(v

RelaŃia ⊗ este o relaŃie de tip Fredholm unde funcŃia de autocorelaŃie Kxx (t,u) este nucleul ecuaŃiei, vj (t) sunt funcŃiile proprii, iar λi sunt valorile proprii.

Dacă se cunosc proprietăŃile statistice ale semnalului, mai exact dacă se cunoaşte funcŃia de autocorelaŃie, se poate determina pe baza relaŃiei (⊗) o familie de funcŃii ortogonale θi(t), cu t∈[0,T], care conduc la o dezvoltare în serie cu coeficienŃi necorelaŃi a semnalului aleator x(t).

3.6 Transformări liniare ale semnalelor aleatoare

Un sistem liniar transformă un semnal aleator x(t) de la intrarea sa într-un alt semnal aleator y(t) care se obŃine cu relaŃia

∫∞

∞−τττ−= d)(h)t(x)t(y

unde

)(H)(X)(Y

)t(h)t(x)t(y)k(

T)k(

T

)k(T

)k(T

ωω=ω

⊗=

h(t) este răspunsul sistemului liniar la impulsul unitate. Daca H(ω) este funcŃia de transfer a sistemului liniar, atunci între densităŃile spectrale de putere ale celor două semnale avem relaŃia:

)(S)(H)(S x2

y ωω=ω

TTI

78

)(X)(H)(Y

)(X)(H)(Y)k(*

T)k(

T

)k(T

)k(T

ωω=ω

ωω=ω∗∗

T

)(X)(H

T

)(Y )k(T

T

2

2)k(T

Tlimlim

ωω=

ω

∞→∞→

De unde conform teoremei Wiener – Hincin, obŃinem legătura care există între funcŃia de autocorelaŃie a semnalului aleator de la ieşirea sistemului liniar şi densitatea spectrală de putere

∫∫∞

ω∞

∞−

ωτ ωωτωπ

=ωωωπ

=τ0

2)(x

j2xyy d)cos()(HS

2

1d)(H)(S

4

1)(B e

EX: Ca exemplu considerăm trecerea zgomotului prin sisteme liniare. În acest caz densitatea spectrală de putere este constantă şi egală cu

0x N2)(S =ω

iar funcŃia de autocorelaŃie )(N)(B 0xx τδ=τ

La ieşirea sistemului liniar vom avea un semnal aleator care nu va mai fi zgomot alb, deoarece semnalul de la ieşire are densitatea de putere

0

2y N)(H2)(S ω=ω

care este finită şi neuniformă, forma sa fiind dict tă de funcŃia de transfer H(ω) a sistemului liniar. Altă deosebire constă în faptul că funcŃia sa de autocorelaŃie nu mai este o funcŃie Dirac.

∫∞

ωωτωπ

=τ0

20yy d)cos()(H

N)(B

iar puterea totală are expresia

∫∞

ωωπ

=0

20yy d)(H

N)0(B

Cap.4 Transmiterea discretă a semnalelor continue

4.1. Sisteme cu modulaŃia impulsurilor Există două categorii de sisteme de comunicaŃii: sistemele analogice şi sistemele numerice. Sistemele analogice transmit informaŃia continuă conŃinută în semnalele de voce, TV, radio, pe purtători de înaltă frecvenŃă fără a schimba caracterul continuu al semnalelor. TelecomunicaŃiile moderne susŃinute de explozia tehnicii de calcul şi a tehnologiei integrate numerice tind să devină la această oră preponderent digitale. De aceea mesajul, informaŃia conŃinută în semnalele analogice, de voce de exemplu, este transmisă numeric. Tehnica se numeşte modulare de impulsuri. Def. ModulaŃia impulsurilor constă în a transfera caracteristicile semnalului de bază x(t) asupra unui purtător reprezentat printr-o succesiune de impulsuri. Există mai multe sisteme de transmisiune cu impulsuri:

- MIA – modulaŃia impulsurilor în amplitudine; - MIP – modulaŃia impulsurilor în poziŃie; - MID – modulaŃia impulsurilor în durată;

TTI

79

- MI diferenŃiale dintre care amintim: MICD (MIC DiferenŃială), ModulaŃia delta, ModulaŃia delta adaptivă.

ModulaŃia impulsurilor în durată şi în poziŃie transformă informaŃia purtată de un semnal în lăŃimea unor impulsuri dreptunghiulare sau în poziŃia acestora pe axa timpului. În ambele cazuri, amplitudinea impulsului nu este legată de informaŃia mesajului transmis. În figură este ilustrat principiul celor două tipuri de modulaŃii.

ModulaŃia impulsurilor în cod MIC este cel mai cunoscut sistem de transmisie cu

modulaŃie în impulsuri. Semnalul este mai întâi discretizat în timp, prin eşantionare obŃinându-se un semnal MIA, apoi impulsurile din semnalul MIA sunt discretizate în amplitudine prin cuantizare obŃinându-se nişte impulsuri care au amplitudinea un număr întreg de cuante. OperaŃia următoare este codarea care constă în extragerea numărului de cuante cuprinse într-un impuls cuantizat, număr reprezentat printr-un cuvânt de cod binar. Transmiterea informaŃiei despre amplitudinea unui eşantion se face printr-o secvenŃă de impulsuri binare.

Ex. Te=128µs, fe≥2fmax

1 1 1 1 0

TTI

80

fmax=3,4 kHz, fe≥2fmax=6,8kHz, feş=8kHz ⇒ Te=125µs

4.2 Transferul informaŃiei în sistemele cu modulaŃie în impuls

Este instructiv să comparăm diversele sisteme cu modulaŃie în impuls. Folosim legea Nartlay-Shannon care stabileşte cantitatea de informaŃie transmisă printr-un canal afectat de un zgomot gaussian (densitatea de probabilitate gaussiană) de putere N, atunci informaŃia maximă prin canal este:

I=B log 2(1+S/N) unde B este banda canalului iar S este puterea utilă a semnalului. În transmisiile reale există întotdeauna un zgomot N de putere finită care limitează informaŃia maximă care poate fi transmisă prin canal. În sistemele MIA, amplitudinea impulsului ia orice valoare din plaja de amplitudine a semnalului având o infinitate de valori posibile: I= ∞ (I=log 2 1/p ;p=1/nn→∞ ⇒I→∞). Dar conform relaŃiei, cantitatea maximă de informaŃie ce poate fi transmisă prin canalul cu zgomot este finită deci avem o pierdere însemnată de informaŃie în procesul de transmisie. De aceea MIA nu se foloseşte în transmisii. În cazul transmisiei MIC fiecare valoare de amplitudine este aproximată cu cel mai apropiat nivel cuantizat care se transmite apoi printr-o secvenŃă de impulsuri. Tuller a demonstrat că sistemul MIC este singurul sistem cu impulsuri la care I transmis ≅≅≅≅ I teoretic şi la care se poate face un schimb eficient între banda de transmisie şi raportul semnal/zgomot. Fie un sistem MIC cu n=4 bit şi se transmite un semnal cu fm

fe=2fm=n/Te=n/(1/2fm)

Iteoretic =2nfm biŃi/s=8fm biŃi/s ⇒ Bteoretic=8fm Hz

TTI

81

Presupunem că se face codarea şi transmisia cu impulsuri binare cu doua nivele, 0 şi 1.

Dacă în canal se consideră un raport semnal-zgomot cu 2=+N

NC ,care este

suficient pentru a recunoaşte la recepŃie impulsurile binare, rezultă că informaŃia transmisă prin canal şi recepŃionată de către utilizator este:

Dar I=I teoretic pentru cazul unei recepŃii corecte şi deci rezultă lungimea de bandă necesară:

2nfm=8fm=2B⇒B=4fm=nfm Hz B=1/2 Bteoretică

Dacă folosim corelarea cu un cod cuaternar cu 4 niveluri (1,2,3,4) atunci

4=+N

NC şi rezultă o bandă a canalului de 4 ori mai mică decât banda teoretică:

B=1/4 Bteoretică

4.3Eşantionarea. Spectrul semnalelor MIA 4.3.1 MIAN –modulaŃia impulsurilor în amplitudine natural ă XMIAN (t) ττττ t T

x(t) ⊗ xMIAN (t) xp(t)

( ) 2sin2 ωττωωτ

cH ej

f

−=

hf

( )∑ −=

nT nTtt δδ )(

( ) B24BNS1BI loglog 22

==+=

( ) ( )( ) ( ) ( )

( ) ( )[ ] ( ) ( )( ) ( ) ( ) ( )ω⋅δ==ω

ω⊗ωπ

=⋅=

⊗δ=

⋅=

fTpp

ppMIAN

fTp

pMIAN

HtFtxFX

XX2

1txtxFX

thttx

txtxx

TTI

82

Ex: Ω=3ωM=π/τ

XMIAN FTJ Xω= -ωM ωM

-3Ω -2π/6 -Ω -ωM ωM Ω 2π/6 3Ω XMIAN (ω) conŃine spectrul semnalului fără a fi deformat. 4.3.2 MIAV – modulaŃia impulsurilor în amplitudine uniform ă Este cazul cel mai apropiat de situaŃia practică XMIAV(t)

τ t T xe(t) x(t) ⊗ hf XMIAV

2sin2 ωττωτ

cH ej

f

−=

( ) ( )∑ −=n

T nTtt δδ

( ) ( ) ( )

( ) ( ) ( )

( ) ( )[ ] ( ) ( )

( )Ω−ω

τΩτ=

Ω−ωδ

τΩπτ⊗ωπ

=ω⊗ωπ

=

Ω−ωδ

τΩπτ=

ωτσ

Ω−ωδπ=ω

π=Ω

Ω−ωδ⋅δπ=δ

∑

∑

∑∑

∑

τΩ−

ωτ−

ωτ−ωτ−

nX2

ncsin

TX

n2

ncsin

T

2X

2

1XX

2

1X

n2

ncsin

T

2

2csinn

T

2X

T

2

ntT

2tF

n2

jn

MIAN

n2j

pMIAN

n2j

2j

np

nTT

e

e

ee

( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )ω⋅ω=⊗=

⊗=

Ω−ω=

Ω−ωδπ⊗ωπ

=δ⊗ωπ

=

−δ=δ⋅=

∑∑

∑

fetfeMIAV

tfeMIAV

nnTe

nTe

HXhtxFX

htxx

nXT

1n2X

2

1tFX

2

1txF

nTttxttxtx

TTI

83

( ) ( ) ( )

( ) ( )

( )∑

∑

∑

Ω−ωωττ=

Ω−ω=

π=Ω

Ω−ω==ω

ωτ−

ω

n

2j

MIAV

fn

MIAV

nee

nX2csinT

X

HnXX

T

2

nXT

1txFX

e

Ex: Ω=3ωM=π/τ

Xω= -ωM ωM XMIAV Defect de apertură FTJ -3ΩΩΩΩ -2ππππ/6 -ΩΩΩΩ -ωωωωm ωωωωm ΩΩΩΩ 2ππππ/6 3ΩΩΩΩ Apar deformaŃii ale spectrului in banda de bază datorită înfăşurătoarei sinc(ωτ/2 ). Efectul se numeşte defect de aparatură. Reconstituirea se face prin FTJ sau prin eşantionare şi memorare pe perioada T. 4.3.3 Teorema eşantionării EnunŃ: Un semnal de bandă limitată B poate fi reconstruit, teoretic fără erori, din eşantioanele sale, dacă acestea sunt luate cu o frecvenŃă de eşantionare fe egală cu cel puŃin dublul benzii B: fe ≥ B. Semnalele normale au de obicei componente la toate frecvenŃele (criteriul Paley-Wiener) • FTB la intrare • Ω=2ωM – frecvenŃa Nyquist • erori de aliere Ex. 6,6 kHz fe

∝ ∝ FTJ

fe=2fm fe<2fm

ω ω fm=3,4 KHz fe=6,8KHz erori de aliere

TTI

84

4.4 Conversia Analog-numerică

4.4.1 Cuantizarea Procesul discretizării în amplitudine a eşantioanelor semnalelor se numeşte cuantizare. Procesul de cuantizare este ilustrat în figură, unde se foloseşte un cuantizor uniform, pasul de cuantizare fiind 0,1 mV. x(t) x2(t)

1,6 N=16 1,0 t 0

ef1

z(t)=x(t)-x2(t) t Dacă cuantizarea este suficient de fină, adică dacă numărul nivelurilor de cuante

pure este suficient de mare , adică q este suficient de mic în comparaŃie cu plaja de amplitudine a semnalului iar variaŃia acestuia este lentă (adică densitatea de probabilitate de ordinul unu a semnalului p1(x) este o funcŃie cu comportare bună

( ) ( ) ( ) ( ) ( ) ( )xpqxpqxqpxp ke>>>>>> ''2'

atunci se poate face o analiză calitativă a cuantizării → x(t), xq(t) – semnale. VariaŃia zgomotului de cuantizare este în plaja unei cuante (±q/2). Un cuantizor are caracteristica de transfer din figură: xq

niveluri de refacere cuantă

3qx

Caracteristicile statice ale 2qx

semnalelor cuantizate 1qx

Ik- interval de decizie x(-3) x(-2) x(-1)

x1 x2 x3

1−qx

2−qx niveluri de decizie

3−qx

Fie un semnal aleator x(t) cu densitatea de repartiŃie a probabilităŃii p(x) care este

supus cuantizării într-un cuantizor cu nivelurile de decizie Zkkx ∈ şi cele de refacere

Zkqk

x∈

. Semnalul aleator cuantizat xq(t) se obŃine astfel:

TTI

85

Pentru fiecare moment de timp t ,xt este o variabilă aleatoare continuă căreia îi facem să-i corespundă o variabilă aleatoare discretă ale cărei valori posibile (xqt)k∈Z se obŃin din relaŃia:

( )kt qkq xx = dacă kq Ix

t∈

şi are densitatea de probabilitate:

unde:

Procesul este ilustrat în figură:

Media semnalului de la ieşirea cuantizorului este:

( )

( )( ) ( )∑

∑

∑

∈

∈

∈

−δ=

=

=

Zkqkq

Zk

2qk

2q

Zkqkk

k

k

k

xxPxP

xPxM

xPxM

4.5 ModulaŃia delta

ModulaŃia delta este o cuantizare diferenŃială pe un bit n=1. Prin canal se transmite un singur bit, acesta purtând informaŃia despre semnalul diferenŃei, deci despre tendinŃa de variaŃie pe care o are semnalul la emisie. La recepŃie se va adăuga sau se va scădea o cuantă la semnalul anterior reconstituit, după cum valoarea recepŃionată este 0 sau 1. Dacă cuanta este constanta, independentă de semnalul transmis, vorbim despre modulaŃia delta uniformă. Dacă cuanta se poate modifica în funcŃie de semnal vorbim despre modulaŃia delta adaptivă.

( ) ( )∑∈

−δ=Zk

qkq kxxpxp

( )∫−

=k

1k

x

xk dxxpp

TTI

86

4.5.1 ModulaŃia delta uniformă Dacă cuantizarea diferenŃială cu predicŃie se face pentru n=1, a1=1 aj=0 pentru j≠1,

atunci se obŃine modulaŃia delta uniformă. Predictorul este acum un integrator care adună sau scade o cuantă după cum este semnalul diferenŃă cuantizat pe un singur bit. In figură este prezentat semnalul x(t) ce se transmite şi semnalul x*(t) reconstituit la recepŃie, pentru a se pune in evidenŃă diferenŃele, erorile ce apar în cuantizarea cu un singur bit.

Se văd erorile de neurmărire, apărute atunci când variaŃia semnalului de la intrare este mai mare decât variaŃia posibilă a semnalului de la ieşire, aceasta din urmă fiind dependentă de cuantă şi de frecvenŃa de eşantionare. Erorile de neurmărire nu apar dacă viteza de variaŃie a cuantei este mai mare decât viteza de variaŃie a semnalului.

efT

1= ; )(' txT

q >

Se poate micşora sau mărind cuanta sau mărind frecvenŃa de eşantionare. Se văd erorile de granulare care apar atunci când semnalul de la intrare este

constant dar semnalul de ieşire variază deasupra sau dedesubtul acestuia. Eroarea de granulare poate fi micşorată scăzând q. O schemă aplicabilă care realizează modulaŃia delta este prezentată in figură.

Cuantizorul generează un semnal binar bi în funcŃie de diferenŃa dintre eşantionul curent xi şi eşantionul anterior reconstituit xi-1

* )sgn( *

1−−= iii xxb

Eşantionul reconstituit actual xi se obŃine printr-o însumare iii qbxx += −*

1* )( 1 qxi ±= −

Blocul care însumează şi amplifică cuanta q ar putea fi un numărător reversibil continuat cu un CAN. Cuantizorul ar putea fi realizat printr-un comparator la intrările căruia se aplică xi şi xi-1

*.

TTI

87

Dacă cuanta q este mare se obŃin erori de neurmărire mici şi erori de granulare mari. Dacă q este mică se obŃin erori de neurmărire mari şi erori de granulare mici. O situaŃie de compromis în urma căreia raportul δ/te este minim se obŃine dacă se adaugă

max

21 ln)(

f

fxx e

iiptim −−=ε unde fmax este banda semnalului.

4.5.2 ModulaŃia delta adaptivă

Reducerea erorii de cuantizare se poate face reducând eroarea de neurmărire, prin creşterea cuantei şi reducând eroarea de granulare prin micşorarea cuantei, deci utilizând o schemă cu cuantă adaptată la nivelul semnalului şi chiar la nivelul de variaŃie al acestuia.

)(' txT

qk t >

Metoda cuantelor exponenŃial variabile utilizează o cuantă dependentă de cea anterioară şi de semnalele transmise conform relaŃiilor :

)sgn( *1−−= iii xxb 1±=ib ; 1

1−

−= iibbii Pqq deci 1

1±

−= Pqq ii

dar nu mai mică decât q0 – cuanta minimă. iiii qbxx += −*

1* deci iii qxx ±= −

*1

*

Pentru începutul transmisiei când i=1 se consideră q1=q0 şi b0=0. Se vede deci că se face diferenŃa între semnalul actual xi şi cel anterior reconstituit xi-1

*, iar semnalul diferenŃă se transmite. Viitoarea cuantă qi se va adaugă la xi-1

* cu semnalul dat de bi şi este calculată ca produsul dintre valoarea cuantei qi-1 şi

1±P , 1± fiind dat de produsul bibi-1. In mod uzual 1<P≤2 iar în mijloacele tehnice P=2. In figură se prezintă semnalul x(t) şi x*(t) reconstituit după o modulaŃie delta exponenŃial variabilă.

Metoda cuantelor liniar crescătoare utilizează cuante care se obŃin prin adunarea sau scăderea cuantei iniŃiale q0 astfel încât rezultă relaŃiile :

)sgn( *1−−= iii xxb ; 1±=ib ; 101 −− += iiii bbqqq ; 01 qqq ii ±= −

dar nu mai mica decât q0. iiii qbxx += −*

1 adică iii qxx ±= −*

1

pentru începutul transmisiei când i=1, q1=q0 şi b0=0. Această metodă ca şi cea a cuantelor variabile exponenŃial trebuie să memoreze

valoarea cuantei anterioare, nivelul reconstruit anterior precum şi bitul transmis anterior. Din aceste motive instalaŃia devine mai complicată.

Curs TTI

88

Cap.5 DETECTIA SEMANALELOR BINARE ACOPERITE

DE ZGOMOT DetecŃia semnalelor de sub zgomot face parte din deciziile statistice şi îşi propune

ca, pe baza semnalului recepŃionat compus din semalul emis şi zgomotul canalului se pună în evidenŃă prezenŃa semnalului. Este vorba despre o decizie calitativă, neinteresându-ne altceva decât prezenŃa sau absenŃa unui semnal cunoscut.

Problema detecŃiei semnalelor sosite la receptor în prezenŃa perturbaŃiilor, a prezentat întotdeauna interes prin aplicaŃiile largi pe care le are în domeniul transmiterii informaŃiilor cu putere mică sau la distanŃă mare.

Analiza urmează a se face asupra unor mărimi probabilistice cum sunt zgomotele din canale. Sunt utile unele simplificări:

- perturbaŃiile aleatoare introduse de canal au caracter aditiv, ceea ce înseamnă că între semnalul recepŃionat şi semnalul emis există o diferenŃă care reprezintă perturbaŃia;

- sursa de informaŃie generează un număr finit de simboluri discrete (are alfabet finit) astfel că din emiŃător pot apărea un număr limitat de semnale (simboluri).

Receptorul analizează semnalul recepŃionat şi detectează care simbol a fost emis de sursă. Aplicând vocabularul specific teoriei deciziilor se spune că receptorul ia o decizie asupra semnalului sosit. Decizia pe care o poate lua receptorul trebuie să Ńină seama de caracterul aleator pe care-l are transmiterea semnalelor cu perturbaŃii, deoarece un semnal–simbol se poate transforma în alt semnal-simbol prin adăugarea perturbaŃiilor, iar acestă transformare este total întâmplătoare.

Decizia luată de receptor este în fond afirmarea unei ipoteze despre care se ştie că are cele mai multe şanse de a fi verosimilă. De aici rezultă că o detecŃie probabilistică a semnalelor urmăreşte obŃinerea maximului unei funcŃii de fidelitate, de apropiere între decizia luată şi semnalul transmis. Procesul de decizie se face pe baza observării variaŃiei în timp a semnalului recepŃionat. Din acest punt de vedere se face o distincŃie a metodelor de detecŃie după modul de observare a semnalului.

Semnalul recepŃionat poate fi observat: - în mod discret în diferite momente de timp ti în care caz observaŃiile reprezintă

observaŃii aleatoare; - în mod continuu în intervalul de timp T, în acest caz se observă un proces

aleator; - observarea începe la un moment bine determinat în raport cu o valoare dată a

semnalului, să zicem τ după atingerea unei anumite valori. Acestă recepŃie se numeşte coherentă. Dacă intervalul τ este o mărime aleatoare, atunci recepŃia este necoherentă.

- în mod discret, dar numărul observaŃiilor este variabil în funcŃie de decizia pe care o ia receptorul pe parcursul observaŃiilor. DetecŃia este în acest caz secvenŃială.

Cel mai simplu caz de detecŃie este detecŃia liniară - se foloseste ipoteza simplă a emisiei a numai două semnale–simbol a căror parametrii sunt constanŃi.

În cazul emiterii mai multor semnale-simbol avem ipoteza multiplă, iar în cazul emiterii unor semnale-simbol cu parametrii care iau mai multe valori avem de a face cu ipoteza compusă, situaŃii mai complexe pe care nu le studiem aici.

Curs TTI

89

5.1 CRITERII DE DECIZIE BINARA Se analizează transmisia semnalelor binare cu un emiŃător care emite unul din cele

două simboluri S0 sau S1. Schema bloc este următoarea:

S –sursa care generează simboluri M-modulator C-canal P-sursa de perturbaŃii R-receptorul care ia deciziile

În urma receptiei se ia o decizie din două posibile . Deoarece şi semnalul emis este

binar rezultă patru situaŃii care au consecinŃe diferite : - S0 emis – se ia decizia D0

- S1 emis – se ia decizia D1

- S0 emis – se ia decizia D1

- S1 emis – se ia decizia D0

Primele două decizii sunt corecte iar ultimele două decizii sunt eronate. De obicei deciziile eronate sunt mai rare decât cele corecte, iar deciziile eronate pot avea consecinŃe diferite după caracterul erorii. În multe cazuri, ca în radar spre exemplu, o decizie falsă poate avea consecinŃe mai grave decât cealaltă decizie falsă, cum ar fi de exemplu decizia că nu se află nici un avion în zonă când de fapt acesta există. Această eroare se numeşte în tehnica radar o pierdere, care este mult mai gravă decât decizia alarmei false care indică prezenŃa unui avion când de fapt acesta nu există.

Din prezentarea sumară a deciziilor rezultă că, în stabilirea criteriilor după care receptorul ia o decizie asupra semnalului recepŃionat, trebuie să se Ńină cont de consecinŃele pe care le are fiecare decizie în parte, de probabilităŃile emiterii celor două semnale-simbol şi de probabilităŃile luării fiecărei decizii, urmărindu-se obŃinerea valorii extreme. 5.1.1 Criteriul lui BAYES

Criteriul de decizie al lui Bayes Ńine seama că fiecare decizie din cele două posibile, în cele două situaŃii de emisie, are consecinŃe diferite, numite costuri. Un cost oarecare Cij exprimă consecinŃa luării deciziei Di atunci când sursa a emis simbolul Sj. Acest criteriu presupune cunoscute probabilităŃile de emisie a simbolurilor S1 şi S0 adică se cunosc caracteristicile statistice ale sursei. Aceste probabilităŃi apriori ale sursei se notează cu P(S0) şi P(S1) evident existând relaŃia: P(s0) + P(s1) = 1 .

Costul mediu de decizie, numit risc, depinde de caracteristicile statistice ale sursei, ale canalului şi de costurile Cij . Expresia este:

G = P(S1) P(D1/S1)C11 + P(S1)P(D0/S1)C01 + P(S0)P(D0/S0)C00 + P(S0)P(D1/S0)C10 = = P(C11/S1)C11 + P(C01/S1)C01 + P(C00/S0)C00 + P(C10/S0)C10 (1)

Curs TTI

90

Minimizarea riscului constituie esenŃa criteriul lui Bayes şi ne va conduce la o regulă de decizie care conŃine componentele relaŃiei (1). În acestă relaŃie vom înlocui probabilităŃile condiŃionate P(Di/Si) utilizând densitatea de probabilitate a semnalului recepŃionat P(r/Si ). Regula de decizie ce se va obŃine ne garantează că nici un alt criteriu de decizie nu conduce la un cost mai mic. În relaŃia de mai sus avem:

P(D1 /S0) + P(D0 /S0) = P(D1 /S1) + P(D0 /S1) = 1 (2) ProbabilităŃile din relaŃia (2) se determină observând semnalele sosite la recepŃie.

Pentru aceasta se consideră spaŃiul semnalelor recepŃionate divizat în 2 zone adiacente ∆0 şi ∆1. Dacă semnalul observat r se plasează în zona ∆0 se consideră corectă luarea deciziei D0, iar dacă semnalul sosit r se plasează în zona ∆1 se consideră corectă luarea deciziei D1. Semnalul observat r este un vector cu mai multe dimensiuni, funcŃie de parametrii observabili ai semnalului recepŃionat, cu densitatea de probabilitate P(r/Si), astfel încât se pot scrie relaŃii pentru probabilităŃile luării deciziilor :

P(D0/S0) = ∫∆0 P(r/S0)dr P(D1/S0) = ∫∆1 P(r/S0)dr P(D0/S1) = ∫∆0 P(r/S1)dr P(D1/S1) = ∫∆1 P(r/S1)dr

În acest context costul mediu, G va fi: G = C11 P(S1) ∫∆1 P( r / S1) dr + C01 P(S1) ∫∆0 P( r / S1) dr +

C10 P(S0) ∫∆1 P( r / S0) dr + C00 P(S0) ∫∆0 P( r / S0) dr (3) În ultima relaŃie se vor face transformări care să permită exprimarea riscului în funcŃie de integrala probabilităŃilor P( r / S1) şi P( r / S0) în domeniul ∆0 . În acest scop se utilizează egalităŃile : P(D0 / S0) + P(D1 / S0) = ∫∆0 P( r / S0) dr + ∫∆1 P( r / S0) dr = 1 P(D1 / S1) + P(D0 / S1) = ∫∆1 P( r / S1) dr + ∫∆0 P( r / S1) dr = 1 şi avem : G = C11 P(S1) [ 1- ∫∆0 P( r / S1)] dr + C01 P(S1) ∫∆0 P( r / S1) dr + C10 P(S0) ∫∆0 P( r / S0) dr + C00 P(S0) ∫∆0 P( r / S0) dr adică : G = C11 P(S1) + C10 P(S0) + P(S1) ∫∆0 ( C01 - C11) P( r / S1) dr - - P(S0) ∫∆0 (C10 – C00)P( r / S0) dr G = C11 P(S1) + C10 P(S0) + ∫∆0[ P(S1) ( C01 - C11) P( r / S1) - P(S0) (C10 – C00)P( r /S0)] dr

În toate cazurile costurile deciziilor false sunt mai mari decât costurile deciziilor corecte ca atare : C01 - C11 şi C10 – C00 > 0 ; tot aşa cum P(r/S1) şi P(r/S0) >0

Pentru ca riscul să fie minim este necesar ca integrala pe ∆0 să fie minimă. Deoarece toŃi termenii sunt pozitivi integrala este minimă dacă domeniul ∆0 conŃine toate punctele pentru care :

P(S1) ( C01 - C11) P( r / S1) < P(S0) (C10 – C00)P( r /S0) (5) Cu alte cuvinte limita de separare dintre domeniile ∆0 şi ∆1 se scrie prin egalitatea

termenilor relaŃiei (5) Decizia D0 se ia deci dacă : D0

( )( ) ))((

))((

/

/

11011

00100

0

1

CCSP

CCSP

SrP

SrP

−−

<

Datorită complementarităŃii decizia D1 se ia în cazul contrar şi se demonstrează că dacă (3) este redus la domeniul ∆1:

Curs TTI

91

D0

( )( ) )CC)(S(P

)CC)(S(P

S/rP

S/rP

11011

00100

0

1

−−

<>

D1 Se observă că în relaŃia de mai sus este cunoscută partea dreaptă deoarece s-au presupus date valorile costului şi statistica sursei .

))((

))((

11011

00100

CCSP

CCSPK

−−

=

K – se numeşte pragul testului Bayes care se compară cu raportul:

Λ)/(

)/(

0

1

SrP

SrP= - denumit raportul de plauzibilitate

Raportul de plauzibilitate depinde numai de caracteristicile statistice ale zgomotului din canal şi se calculează pe baza semnalelor recepŃionate.

5.1.2 Criteriul observatorului ideal

Acest criteriu de luare a deciziei rezultă din probabilitatea erorii definită astfel: P(E) = P(S0) P(D1 / S0) + P(S1) P(D0 / S1)

Considerând relaŃiile : P(D0 / S0) = ∫∆0 P( r / S0) dr P(D1 / S0) = ∫∆1 P( r / S0) dr P(D0 / S1) = ∫∆0 P( r / S1) dr P(D1 / S1) = ∫∆1 P( r / S1) dr probabilitatea erorii devine : P(E) = P(S0) ∫∆1 P( r / S0) dr + P(S1) ∫∆0 P( r / S1) dr dar : P(D1 / S0) + P(D0 / S0) = P(D1 / S1) + P(D0 / S1) = 1 deci : P(D1 / S0) = 1 - P(D0 / S0) = 1 - ∫∆0 P( r / S0) dr şi deci : P(E) = P(S0) [ 1 - ∫∆0 P( r / S0) dr ] + P(S1) ∫∆0 P( r / S1) dr = P(S0) + ∫∆0 [ P(S1) P(r / S1) – P(S0)P(r / S0) ] dr Probabilitatea erorii este minimă dacă domeniul ∆0 conŃine acele puncte pentru care :

P(S0) P( r / S0) > P(S1) P( r / S1) Criteriul de decizie care rezultă este:

D0

Λ = KSP

SP

SrP

SrP=><

)(

)(.

)/(

)/(

1

0

0

1

D1 Comparând criteriul observatorului ideal cu cel al lui Bayes se observă că ele

coincid dacă în cel de al doilea se cere C00 = C11 = 0 şi C01 = C10 = 1, în acestă situaŃie riscul G fiind egal chiar cu probabilitatea erorii:

G = P(S0) P(D1 /S0) + P(S1) P(D0 /S1) = P(E) Se vede că luând decizia conform criteriului observatorului ideal, minimizarea

probabilităŃii erorii este echivalentă cu minimizarea riscului. Acest criteriu se utilizează când nu se pot preciza valorile costurilor. 5.1.3 Criteriul probabilit ăŃii aposteriori maxime

Conform acestui criteriu receptorul ia decizia pentru care probabilitatea aposteriori a simbolurilor emise de sursă este maximă. Probabilitatea aposteriori este probabilitatea de

Curs TTI

92

a se fi emis un anumit simbol, calculată după recepŃia semnalului. În consecinŃă receptorul ia decizia D0 dacă după recepŃia semnalului este satisfăcută inegalitatea: P(S0 / r) > P(S1 / r) sau : P(S1 / r) - P(S0 / r) < 0 şi se ia decizia D1 în caz contrar.

Calculul probabilităŃii aposteriorii se face utilizând relaŃia lui Bayes, care

presupune cunoscute probabilităŃile apriori P(S0) şi P(S1) precum şi caracteristicile canalului.

P(S0/r) = )/()()/()(

)/()(

1100

00

SrpSPSrpSP

SrpSP

+

P(S1/r) = )/()()/()(

)/()(

1100

11

SrpSPSrpSP

SrpSP

+

În consecinŃă:

P(S1/r) – P(S0/r) = )/()()/()(

)/()()/()(

1100

0011

SrpSPSrpSP

SrpSPSrpSP

+−

În relaŃia de mai sus, numitorul fiind pozitiv, rezultă: P(S1)p(r/S1) < P(S0)p(r/S0)

care conduce la criteriul de decizie

Λ = )/(

)/(

0

1

Srp

Srp <

)(

)(

1

0

SP

SP →D0

Λ = )/(

)/(

0

1

Srp

Srp >

)(

)(

1

0

SP

SP →D1

ceea ce înseamnă că în fond criteriul probabilităŃii aposteriori maxime este un caz particular al criteriului Bayes (C00=C11 =0 C01=C10=1) şi coincide cu criteriul observatorului ideal.

5.1.4 Criteriul min-max

Dacă nu avem cunoştinŃe asupra probabilităŃilor apriori P(S0) respectiv P(S1), nu putem aplica nici unul din criteriile prezentate mai sus. În acest scop considerăm drept variabilă independentă probabilitatea P(S1) şi calculăm riscul minim cu metoda lui Bayes, acesta devenind o funcŃie de P(S1). În general această funcŃie cu riscul mediu minim nu este o constantă, având undeva un maxim. Din determinarea maximului rezultă o relaŃie între costuri şi probabilităŃile deciziilor false de tipul ∑ Cij P(Di/Sj)i≠j=0 denumită relaŃie minmax. Metoda aceasta de decizie este acoperitoare deoarece rareori se întâmplă ca P(S1) să aibă tocmai valoarea care maximizează riscul, fiind dese cazurile contrare, în care riscul real este inferior celui acceptat ca maxim. Regula de decizie urmează să depindă de costuri şi de probabilităŃile deciziilor.

Din expresia riscului înlocuind P(S0)=1-P(S1) obŃinem G = P(S1)P(D1/S1)C11+ P(S1)P(D0/S1)C01+ P(S0)P(D0/S0)C00+ P(S0)P(D1/S0)C10= = P(S1)P(D1/S1)C11+ P(S1)P(D0/S1)C01+ [1-P(S1)]P(D0/S0)C00+[1-P(S1)]P(D1/S0)C10

iar maximul se obŃine dacă 0)( 1

=∂

∂SP

G

Curs TTI

93

)( 1SP

G

∂∂

= P(D1/S1)C11+ P(D0/S1)C01- P(D0/S0)C00- C10 P(D1/S0) = 0

Dar: P(D0/S1)+ P(D1/S1)= P(D0/S0)+ P(D1/S0) = 1 şi prin urmare relaŃia devine:

C11- C11 P(D0/S1)+ P(D0/S1)C01- C00 P(D1/S0) = 0 sau

C11- C00+( C01- C11)P(D0/S1)- (C10- C00)P(D1/S0) = 0 Aceasta este ecuaŃia minmax care arată legătura între costuri şi probabilităŃile

deciziilor false, pentru ca riscul să fie maxim. Dacă C00= C11=0 şi C01= C10=1 avem P(D0/S1)= P(D1/S0) drept ecuaŃie minmax. Regula de decizie trebuie înŃeleasă că numai un set de probabilităŃi şi costuri duc la

riscul maxim. 5.1.5 Criteriul Neuman-Pearson

În multe cazuri nu dispunem nici de valorile costurilor şi nici de probabilităŃile apriori ale semnalelor emise şi nici nu acceptăm valori arbitrare pentru acestea. Dorim să obŃinem un criteriu de decizie conform căruia probabilitatea unei decizii false să nu depăşească o valoare dată, iar cealaltă decizie falsă să aibă probabilitatea minimă. Pentru obŃinerea regulii de decizie vom utiliza metodologia multiplicatorilor Lagrange considerând o funcŃie dependentă de cele două probabilităŃi ale deciziilor false:

F = P(D0/S1)+λ [P(D1/S0)-a] sau F = P(D0/S1)+λ(1-a)-)-λP(D0/S0)

în care λ este un multiplicator încă necunoscut, iar “a” este limita pe care nu o va depăşi probabilitatea deciziei false P(D1/S0). FuncŃia F are un minim pentru valoarea minimă a probabilităŃii P(D0/S1). Vom introduce relaŃiile integrale ale probabilităŃilor şi obŃinem:

F = ∫∫ ∆∆−−+

0 00 1 )/()1()/( drSrpadrSrp λλ

FuncŃia F are un minim când integrala:∫∆ −0 01 )]/()/([ drSrpSrp λ este minimă

adică dacă în ∆0 avem toate punctele pentru care: p(r/S1) < λ p(r/S0) sau:

)/(

)/(

0

1

Srp

Srp < λ

atunci satisfacerea relaŃiei de mai sus coincide cu obŃinerea unui minim al deciziei false P(D0/S1) semnalul recepŃionat r fiind plasat în ∆0 unde se ia decizia D0. Regula de decizie este deci o relaŃie între raportul de plauzibilitate ∆ şi multiplicatorul λ:

Λ = )/(

)/(

0

1

Srp

Srp > λ → D1

Λ = )/(

)/(

0

1

Srp

Srp < λ → D0

Pragul testului λ urmează a se deduce din constrângerea impusă probabilităŃii: P(D1/S0) < a

Costatăm că se ia decizia D1 când s-a transmis S0 în toate cazurile în care Λ condiŃionat de S0 este mai mare ca λ.

P(D1/S0) = P[(Λ>λ)/S0] = ∫∞

ΛΛλ

dSp )/( 0

Integrala din relaŃia de mai sus nu poate depăşi valoarea a în consecinŃă

Curs TTI

94

∫∞

ΛΛλ

dSp )/( 0 = a

este utilizabilă pentru calculul lui λ, evident fiind nevoie de cunoaşterea distribuŃie de probabilitate a raportului de plauzibilitate Λ.

5.2 DetecŃia discretă a semnalului binar Considerăm cazul transmisiei unui semnal binar care are la recepŃie amplitudinea A şi perioada sau durata T. RecepŃia este coherentă adică se cunosc momentele la care încep să se transmită semnalele. Semnalul emis are o formă ca în figură şi soseşte la recepŃie acoperit de un zgomot alb cu distribuŃie gaussiană şi putere σ2.

s(t); r(t)=s(t)+z(t) S0

s(t)= s(t) S1

T A 0 tI tII tIII tIV tV tVI t

Din semnalul recepŃionat se extrag N eşantioane care se vor prelucra. Analiza decizională se face calculând raportul de plauzibilitate, în care vor intra densităŃi de probabilitate ale eşantioanelor recepŃionate. Vor interesa în mod deosebit analizele asupra valorilor probabilităŃilor deciziilor corecte şi false, acestea oferindu-ne posibilităŃi de apreciere calitativă asupra procedeului de detecŃie. Din aceste probabilităŃi se va putea construi caracteristica de lucru a receptorului din care putem vedea oricând calitatea detecŃiei binare. 5.2.1 Calculul raportului de plauzibilitate Dacă se transmite S0=0 la recepŃie se obŃine zgomotul alb, ceea ce înseamnă că cele N eşantioane luate de receptor vor fi:

r1=n1; r2=n2,…,rN=nN în care ni reprezintă eşantioane ale zgomotului alb. Evident aceste eşantioane sunt luate toate în intervalul de timp T cât durează emisia lui S0=0. Cele N v.a. sunt independente având distribuŃia gaussiană cu valoare medie nulă şi dispersie σ2 deoarece provin din zgomotul alb. Densitatea de probabilitate a zgomotului alb este:

P(n) = σΠ2

1exp[-

2

2

2σn

]

P(n) = σΠ2

1exp[-

2

2

2

)(

σan −

]

___ Densitatea de probabilitate a fiecărui eşantion ni i =1..N va fi:

P(ni) = σΠ2

1exp[-

2

2

2σin

]

Probabilitatea p(r/S0)=p(n1,.., nN\S0) şi, deoarece cele N v.a. sunt independente, va fi egală cu produsul probabilităŃilor p(n1\S0), p(n2\S0), .., p(nN\S0) deoarece este vorba de intersecŃia a N v.a. independente realizate în ipoteza transmiterii lui S0.

Curs TTI

95

Deci p(r/S0)= p(n1, n2, .., nN\S0)= p(n1\S0)p(n2\S0)...p(nN\S0). łinând cont de relaŃiile de mai sus avem:

P(r/S0) = ∏= Π

N

i 1 2

1

σexp[-

2

2

2σir ] = [

σΠ2

1]Nexp[-

22

1

σ ∑=

N

iir

1

2 ]

Dacă se transmite simbolul S1 de amplitudine A, la recepŃie raportul va lua eşantioane din valoarea lui A+Z(t). Aceasta înseamnă că eşantioanele vor avea valorile:

r1=A+ n1; r2=A+ n2, …, rN=A+ nN

în care ni reprezintă v.a. gaussiene de medie A şi dispersie σ2. Deoarece eşantioanele sunt independente se va putea scrie:

P(r/S1) = p(r1, r2, …, rN\S1) = p(r1/S1) p(r2/S1)… p(rN/S1) = ∏=

n

i 1

p(ri/S1)

deci

P(r/S1) = ∏=

N

i 1 σΠ2

1exp[-

22

1

σ(ri-A)2] = [

σΠ2

1]Nexp[-

22

1

σ ∑=

−N

ii Ar

1

2)( ]

Acum se poate calcula raportul de plauzibilitate:

Λ = )/(

)/(

0

1

Srp

Srp=

]2

1exp[]

2

1[

])(2

1exp[]

2

1[

1

22

1

22

∑

∑

=

=

−Π

−−Π

N

ii

N

N

ii

N

r

Ar

σσ

σσ =

= exp[- ]])([2

1 2

1 1

22 i

N

i

N

ii rAr∑ ∑

= =−−

σ= exp[-

2

2

2σNA

]exp[ ∑=

N

iir

A

12σ

]

Raportul de plauzibilitate se poate deci calcula cunoscându-se valoarea semnalului A, numărul N al eşantioanelor luate de receptor în intervalul de timp T, puterea zgomotului σ2

şi valorile eşantioanelor ri. Dacă se cunosc probabilităŃile apriori P(S0), P(S1) şi Cij se poate aplica testului lui Bayes. În lipsa parŃială sau totală a acestora se poate aplica un alt criteriu.

Fie Λ < K → D şi Λ > K → D1

aplicăm funcŃia monotonă ln: lnΛ < lnK → D0

lnΛ > lnK → D1

- ∑=

+N

iir

ANA

122

2

2 σσ< lnK → D0

- ∑=

+N

iir

ANA

122

2

2 σσ> lnK → D1

sau

∑=

N

iir

1

< A

2σlnK+

2

AN → D0 (*)

∑=

N

iir

1

> A

2σlnK+

2

AN → D1 (*)

Suma eşantioanelor recepŃionate este o statistică suficientă pentru ca pe baza unei singure mărimi să se poată lua decizia

Curs TTI

96

r(t) D

E Σ C τ,A,N,K

Pe baza relaŃiei (*) se poate imagina schema unui receptor …E-eşant, Σ-sumator,

C-comparator care compară ieşirea din sumator cu un prag fix pentru a decide D0 sau D1.

5.2.2 ProbabilităŃile deciziilor corecte şi false Ne propunem să calculăm probabilităŃile P(Dj/Sij) care ne vor oferi o imagine

asupra eficienŃei procesului de detecŃie acceptat. Pornim de la relaŃia (*) şi amplificând cu

Nσ1

obŃinem:

Z = Nσ

1 ∑

=

N

iir

1

< AN

τlnK+

τ2

NA=µ → D0

Z = Nσ

1 ∑

=

N

iir

1

> AN

τlnK+

τ2

NA=µ → D1

Considerãm cã s-a emis S0. Eşantioanele preluate la recepŃie ri/S0 sunt v.a. cu o distribuŃie gausianã, de valoare medie nulã şi dispesie σ. Variabila aleatoare z din relaŃia anterioarã are de asemenea valoare medie nulã şi este normatã cu σz=1. Dispersia acestei v.a. se calculeazã:

Ca urmare densitatea de probabilitate a v. a. gausiene Z/ S0 va fi:

0a0s

z =

dar ∫∞

∞−

= dx)x(pxx.Disp 12

si2

ir.Disp σ=

deci ∑=

=σσ

==σN

1i

22

0

2

s

z 1N

1)

s

z.(Disp)(

0

∑∑== σ

=σ

==σN

1ii2

N

1ii

0

2

s

z r.DispN

1]r

N

1.[Disp)

s

z.(Disp)(

0

)e2

1)x(p(

21 )ax

(2

1

211σ−−

σπ= 0a

0s/z = 10s/z =σ

)z2

1exp(

2

1)s/z(p 2

0 −π

=

Curs TTI

97

Dacã se emite simbolul S1 , eşantioanele preluate ri/S1 sunt v. a. cu media egalã cu A şi dispersia σ2. Variabila aleatoare normatã:

va avea valoarea medie

iar dispersia :

deci:

D0

Având în vedere cã Z < >µ , rezultã cã probabilitatea luãrii deciziei D0 este egalã D1

cu probabilitatea ca Z<µ , adicã:

Deci vom avea:

Folosind funcŃia integralã Laplace existentã în tabele:

∑∑∑∑ +σ=++=+= 22222i

2i

2i

2

i ANNANnNA2)n()NAn()r(N

r)s/z(

N

1ii

1 σ=∑

=

2jiji A)An)(An(rr =++=

1NA

rA

2rN

1NAr

A2)r(

N

1

]AN

rN

1[]r

N

1.[Disp)s/z.(Disp

2

2

i2

2i22

2

i22

i2

2

i

N

1ii1

=σ

+σ

−σ

=σ

+σ

−σ

=

=

σ−

σ=

σ=

∑∑∑∑

∑∑=

]NA

z2

1[

2

1)s/z(p

2

1

σ−−

π=

)z(P)D(P 0 µ<=σ

+σ=µ2

NAKln

NA

∫

∫µ

∞−

µ

∞−

=µ<=

=µ<=

dz)S\z(p)z(P)S\D(P

dz)S\z(p)z(P)S\D(P

110

000

dt]t2

1exp[

2

1)x(F 2

x

−π

= ∫∞−

∑∑∑

==

=

σ=

σ=

σ=

σ=

σ=

N

1i

N

1ii

N

1ii

S\z

AN

N

NAA

N

1r

N

1

N

ra

1

Curs TTI

98

Vom obŃine:

În figurã s-au trasat curbele de variaŃie ale densitãŃilor de probabilitate p(z\S0) şi p(z\S1) unde s-a precizat valoarea pragului µ care fixeazã regula de decizie. D0

D1

Dacã z>µ se ia decizia D1 iar probabilitatea acestei decizii este:

łinând seama de eglitãŃile binecunoscute :

ProbabilitãŃile P(D1\S0) şi P(D0\S0) corespunzãtoare deciziei D1 se obŃin din relaŃiile:

Dacã cele douã figuri se pun pe o diagramã comunã constatãm cã p(z\S0) şi p(z\S1) se intersecteazã în punctul :

)2

NAKln

NA(F

)NA

2

NAKln

NA(F)

NA(F

dz])NA

z(2

1exp[

2

1)S\D(P

)2

NAKln

NA(F)(Fdz]z

2

1exp[

2

1)S\D(P

210

200

σ−σ=

=σ

−σ

+σ=σ

−µ=

=σ

−−π

=

σ+σ=µ=−

π=

∫

∫µ

∞−

µ

∞−

)z(P)D(P 1 µ>=

1)S\D(P)S\D(P)S\D(P)S\D(P 10110001 =+=+

)2

NAKln

NA(F1)S\D(P1)S\D(P

)2

NAKln

NA(F1)S\D(P1)S\D(P

1011

0001

σ−σ−=−=

σ+σ−=−=

σ=

2

NAZ0

∑ σ+σ=µ<>

σ=

2

NAKln

NAr

N

1Z i

)S\z(p 0 )S\z(p 1

z z

P(D0|S0) P(D1|S0)

P(D1|S1)

P(D0|S1)

µ µ σ

NA

Curs TTI

99

Dacã µ=Z0 atunci probabilitãŃile deciziilor false sunt egale:

Acest lucru impune ca lnK=0 , adicã testului K=1: Valorile probabilitãŃilor deciziilor vor fi acum:

Dacã K>1 , rezultã şi deci creşte suprafaŃa corespunzãtoare deciziei false P(D0\S1) şi scade cu aceeaşi cantitate P(D1\S0) Deci

5.3 DetecŃia continuuã a unui semnal binar

Vom considera cã observarea semnalelor binare recepŃionate se face în mod

continuu. Avem emise S0=0 şi S1=s(t) variabil în timp. Se presupune cã energia E a semnalului s(t) este finitã (E<infinit). Considerãm un zgomot aditiv gausian n(t) cu dispersia σ2 şi media nulã. Semnalul recepŃionat va fi :

x(t)=s(t)+n(t) , pentru S1

Se pune problema luãrii deciziei D0 sau D1 dupã cum s-a transmis S0 sau S1. 5.3.1 Descompunerea semnalului recepŃinat în sumã de funcŃii ortonormate Semnalul r(t) poate fi extins într-o serie Karhunnen Löeve aşa cum a fost arãtat în paragrafele precedente:

Unde l.i.m. este limita în medie patraticã iar funcŃiile ortogonale vi satisfac relaŃia de ortogonalitate:

)S\D(P)S\D(P 1001 =

)z(F)2

NA(F)S\D(P)S\D(P 01100 µ==

σ==

)2

NA(Fdz]z

2

1exp[

2

1dz]z

2

1exp[

2

11)S\D(P

2NA

222

NA

11 σ=−

π=−

π−= ∫∫

σ

∞−

σ−

∞−

σ>µ

2

NA

)S\D(P)S\D(P1K

)S\D(P)S\D(P1K

1001

1001

>⇒<<⇒>

∑=

∞=N

1iiiN )t(vrlim)t(r

P(z\S0) P(z\S1)

z µ σ2

NA

P(D0\S1) P(D1\S0)

σNA

Curs TTI

100

în plus avem

unde integrala este de asemenea o integralã definitã în media pãtraticã. Alegerea funcŃiilor ortonormate vi se face în aşa fel încât să respecte relaŃia de ortonormalitate, iar întreaga informaŃie referitoare la stabilirea deciziei sã fie conŃinutã în primul coeficient r1. În acest scop se considerã v1 de forma:

unde E este energia semnalului s(t) în intervalul de timp T cât dureazã emisia:

Celelalte funcŃii ortonormate vi(t) , i=1,2,…,N pot fi arbitrare, ele neintervenind în raportul de plauzibilitate aşa cum vom vedea. Ca urmare coeficientul r1 se obŃine ca:

În cazul transmiterii simbolului S0=0 la recepŃie soseşte numai zgomotul, adicã: r(t)=n(t) , drept pentru care

În cazul transmiterii simbolului S1 la recepŃie soseşte semnalul r(t)=s(t)+n(t) şi deci:

Coeficientii ri pentru i=1 au expresiile:

respectiv

şi ca atare

dar

≠=

=∫ji

jidttvtv j

T

i ,1

,0)()(

0

∫=T

0

ii dt)t(v)t(rr

∫ ∫==T

0

T

0

11 dt)t(s)t(rE

1dt)t(v)t(rr

∫ γ==T

0

01 dt)t(s)t(nE

1S|r

E

)t(sv1 =

∫=T

0

2dt)t(sE

γ+=+

=+=

∫∫

∫

Edt)t(s)t(nE

1dt)t(s

E

1

dt)t(s)]t(s)t(n[E

1S|r

T

o

T

o

2

T

0

11

∫=T

0

i01 dt)t(v)t(nS|r

∫∫∫ +=+=T

0

i

T

0

i

T

0

i11 dt)t(v)t(sdt)t(v)t(ndt)t(v)]t(s)t(n[S|r

0dt)t(v)t(vEdt)t(v)t(sT

0

i1

T

0

i == ∫∫

Curs TTI

101

deci

Din relaŃiile de mai sus se observã cã pentru i ≠1 coeficienŃii r i|S1 şi ri|S0 sunt identici. 5.3.2 Calculul raportului de plauzibilitate

DensitãŃile de probabilitate care intervin în raportul de plauzibilitate vor fi scrise în funcŃie de coeficienŃi ri în care a fost descompus semnalul adicã :

dat fiind cã r= ri este o statisticã suficientã şi cã ri|Sj sunt egali pentru i≠1 şi j∈0,1, putem presupune cã densitãŃile de probabilitate de la numãrãtorul şi numitorul expresiei se simplificã douã câte douã şi deci:

avem

şi

Pentru a determina densitatea de probabilitate a v.a. γ presupunem cã n(t) şi s(t) ocupã aceeaşi lungime de bandã W şi pe baza teoremei eşantionãrii avem :

iar

unde

łinând seama de faptul cã :

şi

1vE)t(s =

0i

T

0

i1i S|rdt)t(v)t(nS|r == ∫

)Sr(p)...Sr(p)Sr(p

)Sr(p)...Sr(p)Sr(p

)Sr,...,r,r(p

)Sr,...,r,r(p

)Sr(p

)Sr(p

0N0201

1N1211

0N21

1N21

0

1 ===∆

)Sr(p

)Sr(p

01

01=∆

∫=γ=T

0

01 dt)t(s)t(nE

1S|r

γ+= ES|r 11

)jT(tT

πsinc)x(jTx(t)

)jT(tT

πsinc)s(jTs(t)

)kT(tT

π)sincn(kTn(t)

00j

0

00j

0

k0

00

−=

−=

−=

∑

∑

∑

dttcsin)jT(stcsin)kT(nE

1

jj0

T

0 kk0

=γ ∑∫ ∑

W2

1T0 =

∫

≠=

==T

kjjk jk

jkTTtdtctc

0

00 ,0

,sinsin δ

Curs TTI

102

obŃinem

Deoarece eşantionele n(kT) sunt v.a. gaussiene suma ponderatã a acestora va fi tot o v. a. gaussianã. Rezultã cã pentru a determina densitatea de probabilitate a lui γ este suficient sã cunoaştem media şi dispersia. Media este:

deoarece n(kT)=0. Dispersia lui γ este:

Pentru raportul de plauzibilitate se va scrie deci:

( )( )

( )

−−=

−−

−==Λ2

0

12

0

21

2

1

01

11

2

2exp

2

1exp

σσ T

rEE

T

rEr

srp

srp

rezultând a fi o funcŃie de energia semnalului emis, E, de puterea zgomotului, σ2, şi de coeficientul r1 al dezvoltării semnalului recepŃionat r(t) în sumă de funcŃii ortogonale. łinând cont de expresia coeficientului r1 rezultă regulă de decizie : D0

KT

E

T

rEln

2ln

20

20

1

><

−=Λσσ

D1 sau într-o altă formă Ńinând seama de

dttrtsE

rT

)()(1

0

1 ∫=

D0

2

ln)()( 20

0

EKTdttstr

T

+><

∫ σ

D1 Integrala din relaŃia de mai sus este funcŃia de corelaŃie, evaluată în origine, a semnalului r(t) cu s(t). Pentru a se decide care semnal a fost emis se foloseşte următoarea schemă de receptor multiplicator integrator comparator r(t) →

s(t) T T0σ2ln k +E/2

0)jT(s 0 = Nj.pt ⟩

∑=

=γN

1k

0 )kT(s)kT(nE

T

∑=

γ ==γ=N

1k00

0 0)kT(s)kT(nE

Ta

∑=

=γ=γN

1k0

20

22

02 )kT(s)kT(nE

T.Disp 0)kT(n)jT(n 00 =

M C I

Curs TTI

103

5.3.3 ProbabilităŃile deciziilor corecte şi false Se rearanjează relaŃia de decizie Ńinând seama că:

dttrtsE

rT

)()(1

0

1 ∫= atunci

D0

2ln)()( 2

0

0

EKTdttstr

T

+><

∫ σ

D1

Devine o relaŃie normalizată D0

µσ

σ

σ=+

><

=∫

20

20

20

0

2

1ln

)()(1

T

Ek

E

T

T

dttrtsE

z

T

D1

D0

Deci µ><

z

D1 Ca urmare probabilitatea de decizie D0 este egală cu probabilitatea ca z < µ P(D0)=P(z < µ)

şi în consecinŃă aşa cum am procedat în cazul deciziei discrete vom avea :

( ) ( )dzszpSDPu

∫∞−

= 000

iar

( ) ( )dzszpSDP ∫∞−

=µ

110

FuncŃia aleatoare z va avea densitate de repartiŃie gaussiană fiind rezultatul prelucrării liniare a unui semnal aleator gaussian r(t) şi rezultă :

00 =sz 12

0

20

20

22 11

0===

σσ

σσ

σT

T

Tsr

sz 2

0

010

σT

srsz =

20

1 σT

Esz = 1

20

20

20

22 11

11===

σσ

σσ

σT

T

Tsr

sz 2

0

111

σT

srsz =

001 =sr 20

2

01σσ Tsr =

Esr =11 20

2

11σσ Tsr =

20

1

σT

rz =

( )

−= 20 2

1exp

2

1zszp

π

Curs TTI

104

P(z/s1)

µ

P(D1/S0)

P(D0/S0)

µ

P(D1/S0)

p(z/S1)

P(D0/S1)

20σT

E

( )

−−=

2

20

1 2

1exp

2

1

σπ T

Ezszp

În consecinŃă, trasând graficul acestor densităŃi aşa cum se vede în figură şi precizând valoarea pragului µ cele două probabilităŃi vor fi proporŃionale cu suprafeŃele haşurate din figură.

( ) ( )

+==

−= ∫∞−

20

202

00 2

1ln

2

1exp

2

1

σσµ

π

µ

T

Ek

E

TFFdzzSDP

( )

−=

−=

−−= ∫

∞−2

0

20

20

2

20

10 2

1ln

2

1exp

2

1

σσ

σµ

σπ

µ

T

Ek

E

TF

T

EFdz

T

EzSDP

în care s-a folosit integrala Laplace :

( ) dttxFx

∫∞−

−= 2

2

1exp

2

1

π

Dacă Ńinem seama de relaŃiile : ( ) ( ) ( ) ( )10110100 SDPSDPSDPSDP +=+

vom avea

( ) ( )

+−=−=

20

20

0011 2

1ln11

σσ

T

EK

E

TFSDPSDP

Curs TTI

105

şi ( ) ( )

−−=−=

20

20

1011 2

1ln11

σσ

T

EK

E

TFSDPSDP

Dacă pragul testului lui Bayes este K=1 ştiind că ( ) ( )xFxF −=− 1 rezultă că

( ) ( )

−==

20

0110 2

11

σT

EFSDPSDP

( ) ( )

==

20

1100 2

1

σT

EFSDPSDP

Constatăm o asemănare între probabilităŃile deciziilor detecŃiei continue cu cele

corespunzătoare din detecŃia discretă dacă 0TENA = . Şi în acest caz vom avea :

k>1

( ) ( )1001 SDPSDP><

k<1

5.4 DetecŃia a două semnale binare observate continuu

Seamănă cu cea aterioară doar că de data aceasta 00 ≠S şi ca atare avem ( )tsS 00 =

( )tsS 11 = ( )∫=T

dttsE0

200 ( )∫=

T

dttsE0

211 ( ) ( )tutsSr += 00 ( ) ( )tutsSr += 11 şi în

cazul unui zgomot gaussian de medie nulă şi putere 2σ obŃinem regula de decizie: D0

( ) ( ) ( ) ( )∫ ∫−

+><

−T t EE

KTtstrdttstr0 0

00200 2

lnσ

D1

Schema unui asemenea receptor este: S1(t) I1

D0

r(t)

D1

I2

S2(t)

M 1 ∫ M2

∫∑ C

Bibliografie

1. M. E. Borda, „Teoria informaţiei şi codării ∗ Fundamente şi aplicaţii”, Dacia, Cluj-Napoca,1999;

2. V. Stoica, A. Mihăescu, „Teoria transmisiunii informaţiei”, I. P. Timişoara, 1990;

3. Al. Spătaru, „Teoria transmisiunii informaţiei”, E. D. P., Bucureşti, 1983;

4. Al. Spătaru, „Fondements de la theorie de la transmission de l’information”, PressesPolytehniques Romandes, Lausanne, 1987;

5. A. T. Murgan, „Teoria transmisiunii informaţiei –probleme”, E. D. P., Bucureşti, 1983;

6. V. Munteanu, „Teoria transmisiunii informaţiei”, E. „Gh. Asachi”, Iaşi, 2001.

CULEGERE DE PROBLEME TIC

1

Cap. 1 Probabilităţi. Informaţia

Dicţionar:- aposteriori (a posteriori) -locuţiune latină: “din ceea ce urmează”, după experienţă, pornind de la datele ei;- apriori (a priori) - locuţiune latină: “din ceea ce precede”, anterior experienţei;- binar -1.care este constituit din două elemente; 2.a cărui bază este numărul 2;- bit/biţi -1. Unitate de măsură a informaţiei; 2.simbol binar;- discret -care este alcătuit din elemente distincte; care variază în salturi; cuantificat; discontinuu;- echiprobabil(e) -de egală probabilitate;- informaţie -necesarul/rezultatul cunoaşterii;- probabilitate -1.însuşirea de a fi probabil; 2.măsură (funcţie) definită pe un câmp de evenimente, p : Ω→[0,1].

Definiţii:- sursă de informaţie (sau experiment probabilistic) = un mecanism (un experiment) prin care se selectează un mesaj

(un eveniment) dintre n posibile după o lege arbitrară (sau cel puţin necunoscută);- mesaj (eveniment) = realizarea produsă în urma efectuării experimentului;- 1 bit = cantitatea de informaţie furnizată de o sursă de informaţie binară, fără memorie, echiprobabilă, printr-un mesaj

al ei;- eveniment elementar = un eveniment ce nu poate fi definit ca o reuniune de două evenimente distincte între ele şi de

primul.

Breviar teoretic:1. Probabilitate

Determinarea experimentală a probabilităţii de realizare a unui mesaj (eveniment) A se face dupărelaţia:

2. Probabilitate condiţionatăDeterminarea experimentală a probabilităţii de realizare a evenimentului (mesajului) B atunci cânds-a realizat evenimentul (mesajul) A se face după relaţia:

3. Formula fundamentală a probabilităţilor evenimentelor elementareDacă Ai, i = 1÷n sunt evenimentele elementare ale unui experiment probabilistic (mesajele uneisurse de informaţie) atunci:

( )∑=

=n

1ii 1Ap (1.3)

4. Relaţia lui BayesDacă A şi B sunt două evenimente atunci:

( ) ( ) ( ) ( ) ( )A/BpBpB/ApApBA,p ⋅=⋅= (1.4)unde p(A, B) = probabilitatea de a se realiza şi A şi B.

5. Formula probabilităţii totaleDacă Ai cu i = 1, n sunt evenimentele elementare ale unui experiment probabilistic şi B uneveniment oarecare pentru acelaşi experiment atunci:

( ) ( ) ( )∑=

⋅=n

1iii B/ApApBp (1.5)

6. Evenimente independenteSetul de evenimente Ai, i ∈ I, sunt independente dacă şi numai dacă pentru ∀ J ⊂ I( ) ( )iiii

Ap ApJJ ∈∈

Π=∩ (1.6)

În particular, A şi B sunt două evenimente independente dacă şi numai dacă:

2

( ) ( ) ( ) ( )BpApBApBA,p ⋅=∩= (1.7)şi utilizând relaţia (1.4)

( ) ( )( ) ( )B/ApBp

A/BpAp==

(1.8)

7. InformaţiaCantitatea de informaţie necesară ridicării nedeterminării asupra evenimentului A este egală cu ceafurnizată de realizarea evenimentului A şi egală cu :

( ) ( ) Ap1logAi 2= [biţi] (1.9)

1.1 Zece mingi sunt puse în trei cutii C1, C2, C3. Care este probabilitatea ca în C1să fie 3 mingi?

Rezolvare:Fiecare minge poate fi aşezată în oricare din cele trei cutii; astfel că fiecare minge triplează numărulde variante de aşezare a mingilor în cutii. Aşadar numărul de variante de aşezare a mingilor în cutiieste:

N = 3⋅3⋅3 ..... ⋅3 = 310 = 59.049 (1.1.1)

Pentru a avea trei mingi în C1 trebuie ca celelalte şapte să fie aşezate în C2şi C3. Numărul de variante cu trei mingi în C1 va fi:

15.3601281202CN 73103C1

=⋅=⋅= (1.1.2)

unde 310C reprezintă numărul de moduri de alegere a 3 mingi din 10 posibile (considerând mingile

distincte); iar 27 reprezintă numărul de posibilităţi de aşezare a şapte mingi în două cutii, C2 şi C3.Probabilitatea cerută este:

26%3

2CP 10

7310

3C1≅

⋅= (1.1.3)

1.2. Trei trăgători trag simultan asupra aceleiaşi ţinte. Probabilitatea ca fiecaretrăgător să nimerească ţinta este p1 = 0,4; p2 = 0,5; p1 = 0,7. Notând cu Aevenimentul ca ţinta să fie lovită, B evenimentul ca ţinta să fie lovită exact o datăsă se afle:a) p(A);b) p(B);c) dacă cele două evenimente A şi B sunt independente.

3

Rezolvare:a) Calculând probabilitatea evenimentului contrar lui A:

( ) ( ) ( )( ) 9%p1p1p1Ap 321 =−−⋅−= (1.2.1)rezultă că:

( ) ( ) 91%Ap1Ap =−= (1.2.2)

b) Avem că:

( ) ( ) ( )( ) ( )( )

( ) ( ) ( )( ) 36%pp1p1p1pp1 p1p1pAAAp

AAApAAApBp

321321

321321

321321

=−−+−−++−−=∩∩+

+∩∩+∩∩=

(1.2.3)

unde cu Ai s-a notat evenimentul ca trăgătorul i să nimerească ţinta.c) Pentru ca cele două evenimente să fie independente este necesar ca:

p(A/B) = p(A) (1.2.4)

dar cum:

p(A/B) = 100% (1.2.5)

rezultă că cele două evenimente nu sunt independente.

1.3. Fie două urne, U1 (ce conţine 2 bile albe şi 3 bile negre) şi U2 (ce conţine obilă albă şi 5 bile negre). Se extrage o bilă din U1 şi se introduce în U2, apoi seextrage o bilă din U2. Care este probabilitatea ca bila transferată să fi fost albădacă bila extrasă din U2 este: a) albă; b) neagră?

Rezolvare:Fie evenimentele A – bila transferată este albă; B – bila extrasă din U2 este albă;a) Pentru a calcula p(A/B) aplicăm formula lui Bayes:

( ) ( ) ( ) ( )A/BpBpB/ApAp ⋅=⋅ (1.3.1)

Probabilităţile ( ) ( ) Ap si Ap se calculează simplu:

( )52Ap = şi ( )

53Ap = (1.3.2)

Probabilitatea condiţionată p(B/A) este:

p(B/A) =2/7 (1.3.3)

4

iar p(B) se poate calcula cu formula probabilităţii totale:

( ) ( ) ( ) ( ) ( )51

71

53

72

52AB/pApB/ApApBp =⋅+⋅=⋅+⋅= (1.3.4)

Astfel:

( ) ( ) ( )( ) 7

4

51

72

52

BpB/ApApA/Bp =

⋅=⋅= (1.3.5)

b) În mod analog

( ) ( ) ( ) ( ) ( ) ( )

54

76

53

75

52

A/BpAp/ABpApBp;75/ABp

=⋅+⋅=

=⋅+⋅==(1.3.6)

( ) ( ) ( )( ) ( )A/Bp

72,5

145

54

75

52

Bp/ABpApBA/p !==

⋅=⋅= (1.3.7)

Se observă, cum era de aşteptat, că este mai probabil să se fi transferat o bilă albă dacă din adoua urnă a fost extrasă o bilă albă.

1.4. La un examen oral studenţii consideră că din totalul subiectelor m suntuşoare şi n grele. Precizaţi:a) Probabilitatea ca primul student să extragă un subiect uşor;b) Probabilitatea ca cel de-al doilea student să extragă un subiect uşor.

Rezolvare:a) Cu notaţiile: A – evenimentul prin care primul student extrage un subiect uşor;

B – evenimentul prin care cel de-al doilea student extrage un subiect uşor, avem că:

( ) ( )nm

nAp nm

mAp+

=+

= (1.4.1)

iar

( ) ( )1nm

mAB/p 1nm

1mB/Ap−+

=−+

−= (1.4.2)

c) Pentru calcului lui p(B) se utilizează formula probabilităţii totale, relaţia (1.5). Rezultă că:

( )( )

( )( ) nm

m1mnnm

1nmmnm

n1nm

m nm

m1nm

1mBp

+=

−++−+=

=+

⋅−+

++

⋅−+

−=(1.4.3)

5

adică p(A) = p(B) cum era de aşteptat.

Obs: - cele două probabilităţi p(A) şi p(B) sunt probabilităţi apriori (dinainte de producereaevenimentelor). Înainte ca primul student să extragă un subiect, toţi studenţii, indiferent de ordinealor, au şanse egale la a extrage un subiect uşor.

1.5. Un tetraedru regulat are feţele colorate, una în roşu, una în galben, una înverde, iar cea de-a treia conţine pe toate trei culorile. Se lasă să cadă tetraedrulpe una din feţe. Fie evenimentele:R - faţa pe care a căzut tetraedrul conţine roşu; G - faţa pe care a căzuttetraedrul conţine galben; V - faţa pe care a căzut tetraedrul conţine verde.a) cât este probabilitatea evenimentului roşu, p(R)?b) cât este probabilitatea condiţionată p(R/G)?c) sunt evenimentele R, G şi V independente?

Rezolvare:a) Probabilitatea evenimentului roşu este:

b) Probabilitatea de a se realiza evenimentului roşu dacă s-a realizat galben este:

( )21R/Gp = (1.5.2)

deoarece una din două feţe ce conţin galben conţine şi roşu.c) Pentru ca evenimentele R, G şi V să fie independente trebuie să fie îndeplinite relaţiile:

( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )( ) ( ) ( ) ( )

⋅⋅=∩∩⋅=∩⋅=∩⋅=∩

VpRpGpVRGpVpGpVGpVpRpVRpGpRpGRp

(1.5.3)

Aplicând relaţia (1.1), găsim că:

( ) ( ) ( ) ( ) ( ) ( )

( )41VRGp

41VGpVRpGRp

21VpGpRp

=∩∩

=∩=∩=∩===(1.5.4)

Cum ultima relaţie din (1.5.3) nu este verificată evenimentele R, G şi V nu sunt independente.

6

1.6. Pot fi simultan două evenimente şi incompatibile şi independente?

Rezolvare:Fie A şi B două evenimente. Incompatibilitatea lor presupune ca:

( ) 0BAp =∩ (1.6.1)iar independenţa:

( ) ( ) ( )BpApBAp ⋅=∩ (1.6.2)

Din cele două relaţii rezultă că cele două evenimente pot fi independente, fiind incompatibile, doardacă unul este de probabilitate nulă. Altfel spus, două evenimente de probabilităţi nenule pot fiindependente doar dacă sunt compatibile.

1.7. O imagine alb negru se compune din 1024 x 256 pixeli. Fiecare pixel poateavea un nivel de gri dintre 64 posibile. Aflaţi informaţia furnizată de: a) unpixel; b) întreaga imagine.

Rezolvare:a) Considerând egal probabile nivelele de gri, conform definiţiei informaţiei unui eveniment:

( ) ( ) 6641loggri nivelplogpixeli 22 =−=−= biţi (1.7.1)

c) Întreaga imagine furnizează de 1024 x 256 ori mai multă informaţie:

( ) ( ) 101,5pixeli2561024imaginei 6⋅≅⋅⋅= biţi (1.7.2)

1.8. a) Care este numărul de întrebări minime necesare pentru a afla un numărnecunoscut Nx cuprins între 1 şi 1000? Întrebările pot fi de genul :

“Numărul Nx este mai mare decât Np (nominalizat)?” b) Cât este primul prag Np1 şi cât este informaţia conţinută de răspunsul laîntrebarea: “Numărul Nx este mai mare decât 348?”

Rezolvare:a) Informaţia necesară pentru a afla numărul Nx necunoscut este:

( ) 1000 log1/1000

1logNp1logi 22

x2N === biţi (1.8.1)

Informaţia obţinută prin răspunsul la o întrebare este:

7

( ) ( ) ( ) ( )p

p

p

pP

N2N

N2NN Ap

1logApAp1logApi ⋅+⋅= (1.8.2)

unde ANp este evenimentul prin care numărul Nx este mai mare decât pragul Np. Evident:

( ) ( ) 1ApAppp NN =+ (1.8.3)

şi putem scrie:( ) ( )

pp NN Ap1Apx −== (1.8.4)

de unde

( ) ( ) [ ]0,1cu x x1

1logx1x1xlogxii 22Np

∈−

−+== (1.8.5)

Funcţia i(x) îşi atinge maximul dacă

21x = (1.8.6)

Valoarea maximului este:

bit 1im = (1.8.7)

şi corespunde unui prag:

499Npm = (1.8.8)

Aşadar, dacă pragul este ales la jumătatea intervalului în care se cunoaşte că se află Nxinformaţia obţinută prin răspunsul la întrebare (în cazul cel mai defavorabil) este maximă şi egalăcu 1 bit.

Cert, numărul minim de întrebări este:

unde [y]sup denotă numărul întreg superior lui y.

Obs: numărul n = 10 găsit cu raţionamentul anterior este “minim” în cazul general, acest lucruînsemnând că indiferent de Nx prin 10 întrebări de tipul celei din enunţ (cu pragurile alese “lajumătate”) se află valoarea sa. Există cazuri particulare când, pentru anumite valori a lui Nx, să fiesuficiente mai puţine întrebări (ex: Nx = 1 şi Np = 1) dar pentru astfel de cazuri intervine “şansa”!

b) Din relaţia (1.8.8) Np1 = 499;Dacă pragul se alege (la prima întrebare) Np1 = 348 avem că

8

( ) 0,6521000

3481000Ap =−= şi ( ) 0,348Ap = (1.8.10)

de unde:

( ) 0,932348

1000log0,348652

1000log0,652348i 22 =⋅+⋅= biţi (1.8.11)

Rezultatul cuprins în relaţia (1.8.11) arată că dacă pragurile nu vor fi alese “la jumătate” existăposibilitatea să nu fie suficiente 10 întrebări !

1.9. Câte cântăriri sunt minim necesare pentru a preciza o monedă falsă din 12şi dacă moneda este mai grea sau mai uşoară? Moneda falsă diferă prin greutateiar cântăririle se fac pe o balanţă cu talere.

Rezolvare:Informaţia necesară pentru a soluţiona problema este:

24log2log12logi 222nec =+= biţi (1.9.1)

unde log212 este informaţia necesară pentru a afla moneda din 12, iar log22 este informaţia necesarăpentru a afla dacă moneda este mai grea sau mai uşoară.

Informaţia maximă furnizată de o cântărire este:

3logi 2cm = biţi (1.9.2)

şi se atinge dacă cele trei variante rezultat al unei cântăriri cu balanţa(A-balanţa se înclină spredreapta, B-balanţa se înclină spre stânga, C-balanţa nu se înclină) sunt egal probabile:

( ) ( ) ( )CpBpAp == (1.9.3)

Numărul de cântăriri cerut va fi:n

22cmnecsupcm

nec 3log24logsau inisau ii

n ≤⋅≤

= (1.9.4)

cu soluţia:nmin = 3 (1.9.5)

Obs: - relaţia (1.9.2) este valabilă doar dacă cele trei variante rezultat ale cântăririi sunt egalprobabile. Astfel dacă cele 12 monezi se notează cu M1, M2, ....., M12 prima cântărire constă în acompara pe M1+ M2+ M3+ M4 cu M5+ M6+ M7+ M8. O posibilă rezolvare a problemei poate fi:A1 – moneda falsă este - mai uşoară şi este M1, M2, M3, sau M4.

- mai grea şi este M5, M6, M7, sau M8.B1 – moneda falsă este - mai grea şi este M1, M2, M3, sau M4.

-mai uşoară şi este M5, M6, M7, sau M8.C1 – moneda falsă este mai grea sau mai uşoară şi este M9, M10, M11, sau M12.

9

Dacă rezultatul primei cântăriri este A1, indicele 1 semnifică prima cântărire, A rezultatul ei,atunci se compară M1+ M2+ M5 cu M3+ M4+ M6

- dacă la a doua cântărire rezultă A2 atunci fie M1 sau M2 e mai uşoară fie M6 e mai grea şise compară în continuare M1 cu M2;

- dacă la a doua cântărire rezultă B2 atunci fie M3 sau M4 e mai uşoară fie M5 e mai grea şise compară în continuare M3 cu M4;

- iar dacă la a doua cântărire rezultă C2 atunci fie M7 e mai grea fie M8; se compară M7 cuM8.În mod analog pentru B1 şi C1.Obs: - relaţia (1.9.4) indică că problema ar putea fi rezolvată şi pentru 13 monezi în locul celor 12:

3cu 3log27log26log 222 ==≤ nn

În realitate problema cu 13 monezi nu poate fi complet soluţionată din 13 cântăriri pentrucă nu se poate asigura echiprobabilitatea rezultatelor.

1.10. Cât este informaţia obţinută în diferitele variante de rezolvare a problemeicu 12 monezi? Dar cu 13 monezi?

Răspuns:Pentru varianta A1 A2 A3 (cu 12 monezi):

4,73123log28log

82

38log

8323logI 2222 =+

⋅+⋅⋅+= biţi

Obs: informaţia obţinută la a doua cântărire este mai puţină decât cea presupusă, log23 biţi.

1.11. Un convertor analog-numeric (CAN) converteşte tensiunea de intrare Uxîntr-un număr Nx conform relaţiei:

=

qUN x

x (1.11.1)

unde Ux poate lua valori între 0 şi Umax = 12,8 V; q este cuanta conversiei, q =50mV; [y] semnifică partea întreagă a lui y.a) Câtă informaţie furnizează la ieşirea sa CAN-ul prin fiecare număr generat şicâtă informaţie se pierde ?b) Dacă CAN-ul foloseşte pentru conversie, în mai mulţi paşi succesivi, uncomparator, să se stabilească câtă informaţie furnizează comparatorul la un pasşi câţi paşi sunt necesari pentru efectuarea conversiei ?c) Care sunt tensiunile de prag ale comparatoarelor utilizate, Upi, în conversiatensiunii Ux = 7,43 V, în cazul în care conversia se face într-un număr minim depaşi ?

Răspuns:a) i = 8 biţi; în mod ideal Ux conţine + ∞ informaţie.

10

În realitate măsurarea unei tensiuni Ux este limitată (ca şi precizie) fie de rezoluţia aparatelor fie denivelul zgomotului.b) ic = 1 bit; 8 paşi;c) Up1 = 6,4 V; Up2 = 9,6 V; Up3 = 8 V; Up4 = 7,2 V; Up5 = 7,6 V; Up6 = 7,4 V; Up7 = 7,5 V; Up8 =7,45 V.

1.12. Un CAN de mare viteză utilizează 128 de comparatoare pentru a faceconversia tensiunilor de intrare din intervalul [-12,8V, +12,8V] la o rezoluţie deq=100mV. Determinaţi “redundanţa” în componente a CAN-ului.

Rezolvare:Numărul de “răspunsuri” distincte ale CAN –ului pentru o tensiune Ux ce variază de la - 12,8 V la+12,8 V este:

8minmax 2256q

UUN ==

−= (1.12.1)

Probabilitatea ca o tensiune Ux să genereze un răspuns din cele N posibile este:

p0 = 1/N = 2-8 (1.12.2)

iar informaţia conţinută de un “răspuns” este:

8plogi 020 =−= biţi (1.12.3)

Pentru că un comparator “alege” o variantă din două posibile, informaţia furnizată de el este:

bit 121logi 2c =−= (1.12.4)

Aşadar în mod ideal, pentru o conversie sunt suficiente:

n = i0/ic = 8 comparatoare (1.12.5)

de unde rezultă că redundanţa este de 120 de comparatoare.

Obs: Motivaţia utilizării a mai multor comparatoare constă în faptul că, la folosirea doar a 8comparatoare, sunt necesare tensiuni de prag variabile în funcţie de tensiunea Ux, lucru ce scadeviteza de conversie.

1.13. La o transmisie numerică informaţia utilă se transmite prin secvenţebinare de câte n biţi, numite cuvinte. Câtă informaţie este necesară pentru apreciza poziţia unui bit eronat din cei n? Dar pentru doi biţi eronaţi?Exemplificare pentru n = 8.

11

Rezolvare:Informaţia cerută se calculează cu formula:

i = log2 n (biţi) (1.13.1)

Se consideră că transmiterea (implicit eronarea) unui bit este independentă de a celorlalţi. Aşadar,pentru un bit eronat i1 = 3 biţi; pentru doi biţi eronaţi 4,8Clogi 2

822 ≅= biţi.

1.14. Aceeaşi întrebare ca şi la problema 1.13, cu diferenţa că este o transmisieternară.

Rezolvare:În cazul transmisiei ternare corecţia unui simbol (ternar) eronat presupune pe lângă aflarea

poziţiei sale (fapt ce necesită aceeaşi informaţie ca şi la secvenţa binară), şi valoarea simboluluiiniţial, valoare ce poate fi una din două posibile. Cu aceste justificări, răspunsurile vor fi:

i1 = log2 n (pentru aflarea poziţiei) + log2 2 (pentru aflarea valorii) = 4 biţi (1.14.1)

6,8log2Clogi 22n22 ≅+= biţi (1.14.2)

În relaţia (1.14.2) s-au adăugat 2 biţi de informaţie necesari aflării valorii “adevărate” pentrudouă simboluri ternare eronate.

1.15. La o transmisie binară informaţia utilă este transmisă prin cuvinte de n=8biţi printr-un canal cu rata erorii p=10-3. Câtă informaţie, în medie pe uncuvânt, este necesară pentru a face:a) detecţie de o eroare pe cuvânt?b) detecţie de una sau două erori pe cuvânt?

Rezolvare:a) Probabilitatea ca un cuvânt să fie eronat într-o poziţie este:

( ) ( )[ ] =−−⋅⋅≅−⋅⋅= − 1np1pCp1pCp 1n

1n1n1

33 107,9440,993108 −− ⋅=⋅⋅= (1.15.1)

p1 este şi probabilitatea ca receptorul să detecteze o eroare. Cert 1-p1 este probabilitatea careceptorul să ia decizia că nu există eroare (incluzând cazurile corecte şi false).

Fie a şi b ∈ Ν astfel încât:

p1 = a/b şi 1- p1 = (b-a)/b (1.15.2)

12

Aşadar din b cuvinte transmise a sunt detectate cu eroare. Pentru a detecta un astfel de cuvânt estenecesară informaţia:

121d plogi −= (1.15.3)

b-a cuvinte din cele b sunt considerate neeronate, pentru un astfel de cuvânt fiind necesarăinformaţia:

( )121n p1logi −−= (1.15.4)

Concluzionând pentru b cuvinte recepţionate este necesară informaţia:

b ⋅ i1 = a ⋅ i1d + (b-a) ⋅ i1n (1.15.5)

iar pentru un singur cuvânt recepţionat, pentru a face detecţie de o eroare:

=⋅−+⋅= 1n1d1 ib

abibai

( ) ( ) =−⋅−−⋅−= 121121 p1logp1plogp = 0,0668 biţi/cuvânt (1.15.6)

b) Şi în acest caz informaţia cerută are aceeaşi formă cu (1.15.6) doar că diferă p1:

( ) ( )2212222 p1logp1plogpi −⋅−−⋅−= (1.15.7)

unde p2 este probabilitatea ca un cuvânt să fie eronat într-o poziţie sau în două poziţii:

( ) ( ) 32n22n

1n1n2 107,972p1pCp1pCp −−− ⋅=−⋅⋅+−⋅⋅= (1.15.8)

de unde rezultă pentru i2 valoarea:

i2 = 0,067 biţi/cuvânt (1.15.9)

Obs: Detecţia prezenţei erorilor presupune a decide între două variante: există sau nu există eroriîn cuvântul în cauză. Informaţia furnizată de o astfel de decizie (una din două posibile) este, înmedie, subunitară, încât problema detecţiei din punct de vedere strict al informaţiei este solvabilăcu 1 bit (de informaţie) pe cuvânt, indiferent de p sau n.

13

Cap. 2 Surse de informaţie

Dicţionar:- eficienţă –raportul dintre ansamblul efectelor utile (rezultatelor) ce se obţin de pe urma unei activităţi şi totalul

eforturilor;- entropie (limba greacă “entropie”=întoarcere, schimbare) –mărime ce indică gradul de nedeterminare asupra unui

sistem;- extensie –dezvoltare, creştere, amplificare, extindere;- graf –cuplu format dintr-o mulţime ale cărei elemente se numesc vârfuri şi dintr-o funcţie care asociază, la orice

pereche ordonată de vârfuri (primul numit sursă iar al doilea adresă), un element, numit săgeată, al unei altemulţimi.

- redundanţă (redondanţă) –1.abundenţă (inutilă) de cuvinte, de figuri retorice, de imagini pentru exprimarea uneiidei; 2.excesul de informaţie faţă de strictul necesar;

- stare –1.situaţie în care se află ceva sau cineva; 2.ansamblul valorilor instantanee a parametrilor ce caracterizeazăcomplet un sistem dat;

- staţionar –care rămâne în aceeaşi stare;

Definiţii:- Sursă de informaţie text = sursa de informaţie, de regulă considerată fără memorie, având drept simboluri caracterele

distincte din textul dat (opţional se pot include semne de punctuaţie, pauzele dintre cuvinte, cifrele, etc)..Probabilităţile diferitelor simboluri vor fi ponderile lor în text.

- Extensia unei surse = fiind dată o SDFM, S cu N simboluri, se defineşte extensia de ordin n a sursei, notată Sn, sursaavând un număr de Nn simboluri obţinute din toate combinaţiile posibile de mesaje compuse din n simboluriale sursei S.

- Sursă cu memorie (Markov) de m paşi = sursa de informaţie cu N simboluri pentru care emisia celui de-al m+1-leasimbol depinde de cele m simboluri anterior emise.

- Starea sursei Markov de m paşi = setul ultimelor m simboluri emise. Dacă sursa poate emite M simboluri şi este cumemorie de m paşi atunci admite Mm stări.

- Probabilitate de trecere p(Sj/Si) = probabilitatea ca sursa Markov să treacă în starea Sj = skm-1 skm-2 ..... sk0 (prinemiterea simbolului sk0), dacă se află în starea Si = skm-2 skm-1 ..... sk1.

- Matricea de tranziţie,T = o matrice pătrată de ordin Mm ce conţine toate probabilităţile de trecere;- Graful sursei cu memorie = graful ale cărui noduri reprezintă stările sursei, iar coardele (săgeţile) ce leagă nodurile

probabilităţile de trecere.- Sursă Markov staţionară = probabilităţile de trecere în n paşi converg către limite independente de starea iniţială

când n → ∞.- Stare de staţionaritate (a unei surse Markov staţionare) = un vector, P* de dimensiune M ce conţine

probabilităţile *jp , j = 1, M ce verifică sistemul:

=

=⋅

∑=

M

1j

*j

**

1p

PTP(2.1)

Probabilitatea *jp reprezintă şansa ca sursa Markov, după n paşi cu n → ∞ să se găsească în starea Sj.

Notaţii:S –sursă de informaţie;N –numărul de simboluri;Si, i = 1÷÷÷÷ N –simbolurile sursei;pi, i = 1÷÷÷÷N –probabilităţile de emisie a simbolurilor Si;Sm –extensia de ordin m a sursei SDFM, S;Sj, j = 1÷÷÷÷ Nm –stările sursei cu memorie, S;T –matricea de tranziţie;ppm –părţi per milion (1ppm=10-6).

Abrevieri:SDFM –Sursă Discretă Fără Memorie.

14

Breviar teoretic:1. Mărimi ce caracterizează sursa de informaţie:

--entropia SDFM:

( )i

2

N

1ii p

1logpSH ∑=

= (2.2.a)

--entropia sursei cu memorie:

( ) ( ) ( )ji2ji

N

1j

N

1i

*j /SSp

1log/SSppSH ∑∑= =

= (2.2.b)

-entropia maximă:( ) NlogSH 2max = (2.3)

--eficienţa:( ) ( )S/HSH max=sη (2.4)

--redundanţa:R(S) = Hmax(S) – H(S) (2.5)

--redundanţa relativă:( ) ( )S/HSR max=sρ (2.6)

2. Formulă pentru schimbarea bazei logaritmului:

ln2lnxxlog2 = (2.7)

3. Condiţia de existenţă a stării de staţionaritate pentru sursă cu memorie: ∃ n0∈Ν astfel încât Tn0 să fie o matrice regulată (are toate elementele strict pozitive)

2.1. O sursă de informaţie discretă are entropia egală cu 4,8 biţi/simbol şiredundanţa relativă 9,8%. Câte simboluri are sursa?

Rezolvare:Din relaţiile de definiţie a entropiei maxime şi a redundanţei relative pentru o sursă discretă fărămemorie:

NlogH 2max = (2.1.1)

( )maxHSH1−=ρ (2.1.2)

unde: H(s)-entropia sursei; Hmax-entropia maximă, ρ-redundanţa relativă, N-nr. de simboluri asursei, găsim că:

( ) 2,90

1008,41

SHHmax⋅=

−=

ρ(2.1.3)

şi:402N maxH == (2.1.4)

15

2.2. Fie sursa de informaţie S:

=

161

41

161

21

81

S S S S SS

54321

Se cere să se calculeze:a) informaţia medie pe simbol, H(s);b) valoarea maximă a entropiei sursei Hmax;c) eficienţa sursei ηηηηs;d) redundanţa sursei R;e) redundanţa relativă ρρρρ.

Rezolvare:a) Informaţia medie pe simbol sau entropia sursei H(S) se calculează cu formula:

( ) ( ) ( )∑=

=N

1i i2i sp

1logspSH (2.2.1)

unde: N – numărul de simboluri a sursei S;si, N1,i = , – simbolurile sau mesajele sursei S;p(si) – probabilitatea ca sursa să emită simbolul si.Înlocuind rezultă că:

( ) 16log1614log

4116log

1612log

218log

81SH 22222 ++++=

8

178

24443164

42

84

21

83 =++++=++++=

= 2,125 biţi/simbol (2.2.2)

b) Entropia maximă este:

323,25logNlogH 22max ≅== biţi/simbol (2.2.3)

c) Eficienţa sursei este:

( ) 91,5% H

SH

max

==sη (2.2.4)

d) Redundanţa sursei R este diferenţa dintre entropia maximă şi entropia sursei date:

R = Hmax - H(S) = 0,197 biţi/simbol (2.2.5)

e) Redundanţa relativă, cu formula de calcul (2.6), are valoarea:

ρ = 8,5% (2.2.6)

16

2.3. Sursa de informaţie discretă şi fără memorie S are drept simboluricaracterele distincte din următoarea propoziţie (sursă text):

NU UITA NICI PAUZELE DINTRE CUVINTE .Probabilităţile simbolurilor (caracterelor distincte) sunt ponderile lor din text.Se cere:a) tabloul simboluri-probabilităţi pentru sursa S;b) entropia H(S), redundanţa R şi eficienţa ηηηηs sursei S;c) probabilitatea ca sursa să emită mesajul “AUR”.

Rezolvare:a) tabloul simboluri-probabilităţi este:

=

361

365

361

361

364

363

361

361

364

361

365

364

361

362

362

. _ ZV UT R P N L I E D CA S (2.3.1)

b) Conform relaţiei de definiţie entropia sursei este:

( ) ( ) ( )∑=

=N

1i i2i sp

1logspSH

∑∑ ∑== =

−==N

1ii2

iN

1i

N

1i2

i

i2

i klog36k

36log36k

k36log

36k

(2.3.2)

unde: – N = 15 numărul de simboluri a sursei S;

– 1,15,i ,36kp i

i == - probabilităţile simbolurilor.

Înlocuind în (2.3.2) valorile obţinute pentru ki din tabloul (2.3.1) găsim:

( ) ( +⋅+⋅⋅+⋅⋅−= 3log31log172log2236136logSH 2222

)=⋅⋅+⋅⋅+ 5log524log42 22

( )

=−+=

=⋅++⋅+−⋅+=

5log36103log

3669

3652

5log10163log343613log22

22

222

= 3,8373 biţi/simbol (2.3.3)

Redundanţa şi eficienţa sursei se obţin cu relaţiile:

( ) ( )SHNlogSHHR 2max −=−=( ) ( )

NlogSH

HSH

2max

==sη (2.3.4)

Cunoscând N = 15 şi cu H(S) dat de (2.3.3) găsim:

17

R = 0,06958 biţi/simbolηs = 98,22% (2.3.5)

c) Sursa S fiind fără memorie probabilitatea cerută va fi:

( ) ( ) ( ) ( ) 4101,715361

364

362RpUpApAURp −⋅=⋅⋅=⋅⋅= (2.3.6)

2.4. Fie sursa de informaţie discretă şi fără memorie:

=

10025

1008

1002

1005

10030

10020

10010

S S S S S S S S

7654321

Să se calculeze pentru sursa S:a) entropia H(S);b) valoarea maximă a entropiei sursei Hmax;c) eficienţa sursei ηηηηs;d) redundanţa sursei R;e) redundanţa relativă ρρρρ.

Răspuns:a) H(S) = 2,44 biţi/simbolb) Hmax = 2,8 biţi/simbolc) ηs = 86,85%d) R = 3,7 biţi/simbole) ρ = 13,15%

2.5. Fie sursa text:STUDENTUL *** REZOLVA O PROBLEMA DE TTI .

a) înlocuiţi *** cu numele şi prenumele dumneavoastră şi construiţi în acest caztabloul sursei;b) calculaţi entropia şi eficienţa sursei de la punctul a);c) cât este probabilitatea ca sursa de la a) să emită mesajul “MAR”.

Răspuns:pentru *** = POP ION

a)

=

441

447

441

441

442

444

441

442

443

445

442

441

443

442

444

442

441

442

. _ ZV UT S R P O N M L I E D BA S

18

b) ( ) ( )=⋅+⋅++⋅+⋅−= 7log75log5163log62644144logSH 2222 3,896 biţi/simbol

%44,9318log

896,3

2

==sη

c) ( ) ppm 47444

3 ==MARp

2.6. O sursă de informaţie binară cu memorie de doi paşi are grafulcorespunzător în figură. Să se afle:a) probabilităţile de trecere nefigurate;b) ce şanse sunt ca după transmiterea mesajului “00110” să se transmită mesajul“11”.c) matricea de tranziţie şi o eventuală stare de staţionaritate;d) entropia sursei date.

Rezolvare:a) Probabilităţile cerute sunt:

( ) ( )

( ) ( )

( ) ( )

( ) ( )41/SSp1/SSp

53/SSp1/SSp

21/SSp1/SSp

72/SSp1/SSp

3132

4443

2423

1112

=−=

=−=

=−=

=−=

(2.6.1)

b) Deoarece sursa are memorie de doi paşi, din mesajul transmis “00110” sunt relevanţi, pentrudefinirea stării actuale, doar ultimii doi biţi transmişi “10”. Aşadar starea actuală este S3. Din S3şansele ca sursa să emită “1” şi, ca atare, să treacă în starea S2 sunt de 25% (p(S2/S3)). Pringenerarea încă a unui “1” sursa va trece din starea S2 în starea S4. Probabilitatea acestei tranziţii estede 50%. Concluzionând probabilitatea ce “însoţeşte”acest traseu S3→ S2→ S4 este:

( ) 12,5%81

21

41SSSp 423 ==⋅=→→ (2.6.2)

19

c) Matricea de tranziţie este:

( ) ( ) ( ) ( )( ) ( ) ( ) ( )( ) ( ) ( ) ( )( ) ( ) ( ) ( )

=

=

52

53 0 0

0 0 41

43

21

21 0 0

0 0 74

73

/SSp /SSp /SSp /SSp/SSp /SSp /SSp /SSp/SSp /SSp /SSp /SSp

/SSp /SSp /SSp /SSp

T

44434241

34333231

24232221

14131211

(2.6.3)

O eventuală stare de staţionaritate ar conţine probabilităţile *ip , ca sursa să se afle într-o

anumită stare Si :

[ ]*4

*3

*2

*1

* p p p pP = (2.6.4)

cu *P îndeplinind condiţia:

** PTP = (2.6.5)

Înlocuind în (2.6.5) pe T şi *P date de (2.6.3) şi (2.6.4) rezultă:

[ ] 0

1-52

53 0 0

0 1- 41

43

21

21 1- 0

0 0 74 1-

73

p p p p *4

*3

*2

*1 =

(2.6.6)

Sistemul de ecuaţii dat de (2.6.6) este compatibil nedeterminat fapt ce necesită încă o relaţie întreprobabilităţile *

ip , relaţie care este:

[ ] 1 p p p p *4

*3

*2

*1 =+++ (2.6.7)

Soluţia sistemului obţinut din (2.6.6) şi (2.6.7) este:

=

19940

19948

19948

19963p* (2.6.8)

d) Entropia sursei cu memorie se calculează cu formula:

( ) ( ) ( ) ( )ij2ij

2

1i

2

1jiM /Saplog/SapSpSH

2

⋅⋅= ∑∑= =

(2.6.9)

20

unde Si, cu i = 1÷4, sunt cele 4 stări posibile ale sursei iar aj, cu j = 0÷1, sunt mesajele posibil a fiemise din fiecare stare.

Pentru uşurinţa calculului entropiei, elementele cerute de suma dublă din (2.6.9) sunt date întabelul următor :

Si aj ( ) *ii pSp = ( )ij /Sap

S1 = 00 01 199

63 3/74/7

S2 = 01 01 199

48 1/21/2

S3 = 10 01 199

48 3/41/4

S4 = 11 01 199

40 3/52/5

Tabelul 2.1

Înlocuind în (2.6.9) elementele din tabelul 2.1 rezultă :

( )

++

+=

12log

21

12log

21

19948

47log

74

37log

73

19963SH 2222M

++

++

25log

52

35log

53

19940

14log

41

34log

43

19948

2222

= 0,944 biţi/simbol (2.6.11)

2.7. O sursă de informaţie binară cu memorie de doi paşi are grafulcorespunzător în figură. Dacă în prezent sursa se află în starea Si cât esteprobabilitatea ca după trei simboluri sursa să se regăsească tot în starea Si?

Răspuns:( ) ( )

%37,2452

31

73

74

SSSSpSSSSp3

13211111

=⋅⋅+

=

=→→→+→→→

21

2.8. O sursă de informaţie binară cu memorie de un pas are probabilităţile detrecere: p(0/0) = 5/7 şi p(0/1) =3/4.a) construiţi graful sursei date;b) calculaţi starea de staţionaritate;c) determinaţi entropia sursei;d) determinaţi entropia unei surse fără memorie având aceleaşi simboluri şiprobabilităţile simbolurilor cele conţinute în starea staţionară.

Rezolvare:a) Pentru a putea construi graful sursei cu memorie aflăm probabilităţile de trecere ce nu sunt date

în enunţul problemei:

p(1/0) = 1 - p(0/0) = 2/7p(1/1) = 1 - p(0/1) = 1/4 (2.8.1)

În acest fel graful este:

b) Matricea de tranziţie este:

=

43

41

72

75

T (2.8.2)

iar starea staţionară se află rezolvând sistemul:

[ ] [ ]

=+

=⋅

1p p

p pTp p*1

*0

*1

*0

*1

*0 (2.8.3)

Rezultă:

=

=

158p

157p

*1

*0

(2.8.4)

c) Entropia sursei cu memorie este dată de relaţia:

( ) ( ) ( ) ( )ij2ij

1

0i

1

0jiM /Saplog/SapSpSH ⋅⋅= ∑∑

= =

(2.8.5)

unde S0 = 0; S1 = 1; a0 = 0; a1 = 1

22

( ) ( )158pSp

157pSp *

11*00 ====

iar probabilităţile p(aj/Si) sunt cele indicate de graf.Înlocuind în (2.8.5) rezultă:

( )

++

+=

34log

43

14log

41

158

27log

72

57log

75

157SH 2222M

= 0,8355 biţi/simbol (2.8.6)

d) O sursă fără memorie conformă cu cerinţele problemei are tabloul:

=

158

157

S SS

21

(2.8.7)

iar entropia:

( ) =+=8

15log158

715log

157SH 22 0,9968 biţi/simbol (2.8.8)

Comparând cele două entropii găsite HM(S) şi H(S) se observă că ultima este mai mare.

2.9. O sursă de informaţie binară cu memorie de trei paşi are grafulcorespunzător în figură. Să se afle:a) matricea de tranziţie;b) entropia sursei;c) probabilitatea ca sursa, aflată în starea S2, după emiterea a trei simboluri să

ajungă în starea S3.

Răspuns:

23

a)

=

74

73 0 0 0 0 0 0

0 0 74

73 0 0 0 0

0 0 0 0 52

53 0 0

0 0 0 0 0 0 31

32

21

21 0 0 0 0 0 0

0 0 53

52 0 0 0 0

0 0 0 0 43

41 0 0

0 0 0 0 0 0 21

21

T

b)

=

959147

959126

959135

95996

959126

959105

95996

959128p*

( ) 0,961454SHM = biţi/simbol

c) ( ) 9%100

9SSSSp 3632 ==→→→

2.10. Fie sursa de informaţie fără memorie având tabloul simboluri-probabilităţi:

=

x0,1 0,4 0,2d c b a

S

Se cere:a) valoarea lui x;b) entropia şi eficienţa sursei S;c) tabloul sursei de informaţie S2(extensia de ordin a lui S);d) entropia şi eficienţa sursei S2.

Rezolvare:a) Deoarece:

∑=

=N

1ii 1p rezultă x = 0,3 (2.10.1)

b) ( ) ∑=

==N

1i i2i 846,1

p1logpSH biţi/simbol – entropia (2.10.2)

24

( ) ( ) 92,32%Nlog

SHH

SH

2maxs ===η – eficienţa (2.10.3)

b) Extensia unei surse S se obţine asociind câte două mesaje ale sursei S. Astfel:

=

1009

1003

10012

1006

1003

1001

1004

1002

10012

1004

10016

1008

1006

1002

1008

1004

dd dc db da cd cc cb ca bd bc bb ba ad ac ab aaS2

(2.10.4)

c) ( ) ( ) l 3,692SH2SH 2 =⋅= biţi/simbol (2.10.5)

( )( )

( )S2

22

max

2

S NlogSH2

SHSH

2 ηη =⋅== (2.10.6)

Obs: Entropia extensiei de ordinul doi a sursei S este dublul entropiei sursei date, eficienţapăstrându-se. Prin generalizare se poate arăta că:

( ) ( )SS

m

m

SHmSHηη =

⋅=(2.10.7)

unde Sm este extensia de ordin m a sursei S.

2.11. O sursă ternară cu memorie de un pas are graful din figurăa) să se afle cele trei probabilităţi de trecere necunoscute;b) calculaţi starea de staţionaritate;c) calculaţi entropia sursei date;d) pentru ce valori ale probabilităţilor de trecere sursa este practic fărămemorie?

Răspuns:

a) ( ) ( ) ( )31/SSp

21/SSp

51/SSp 133221 ===

25

b)4912p

4925p

4912p *

3*2

*1 ===

c)Stareaactuală

Stareaviitoare

Probabilitateastării staţionare

Probabilitatea detrecere

S1

S1S2S3

12/491/31/31/3

S2

S1S2S3

25/491/53/51/5

S3

S1S2S3

12/491/42/41/4

Tabelul 2.2

( ) 1,3325SHM = biţi/simbol

d) ( ) ( ) ( ) 1,2,3j /SSp /SSp /SSp jijiji =∀=== γβα1 R,,cu =++∈ + γβαγβα

2.12. O SDFM are N = 32 simboluri şi eficienţa de 75%. Cât sunt entropia,redundanţa şi redundanţa relativă a sursei date?

Răspuns:H(S) = 3,75 biţi/simbol R = 1,25 biţi/simbol ρ = 25%

26

Cap. 3 Codarea surseiDicţinoar:- cod (limba latină "codex"- culegere) - 1.ansamblul unor reguli; 2.culegere de legi; 3.sistem de semnale sau semne

convenţionale cu semnificaţii bine precizate, ale căror combinaţii sunt folosite pentru transmiterea unor mesaje;

- compresie - reducere a volumului.

Definiţii:- codare = procesul de atribuire a unor succesiuni (secvenţe) de simboluri elementare mesajelor (simbolurilor) unei

surse de informaţie;- alfabetul codării = totalitatea simbolurilor elementare cu ajutorul cărora se pot construi succesiunile (secvenţele);- cuvânt de cod = o secvenţă (succesiune) atribuită prin procesul de codare a unui mesaj al sursei de informaţie;- cod = totalitatea cuvintelor de cod;- cod - binar = alfabetul este binar: 0, 1; - bloc = cuvintele au aceeaşi lungime; - unic decodabil = fiecărei succesiuni de cuvinte de cod îi corespunde o unică succesiune de simboluri a sursei; - instantaneu = nici un cuvânt de cod nu este prefixul altui cuvânt;- graful de codare (graful codului) = un arbore ce creşte, dintr-un punct iniţial (numit sursă), prin m ramuri la fiecare

nod (m - numărul de simboluri elementare din alfabet) şi are la finele oricărei ramuri (numită frunză) câte un simbol (mesaj al sursei). Fiecare din cele m ramuri ce pleacă dintr-un nod este notată cu unul dintre simbolurile elementare ale afabetului codului. Secvenţa obţinută prin asocierea simbolurilor elementare ataşate unei căi, ce pleacă de la sursă şi ajunge la o frunză, este cuvântul de cod ce codează simbolul (mesajul) sursei ataşat acelei frunze;

- eficienţa codării = raportul între lungimea medie minimă a cuvintelor unui cod ce ar putea coda sursa dată şi lungimea medie a cuvintelor codului dat;

- compresia = procedeul de recodare a unei surse cu scopul de a obţine o eficienţă superioară primului cod;- factor de compresie = raportul eficienţelor codurilor, comprimat şi iniţial.

Notaţii:L - lungimea medie a cuvintelor codului;ηηηηc - eficienţa codării;F - factor de compresie.

Abrevieri:LZ -77 - algoritmul de compresie Lempel -Ziv '77.

Breviar teoretic:1. Teorema I-a a lui Shannon: pentru orice sursă de informaţie S, printr-o codare pe grupe

de n simboluri, poate fi făcută o codare absolut optimală dacă n→∞;2. Lungimea medie a cuvintelor codului:

∑=

=N

1iiilpL (3.1)

unde: li - lungimea cuvântului ataşat simbolului sursei; si=numărul de simboluri elementare din componenţa câmpului respectiv;

3. Eficienţa codării se poate calcula după formula:( )LSH

c =η (3.2)

27

3.1. Fie sursa de informaţie discretă şi fără memorie:

şi trei coduri binare pentru sursa S:

a) Ce secvenţă binară corespunde, pentru fiecare cod în parte, mesajului sursei:"abacdab"?;b) Arătaţi că decodarea secvenţei construite la punctul a) este unică doar pentruCII şi CIII, nu şi pentru CI;c) Calculaţi entropia sursei şi eficienţa acesteia;d) Calculaţi lungimea medie a cuvintelor fiecărui cod, precum şi eficienţacodării.

Rezolvare:a) Secvenţele binare cerute se obţin prin simpla substituţie a literelor cu secvenţele binare(cuvintelor) corespunzătoare lor:

Sv1=1101100110 110Sv2=1011001000 101 (3.1.1)Sv3=0001001011 0001

b) Decodând secvenţa Sv1 prin I găsim cel puţin două variante de decodare:abacdab, dacdd, abacabab, etc...fapt ce nu se poate întâmpla cu Sv2 şi Sv3 prin CII, respectiv CIII.c) Conform formulei de definiţie, entropia sursei este:

( ) 9,1p1logpSH

N

1i i2i == ∑

= biţi/simbol (3.1.2)

Pentru calculul eficienţei este necesară în prealabil entropia maximă:

2NlogH 2max == biţi/simbol (3.1.3)

Rezultă eficienţa sursei:

( ) %95H

SH

maxs ==η (3.1.4)

=

15,02,025,04,0dcba

S

11d000d110d10c001c100c01b01b10b00aIII C1aII C1aI C

28

d) Lungimea medie a cuvintelor unui cod se calculează cu formula:

∑=

=N

1iiilpL (3.1.5)

unde li este lungimea cuvântului de cod numărul i.Deoarece CI şi CII au aceleaşi lungimi pentru cuvinte şi lungimea medie va rezulta aceeaşi:

95,1315,032,0225,014,0LL 21 =⋅+⋅+⋅+⋅== biţi/simbol (3.1.6)iar:

L3=2 biţi/simbol (3.1.7)

fiind un cod bloc.

Eficienţele codărilor rezultă:

.%95 %6,97 s3c2c1c =η=η=η=η (3.1.8)

Obs.: - Deşi CIII are lungimi ale cuvintelor de cod mai mici decât CI şi CII, totuşi acestea "codeazămai eficient" sursa dată, deoarece atribuie cuvânt de cod scurt (lungime 1) simbolului cel maifrecvent (a).- Codurile CII şi CIII sunt coduri unic decodabile prin faptul că decodarea unei secvenţe codatedecurge într-un unic fel. În plus sunt şi coduri instantanee. Un exemplu de cod unic decodabil, darnu şi instantaneu, este:

CIV a 1b 10c 100d 000

- Cu toate că realizează biunivocităţi între mulţimea mesajelor sursei S şi mulţimea cuvintelor decod, codul CI nu poate fi utilizat deoarece informaţia transmisă printr-un astfel de cod poate fideformată la decodare.

3.2. O SDFM cu 20 simboluri echiprobabile se codează cu un cod bloc (toatecuvintele au aceeşi lungime).a) Cât sunt entropia şi eficienţa sursei date?b) Cât este lungimea medie m a cuvintelor codului, minim necesară ?c) Calculaţi eficienţa codării.

Rezolvare:a) Sursa fiind echiprobabilă:

H(S)=Hmax=log220=4,32 biţi/simbol (3.2.1)

29

şi, ca atare:ηs=100% (3.2.2)

b) Pentru a putea atribui N secvenţe binare, de lungime m, celor N mesaje ale sursei este necesar casă existe cel puţin N secvenţe distincte. Cum numărul de secvenţe binare de lungime m este 2m

rezultă că 2m ≥ N, unde N este numărul de simboluri al sursei, N=20. În plus, conform cerinţelorproblemei vom alege pe cel mai mic m ce verifică inegalitatea, astfel încât:

m1m 2N2 <<− (3.2.3)

Pentru cazul concret (N=20) rezultă:

m=5 (3.2.4)

c) Lungimea medie a cuvintelor codului bloc este:

∑∑==

===20

1ii

N

1iii mmplpL (3.2.5)

relaţie ce este adevărată indifirent de valorile probabilităţilor pi.Eficienţa codării va fi:

( ) %44,865

20logLSH 2

c ===η (3.2.5)

3.3. a) Codaţi prin algoritmul Huffman static sursa de informaţie discretă şi fărămemorie:

b) Codaţi cu ajutorul aceluiaşi algoritm Huffman static extensia de ordin 2 asursei date;c) Calculaţi şi comparaţi în cele două cazuri eficienţele celor două coduriobţinute.

Rezolvare:a) Desfăşurarea algoritmului Huffman static este prezentată în figura de mai jos:

Figura 3.1.

=

15,025,02,04,0dcba

S

0,4 00,35 110,25 10

0,6 10,4 0

0,4 00,25 1 00,2 1110,15 110

abcd

30

Codul obţinut are lungimea:

95,1lpL4

1iii1 == ∑

=biţi/simbol (3.3.1)

b) Tabloul sursei S2 (extensia de ordin I2 a sursei date) este:

Algoritmul de codare Huffman static pentru sursa S2 este arătat în figura următoare:

Figura 3.2.

În desfăşurarea algoritmului probabilităţile sunt înmulţite cu 100 pentru uşurinţa scrierii. Lungimeamedie a cuvintelor codului obţinut este:

=

10025,2

10075,3

1003

1006

10075,3

10025,6

1005

10010

1003

1005

1004

1008

1006

10010

1008

10016

dddcdbdacdcccbcabdbcbbbaadacabaaS2

16 16 16 20 21,25 26,75 32 41,25 58,75 1 12,25 14,5 16 16 20 21,25 26,75 32 11 41,25 0 11,25 12,25 14,5 16 16 20 21,25 01 26,75 10 10 11,25 12,25 14,5 16 16 111 20 00 10 10 11,25 12,25 14,5 101 16 110 10 10 10 11,25 011 12,25 100 8 10 10 001 10 010 8 8 1101 10 000 7,75 1011 8 1100 6,75 1010

aa 111 16 16 16 16 16ac 010 10 10 10 10 10ca 001 10 10 10 10 10ab 1101 8 8 8 8 10ba 1100 8 8 8 8 8cc 1001 6,25 6,25 6,75 7,75 8ad 1000 6 6 6,25 6,75 7,75da 0111 6 6 6 6,25 6,75bc 0001 5 5,25 6 6 6,25cb 0000 5 5 5,25 6 6bb 10111 4 5 5 5,25 6 0111cd 10110 3,75 4 5 5 0001 5,25 0110dc 10101 3,75 3,75 4 10111 5 0000bd 10100 3 3,75 10101 3,75 10110db 01101 3 01101 3 10100dd 01100 2,25 01100

1611,25 10 10 10 8 8 7,756,756,25 1001 6 1000

31

( ) ( )

( ) =++++++

+++++++++=

25,23375,375,34100

5

556625,688100

4101016100

3L2

...... 8375,3100

75,98177108 =++= biţi/simbol (3.3.2)

Cunoscând că entropia extensiei de ordin 2 este dublul entropiei sursei date (vezi problema 2.10)găsim că:

H(S)=1,9biţi/simbol( ) ( ) 8,3SH2SH 2 == biţi/simbol (3.3.3)

De unde:( ) %63,97

LSH

11c ==η (3.3.4)

( ) ( ) %22,99LL2

LL2

LSH

LSH

2

11c

2

1

12

22c =⋅η=⋅==η (3.3.5)

Cum 2L1>L2 ⇒ ηc1 > ηc2

3.4. Fie sursa de informaţie text (inclusiv pauzele):"TEORIA TRANSMITERII INFORMATIEI ."a) Să se afle tabloul sursei;b) Să se codeze cu un cod optimal prin algoritmul Huffman;c) Să se calculeze eficienţa codării şi factorul de compresie faţă de o codare bloc;d) Să se construiască graful de codare.

Răspuns:a)

b)A 000 0 1001E 1111 R 110F 11100 S 111011I 01 T 101M 0011 _ 1000N 0010 . 111010

c)%925,98c =η F=1,185

=

321

322

324

321

324

322

322

322

327

321

323

323

._TSRONMIFEAS

32

d)

3.5. O sursă de informaţie discretă şi fără memorie, având redundanţa relativăρρρρ, a fost codată cu un cod binar cu eficienţe ηηηηc.Ştiind că:

ηηηηc+ρρρρ=1şi cunoscând lungimea medie a cuvintelor codului bloc L=5 biţi/simbol aflaţinumărul de simboluri ale sursei.

Răspuns: N=32

3.6. Sursa de informaţie, fără memorie, constituită din simbolurile A, C, D, E, I,N, R, cu p(A)=0,28, p(C)=0,14, p(D)=0,05, p(E)=0,18, p(I)=0,16, p(N)=0,06 secodează cu un cod binar prin algoritmul Huffman static. Care este lungimeasecvenţei binare ataşate mesajului "CRIN" ?

Răspuns: 13 biţi

3.7. O sursă de informaţie echiprobabilă cu 50 simboluri se codează cu un codbinar bloc de eficienţă maxim posibilă (codare pe simbol). Cât este eficienţacodării?

Răspuns: %67,9850log28650

2c =⋅=η

0

A0

0

11

11

00

0

11 1

10

00

1

1 E

.

F

R0

TO_MN

I

S

33

3.8. Sursa text (fără pauze):VINE EA SI VACANTA

ordonată alfabetic, se codează cu un cod binar (cod binar natural). Considerândieşirea codorului drept o sursă binară secundară, cu cât este egală entropiaacestei surse secundare (considerată şi ea fără memorie)?

Rezolvare:Tabloul simboluri probabilităţi este:

=

152

151

151

152

152

152

151

154

VTSNIECAS (3.8.1)

iar codul binar bloc cerut:

A 000C 001E 010I 011N 100 (3.8.2)S 101T 110V 111

Probabilitatea ca sursa secundară să emită un zero se calculează cu relaţia:

( ) ∑=

⋅=N

1i

i0iE m

mp0p (3.8.3)

unde: N=8 - numărul de simboluri al sursei primare; 1.Ni pi = -probabilităţile simbolurilor sursei primare; m=3 lungimea cuvintelor codului; m0i - numărul de zerouri din componenţa cuvântului i.

În mod analog:

( ) ( ) ∑=

⋅=−=N

1i

i1iEE m

mp0p11p (3.8.4)

Efectuând calculele, găsim că:

( ) ( )452611112221221243

4510p E =⋅+⋅+⋅+⋅+⋅+⋅+⋅=

( ) ( )451923121221222111

4511p E =⋅+⋅+⋅+⋅+⋅+⋅+⋅= (3.8.5)

astfel tabloul sursei secundare este:

34

=

45/1945/2610

S' (3.8.6)

iar entropia:

( ) 9825,01945log

4519

2645log

4526SH 22

' =+= biţi/simbol (3.8.6)

3.9. Folosind algoritmul LZ-77 găsiţi:a) rezultatul compresiei mesajului: aaabcbaabcc...;b) mesajul iniţial, dacă rezultatul compresiei a fost 00c00b73c72b640;Lungimile blocurilor Lempel respectiv Ziv sunt 8 şi 4.

Rezolvare:a) Diagrama de mai jos prezintă iterat codarea LZ 77 asupra mesajului dat:

1 2 3 4 5 6 7 8 9 10 11 12 S L Aa a a b 0 0 a

a a a b c 8 2 ba a a b c b a a 0 0 c

a a a b c b a a b 7 1 aa a a b c b a a b c c 4 3 c

Rezultatul comprimării este 00a82b00c71a43c...

b) Decodarea mesajului comprimat se poate urmări cu ajutorul diagramei:

1 2 3 4 5 6 7 8 9 10 11 12 S L Ac 0 0 c

c b 0 0 bc b c b c c 7 3 c

c b c b c c c c b 7 2 bb c b c c c c b c c b c 6 4 0

Aşadar, mesajul iniţial este: cbcbccccbccbc... .

3.10. Comprimaţi mesajul: aaabcca... utilizând algoritmul Huffman dinamic.Cât este factorul de compresie?

Rezolvare:Vom prezenta evoluţia arborelui (grafului) asociat codului în timpul codării mesajului dat:

35

Obs: Semnificaţia notaţiilor este:

-pentru nod:

- x: număr de ordine (creşte de la stânga către dreapta şi de jos în sus pe linii); - p: ponderea cumulată din nodurile aferente.

- pentru frunză (nod terminal):

- x: număr de ordine; - p: pondere (număr de apariţii ale respectivului simbol); - y: simbolul.

Frunza goală, notată cu "0", este de pondere 0.- pentru ramură: - spre stânga ≡ codare cu zero;

- spre dreapta ≡ codare (atribuire) cu unu.

0 0 mesaj: --

1 mesaj: a

10

2. S-a codat "a": 3

0 21 a

0 1

codul:

simbol cuvântde cod

0a

01

1.Arbore iniţial: 1

px

x yp

3.S-a codat "aa" mesaj: a1 codul: 0 0 a 1

1

3 2

10

0 0 2 2 a

4.S-a codat "aaa" mesaj: a11 codul: 0 0 a 1

1

3 3

10

0 0 2 3 a

5.S-a codat "aaab" mesaj: a110b codul: 0 00 a 1 b 01

1

3

5 4

10

1 4 3 a

10

0 0 2 1 b

1

5

7 5

10

2 6 3 a

3

10

1 4 1 b

10

0 0 2 1 c

6.S-a codat "aaabc" mesaj: a110b00c codul: 0 000 a 1 b 01 c 001

1

36

Obs.: la pasul 7 s-a produs un schimb între nodurile 2 şi 4 deoarece ponderea primului era maimare (2 > 1), conform regulii care spune că un nod cu număr de ordine mai mic şi pondere maimare decât un altul va face schimb de poziţie în arbore cu acesta din urmă.

Considerând caracterele în mesajul iniţial codate pe 8 biţi, lungimea acestuia este:

Li=7⋅8=56 biţi (3.10.1)

Mesajul comprimat (a110b00c0011) are:

L2=8⋅3+9=33 biţi (3.10.2)

Rezultă un factor de compresie:

7.S-a codat "aaabcc" mesaj: a110b00c001 codul: 0 000 a 1 b 001 c 01

1

5

7 6

10

3 6 3 a

3

10

1 4 2 c

10

0 0 2 1 b1

5

7 6

10

3 6 3 a

3

10

2 4 1 b

10

0 0 2 2 c

Schimbîntre

nodurile 2 şi 4

8.S-a codat "aaabcca" mesaj: a110b00c0011 codul: 0 000 a 1 b 001 c 01 5

7 7

10

3 6 4 a

3

10

1 4 2 c

1

10

0 0 2 1 b

37

7,1LLF

2

1 ≅= (3.10.3)

3.11. Fie mesajul "aacacabcabdabadabc". Să se comprime mesajul dat prinaplicarea algoritmului:a) LZ 77;b) Huffman dinamic;c) Huffman static, presupunând mesajul dat o SDFM text.d) Calculaţi în fiecare caz factorul de compesie faţă de o codare bloc pe opt biţi amesajului iniţial.

Rezolvare:a) Recodarea aferentă algoritmului LZ77 este prezentată în diagrama următoare:

1 2 3 4 5 6 7 8 9 10 11 12 S L Aa a c a 0 0 a

a a c a c 8 1 ca a c a c a b 7 3 b

a a c a c a b c a b d 6 3 da c a b c a b d a b a d 3 2 ab c a b d a b a d a b c 5 3 c

Mesaj comprimat 00a 81c 73b 63d 32a 53c de lungime:

L1=12⋅3+6⋅8=84 biţi (3.11.1)b)

1.

2.

mesaj codat: "aa"mesaj transmis: "a1"cod: 0 0 a 1

3 2

0

0 2 20

1

1 a

mesaj codat: "a"mesaj transmis: "a"cod: 0 0 a 1

3 10

0 2 10

1

1 a

38

3.

(4. 5. 6.) 7.

(8. 9. 10.) 11.

mesaj codat "aacacab"mesaj transmis "a10c101100b"cod 0 00 a 1 b 001 c 01

7 7

7

0

3 8 4a

1

5

0

1 6 2b

1

1

0

0 4 1 c

1

9 11

7

0

6 8 5 a

1

5

0

3 6 3 c

1

3

0

1 4 2 b

1

1

0

0 2 1 d

1

9 11

7

0

5 8 6a

1

5

0

3 6 3 c

1

3

0

1 4 2 b

1

1

0

0 2 10

1

d

1

5 3

0

1 4 2

1

3 a

0

0 2 10

1

c

mesaj codat: "aac"mesaj transmis: "a10c"cod: 0 00 a 1 c 01

39

(12.) 13.

(14. 15. 16. 17.) 18.

mesaj codat: "aacacabcabd"mesaj transmis: "a10c101100b011001000d"cod: 0 1000 a 0 b 101 c 01

mesaj codat: "aacacabcabd"mesaj transmis: "a10c101100b011001000d"cod: 0 1100 a 0 b 111 c 10 d 1101

9 13

7

0

6 8 7a

1

5

0

3 6 4c

1

3

0

1 4 3 b

1

1

0

0 2 10

1

d

mesaj codat: "aacacabcabd"mesaj transmis: "a10c101100b011001000d"cod: 0 1100 a 0 b 10 c 111 d 1101

9 18

7

0

8 8 10a

1

5

0

4 6 6b

1

3

0

2 4 4 c

1

1

0

0 2 20

1

d

40

Lungimea rezultată a mesajului transmis este:

L2=4⋅8+33=65 biţi (3.11.2)

c) Pentru a putea coda mesajul transmis prin algoritmul Huffman static definim sursa:

asupra căreia putem aplica algoritmul:

Cu ajutorul codului obţinut mesajul se transmite prin secvenţa binară:"001110111010111010"

L3=34 biţi (3.11.3)

d) Dacă mesajul iniţial este codat bloc pe 8 biţi lungimea secvenţei binare codate este:

L0=18⋅8=144 biţi (3.11.4)

Cu rezultatele conţinute în relaţiile (3.11.1, 2, 3 şi 4) găsim pentru factorii de compresie valorile:

7143,184

144F1 ==

12 F3,12154,265

144F === (3.11.5)

13 F47,22353,434

144F ===

=

182

184

184

188

dcbaS

8 04 1 04 1112 110

8 06 114 10

10 1 8 0

abcd

Canale

41

Cap.4 Canale de transmisieDicţionar:- canal (de transmisie) - cale (mediu fizic) de transmisie prin care circulă infpormaţia între emiţător (sursă) şi

receptor (utilizator);- câmp (corp) - o mulţime K de elemente care satisfac următoarele axiome:

1. - pe K sunt definite două operaţii: adunarea şi înmulţirea;2. - în raport cu adunarea K formează un grup abelian cu elementul nul 0;3. - K \ 0 formează grup abelian pentru înmulţire;4. - înmulţirea este distributivă faţă de adunare;

- echivoc - 1. suspect, îndoielnic; 2.echivocaţie- măsură a efectului perturbaţiilor asupra comunicaţiilor prin canale;- capacitate –valoarea maximă pe care poate să o aibă un parametru al unui sistem, parametru ce indică performanţe de

înmagazinare, transport sau prelucrare.

Definiţii:1. - transferul informaţiei între câmpul de intrare X, cel de ieşire Y şi canal C:

2. - Cantitatea de decizie D a unei surse cu m simboluri = maximul entropiei sursei D=Hmax;

- Debitul de decizie •D - cantitatea de decizie generată în unitatea de timp;

- Debitul de momente •

M - numărul de momente transmise în unitatea de timp; - Baud (Bd) - unitatea de măsură a debitului de momente; - Moment - semnal elementar purtător de informaţie de durată TM.

Notaţii:x0=0E , x1=1E - simbolurile emisibile în canalul binar;X=x0 , x1 - câmpul de la intrare în canal;y0=0R , y1=1R - simbolurile recepţionabile din canalul binar;Y=y0 , y1 - câmpul de la ieşirea din canal;p(xi) - probabilitatea de a emite în canal xi;p(yj) - probabilitatea de a recepţiona din canal yj;P(Y/X) - matricea de tranziţie=[p(yj / xi)]2×2;p(yj /xi) probabilitatea (apriori) de a se recepţiona yj când a fost emis xi;P(X,Y) =[ p(xi, yj)]2×2;

H(X) I(X,Y) H(Y)Câmpintrare

X CANAL

H(Y/X)

H(X/Y)

Informaţia ce o adaugăcanalul, în medie,fiecărui simbol binar

Informaţia, în medie, ceintră în canal printr-unsimbol binar

Informaţia ce o pierdeîn canal, în medie, unsimbol binar

Informaţia cetraverseazăcanalul, în medie,cu un simbol binar

Informaţia ce iese,în medie, din canalprintr-un simbolbinar

Câmpieşire

Y

Canale

42

p(xi, yj) - probabilitatea de a se fi emis xi şi a se recepţiona yj;P(X/Y) =[ p(xi/yj)]2×2;p(xi/yj) - probabilitatea (aposteriorii) de a se fi emis xi când s-a recepţionat yj;ξξξξ - raport semnal-zgomot.

Abrevieri:RSZ (SNR) - Raport Semnal pe Zgomot (Signal to Noise Ratio);CBS - Canal Binar Simetric;BER - Bit Error Rate (rata erorii).

Breviar teoretic:1. Relaţii între matrici

( ) ( )( ) ( )

δγβα

=

= X/YP

1p000p

Y,XPE

E (4.1)

( ) ( ) δ+β=γ+α= RR 1p 0p (4.2)

( ) ( ) ( )

( )

=

R

R

1p10

00p1

Y,XPY/XP (4.3)

2. Entropii condiţionate

- eroarea medie ( ) ( ) ( )ij2

1

0i

1

0jji x/yp

1logy,xpX/YH ⋅= ∑∑= =

; (4.4)

- echivocaţia ( ) ( ) ( )ji2

1

0i

1

0jji y/xp

1logy,xpY/XH ⋅= ∑ ∑= =

; (4.5)

- transinformaţia

( ) ( ) ( )

( ) ( )( ) ( ) ( ) ( )X/YHYHY/XHXH

ypxpy,xp

logy,xpY,XIji

ji2

1

0i

1

0jji

−=−=

⋅= ∑ ∑= = (4.6)

3. Capacitatea canalului- discret ( )Y,XImaxC

ip= (biţi/simbol) (4.7)

- continuu ( )ξ+===••

1logBmlogMDC 2max2maxmax (4.8)

unde: B2Mmax =•

- (canal ideal); B45Mmax =

• (canal real) (4.9)

ξ+= 1mmax (4.10)4. Redundanţa şi eficienţa canalului

( )Y,XICR C −= - redundanţa absolută (4.11)( )

CY,XI1c −=ρ - redundanţa relativ (4.12)

( )C

Y,XIc =η - eficienţa (4.13)

Canale

43

4.1. Fie secvenţa binară:i0=100101011100011100100110 (4.1.1)

generată de o SDFM echiprobabilă, X. În vederea transmiterii dibiţii dinsecvenţa i0 se codeză prin:

Se cere:a) Să se calculeze entropia şi eficienţa sursei X; (H(X), ηηηηX)b) Debitul de informaţie al sursei X dacă codarea (4.1.2) se face în timp real; (

•X )

c) Cantitatea de decizie corespunzătoare unui moment (moment = un semnaldintre S00, S01, S10 sau S11); (D)d) Debitul de momente; (

•M )

e) Ce debit de informaţie (în biţi/sec) corespunde în acest caz unui Baud? (1Bd)f) Să se reprezinte grafic semnalul S(t): suport al informaţiei i0.

Rezolvare:a) Probabilităţile de emisie (generare) a mesjelor binare 0 şi 1 fiind egale:

p(0)=p(1)=1/2 (4.1.3)

rezultă pentru entropie şi eficienţa sursei valorile:

H(X)=1 bit/simbolη=100% (4.1.4)

b) Prin definiţie:

( )x

XHXτ

=•

(4.1.5)

unde τx este timpul în care se transmite (generează) un simbol binar de către sursa X. Ştiind că douăsimboluri (un dibit) au o durată de transmitere, respectiv genereare (în timp real), de TM=250µsrezultă pentru τx valoarea:

s125T21

Mx µ==τ (4.1.6)

şi ca atare:

kbiti/sec 8s 125

bit/simbol 1X =µ

=•

(4.1.7)

00 S00(t)= -3V t∈∈∈∈ [0,TM]01 S01(t)= -1V t∈∈∈∈ [0,TM]10 S10(t)= 1V t∈∈∈∈ [0,TM]11 S11(t)= 3V t∈∈∈∈ [0,TM] cu TM=250µµµµs (4.1.2)

Canale

44

c) Conform definiţiei:

D=log2m=2 biţi (4.1.8)

unde m=4 reprezintă numărul de nivele de tensiune corespunzătoare dibiţilor (relaţia (4.1.2)).

d) Debitul de momente •

M este numărul de semnale elementare (S00, S01, S10 sau S11) pe unitatea detimp:

Bd 4000102501

T1M 6M

=⋅

== −

•(4.1.9)

e) Cum debitul de informaţie este 8000X =•

biţi/sec, corespunde la viteza de modulaţie (debitul de

momente) Bd 4000M =•

, rezultă pentru fiecare Baud câte 2 biţi de informaţie.f) Secvenţa binară dată va avea suport fizic următoarea succesiune de semnale elementare:

100110001101001101010110 SSSSSSSSSSSS (4.1.10)

care formează semnalul:

4.2. Presupunând semnalul ternar din figură:

suportul fizic al unei informaţii, să se afle:a) Viteza de modulaţie

•M (debitul de momente);

[V] S[t]

3 2 1 0 -1 -2 -3

1 2 3 4 5 6 7 8 9 10 11 12 t/TM

[V] S[t]

+1

0 2 4 6 8 10 12 14

-1

t/5µs

Canale

45

b) Cantitatea de informaţie maximă ce se poate transmite printr-un simbolternar;c) Debitul de informaţie ce rezultă dacă semnalul S(t) a fost obţinut prinmodularea (codarea) unei secvenţe binare echiprobabile, în timp real, utilizândcodul:

d) Debitul maxim de informaţie ce poate fi obţinut printr-o codare adecvatăutilizând : - un semnal ternar;

- un semnal binar;- un semnal cuaternar.

În toate cazurile se va considera aceeaşi viteză de modulaţie.

Răspuns:

a) Baud 10sec ternar / simbol 10T1M 55

M===

•

b) D=log23=1,585 (biţi)

c)

( ) ( ) ( )

( )

( )

( ) ernarbit/simb.t 12log214log

412SH

41Sp

21Sp

;411p1ppSp

220 =⋅+⋅=⇒

=

=

=⋅==

−

++

( ) 55

MS 10585,1MD biti/sec 10

TSHD ⋅=⋅<==

•biţi/sec

d)

Semnal D •X [biţi / sec]

binarternar

cuaternar

1 bit inf. / sg. binar1,585 biţi informaţie / sg. ternar2 biţi informaţie / sg. cuaternar

1/TM1,585/TM

2/TM

D - cantitatea maximă de informaţie ce se poate înmagazina într-un semnal elementar de durată TM;•X - debitul maxim de informaţie relativ la TM [sec].

11 S+(t)= +1V t∈∈∈∈ [0,TM] 0 S0t)= 0V t∈∈∈∈ [0,TM]10 S-(t)= -1V t∈∈∈∈ [0,TM]

(4.2.1)

Canale

46

4.3. Sursa de informaţie fără memorie constituită din caracterele echiprobabileA, C, D, E, I, N, R se codează cu un cod binar bloc (transpunere zecimal binarăa numărului de ordine; fără cuvântul de pondere zero), apoi se cuplează la uncanal de transmisie binar simetric având rata erorii egală cu 0,1. Calculaţi:a) entropia şi eficienţa sursei; (H(S) ηηηηS)b) eficienţa codării; (ηηηηc)c) entropia câmpului de la intrarea în canal; (H(X))d) matricea de tranziţie şi eroarea medie; (P(Y/X), H(Y/X))e) câmpul de la ieşirea din canal şi entropia sa; (Y, H(Y))f) echivocaţia şi transinformaţia; (H(X/Y), I(X,Y))g) capacitatea canalului; (C)h) probabilitatea ca sursa să fi emis mesajul DAC atunci când s-a recepţionatmesajul RAC. (p(DACE/RACR))

Rezolvare:a) Sursa fiind echiprobabilă:

( ) 8,27logHSH 2max ≅== biţi/simbolηS=100% (4.3.1)

b) Conform cerinţelor problemei codul binar bloc este:

Şi are lungimea medie a cuvintelor de cod:

L=3 biţi/simbol (4.3.2)

Pentru eficienţă rezultă valoarea:

( ) %58,93LSH

c ==η (4.3.3)

c) Câmpul de la intrarea în canal conţine două simboluri binare ce pot fi emise în canal cuprobabilităţile:

( ) ( )73

219k

211

3kSp0p

7

1ii0

i07

1iiE ==== ∑∑

==

( ) ( )74

2112k

211

3kSp1p

7

1ii1

i17

1iiE ==== ∑∑

==

A 001C 010D 011E 100I 101N 110R 111

(4.3.4)

Canale

47

Astfel, tabloul sursei binare (secundare) ce emite în canal este:

=

7/47/310

X EE (4.3.5)

şi are entropia:

( ) 9852281,047log

74

37log

73XH 22 =+= biţi/simbol (4.3.6)

Obs.: În fapt, sursa secundară X este cu memorie. Pentru a argumenta acest lucru, este suficient săconsiderăm sursa X fără memorie şi să calculăm probabilitatea de a emite A:

( ) ( ) ( ) ( ) ( )71

49361p0p0p001pAp EEEE ⋅=⋅⋅==

care diferă de p(A)=1/7, dat de echiprobabilitatea sursei primare.

d) Canalul fiind binar simetric şi cunoscând rata erorii p=0,1 matricea de tranziţie are forma:

( ) ( ) ( )( ) ( )

RRRR 10

E

E

10

E

E

ERER

ERER9,01,01,09,0

10

p1ppp1

10

1/1p1/0p0/1p0/0p

X/YP

=

−

−=

= (4.3.7)

Eroarea medie este "informaţia" medie, pe simbol binar, ce soseşte la recepţie şi nu provine de laemisie ci din canal:

( ) ( ) ( )ij2

1

0i

1

0jji x/yp

1logy,xpX/YH ⋅= ∑∑= =

(4.3.8)

unde: - p(yj/xi) = probabilitatea ca la recepţie să sosească yj dacă la emisie a fost transmis xi;probabilităţile de genul p(yj/xi) sunt conţinute în matricea P(Y/X) dată de relaţia (7). - p(xi , yj ) = probabilitatea de a se emite xi şi a se recepţiona yj;Aceste probabilităţi formează o matrice de forma P(X,Y) şi se calculează cu ajutorul relaţiei luiBayes:

p(xi , yj )=p(xi)⋅ p(yj/xi) i,j=0, (4.3.9)

sau:

( ) ( )( ) ( )X/YPxp00xp

Y,XP1

0

= (4.3.10)

- xi , yj cu i,j=0, 1 sunt notaţiile alternative pentru 0E, 1E respectiv 0R, 1R folosite pentru a scrierelaţiile compact:

1R0RE1E0 y1 y0 1 x0x ==== (4.3.11)

Obs.: Deşi atât câmpul de la intrare cât şi câmpul de la ieşire conţin aceleaşi două simboluribinare 0 şi 1, sunt necesare notaţii distincte pentru a putea fi distinse în diferitele relaţiimatematice.

Canale

48

Înlocuind rezultatele din (4.3.4) şi (4.3.7) în (4.3.10) găsim că:

( )

=

76,3

74,0

73,0

77,2

Y,XP (4.3.12)

Dispunem acum de toate probabilităţile cerute de (4.3.8) pentru a putea calcula eroarea medie:

( )binar lbiti/simbo 4689955,01,0log1,09,0log9,0

9,0log76,31,0log

74,01,0log

73,09,0log

77,2X/YH

22

2222

=−−=

=−−−−=(4.3.13)

e) Probabilităţile simbolurilor de la ieşirea din canal, 0R şi 1R se află cu ajutorul formulelor:

( ) ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( )RERE11101R

RERE01000R1,1p1,0py,xpy,xpyp1p

0,1p0,0py,xpy,xpyp0p+=+==

+=+==(4.3.14)

sau compact:

( ) ( )[ ] [ ] ( )

=⋅=

79,3

71,3Y,XP111p0p Rr (4.3.15)

Sursa binară echivalentă ieşirii canalului este:

=

79,3

71,3

10Y

RR(4.3.16

şi are entropia:

( ) ≅−−=+= 9,3log79,31,3log

71,37log

9,37log

79,3

1,37log

71,3YH 22222

=0,990577biţi/simbol binar (4.3.17)

f) Echivocaţia, notată H(X/Y), este cantitatea medie de informaţie pe un simbol binar ce estepierdută de acesta (simbolul binar) în canal:

( ) ( ) ( )ji2

1

0i

1

0jji y/xp

1logy,xpY/XH ⋅= ∑ ∑= =

(4.3.18)

Calculând probabilităţile aposteriori p(xi/yj) cu relaţia:

( ) ( ) ( )( ) ( ) ( ) ( )

( )=

⋅=

=

R

RRERE

EERE

1p10

00p1

Y,XP1/1p0/1p1/0p0/0p

Y/XP

Canale

49

=

⋅

=

1312

314

311

3127

9,370

01,3

7

73,6

70,4

70,3

72,7

(4.3.19)

Se găseşte valoarea echivocaţiei:

( )1213log

76,3

431log

74,013log

73,0

2731log

77,2Y/XH 2222 +++=

=0,463666 biţi/simbol binar (4.3.20)

Transinformaţia I(X,Y) se poate afla utilizând egalităţile:

I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) (4.3.21)

Utilizând (4.3.6) şi (4.3.20) găsim valoarea:

I(X,Y)=0,521562 biţi / simbol binar (4.3.22)

Valoare ce se găseşte şi folosind rezultatele din (4.3.13) şi (4.3.17).

Obs.: - utilizarea relaţiilor necesare în rezolvarea problemelor de tipul prezentei implică calculematematice voluminoase. Pentru a obţine rezultate bune este de preferat să nu se facă aproximăriîn calculele intermediare, obtând pentru varianta memorării lor cu ajutorul unităţii de calcul. Obună verificare a rezultatelor găsite se poate face cu ajutorul relaţiei (4.3.21).

g) Capacitatea canalului binar simetric se calculează cu formula:

( ) ( )p1logp1plogp1C 22 −−++= (4.3.23)

şi, în cazul de faţă pentru p=0,1, este:

C=0,531004biţi/simbol (4.3.24)

Obs.: - capacitatea canalului, conform definiţiei, este maximul transinformaţiei. Rezultatul (4.3.24)se poate regăsi făcând în (4.3.21) H(Y)=1.

h) Probabilitatea de a se fi emis "DAC" atunci când s-a recepţionat "RAC" este identică cuprobabilitatea de a se fi emis secvenţa binară "011 001 010" atunci când s-a recepţiopnat "111 001010":

( )( ) ( ) ( )

%2,31312

131

3127

1/1p1/0p0/0p

)111001010/011001010(pRAC/DACp

44

4RERE

4RE

RERE

≅

⋅⋅

=

=⋅⋅=

==

(4.3.25)

Canale

50

Obs.: - în ultima relaţie, (4.3.25), s-a făcut presupunerea că transmisia unui simbol binar esteindependentă de a celorlalte.

4.4. Sursa text (discretă şi fără memorie):"TEORIA TRANSMISIUNII INFORMATIEI"se codează binar bloc (ordonare alfabetică, pauza la sfârşit, cod binar natural) şise cuplează la un canal de transmisie binar. Cunoscând că ( ) 9,00/0p ER = şi

( ) 2,01/0p ER = să se afle:a) matricea de tranziţie a canalului; (P(Y/X))b) codul binar bloc;c) probabilitatea ca sursa să emită mesajul METEOR;d) probabilitatea de a se fi recepţionat TEN dacă s-a emis TEO;e) probabilitatea de a se fi emis MAR dacă s-a recepţionat MAT;f) entropiile câmpurilor de intrare şi ieşire; (H(X), H(Y))g) eroarea medie şi echivocaţia; (H(Y/X), H(X/Y))h) transinformaţia şi capacitatea canalului; (I(X,Y), C)

Răspuns:

a) ( )RR 10

E

E8,02,01,09,0

10

X/YP

=

b)

c) ( ) 76E 1034,1

32322322METEORp −⋅=⋅⋅⋅⋅⋅=

d)( ) ( )

( ) ( ) ( ) ( ) %435,08,01,02,09,01/1p0/1p1/0p0/0p

1001 0001 1001/0101 0001 1001pTEO/TENp464

ERERER6

ER

ERER

=⋅⋅⋅=⋅⋅⋅=

==

e) ( ) ( )1671p

1690p EE == ,

în ipoteza că sursa secundară 0E,1E este fără memorie.

A 3/32 0000E 2/32 0001F 1/32 0010I 8/32 0011M 2/32 0100N 3/32 0101O 2/32 0110R 3/32 0111S 2/32 1000T 3/32 1001U 1/32 1010_ 2/32 1011

Canale

51

( )

RR 10

E

E

166,5

164,1

169,0

161,8

10

Y,XP

=

( ) ( )16

5,61p 16

5,90p RR ==

( )

RR 10

E

E

6556

9514

659

9581

10

Y/XP

=

( ) ( ) ( ) ( ) ( )3

327

3RE

2RERE

7RERE

1063,06556

9514

659

9581

1/1p0/1p1/0p0/0p MAT/MARp

−⋅=

⋅

⋅⋅

=

=⋅⋅⋅=

f) H(X)=0,988699408 biţi/simbol binar H(Y)= 0,974489403 biţi /Simbol binar

g) H(Y/X)=0,579653563 biţi/simbol binar H(X/Y)= 0,593863568 biţi /Simbol binar

h) I(X,Y)=0,39483584 biţi/simbol binar C= 0,420346437 biţi/simbol binar

4.5. Sursa text ANTENA RECEPTOARE codată binar bloc (ordonare alfabetică+CBN) se cuplează la un canal de transmisiune binar având matricea detranziţie:

=

8,02,01,09,0

P

a) Să se afle tabloul sursei primare S;b) Să se afle tabloul sursei secundare X, ce emite în canal, considerându-se căeste SDFM;c) Considerând că S' este sursa având aceleaşi simboluri ca şi S dar cuprobabilităţi cele de recepţionare a mesajelor, să se afle tabloul sursei S;d) Cât sunt probabilităţile:

p(CAPE) - de a se emite mesajul CAP;p(CAPR) - de a se recepţiona mesajul CAP;p(CAPR /CAPE) - de a se recepţiona mesajul CAP dacă acesta a fost

emis;p(CAPE /CAPR) - de a se fi emis mesajul CAP dacă acesta a fost

recepţionat?

Canale

52

Rezolvare:a) Tabloul sursei primare S este:

=

162

162

161

161

162

164

161

163

TRPONECAS

EEEEEEEE(4.5.1)

Obs.: Indicele "E" se referă la emisie.

Codul bloc este:

b) Utilizând relaţiile (4.3.4) aflăm că:

( ) ( )24111p

24130p EE == 4.5.3)

c) Pentru a afla probabilităţile simbolurilor recepţionabile se utilizează formula probabilităţii totale(1.5). De exemplu, pentru calculul probabilităţii de a recepţiona A, se foloseşte relaţia:

( ) ( ) ( ) ( ) ( )( ) ( )ERE

EREERERT/ApTp

V/ApCpA/ApApAp⋅+

+⋅+⋅=!

(4.5.4)

unde:( ) ( ) ( ) 33

ERERER 9,00/0p000/000pA/Ap === (4.5.5)

Folosind relaţiile de forma (4.5.4) şi (4.5.5) se calculează probabilităţile de recepţionare pentru toatecele 8 simboluri. Aceste calcule sunt indicate în tabelul de mai jos:

Probabilitatesimbol ×16

Simbol

3

A

1

C

4

E

2

N

1

O

1

P

2

R

2

T÷16.000

A 39 292 ⋅ 292 ⋅ 229 ⋅ 292 ⋅ 229 ⋅ 229 ⋅ 32 3355C 192 ⋅ 892 ⋅ 9⋅2⋅1 9⋅2⋅8 9⋅2⋅1 9⋅2⋅8 122 ⋅ 822 ⋅ 1485E 192 ⋅ 9⋅2⋅1 892 ⋅ 9⋅8⋅2 9⋅2⋅1 122 ⋅ 9⋅8⋅2 822 ⋅ 3515N 219 ⋅ 9⋅1⋅8 9⋅8⋅1 289 ⋅ 212 ⋅ 2⋅1⋅8 2⋅1⋅8 2⋅8⋅8 1845O 192 ⋅ 9⋅1⋅2 9⋅1⋅2 122 ⋅ 892 ⋅ 9⋅8⋅1 9⋅8⋅2 228 ⋅ 1485P 219 ⋅ 9⋅8⋅1 212 ⋅ 8⋅2⋅1 9⋅8⋅1 289 ⋅ 8⋅2⋅1 282 ⋅ 1075R 219 ⋅ 212 ⋅ 9⋅8⋅1 8⋅2⋅1 9⋅8⋅1 8⋅2⋅1 289 ⋅ 282 ⋅ 1845T 31 218 ⋅ 218 ⋅ 182 ⋅ 218 ⋅ 182 ⋅ 182 ⋅ 38 1395

Tabloul sursei S' va fi:

A 000 O 100C 001 P 101E 010 R 110N 011 T 111

(4.5.2)

Canale

53

=

160001395

160001845

160001075

160001485

160001845

160003515

160001485

16000355.3

TRPONECAS' (4.5.6)

Obs.: comparând (4.5.1) cu (4.5.6) se observă că A, C, O şi P sunt mai probabile la recepţie decâtla emisie în vreme ce probabilităţile simbolurilor E, N, R şi T au scăzut, în probabilitate, la recepţiefaţă de emisie.

d) Probabilităţile cerute sunt:

( ) 33E 107,0

163CAPp −⋅==

( ) 33R 103,1

163558,5CAPp −⋅==

( ) ( ) 336ERER 102728,09,0001000101/001000101pCAP/CAPp −⋅=⋅==

( ) ( ) 336

RERE 1023510188

139117001000101/001000101pCAP/CAPp −⋅=

⋅

==

unde: p(0E/0R) şi p(1E/1R) s-au calculat cu relaţiile (4.1, 2 şi 3):

( )

=

248,8

242,2

243,1

247,11

Y,XP

( ) ( )24

1,101p 24

9,130p RR ==

( )

=

10188

13922

10113

139117

Y/XP

Obs.: Calculul probabilităţilor p(0R) şi p(1R) se poate face şi cu relaţii de forma (4.3.4), rezultândaceleaşi valori.

4.6. Care este durata transmiterii unei imagini alb-negru formată din N=106

pixeli printr-un canal:a) telefonic cu banda cuprinsă între 300-3400 Hz;b) video cu banda 12 MHz;c) optic (fibră optică) cu banda de 1 GHz;Intensitatea fiecărui pixel se cuantizează pe 128 nivele, iar raportul semnal-zgomotul se consideră cel minim necesar.

Rezolvare:

Canale

54

Informaţia conţinută într-o imagine, necesară a fi transmisă, este:

62

6pixelim 107128log10iNI ⋅=⋅=⋅= biţi/imagine (4.6.1)

La 128 de nivele de cuantizare este necesar un raport semnal-zgomot minim:

142 2)128( =≅ξ (4.6.2)

pentru care rezultă capacităţile canalelor:

( ) 4,4314101,31logBC 32TT =⋅⋅=ξ+= kbiţi/sec

( ) 1681410121logBC 62VV =⋅⋅=ξ+= Mbiţi/sec

( ) 1414101logBC 62OO =⋅=ξ+= Gbiţi/sec (4.6.3)

Dacă transmisiile s-ar face la aceste capacităţi (debite de informaţie) rezultă timpii de transmisie:

sec 3,161CIt

T

imT ==

ms 7,41CIt

V

imV ==

ms 5,0CIt

O

imO == (4.6.4)

4.7. La ce raport semnal-zgomot minim s-ar putea transmite, în cele trei cazuridin problema anterioară, imaginile cu viteza necesară de 25 imagini/sec?

Rezolvare: Capacitatea cerută fiecărui canal este:

175sec 1/I25I

C imagimag

imag =⋅=τ

= Mbiţi/sec (4.7.1)

Această capacitate se poate obţine la un raport semnal/zgomot:

12 B/C −=ξ sau (dacă C>>B): BC3dB ⋅=ξ (4.7.2)

Cunoscând în fiecare caz banda disponibilă avem că:

dB 169355101,3101753 3

6TdB =

⋅⋅≅ξ

Canale

55

dB 75,431012101753 6

6VdB =

⋅⋅≅ξ

dB9sau 129,012 OdB

175,0O −≅ξ=−=ξ (4.7.3)Obs.: Evident că un raport semnal-zgomot de 169355 dB este un răspuns non sens pentru practică.

4.8. Reprezentaţi secvenţa de date prezentată în figura de mai jos, pe rând încodurile NRZ, RZ, AMI şi HDB3. Calculaţi componenta medie, în fiecare caz,luând valoarea vârf la vârf a semnalului A.

Răspuns:

Componentă medie: NRZ - 11/25 A RZ - 11/50 A AMI - O HDB3 - 1/50 A

4.9. Desenaţi semnalele de linie în cod HDB3 pentru următoarele secvenţe dedate:

a) 10100100000000011110;b) 00010010000100001001;c) 10000110000011000011;

1 1 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1

Tb

RZ

AMI

HDB3

NRZ

A

Canale

56

4.10. Care va fi semnalul de linie (L) dacă la intrarea cifratorului din figură:

se aduce semnalul:

i=11101000000110000111...

Starea iniţială a RDR este

=

001

S0 .

Răspuns: 01010001011010101001.

C3 C2 C1

+

+i

L

LUCRARI DE LABORATOR

COBSINF

1

Codarea binară a surselor de informaŃie

Lucrarea de faŃă îşi propune explicitarea algoritmilor de calcul pentru a coda binar surse de informaŃie întâlnite în practică.

Codarea binară a surselor de informaŃie are dublu rol, de mărire a eficienŃei sursei de informaŃie (şi implicit de micşorare a costului transmisiei prin scăderea timpului transmisiei); de adaptare a sursei de informaŃie la canalul transmisiune (canal binar, în majoritate).

Din punct de vedere al codării, la o sursă de informaŃie interesează numărul de simboluri N şi

probabilităŃile lor de apariŃie pi , Ni ,1= . Doar pe utilizator îl interesează ce reprezintă fiecare mesaj în parte (literă de alfabet, nivel al intensităŃii pixelilor dintr-o imagine, valori ale unor mărimi fizice ce variază arbitrar1).

Codarea este operaŃia prin care fiecărui simbol al sursei, si, i se alocă o succesiune binară unică:

si li

i2i

1i r ... ,r ,r = ci (1)

unde ci reprezintă cuvântul de cod asociat simbolului (mesajului) sursei, iar jir , cu Ni ,1= , biŃii

componenŃi ai cuvântului de cod (pot lua valori binare ”1” sau ”0”). Suportul fizic al valorilor binare este, de asemenea, mai puŃin important pentru codare. Acest suport poate fi un semnal electric, optic, acustic, etc.

În expresia (1) li reprezintă lungimea cuvântului de cod ci (număr de simboluri binare). Lungimea medie a cuvintelor de cod este dată de relaŃia:

i

N

1ii lpL ⋅=∑

=

(2)

Ieşirea codorului, pentru canalul de transmisie, reprezintă o sursă de informaŃie numită

secundară. Această sursă poate genera simbolurile 0 şi 1. Entropia (informaŃia medie pe simbol), entropia maximă, precum şi eficienŃa sursei primare, sunt date de relaŃiile:

i

2

N

1ii p

1logpH(S) ⋅=∑

=

;

Nlog(S)H 2max = ;

(S)H

H(S)η

maxS = (3)

Entropia sursei secundare este egală cu informaŃia medie pe un cuvânt raportată la lungimea

medie a cuvântului:

L

H(S)H(X) = (4)

Atribuirea literelor de alfabet jir pentru a forma cuvântul de cod ci trebuie să conducă la

îndeplinirea condiŃiilor: - codul să fie instantaneu (nici un cuvânt nu este prefixul altuia);

1 Deşi, aparent, astfel de surse de informaŃie nu au un număr finit de simboluri, prin eşantionare şi cuantizare, orice sursă de informaŃie poate fi redusă la una cu număr finit de simboluri.

COBSINF

2

- codarea să conducă la o eficienŃă maxim posibilă. Această condiŃie se realizează folosind cuvinte de lungime variabilă, mai mare pentru simboluri de probabilitate de emisie (a sursei primare) mai mică. Codarea cu cuvinte de lungime variabilă este mai complicată, dar conduce la o sursă secundară cu eficienŃă mai bună şi la o ieftinire a transmisiei, lungimea medie a cuvintelor de cod fiind mai mică. Codarea cu cuvinte de lungime constantă este mai simplă dar cuvintele având aceeaşi lungime oferă maleabilitate la prelucrări ulterioare.

Codarea cu cuvinte de lungime constantă se mai numeşte şi codare cu cod bloc. Cuvintele codului bloc sunt secvenŃe binare diferite, de aceeaşi lungime L. Ştiind că numărul de secvenŃe diferite ce pot fi constituite cu L cifre binare este 2L, rezultă că numărul simbolurilor sursei trebuie să fie mai mic decât 2L, sau:

(S)HNlogL max2 =≥ > L –1 (5)

InecuaŃia a doua din (5) se datorează criteriului de eficienŃă minim posibilă (sub restricŃia de cod bloc).

Realizarea condiŃiilor mai sus precizate se face prin codare după algoritmul Huffman (static). Acesta presupune:

1. Ordonarea probabilităŃilor sursei (primare) în ordine descrescătoare; 2. Simbolurile cu probabilităŃile cele mai mici (ultimele două1 în ordonare) se reunesc

formând un nou simbol cu probabilitatea sumei celor două, după care se reordonează probabilităŃile, obŃinându-se o sursă cu N-1 simboluri;

3. Procesul continuă până când rămân 2 simboluri. Acestora li se atribuie valorile 0 şi 1; 4. Mergând pe cale inversă, se disociază simbolurile compuse în simboluri din care s-au

compus, atribuind arbitrar, la fiecare disociere, valorile 0 şi 1 pentru a găsi cuvintele de cod pentru cei doi componenŃi. De reŃinut că doar un singur simbol se disociază la fiecare pas, lungimea componenŃilor săi crescând cu 1, celelalte simboluri păstrându-şi lungimea şi structura cuvântului de cod. ObservaŃie: -atribuirea simbolurilor binare celor două simboluri compuse este arbitrară, codurile obŃinute vor fi diferite, dar de aceeaşi eficienŃă. De asemenea, ordinea simbolurilor de egală probabilitate poate fi aleasă arbitrar, diferitele moduri de atribuire conducând la coduri diferite, dar de aceeaşi eficienŃă. Însă, în vederea posibilităŃii de a confrunta rezultatele, se vor respecta regulile: -„0” se atribuie totdeauna simbolului de jos (ultimul în ordonare); -ordinea simbolurilor egal probabile este ordinea în care s-au citit, cu simbolul compus totdeauna ultimul.

Programul pe calculator, asociat acestei lucrări, permite codarea surselor de informaŃie prin algoritm Huffman static.

Precizarea sursei de informaŃie se poate face simplu, introducând valorile probabilităŃilor sursei şi numărul lor. ProbabilităŃile trebuie să îndeplinească condiŃia:

1pN

1ii =∑

=

; 1p0 i ≤≤ ; ∀ N1,i = (6)

ProbabilităŃile pot fi introduse indirect, prin numere întregi, pozitive ki, calculatorul urmând să

facă transformarea:

1 Algoritmul se poate aplica şi pentru obŃinerea codurilor nebinare (având un alfabet cu m simboluri). În acest caz se grupează câte m simboluri.

COBSINF

3

∑−

=N

1ki

ii

k

kp (7)

ceea ce asigură îndeplinirea relaŃiei (6).

Sursa de informaŃie poate fi şi un text scris (în caractere ASCII), cu cel puŃin 3 caractere diferite. Calculatorul va înŃelege că simbolurile sursei (caracterele prezente în text) au probabilităŃi precizate prin ponderea lor în text (număr de prezenŃe ale caracterului respectiv raportat la întregul număr de caractere ale textului).

Programul permite şi o a treia sursă de informaŃie. Simbolurile acesteia reprezintă intervale de lungime egală, şi în număr finit, de pe axă reală. În acest caz datele vor consta în valorile eşantioanelor unui semnal discret ( fig.1) , mărginit în timp cu suportul finit precizat ca dată de intrare M. Tot ca dată de intrare calculatorul va cere şi q-cuanta. Având aceste mărimi q (cuanta), M (numărul de eşantioane) şi b(i) (valorile eşantioanelor), pentru găsirea simbolurilor sursei şi implicit a numărului lor – N, calculatorul va proceda astfel:

• va căuta eşantioanele de valoare minimă şi maximă : min; max;

• va calcula 1]2

minmax[ +−=N unde [ ] semnifică partea întreagă;

Fig.1 Sursă de informaŃie „semnal discret”

• va calcula 1]minmax

[ +−=q

N unde [ ] semnifică partea întreagă;

• va atribui sursei de informaŃie primare simbolurile: [ min, min + q ); [min+q, min+2q); ... ;[min+(N-1)q,min+Nq)

• va calcula probabilitatea simbolurilor ca fiind egale cu fracŃiunea din numărul eşantioanelor M, ce au valori cuprinse în intervalele ce definesc simbolurile. Este posibil desigur să rămână simboluri cu probabilitate 0.

În toate cele 3 cazuri se vor calcula şi se vor putea vizualiza: a) probabilităŃile sursei primare; b) datele asociate sursei şi codării:

- entropia sursei primare H(S); - entropia maximă a sursei primare Hmax(S); - eficienŃa sursei primare ηS; - entropia sursei secundare (eficienŃa codării) H(X); - lungimea medie a cuvintelor de cod L; - redundanŃa sursei primare R(S)=Hmax(S)-H(S);

Nq

b(1)

b(2)=maxim

b(3)

b(4)=minim

b(M)

q

COBSINF

4

- redundanŃa relativă a sursei primare ρS =1-ηS ; - redundanŃa sursei secundare ρX =1-H(X).

c) cuvintele de cod; d) graful codării; e) schema algoritmului Huffman (numai pentru cazul codării cu cuvinte de

lungime variabilă ); f) în cazul sursei „semnal discret” se pot vedea şi graficul semnalului precum şi

valorile eşantioanelor.

Desfăşurarea lucrării

1. RulaŃi programul selectând opŃiunea „DemonstraŃie”. SelectaŃi pe rând cele trei feluri de surse de informaŃie (tablou, text şi semnal discret), şi pentru fiecare sursă solicitaŃi o codare bloc şi o codare prin algoritmul Huffman static. UrmăriŃi aplicarea algoritmului. 2. AlcătuiŃi surse de informaŃie de forma celor prezentate şi codaŃi-le bloc şi prin algoritmul Huffman static, calculând în fiecare caz entropia sursei, eficienŃa sursei, lungimea medie a cuvintelor codului obŃinut, precum şi eficienŃa codării. PorniŃi pentru început cu surse tablou mai simple, apoi măriŃi numărul de simboluri. UtilizaŃi ulterior şi surse „text” sau „semnal discret”. 3. La sfârşitul lucrării de laborator se va efectua test asupra cunoştinŃelor acumulate. Durata acestuia este aproximativ constantă şi independentă de numărul de studenŃi ce efectuează simultan testul (calculatorul poate testa până la 4 studenŃi simultan – în sensul că afişează pe rând date pentru cei 4≤n studenŃi şi apoi întreabă pe rând, în aceeaşi ordine studenŃii, timpii de afişare şi de chestionare rezervaŃi fiecărui student sunt constanŃi şi nu influenŃează pe cei rezervaŃi altuia). Rezultatul testului se va concretiza printr-o notă, calculată automat de calculator.

L2. ALGORITMUL HUFFMAN DINAMIC 2.1 Scopul lucrării Lucrarea îşi propune familiarizarea cu unul dintre cei mai familiarizaŃi algoritmi de compresie şi anume algoritmul Huffman dinamic. 2.2 NoŃiuni generale

Compresia este procesul de minimizare a spaŃiului ocupat sau a timpului necesar transmiterii unei anumite cantităŃi de informaŃie. Metodele de compresie pot fi împărŃite în: • Metode de compresie cu pierdere; • Metode de compresie fără pierdere.

Metodele de compresie cu pierdere de informaŃie sunt folosite în special în transmiterea semnalului audio şi video, unde pierderea de informaŃie are ca rezultat o scădere a calităŃii sunetului, respectiv imaginii.

Compresia de date fără pierdere, prezentă în programele de arhivare, în sistemele de transmisiune a datelor, a evoluat de-a lungul timpului pornind de la algoritmi simpli (suprimarea zerourilor, codarea pe şiruri) şi ajungând la algoritmii complecşi folosiŃi în prezent.

Metodele de compresie fără pierderi au la bază ideea că în general cantitatea de informaŃie prelucrată (transmisă, depozitată) conŃine o anumită redundanŃă ce se datorează: • DistribuŃiei caracterelor (unele caractere au o frecvenŃă de apariŃie mult mai mare

decât altele); • Repetării consecutive a unor caractere; • DistribuŃiei grupurilor de caractere (unele grupuri sunt mult mai frecvente decât

altele şi în plus există grupuri care nu apar deloc); • DistribuŃiei poziŃiei (unele caractere sau grupuri ocupă poziŃii preferenŃiale,

predictibile în anumite blocuri de date). Având în vedere toate aceste tipuri se poate înŃelege de ce o anumită tehnică

de compresie poate da un rezultat bun pentru un anumit tip de surse, pentru altele însă rezultatul fiind dezastruos. În studiul compresiei se urmăreşte obŃinerea unui algoritm care să ofere o compresie cât mai bună pentru tipuri de surse cât mai diferite.

Aprecierea cantitativă a compresiei realizate se face utilizând factorul de compresie, definit ca:

uc

c

nF

n= (2.1)

unde nu este lungimea în biŃi a mesajului iniŃial şi nc lungimea de compresie. 2.3 Algoritmul Huffman dinamic

Algoritmii de tip Huffman static au dezavantajul că necesită cunoaşterea prealabilă a statisticii sursei. Acest dezavantaj poate fi înlăturat utilizând un algoritm dinamic.

Algoritmul Huffman dinamic este un algoritm de compresie. Mesajele au fost deja codate în prealabil, dar neeficient, cu un cod bloc, de lungime n biŃi/cuvânt. Ideea de bază în această codare este folosirea pentru codarea unui simbol si+1 din mesaj a unui graf de codare, ce este un arbore care creşte, dintr-un punct iniŃial (numit sursă) şi care este construit pe baza primilor i simboluri din mesaj. După transmiterea simbolului si+1 se va revizui arborele de codare în vederea codării simbolului si+2.

Codarea presupune la fiecare pas transmiterea codului aferent simbolului de intrare şi modificarea corespunzătoare a grafului şi a codului. Dacă în mesajul transmis este un simbol nou, adică un simbol care n-a mai apărut în mesaj, se transmite mai întâi codul frunză goală şi apoi cei n biŃi aferenŃi simbolului nou apărut. Frunza goală are semnificaŃia că urmează un nou simbol. Frunza goală se codifică ca un mesaj oarecare, dar ponderea sa întodeauna va rămâne nulă.

Exemplu: În continuare se prezintă evoluŃia arborelui (grafului) asociat codului în timpul codării mesajului “Mi = aaabccc”: Obs: SemnificaŃia notaŃiilor este: -pentru nod: - x: număr de ordine (creşte de la stânga spre dreapta şi de jos în sus pe linii); - p: ponderea cumulată din nodurile aferente. - pentru frunză (nod terminal): - x: număr de ordine; - p: pondere (număr de apariŃii ale respectivului simbol); - y: simbolul. Frunza goală, notată cu "0", este de pondere 0. - pentru ramură: - spre stânga ≡ codare cu zero; - spre dreapta ≡ codare (atribuire) cu unu. 1. Mi = “a”

2. Mi = “aa”

3. Mi = “aaa”

p x

x y p

1

0 1

1 0

1 2

3

a

Codurile sunt: 0 - 0 a - 1 Mesajul transmis este: “a”

2

0 2

1 0

1 2

3

a

Codurile sunt: 0 - 0 a - 1 Mesajul transmis este: “a1”

3

0 3

1 0

1 2

3

a

Codurile sunt: 0 - 0 a - 1 Mesajul transmis este: “a11”

4. Mi = “aaab”

5. Mi = “aaabc”

6. Mi = “aaabcc”

Deoarece ponderea nodului “c” este mai mare decât ponderea nodului “b” se va face interschimbarea între noduri, realizându-se o rearanjare a arborelui:

Codurile sunt: 0 - 00 a - 1 b - 01 Mesajul transmis este: “a110b”

4

1 3

1 0

3 4

5

a

0 1

1 0

1 2 b

Codurile sunt: 0 - 000 a - 1 b - 01 c - 001 Mesajul transmis este: “a110b00c”

5

2 3

1 0

5 6

7

a

1 1

1 0

3 4 b

0 1

1 0

1 2 c

Codurile sunt: 0 - 000 a - 1 b - 01 c - 001 Mesajul transmis este: “a110b00c001”

6

3 3

1 0

5 6

7

a

2 1

1 0

3 4 b

0 2

1 0

1 2 c

Codurile sunt: 0 - 000 a - 1 b - 001 c - 01 Mesajul transmis este: “a110b00c001”

6

3 3

1 0

5 6

7

a

1 2

1 0

3 4 c

0 1

1 0

1 2 b

7. Mi = “aaabccc”

În urma rearanjării arborelui se obŃine:

Dacă se presupune că simbolurile mesajului de la intrare au fost codate în

prealabil cu un cod bloc, cu n=8 biŃi/cuvânt vom avea lungimea mesajului iniŃial: Considerând caracterele în mesajul iniŃial codate pe 8 biŃi, lungimea acestuia este: nu=7⋅8=56 biŃi (2.2) Mesajul comprimat (a110b00c00101) are: nc=8⋅3+10=34 biŃi (2.3) Rezultă un factor de compresie:

u

c

nF 1,7

n= ≅

2.4 Desfăşurarea lucrării 2.4.1 Se lansează executabilul dHuffman.exe din directorul Huffman Dinamic, după care se introduce parola TTI. RulaŃi programul, selectând opŃiunea DemonstraŃie, pentru codare şi decodare. 2.4.2 Se verifică, cu programul, exemplul luat în această lucrare, selectând pe rând compresia, respectiv decompresia prezentate. 2.4.3 Pentru compresie şi decompresie se alege câte un exemplu oarecare asemănător cu cel prezentat în lucrare. Se realizează compresia/decompresia, după care, cu programul, se verifică rezultatele obŃinute. 2.4.4 La sfârşitul lucrării de laborator se va efectua un test asupra cunoştinŃelor acumulate. Rezultatul testului se va concretiza printr-o notă, calculată automat de calculator.

Codurile sunt: 0 - 000 a - 1 b - 001 c - 01 Mesajul transmis este: “a110b00c00101”

7

4 3

1 0

5 6

7

a

1 3

1 0

3 4 c

0 1

1 0

1 2 b

Codurile sunt: 0 - 100 a - 0 b - 101 c - 11 Mesajul transmis este: “a110b00c00101”

7

3

0

5

7

a 4

1

6

1 3

1 0

3 4 c

0 1

1 0

1 2 b

1

L5. CODUL HAMMING

5.1 Scopul lucrării Lucrarea îşi propune realizarea unei codări/decodări utilizând codul Hamming corector de o eroare, respectiv codul Hamming corector de oeroare şi detector de două erori. 5.2 Cod Hamming corector de o eroare Codurile Hamming constiruie prima clasă de coduri bloc liniare corectoare de erori şi au fost propuse de R. Hamming în 1950.

Codul Hamming este un cod protector. Scopul codării este acela de a adapta sursa de informaŃie la canalul de transmisie. În cazul de faŃă sursa este deja codată şi se face o codare pentru protecŃia informaŃiei. Acest lucru se realizează prin mărirea redundanŃei (prin creşterea suportului binar; biŃilor de informaŃie adăugânduse biŃii de control). BiŃii de control au ca scop de a crea legături, relaŃii între biŃii de informaŃie. Aceste relaŃii folosesc codorului pentru a calcula biŃii de control şi folosesc decodorului pentru a verifica corectitudinea transmisiei.

Codul Hamming este un cod nesistematic (simbolurile de control sunt intercalate printre simbolurile informaŃionale, situându-se pe poziŃii puteri ale lui 2).

5.2.1 Codarea codului Hamminmg corector de o eroare Particularitatea codului liniar Hamming corector de o eroare constă în forma matricii de control, H, care are fiecare coloană structurată prin reprezentarea binară a numărului zecimal de ordine al coloanei respective. Din acest motiv, corectorul Z, calculat cu relaŃia TZ H V= ⋅ , decodat din binar în zecimal, indică numărul de ordine zecimal al bitului eronat din cuvântul recepŃionat. DistanŃa minimă a acestui cod este:

cd 2e 1 3≥ + = ,

unde ec reprezintă numărul de erori corectabile. Se consideră codul cu parametrii: • n=7, numărul de simboluri în cuvânt; • m=3, numărul de simboluri de control în cuvânt; • k=4, numărul de simboluri de informaŃie în cuvânt. SecvenŃa de informaŃie este:

3 5 6 7i i i i i=

şi secvenŃa de control:

1 2 4C C C C=

astfel încât cuvântul de cod rezultat va fi:

1 2 3 4 5 6 7V C C i C i i i=

Codarea înseamnă calculul simbolurilor de control C1, C2, şi C4 când se dau simbolurile de informaŃie i3, i5, i6, i7. RelaŃia de codare:

2

1

2

3T

4

5

6

7

C

C

0 0 0 1 1 1 1 i

H V 0 0 1 1 0 0 1 1 C 0

1 0 1 0 1 0 1 i

i

i

⋅ = = =

(5.1)

unde H reprezintă matricea de control, ce este de dimensiune m×n. Sau în formă explicită:

1 3 5 7C i i i= + +

2 3 6 7C i i i= + + (5.2)

4 5 6 7C i i i= + +

Suma făcându-se modulo doi. Exemplul 1: Pentru n=7, k=4, m=3 şi secvenŃa de informaŃie i=1010, găsiŃi cuvântul V de cod.

Rezolvare: Se observă că există 4 simboluri de informaŃie: i3, i5, i6, i7. Cuvântul de cod,V, se poate scrie sub formă literară: 1 2 3 4 5 6 7V C C i C i i i= . Avem aşadar 7 simboluri ce

alcătuiesc cuvântul de cod şi 3 biŃi de control. Rezultă că matricea de control, H, va conŃine 3 linii şi 7 coloane. Din relaŃia de codare (5.1), rezultă relaŃiile de calcul a biŃilor de control:

1 3 5 7C i i i 1 0 0 1= + + = + + =

2 3 6 7C i i i 1 1 0 0= + + = + + =

4 5 6 7C i i i 0 1 0 1= + + = + + =

Rezultă cuvântul de cod: V=1011010

5.2.2 Decodarea codului Hamminmg corector de o eroare Având cuvântul recepŃionat 'V , compus din 7 imboluri:

' ' ' ' ' ' ' '1 2 3 4 5 6 7V C C i C i i i=

se poate calcula corectorul codului Hamming cu relaŃia:

T

4'

2

1

z

z H V z

z

= ⋅ =

(5.3)

Matricea de control: [ ] [ ]1 i nm,nH h h h= L L (5.4)

unde, pentru acest caz se observă că m=3 şi n=7. Coloana hi exprimă în cod binar natural numărul de ordine al coloanei respective, cu bitul cel mai puŃin semnificativ în linia m.

3

Din relaŃia (5.3) rezultă:

' ' ' '4 4 5 6 7z C i i i= + + +

' ' ' '2 2 3 6 7z C i i i= + + + (5.5)

' ' ' '1 1 3 5 7z C i i i= + + +

Decodarea zecimală a corectorului z, indică poziŃia erorii, dacă este una singură, în cuvântul 'V . Va fi eronat simbolul cu indicele r, dat de relaŃia:

4 2 1r 4z 2z z= + + (5.6)

Cuvântul recepŃuionat se mai poate scrie ca fiind:

'V V= + ε , unde εεεε reprezintă cuvântul eroare. RelaŃia (5.3) va deveni:

( )T T' Trz H V H V H h= ⋅ = ⋅ + ε = ⋅ε =

unde poziŃia erorii se calculează cu relaŃia (5.6). Obs: În cazul în care există două erori, sunt cazuri în care nu numai că nu se corectează nici o eroare, dar se mai eronează un al treilea simbol, rezultând la recepŃie trei simboluri eronate. Exemplul 2:

DecodaŃi cuvântul recepŃionat V’=1001001 Rezolvare:

Cuvântul de cod recepŃionat se poate scrie ca fiind:

' ' ' ' ' ' ' '1 2 3 4 5 6 7V C C i C i i i=

V ’= 1 0 0 1 0 0 1 RelaŃia (5.5) va deveni:

' ' ' '

4 4 5 6 7z C i i i 1 0 0 1 0= + + + = + + + = ' ' ' '

2 2 3 6 7z C i i i 0 0 0 1 1= + + + = + + + = ' ' ' '

1 1 3 5 7z C i i i 1 0 0 1 0= + + + = + + + =

Aşadar, poziŃia eronată este:

4 2 1r 4z 2z z 4 0 2 1 1 0 2= + + = ⋅ + ⋅ + ⋅ =

Rezultă cuvântul eroare: 0100000ε =

Se poate scrie: 'V V 1001001 0100000 1101001= + ε = + =

Rezultă secvenŃa de informaŃie:

3 5 6 7i i i i i 0001= =

4

5.3 Cod Hamming corector de o eroare şi detector de două erori CondiŃia necesară şi suficientă pentru ca un cod să poată simultan corecta maxim t erori şi a detecta maxim e erori este ca distanŃa minimă a codului să fie:

d t e 1 1 2 1 4, e>t≥ + + = + + =

5.3.1 Codarea codului Hamminmg corector de o eroare şi detector de două erori Pentru a înlătura dezavantajul codului Hamming corector de o eroare (acela de a erona suplimentar, la depăşirea capacităŃii de corecŃie a codului, t>1) şi de al face mai util în aplicaŃii practice, codul a fost modificat în sensul creşterii distanŃei minime de la d=3 la d=4, ceea ce permite detecŃia erorilor duble.

Creşterea distanŃei de cod de la 3 la 4 s-a făcut prin adăugarea unui simbol de control suplimentar, numit simbol de control al parităŃii, C0, structura cuvîntului de cod devenind:

0 1 2 3 4 5 6 7V C C C i C i i i=

Matricea de control se modifică şi are structura:

'

0 0 0 0 1 1 1 1

0 H 0 0 1 1 0 0 1 1H

1 1 0 1 0 1 0 1 0 1

1 1 1 1 1 1 1 1

= =

RelaŃia de codare va fi:

0

1

2

3' T

4

5

6

7

C

C

C0 0 0 0 1 1 1 1

i0 0 1 1 0 0 1 1H V 0

C0 1 0 1 0 1 0 1

i1 1 1 1 1 1 1 1

i

i

⋅ = ⋅ =

(5.7)

Sau în formă explicită:

1 3 5 7C i i i= + +

2 3 6 7C i i i= + + (5.8)

4 5 6 7C i i i= + +

0 1 2 3 4 5 6 7C C C i C i i i= + + + + + +

Exemplul 3: Fie secvenŃa de informaŃie i=1010, găsiŃi cuvântul V de cod.

Rezolvare: Se observă că există 4 simboluri de informaŃie: i3, i5, i6, i7. Cuvântul de cod,V, se poate scrie sub formă literară: 0 1 2 3 4 5 6 7V C C C i C i i i= . Avem aşadar 8 simboluri ce

alcătuiesc cuvântul de cod şi 4 biŃi de control. Rezultă că matricea de control, H’, va conŃine 4 linii şi 8 coloane. Din relaŃia de codare (5.8), rezultă relaŃiile de calcul a biŃilor de control:

1 3 5 7C i i i 1 0 0 1= + + = + + =

5

2 3 6 7C i i i 1 1 0 0= + + = + + =

4 5 6 7C i i i 0 1 0 1= + + = + + =

0 1 2 3 4 5 6 7C C C i C i i i 1 0 1 1 0 1 0 0= + + + + + + = + + + + + + =

Rezultă cuvântul de cod: V=01011010

5.3.2 Decodarea codului Hamminmg corector de o eroare şi detector de două erori Având cuvântul recepŃionat 'V , compus din 8 imboluri:

' ' ' ' ' ' ' ' '0 1 2 3 4 5 6 7V C C C i C i i i=

se poate calcula corectorul codului cu relaŃia:

T

4

2' '

0 1

0

z

z zZ H V

z z

z

= ⋅ = =

(5.9)

Unde: • z, reprezintă corectorul de la codul Hamming corector de o eroare; • z0, reprezintă simbolul binar, 0 sau 1, cu ajutorul căruia se pot detecta erori pare

(z0=0). Există patru cazuri: Cazul 1:

0

z 0

z 0

= =

nu există erori sau nu există erori detectabile prin cod. Cazul 2:

0

z 1

z 0

≠ =

se face detecŃia erorilor duble. Cazul 3:

0

z 0

z 1

= =

simbolul C0 este eronat. Cazul 4:

0

z 0

z 1

≠ =

există o eroare corectabilă. Va fi eronat simbolul cu indicele r-1, unde r este dat de relaŃia: 4 2 1 0r 4z 2z z z= + + + (5.10)

Exemplul 4:

DecodaŃi cuvântul recepŃionat V’=01001010 Rezolvare:

6

Cuvântul de cod recepŃionat se poate scrie ca fiind:

' ' ' ' ' ' ' ' '0 1 2 3 4 5 6 7V C C C i C i i i=

V ’= 0 1 0 0 1 0 1 0 RelaŃia (5.5) va deveni:

' ' ' '

4 4 5 6 7z C i i i 1 0 1 0 0= + + + = + + + = ' ' ' '

2 2 3 6 7z C i i i 0 0 1 0 1= + + + = + + + = ' ' ' '

1 1 3 5 7z C i i i 1 0 0 0 1= + + + = + + + = ' ' ' ' ' ' ' '

0 0 1 2 3 4 5 6 7z C C C i C i i i 0 1 0 0 1 0 1 0 1= + + + + + + + = + + + + + + + =

Rezultă că avem situaŃia cazului 4, când există o eroare corectabilă. Aşadar, rezultă r:

4 2 1 0r 4z 2z z z 4 0 2 1 1 1 1 4= + + + = ⋅ + ⋅ + ⋅ + =

Deci va fi eronat simbolul cu indicele r-1, adică 4-1=3, i3. Rezultă cuvântul eroare:

00010000ε = Se poate scrie:

'V V 01001010 00010000 01011010= + ε = + =

Rezultă secvenŃa de informaŃie:

3 5 6 7i i i i i 1010= =

5.4 Desfăşurarea lucrării 5.4.1 Se lansează executabilul Hamming.exe din directorul Hamming, după care se introduce parola TTI. RulaŃi programul, selectând opŃiunea DemonstraŃie, pentru toate cele patru variante prezentate. 5.4.2 Se verifică, cu programul, toate exemplele luate în această lucrare, selectând pe rând codurile prezentate. 5.4.3 Pentru fiecare cod în parte, se alege câte un exemplu de codare/decodare, asemănător cu cele prezentate în lucrare, cu observaŃia ca secvenŃa de informaŃie să conŃină 11 biŃi de informaŃie, la codare, respectiv cuvîntul recepŃionat să conŃină 15/16 biŃi, la decodare. Se realizează codarea/decodare, după care, cu programul, se verifică rezultatele obŃinute. 5.4.4 La sfârşitul lucrării de laborator se va efectua un test asupra cunoştinŃelor acumulate. Rezultatul testului se va concretiza printr-o notă, calculată automat de calculator.

1

7. Codurile Ciclice GeneralităŃi Codurile ciclice sunt utilizate pentru protejarea informaŃiei împotriva perturbaŃiilor.

Codurile ciclice sunt coduri bloc (toate cuvintele au aceeaşi lungime, codarea şi decodarea unui bloc este independentă de a celorlalte).

Denumirea de “ciclice” provine de la proprietatea pe care o au cuvintele de cod şi anume dacă vi = 1001001 este cuvânt de cod atunci şi vj = 0010011 şi vk = 1100100 sunt cuvinte de cod . Adică orice permutareciclică a unui cuvânt de cod este un alt cuvânt de cod .

Parametrii codului sunt n (biŃi) lungimea cuvântului de cod, k numărul de biŃi de informaŃie per cuvânt, m numărul de biŃi de control per cuvânt şi polinomul generator g(x). Deşi poate fi facută şi o codare nesistematică vom considera codul sistematic cei k biŃi de informaŃie fiind situaŃi pe poziŃiile cele mai semnificative, iar cei m biŃi de control pe poziŃiile mai puŃin semnificative.

Fiecărui cuvânt de cod i se poate ataşa un polinom de grad maxim n-1 . v = vn-1vn-2vn-3......v1v0, coeficienŃii v i fiind coeficienŃi binari (din câmpul binar 0,1). Polinomul asociat cuvântului va fi : v(x) = vn-1x

n-1 + vn-2xn-2 + vn-3x

n-3 + .....+ v1x + v0 (7.1) Ponderea unui cuvânt reprezintă numărul de 1 din cadrul cuvântului. Polinomul de informaŃie este : i(x) = ik-1x

k-1 + ik-2xk-2 + ik-3x

k-3 + .....+ i1x + i0 (7.2) de grad k-1. Pentru orice cuvânt de cod este valabilă relaŃia :

( )( ) 0xg

xvrest = (7.3)

Deci cuvintele de cod se aleg astfel încât să fie multiplii ai polinomului g (x) numit

polinomul generator al carui grad va fi deci m = n-k, (gm = 1): g(x) = gmxm + gm-1x

m-1 + gm-2xm-2 + .....+ g1x + g0 (7.4)

OperaŃiile se fac modulo (xn + 1) . Dacă, codul este corector de o singură eroare atunci: n = 2m – 1. (7.5) Codurile ciclice corectoare de o eroare, având distanŃa de cod (distanŃa Hamming

minimă între cuvintele codului) dHmin = 3, sunt capabile să corecteze o eroare sau să detecteze două.

Codarea codului ciclic corector de o eroare

Codarea va fi prezentată în două moduri nesistematică sau sistematică. Cu relaŃia v(x) = i(x)⋅g(x) se poate face codarea nesistematică, dar pentru că nu este utilă în practică nu va fi luată în considerare .

2

În continuare va fi deci prezentată codarea sistematică unde corespondenŃa dintre i(x) şi v(x) este dată prin relaŃia :

( ) ( ) ( )( )xg

xxirestxxixv

mm ⋅+⋅= (7.6)

unde ( )

( )xg

xxirest

m⋅ semnifică restul împărŃirii polinomului i(x)·xm la g(x).

OperaŃia de adunare din ecuaŃia (7.6) este sumă modulo 2 (SAU exclusiv), iar coeficienŃii polinoamelor sunt din câmpul binar 0,1.

Matematic codarea poate fi facută polinomial sau matricial. a). Polinomial Codarea va fi prezentată printr-un exemplu, putând fi uşor generalizată. Fie g(x) = x3 + x + 1. Deci m = 3 şi cu relaŃia 2m – 1 = n rezultă că n = 7 de unde k = n

– m = 4. Vom avea ca atare 4 biŃi de informaŃie i = vn-1vn-2vn-3vn-4 cu polinomul asociat : i(x) = vn-1x

3 + vn-2x2 + vn-3x + vn-4 (7.7)

şi deci i(x)·xm = (vn-1x3 + vn-2x

2 + vn-3x3 + vn-1x + vn-4) ·x

3 = vn-1x6 + vn-2x

5 + vn-3x4 + vn-4x

3 BiŃii de control sunt coeficienŃii restului împărŃirii lui i(x)·x m/g(x). vn-1x

6 + vn-2x5 + vn-3x

4 + vn-4x3 x3 + x + 1

vn-1x6 + vn-1x

4 + vn-1x3 vn-1x

3 + vn-2x2 + (vn-3 + vn-1)x + (vn-4 + vn-2 + vn-1)

/ vn-2x

5 + (vn-3 + vn-1)x4 + (vn-4 + vn-1)x

3 vn-2x

5 + vn-2x3 + vn-2x

2

/ (vn-3 + vn-1)x4 + (vn-4 + vn-2 + vn-1)x

3 + vn-2x2

(vn-3 + vn-1)x4 + (vn-3 + vn-1)x

2 +(vn-3 + vn-1)x / (vn-4 + vn-2 + vn-1)x

3 + (vn-3 + vn-2 + vn-1)x2 + (vn-3 + vn-1)x

(vn-4 + vn-2 + vn-1)x3 + (vn-4 + vn-2 + vn-1)x + vn-4 + vn-2 + vn-1

(vn-3 + vn-2 + vn-1)x

2 + (vn-4 + vn-3 + vn-2)x + vn-4 + vn-2 + vn-1 ⇒ r(x) = (vn-3 + vn-2 + vn-1)x

2 + (vn-4 + vn-3 + vn-2)x + vn-4 + vn-2 + vn-1 (7.8) , unde r(x) este restul împărŃirii .

Conform relaŃiei (7.6) se obŃine : v(x) = vn-1x

6 + vn-2x5 + vn-3x

4 + vn-4x3 + (vn-3 + vn-2 + vn-1)x

2 + (vn-4 + vn-3 + vn-2)x + vn-4 + vn-2 + vn-1

Pentru că n = 7 şi v(x) este de forma :

v(x) = v6x

6 + v5x5 + v4x

4 + v3x3 + v2x

2 + v1x + v0 (7.9)

3

şi Ńinând cont de relaŃia (7.8) simbolurile de control vor fi date de:

v2 = v4 + v5 + v6

v1 = v3 + v4 + v5 (7.10) v0 = v3 + v5 + v6

Aşadar cuvântul de cod va fi v = v6v5v4v3v2v1v0 unde primii 4 sunt biŃii de informaŃie, iar ultimii 3 cei de control.

b). Codor ciclic cu RDR (codarea matricială) În figura 7.1 este prezentat un codor ciclic care implementează relaŃia de codare (7.6). SecvenŃa de informaŃie, i(x), intră în codor în primele k tacte, primul bit fiind cel mai semnificativ şi, de asemenea, este conectată şi la ieşire. Pentru aceasta, întrerupătorul 1, format din poarta AND-1 este închis iar întrerupătorul 2, format din poarta AND-2 este deschis (vezi semnalele de comandă P1 şi P2). În următoarele m tacte întrerupătorul 1 este deschis iar întrerupătorul 2 este închis, astfel că secvenŃa r, generată de RDR, este livrată la ieşirea v. a) Codor ciclic RDR ; b) Semnalele de validare a porŃilor „AND”

Figura 7.1 Codor ciclic cu RDR şi semnalele de comandă

P1

• i(x)

v(x)

•

• P1

• P2

AND-1

AND-2

⊕

⊕

⊕

gm=1 gm-1 gm-2 ….. g1 g0=1

Cm • Cm-1 • Cm-2 ⋅⋅⋅⋅⋅ • C1

t/Tb

t/Tb

P2

0 1 2 • • • • • k=n-m • • • • n

• • • • • •

• • • • • •

0 1 2 • • • • • k=n-m • • • • n

4

Obs. –Se observă că, în ultimele k tacte, la intrările sumatorului (care adună intrarea RDR-lui cu reacŃia sa) se regăseşte acelaşi semnal, astfel că, în aceste k tacte, în celula Ck se va introduce o secvenŃă nulă care „curăŃă” registrul pentru un nou cuvânt de cod. Din funcŃionarea registrului de deplasare cu reacŃie rezultă relaŃia

Sj = TSj-1 + vn-jU (7.11)

unde S reprezintă starea registrului, U este o matrice coloană, iar T este matricea caracteristică a registrului de deplasare cu reacŃie. Ele sunt de forma:

=

m

2

1

c

c

c

SM

=

1

0

0

UM

=

1-m210 gggg

1000

0100

0010

T

L

L

MLMMM

L

L

(7.12)

łinând cont de observaŃia făcută mai sus rezultă că Sn = 0. Considerând acelaş exemplu Matricea caracteristică, T, este:

=011

100

010

T (7.13)

Utilizând relaŃiile (7.11) şi (7.13) pentru cazul n = 7 vom avea: S7 = v6T

6U + v5T5U + v4T

4U + v3T3U + v2T

2U + v1TU + v0U = 0 (7.14) Efectuând calculele rezultă:

=⋅0

1

0

UT ,

=⋅1

0

1

UT 2 ,

=⋅1

1

0

UT3 ,

=⋅1

1

1

UT4 ,

=⋅0

1

1

UT5 ,

=⋅0

0

1

UT6 (7.15)

Introducând (7.15) în (7.14) şi efectuând calculele obŃinem: v2 = v4 + v5 + v6

v1 = v3 + v4 + v5 v0 = v4 + v3 + v2 = v4 + v3 + v4 + v5 + v6 = v3 + v5 + v6

relaŃii identice cu relaŃiile (7.10) deci cele două proceduri de calcul ne-au dus la aceleaşi rezultate .

Cuvântul de cod va fi v = v6v5v4v3v2v1v0.

5

Decodarea codului ciclic corector de o eroare Decodarea codului ciclic cuprinde verificarea corectitudinii cuvântului recepŃionat: w(x) = v’n-1x

n-1 + v’n-2xn-2 + ... + v’1x + v’0, (7.16)

corectarea sau detectarea erorilor, după destinaŃia codului şi apoi selecŃia biŃilor de informaŃie. Verificarea presupune calculul restului împărŃirii lui w(x) la g(x). Dacă restul este 0 se decide: cuvânt corect recepŃionat. Dacă nu, atunci se decide: cuvânt eronat.(Prima decizie poate fi falsă, a doua nu!) Pentru codurile detectoare decodarea ia sfârşit aici. Pentru codurile corectoare analiza restului permite determinarea poziŃiei erorilor. Acest lucru presupune existenŃa unei corespondenŃe biunivoce între resturile posibile şi cuvintele eroare corectabile de către codul dat. Dacă codul este corector de o eroare, atunci decodarea decurge astfel: 1°- se calculează corectorul zn cu formula:

UTUTvz j1-n

0jj

j1-n

0j

'j ∑∑

==

== ε (7.17)

unde εj reprezintă coeficienŃii polinomului eroare: ε(x) = w(x) + v(x) (7.18) 2°- dacă z = 0 se decide că w(x) este corect w(x) = v(x) - dacă z ≠ 0 atunci z = TrU, unde r este indicele coeficientului eronat. Comparăm z cu TjU şi găsim r. CorecŃia presupune schimbarea valorii lui v’r. Dacă codul ciclic corectează mai multe erori, atunci decodarea se poate face pe seama corespondenŃei amintite anterior. a) Decodarea polinomială Metoda constă în împărŃirea lui w(x) la g(x). Va rezulta un polinom rest, r(x). Dacă acesta este diferit de 0, cuvântul recepŃionat este eronat şi prin identificarea restului r(x) cu valorile din tabelul cuvinte eroare – corectori (vezi Anexe) se determină poziŃia erorii şi se realizează corecŃia. Spre exemplu fie : w(x) = x6 + x5 + x3 + x2 + 1. Calculăm rest[ w(x) /g(x)]: x6 + x5 + x3 + x2 + 1 x3 + x + 1 x6 + x4 + x3 x3 + x2 + x + 1 x5 + x4 + x2 + 1 x5 + x3 + x2 x4 + x3 + 1 x4 + x2 + x x3 + x2 + x + 1 x3 + x + 1 x2 deci conform tabelului din anexă este eronat w2. Schimbând valoarea bitului w2 rezultă :

w(x) = x6 + x5 + x3 + 1.

6

b) Decodor ciclic cu RDR (decodarea matricială) •

a) schema ; b)Semnalele de validare a porŃilor AND ;

Figura 7.2 Decodor ciclic corector de o eroare În figura 7.2 este prezentată structura unui decodor ciclic corector de o eroare.

gm-1

gm-1

gm-2

gm-2

g1

g1

IDENTIFICARE STARE 0 0 0 1

IDENTIFICARE STARE 0 0 0 1 AND AND

AND AND

C1

C1 Cm-1

Cm-1

P1 P2

P1 P2

Cm

Cm

⊕

⊕

⊕

⊕

⊕

v n Tb

•

•

• • • •

• • • •

•

w •

celula 0 celula n-1

• 0

• 0

• n-1

• n-1

• n

• n

• 2n

• 2n

t / Tb

t / Tb

P2

P1

…..

…..

…..

…..

7

BiŃii cuvântului recepŃionat vor intra în schemă unul după altul în ordine, începând cu bitul v’n-1.

Schema de decodare conŃine un registru de deplasare (blocul „nTb” este un registru de întârziere cu n celule) cu rol de memorie, care păstrează cuvântul recepŃionat care intră pas cu pas şi două subscheme cu RDR pentru corecŃie care funcŃionează în contratimp. Procedura de decodare durează 2n tacte. În primele n tacte în memorie intră cuvântul 1 care prin poarta P1 intră şi în primul decodor, ieşirea acestuia fiind 0 pentru că P2 este închis. În următoarele n tacte cuvântul 2 va intra prin poarta P2 în al doilea decodor care are ieşirea 0 deoarece P1 este închis, în acest timp cuvântul 1 părăseşte memoria trecând prin sumator şi este corectat de primul decodor care identifică starea 00.....1 şi care are acces la sumator prin P2.

După n = 7 tacte starea registrului va fi: S’7 = v’6T

6U + v’5T5U + v’4T

4U + v’3T3U + v’2T

2U + v’1TU + v’0U (7.19)

care nu va mai fi 0 decât în cazul în care nu avem eroare. Dacă eroarea afectează bitul vr starea registrului de deplasare cu reacŃie după intrarea întregului cuvânt este: S’7 = v’6T

6U + v’5T5U + .... + v’rT

rU + .... + v’1TU + v’0U (7.20) Deoarece la emisie S7 = 0 şi v’ j = vj pentru j ≠ r şi v’ r = vr + 1 rezultă:

S’7 + S7 = S’7 = TrU = z (7.21) Pe durata următoarelor n = 7 tacte RDR din prima subschemă va evolua numai sub

acŃiunea semnalului de reacŃie şi după n-r-1 tacte se va ajunge în starea:

S’7+n-r-1 = Tn-r-1 S’7 = Tn-1U =

0

0

1

(7.22)

În acelaş timp printr-o deplasare cu n-r-1 tacte eroarea care se afla în celula r va

ajunge în celula n-1. Detectorul va sesiza starea S’7+n-r-1 fixă şi prin poarta P2 care este închisă va emite semnalul de corecŃie (blocul IDENTIFICĂ generează un 1L) care se însumează cu bitul eronat aflat în celula n-1, astfel la ieşirea sumatorului final se va obŃine cuvântul corectat. Desfăşurarea lucrării 1. RulaŃi programul de pe calculator alegând butonul “DemonstraŃie” de la codul ciclic şi se urmăreşte o codare şi o decodare. 2. AlegeŃivă un polinom generator şi secvenŃa de informaŃie şi efectuaŃi o codare, apoi alegând polinomul generator şi biŃii recepŃionaŃi o decodare. VerificaŃi apoi rezultatul cu ajutorul calculatorului. 3. La sfârşitul lucrării de laborator se efectuează testul de verificare a cunoştinŃelor acumulate prin intermediul calculatorului. Testul constă în a răspunde la 5 întrebări teoretice, fiecare având un răspuns corect din cele cinci propuse, şi efectuarea unei codări şi a unei decodări pornind de la polinomul generator şi secvenŃa de informaŃie respectiv secvenŃa recepŃionată generate aleator de calculator.

MODULAłIA DELTA UNIFORMĂ 1.Introducere Transmiterea numerică a informaŃiei este un domeniu de mare actualitate practică şi teoretică. În afară de modulaŃia impulsurilor în cod (MIC), care are avantajul unei bune imunităŃi la perturbaŃii obŃinute pe baza creşterii benzii de frecvenŃă necesare transmiterii informaŃiei în practică se aplică şi alte tehnici numerice de transmisie care obŃin o reducere a benzii de frecvenŃă sau a timpului de transmitere prin mărirea corelaŃiei între eşantioanele codate transmise. Cea mai cunoscută tehnică este modulaŃia diferenŃială a impulsurilor în cod (MDIC). SecŃiunea 1.1 În cazul în care între două eşantioane consecutive preluate din semnalul s(t) ce urmează a fii transmis numeric, există o corelaŃie puternică atunci este avantajos să se codeze şi să se transmită diferenŃa dintre cele două eşantioane. Dacă se notează cu kD diferenŃa dintre eşantioanele ks şi 1−ks ale

semnalului aleator staŃionar de medie nulă ( )0,2 =sσ .

100

1−−=

−−

= kkk ss

f

ks

f

ksD , valoarea medie pătratică a

diferenŃei este:

( ) ( )kkkkkkkk ssssssD ρ−⋅⋅=⋅⋅−+=−= −−− 122s ____

2__________

1

_____2

1

___2

______________2

1k2 ,

unde 2

___________

1

σρ −⋅= kk

k

ss

SecŃiunea 1.2

Din ecuaŃia de mai sus se observă că pentru cazul în care coeficientul de corelaŃie 5.0>kρ valoarea medie pătratică a diferenŃei este mai mică decât valoarea medie pătratică a eşantioanelor şi deci rezultă că diferenŃa kD

se poate cuantiza cu un număr mai redus de cuante decât eşantionul ks . Această economie obŃinută prin reducerea numărului de niveluri de cuantizare are ca efect, în cazul transmiterii unei anumite cantităŃi de informaŃie, reducerea: timpului de transmisie sau a benzii de frecvenŃă a semnalului numeric transmis pe linie. SecŃiunea 1.3 Sistemul de transmisiuni care lucrează pe principiul descris în secŃiunile 1.1 şi 1.2 poartă numele de: sistem de transmisiune cu modulaŃia diferenŃială a impulsurilor în cod. SecŃiunea 1.4 ModulaŃia delta este varianta cu n=1 bit a modulaŃiei diferenŃiale a impulsurilor în cod. 2.ModulaŃia delta uniformă ModulaŃia delta uniformă este un caz particular al modulaŃiei diferenŃiale a impulsurilor în cod având numai două niveluri de cuantizare. SecŃiunea2.1 Fie un semnal ( )tx de bandă limitată W care este supus modulaŃiei delta uniforme. Semnalul este mai întâi eşantionat cu frecvenŃa Wf ⋅20 >> . La fiecare eşantion nx , se calculează semnul diferenŃei dintre eşantionul de

intrare nx şi ultima aproximaŃie 1ˆ −nx , ( )1ˆ −− nn xxsgn . În funcŃie de semnul acestei diferenŃe se dă comanda de creştere sau de scădere a eşantionului următor nx , cu o valoare a cuantei 0q conform relaŃiilor: ( ) 001ˆ qqxxsgnq nn ±=⋅−= − 011 ˆˆˆ qxqxx nnn ±=+= −− Pe canalul de transmisie se transmite semnalul diferenŃei

( )1ˆ −− nn xxsgn cu ajutorul căruia la recepŃie se poate reconstrui semnalul ( )tx , format din eşantioanele nx . O schemă bloc a unui sistem de transmisie

cu modulaŃie delta liniară şi formele de undă care să ilustreze principiul de funcŃionare sunt:

( )tx nx 0f 1ˆ −nx ( )1ˆ −− nn xxsgn SecŃiunea 2.2 În secŃiunea de mai sus au fost ilustrate două tipuri de erori de cuantizare care pot apărea în modulaŃia delta uniformă:

• erori de neurmărire pe porŃiunile rapid variabile ale semnalului ( )tx .

• erori de granulare pe porŃiunile lent variabile ale semnalului. Pentru a nu avea erori de neurmărire este necesar ca viteza de variaŃie

a cuantei să fie mai mare decât viteza maximă de variaŃie a semnalului. Iar pentru a nu avea erori de granulare este necesar ca mărimea cuantei 0q să fie

cât mai mică. Prima condiŃie se scrie ( )tffq ′≥⋅ 00 .

Pentru un semnal dat această condiŃie este indeplinită fie prin mărirea frecvenŃei de eşantionare, ceea ce duce la mărirea benzii de transmisie ∆B , fie prin mărirea cuantei 0q ceea ce este în contradicŃie cu condiŃia necesară micşorării erorilor de granulare. Cuanta maximă necesară pentru a avea erori de neurmărire minime în cazul unui semnal de intrare sinusoidal ( ) ( )tWAtx ⋅⋅⋅⋅= π2cos este,

( )0

max

2

f

AWqo

⋅⋅⋅≥ π

Circuit de eşantionare

Sumator Cuantizor pe un bit

Decodor

canal

Eroare de neurmărire

Eroare de granulare

SecŃiunea 2.3 Pentru a analiza mai exact erorile care apar în modulaŃia delta uniformă definim următorii parametrii:

a).Factorul de pantă D

fqs 00 ⋅= , unde D este puterea medie a derivatei

semnalului ( )tx , supus modulaŃiei delta. D se calculează cu relaŃia

( ) ωωωω

dqDM

x ⋅⋅= ∫02 , unde WM ⋅⋅= πω 2 , iar ( )ωxq este densitatea

spectrală de putere a semnalului ( )tx . b).Factorul de extensie al benzii semnalului transmis pe linie faŃă de banda

semnalului ( )tx este: W

fb

⋅=

20 .

Factorul de putere pentru semnalul sinusoidal din secŃiunea 2.2 este

( )[ ]∫ ⋅⋅⋅=⋅′⋅= W AWdttxWD1

0

222 2 π

A

qbs 02 ⋅⋅=

SecŃiunea 2.4 Cu ajutorul parametrilor definiŃi în secŃiunea anterioară putem determina puterea erorii de neurmărire NZ , pe cea a erorii de granulare GZ , precum şi puterea minimă a erorii de cuantizare globale CZ . Deoarece în practica transmiterii numerice a informaŃiei cele mai importante semnale sunt cele vocale şi cele de televiziune prezentăm în continuare relaŃiile care exprimă puterile celor trei tipuri de erori în cazul semnalelor de televiziune vocal şi al semnalelor cu spectru de putere uniform şi de bandă limitată. Semnalele de televiziune şi cele vocale se aproximează în practică cu semnalele care au o densitate de repartiŃie a probabilităŃii exponenŃială şi

respectiv o densitate spectrală de putere integrată. Raportul Mω

ω3 din tabele

are valorile 0.011 pentru semnalul de televiziune şi 0.23 pentru semnalul vocal, iar puterea semnalelor este normalizată.

( )ωxq

Mω1

+

⋅⋅ 2

3

tan

1

1

1

33

ωωω

ωω M

2M

D

ω

3

1

2

3

3

1

3

tan

−

− MM

M

ωω

ωω

ωω

s bq ⋅⋅ 0

3

π

D

qb M

⋅⋅⋅

πω0

GZ 8<s 8>s

3

22

18 b

s⋅π

3

32

144 b

s⋅π

3

2

2

2

6 b

sD

M

⋅

⋅

ωπ

3

3

248 b

sD

M

⋅

⋅

ωπ

NZ ( )1

81

8 32

+⋅⋅⋅ − se sπ ( )133

2

27

8 +⋅−⋅

⋅⋅ ss

M

eD

ωπ

( )minCZ

( )

+⋅+⋅3

22 17.1ln06..2ln

18 b

bbπ

( )

⋅⋅

+

⋅

⋅

3

3

2

2

2

17.1ln06.2

ln

6

b

b

b

bD

Mωπ

Eroarea de cuantizare minimă în cazul modulaŃiei delta uniforme se obŃine pentru un factor de pantă optim dat de relaŃia bsoptim 2ln= , pentru

care s-a determinat în tabelul prezentat şi eroarea de cuantizare minimă. SecŃiunea 2.5 Cu relaŃiile prezentate în secŃiunea 2.4 putem determina raportul semnal zgomot maxim în cazul modulaŃiei delta uniforme. Dacă considerăm puterea semnalului normalizată şi egală cu unu atunci avem:

( )[ ]dBZZ

SC

imCmin10

max

log10⋅−=

În modulaŃia delta neuniformă eroarea globală de cuantizare este sesizabilă la schimbări mici în puterea semnalului. Acest lucru se poate observa chiar din expresia care defineşte factorul de pantă s , a cărui modificare se datorează numai modificării puterii semnalului. Dacă valoarea factorului de pantă s , diferă mult faŃă de cea optimă, eroarea de cuantizare nu va mai fii apropiată de ( )minCZ şi ca atare modulaŃia

delta uniformă devine suboptimală. Pentru ca sistemul de modulaŃie să poată elimina funcŃionarea în regimuri suboptimale datorată variaŃiei factorului de pantă cu timpul trebuie ca să modificăm fie mărimea pasului de cuantizare, fie frecvenŃa de eşantionare (vezi expresia lui s ). Deoarece variaŃia frecvenŃei de eşantionare este nepractică rămâne prima soluŃie care se foloseşte în modulaŃia delta adaptivă. 3.Desfăşurarea lucrării Schema bloc a montajului: În partea practică a acestei lucrări se studiază modulaŃia delta asupra unui semnal periodic. Semnalul pe care îl vom studia are spectrul de putere mărginit şi uniform cu Mω dat iar puterea medie a derivatei semnalului este D . 1.DeterminaŃi pentru acest semnal factorul de pantă pentru diferite valori ale factorului de extensie al benzii de transmisie ...32;16;8;4;2=b . 2.Se urmăreşte panoul frontal pentru familiarizarea cu el.

Sursă de semnal Comparator

Codor de linie

Canal Decodor de linie

Calculul cuantei

Sumator de cuante

Calculul cuantei

Sumator de cuante

Sumator

3.Se porneşte lucrarea de la butonul RUN de pe panoul central şi se poziŃionează regimul de lucru pentru regimul modulaŃie delta uniformă de la butonul corespunzător.

4.Se alege o frecvenŃă de eşantionare din cele trei posibile şi se vizualiază semnalul generat. Tipul acestuia poate fii ales de la tipul semnalului de pe panoul frontal având formele: combinat, triunghi, dinte de fierăstrău, dreptunghi, sinus, curent continuu.

5.Se urmăresc semnalele în diferitele puncte ale schemei: semnalul eşantionat modificând frecvenŃa de eşantionare; semnalul aproximat; cel de la ieşirea comparatorului, comparatorul dă la ieşire 1 logic dacă eşantionul luat din semnal este mai mare decât eşantionul reconstituit din semnalele anterior prelevate şi 0 logic în caz contrar.

6.Se urmăresc şi celelalte semnale din celelalte puncte. Codorul de linie transformă semnalul binar într-un semnal ternar cu return la zero. Decodorul de linie plasat la recepŃie reface semnalul binar din cel de linie. La recepŃie se găsesc blocul de calcul al cuantei care în modul de lucru modulaŃie delta uniformă are numai funcŃia de a genera o cuantă de valoare constantă conform relaŃiei: ( ) 001ˆ qqxxsgnq nn ±=⋅−= − şi blocul sumator de cuante care este caracterizat de relaŃia: 011 ˆˆˆ qxqxx nnn ±=+= −− .

7.Se vizualizează semnalul recepŃionat şi cel recepŃionat suprapus pe cel iniŃial. Acest lucru e făcut de sumator. Se compensează întârzierea pentru a obŃine o eroare şi un raport semnal zgomot cât mai bune.

MODULAłIA DELTA ADAPTIVĂ CU CUANTE LINIAR VARIABILE 1.Introducere Cu scopul reducerii erorii de neurmărire, existente în transmisiile cu modulaŃia delta, cuanta sistemului de transmisie se face liniar variabilă. ModulaŃia delta adaptivă urmăreşte realizarea unui raport maxim semnal zgomot de cuantizare controlând mărimea factorului de pantă s . Deoarece frecvenŃa de eşantionare 0f este în aplicaŃiile practice constantă controlul lui s se bazează pe modificarea valorii cuantei în funcŃie de dinamica semnalului de la intrare astfel:

• pentru porŃiunile rapid variabile ale semnalului se utilizează cuante mari.

• pentru porŃiunile lent variabile ale semnalului se utilizează cuante mici.

În algoritmii practici utilizaŃi ai modulaŃiei delta adaptive cuantele sunt multiplii ai unei valori de bază 0q . SecŃiunea 3.1 Deoarece modificarea paşilor de cuantizare se face cu o rată egală cu frecvenŃa de eşantionare, modulaŃia delta adaptivă poate fii văzută ca o modulaŃie delta liniară în care se introduce o compresie instantanee a semnalului de la intrare ( )tx . Deci Ńinând seama de acest aspect putem folosii relaŃiile de la modulaŃia delta liniară şi în analiza modulaŃiei delta adaptive. Deoarece în modulaŃia delta adaptivă mărimea pasului de cuantizare este mărită în mod discret de la valoarea minimă 0q la 02 qK ⋅ , 03 qK ⋅ , ... , 0qKn ⋅ , eroarea de neurmărire este semnificativă numai atunci când se depăşeşte capacitatea de adaptare a sistemului, adică atunci când ( ) 00 fqKtx n ⋅⋅′ > .

Ca urmare în general valoarea factorului de pantă s′ este mai mare în

modulaŃia delta adaptivă decât în cea liniară: D

fqKsKs n

n00 ⋅⋅=⋅=′ .

Pentru 8=nK valoarea maximă a factorului de pantă pentru modulaŃia delta adaptivă în cazul unui semnal sinusoidal

( ) [ ]mv 400cos20 ttx ⋅⋅⋅= π , cu mv20 =q şi Hz8000 =f obŃinem 141.0=′s .

SecŃiunea 3.2 Limitele asimptotice ale puterii erorilor de neurmărire NZ ′ şi de granulare GZ ′ pentru modulaŃia delta adaptivă sunt:

( ) ln2bs 1327

8 32

2

<′+′⋅⋅⋅

⋅⋅=′ ′⋅− se

DZ s

MN ω

π

( ) n3

223

2

K8s ln2b 6

⋅′′⋅

⋅

⋅⋅=′ <<s

D

KbZ

MnG ω

π

( ) n3

233

2

K8s 48

⋅′′⋅

⋅

⋅⋅=′ >s

D

KbZ

MnG ω

π

De asemenea se poate arăta că valoarea minimă a zgomotului de cuantizare în modulaŃia delta adaptivă este aceeaşi ca în modulaŃia delta uniformă. SecŃiunea 3.3 În cazul modulaŃiei delta cu cuante liniar variabile, factorul de multiplicitate nK reprezintă termenul general al unei progresii aritmetice cu raŃia 1. Determinarea factorului de multiplicitate la un moment dat se face pe baza algoritmului Song care constă cu creşterea cuantei cu o constantă

0q , atunci când semnul derivatei semnalului transmis se păstrează în comparaŃie cu momentul anterior şi respectiv scăderea cu aceeaşi constantă

0q , atunci când semnul derivatei semnalului transmis s-a modificat în comparaŃie cu situaŃia precedentă. Adică cuanta iq urmează regula

( ) ( )[ ]21101 ˆˆ −−−− −−⋅+= iiiiii xxsgnxxsgnqqq , dar nu mai mic decât 0q . În linie se transmite ( )1ˆ −− ii xxsgn , semnificaŃia simbolurilor folosite este următoarea: iq cuanta considerată atunci când se transmite eşantionul

ix din semnalul ( )tx şi cu care se va opera pentru a obŃine semnalul

reconstituit la recepŃie. Factorul de multiplicitate se defineşte cu relaŃia

0q

qK i

i = , ix semnalul reconstituit după recepŃia eşantionului cu numărul i .

( ) iiiii qxxsgnxx ⋅−+= −− 11 ˆˆˆˆ Schema bloc a unei instalaŃii care poate realiza modulaŃia delta

adaptivă cu cuante liniar variabile este:

2.Desf ăşurarea lucr ării Schema bloc a montajului:

1.Se urm ăre şte panoul frontal pentru familiarizarea cu el.

2.Se porne şte lucrarea de la butonul RUN de pe panoul central şi se pozi Ńioneaz ă regimul de lucru pentru regimul modula Ńie delta adaptiv ă cu cuante liniar variabile de la butonul corespunz ător.

3.Se alege o frecven Ńă de e şantionare din cele trei posibile şi se vizualiaz ă semnalul generat. Tipul acestuia poate fii ales de la tipul semnalului de pe panoul frontal având formele:

ix s(t) ( )1ˆ −− ii xxsgn linie

CALCULUL CUANTEI

EŞANTIONARE

SUMATOR DE CUANTE

f0 1ˆ −ix

COMPARATOR

iq

Sursă de semnal Comparator

Codor de linie

Canal Decodor de linie

Calculul cuantei

Sumator de cuante

Calculul cuantei

Sumator de cuante

Sumator

combinat, triunghi, dinte de fier ăstr ău, dreptunghi, sinus, curent continuu.

4.Se urm ăresc semnalele în diferitele puncte ale schemei: semnalul e şantionat, modificând frecven Ńa de e şantionare; semnalul aproximat; cel de la ie şirea comparatorului, comparatorul d ă la ie şire 1 logic dac ă e şantionul luat din semnal este mai mare decât e şantionul reconstituit din semnalele anterior prelevate şi 0 logic în caz contrar.

5.Se urm ăresc şi celelalte semnale din celelalte puncte. Codorul de linie transform ă semnalul binar într-un semnal ternar cu return la zero. Decodorul de linie plasat la recep Ńie reface semnalul binar din cel de linie. La recep Ńie se găsesc blocul de calcul al cuantei care în modul de lucru modula Ńie delta adaptive cu cuante liniar variabile are func Ńia de a genera o cuant ă conform rela Ńiei: ( ) ( )[ ]21101 ˆˆ −−−− −−⋅+= iiiiii xxsgnxxsgnqqq şi blocul sumator de cuante care este caracterizat de rela Ńia: iii qxx += −1ˆˆ .

6.Se vizualizeaz ă semnalul recep Ńionat şi cel recep Ńionat suprapus pe cel ini Ńial. Acest lucru e f ăcut de sumator. Se compenseaz ă întârzierea pentru a ob Ńine o eroare şi un raport semnal zgomot cât mai bune.

MODULAłIA DELTA ADAPTIVĂ CU CUANTE EXPONENłIAL VARIABILE

1.Introducere. Cu scopul reducerii erorilor de neurmărire, cuanta sistemului de transmisie cu modulaŃie delta se face variabilă.În lucrarea de faŃă această variabilitate a cuantei constă în creşterea sau scăderea cuantei după o lege de dependenŃă exponenŃială. În cazul modulaŃiei delta adaptive cu cuante exponenŃial variabile, factorul de multiplicitate nK , reprezintă termenul general al unei progresii geometrice cu raŃia 2. Determinarea factorului de multiplicitate la un moment dat se face pe baza algoritmului Jayant, care constă în creşterea sau scăderea cuantei după o lege dependentă exponenŃial de semnul produsului dintre semnalul emis în linie şi cel emis la momentul anterior, adică:

( ) ( )[ ]211 ˆˆ1 2 −−− −⋅−

− ⋅= iiii xxsgnxxsgnii qq

În linie se transmite ( )1ˆ −− ii xxsgn . SemnificaŃia simbolurile folosite

este urmatoarea: iq este cuanta cu care se va opera la recepŃie în urma sosirii semnalului ( )1ˆ −− ii xxsgn , pentru a obŃine eşantionul estimat la momentul i , din cel estimat la momentul anterior 1−i , adică:

( ) iiiii qxxsgnxx ⋅−+= −− 11 ˆˆˆ

Factorul de multiplicitate şi în acest caz se determină cu relaŃia

0q

qK i

i = , unde avem:

• 1−iq este cuanta cu care s-a operat la momentul anterior;

• ix şi 1−ix sunt eşantioanele de la momentele i şi respectiv 1−i . Şi în acest caz valoarea limită a cuantei este 0q .

Schema bloc a unui sistem care realizează modulaŃia delta cu cuantă

exponenŃială este:

2.Desfăşurarea lucrării Schema bloc a montajului:

1.Se urmăreşte panoul frontal pentru familiarizarea cu el.

2.Se porneşte lucrarea de la butonul RUN de pe panoul central şi se poziŃionează regimul de lucru pentru regimul modulaŃie delta adaptivă cu cuante exponenŃial variabile de la butonul corespunzător.

3.Se alege o frecvenŃă de eşantionare din cele trei posibile şi se vizualiază semnalul generat. Tipul acestuia poate fii ales de la tipul semnalului de pe panoul frontal având formele: combinat, triunghi, dinte de fierăstrău, dreptunghi, sinus, curent continuu.

ix s(t) ( )1ˆ −− ii xxsgn linie

CALCULUL CUANTEI

EŞANTIONARE

SUMATOR DE CUANTE

f0 1ˆ −ix

COMPARATOR

iq

Sursă de semnal Comparator

Codor de linie

Canal Decodor de linie

Calculul cuantei

Sumator de cuante

Calculul cuantei

Sumator de cuante

Sumator

4.Se urmăresc semnalele în diferitele puncte ale schemei: semnalul eşantionat, modificând frecvenŃa de eşantionare; semnalul aproximat; cel de la ieşirea comparatorului, comparatorul dă la ieşire 1 logic dacă eşantionul luat din semnal este mai mare decât eşantionul reconstituit din semnalele anterior prelevate şi 0 logic în caz contrar.

5.Se urmăresc şi celelalte semnale din celelalte puncte. Codorul de linie transformă semnalul binar într-un semnal ternar cu return la zero. Decodorul de linie plasat la recepŃie reface semnalul binar din cel de linie. La recepŃie se găsesc blocul de calcul al cuantei care în modul de lucru modulaŃie delta adaptive cu cuante exponenŃial variabile are funcŃia de a genera o cuantă conform relaŃiei: ( ) ( )[ ]211 ˆˆ

1 2 −−− −⋅−− ⋅= iiii xxsgnxxsgn

ii qq şi blocul sumator de cuante care este caracterizat de relaŃia

( ) iiiii qxxsgnxx ⋅−+= −− 11 ˆˆˆ . 6.Se vizualizează semnalul recepŃionat şi cel recepŃionat suprapus pe

cel iniŃial. Acest lucru e făcut de sumator. Se compensează întârzierea pentru a obŃine o eroare şi un raport semnal zgomot cât mai bune .

57

Cap.5 Teste grilă

5.1 Dacă p(A) este probabilitatea de realizare a mesajului A, atunci informaţia furnizată de producereasa , i(A), este:

a). lnA; *b). –log2 p(A); c). p(A) ·log2)(

1Ap

; d). log2 p(A); e). p(A)·ln p(A).

5.2 Entropia unei surse este:a). informaţia medie transmisă de sursă în unitatea de timp;b). informaţia instantanee transmisă de sursă;c). egală cu raportul dintre entropia maximă a sursei şi redundanţa sa;*d). egală cu produsul dintre entropia maximă şi eficienţa sursei;e). nici o variantă nu este corectă.

5.3 Cantitatea de decizie a unei surse este:a). informaţia medie transmisă de sursă printr-un simbol al său, dacă sursa este echiprobabilă;*b). egală cu entropia maximă a sursei;c). egală cu produsul dintre entropia maximă şi eficienţa sursei;d). informaţia medie transmisă de sursă în unitatea de timp;e). nici o variantă nu e corectă.

5.4 Care dintre scopurile de mai jos nu se realizează prin codare:a). adaptarea naturii diferite a sursei la natura canalului;*b). multiplexarea mai multor semnale purtătoare de informaţie în vederea transmiterii pe

acelaşi canal;c). compresia sursei;d). protejarea informaţiei împotriva perturbaţiilor;e). protejarea informaţiei împotriva receptorilor neautorizaţi (secretizarea).

5.5 Care dintre mărimile de mai jos reprezintă criterii de fidelitate: __________1). eroarea medie pătratică: ε = [ ])()( tytx − 2; ________2). raportul semnal-zgomot: ξ = y(t)2/u(t)2;3). echivocaţia;

a). doar 1).; b) 1). şi 3).; c) 2) şi 3).; d) toate trei; *e). 1) şi 2)..

5.6 Care dintre mărimile de mai jos reprezintă criterii de fidelitate:

1). eroarea medie H(Y/X) = - ∑=

n

i 1∑

=

m

j 1

p(xi,yj)·log2p(yj/ xi);

_______2). raportul semnal-zgomot: ξ=y(t)2/u(t)2;3). rata erorii (BER).

a). doar 1).; b). 1). şi 3).; *c). 2) şi 3).; d). toate trei; e). 1). şi 2)..

58

5.7 O sursă discretă S este fără memorie dacă:*a). emisia unui simbol nu depinde de simbolurile anterior emise;b). probabilităţile diferitelor simboluri nu depind de originea timpului;c). generează simboluri la o indicaţie exterioară;d). generează simbolurile cu o viteză fixă;e). nici un răspuns nu este corect;

5.8 O sursă discretă este cu debit necontrolat dacă:a). emisia unui simbol nu depinde de simbolurile anterior emise;b). probabilităţile diferitelor simboluri nu depind de originea timpului;c). generează simboluri la o indicaţie exterioară;*d). generează simbolurile cu o viteză fixă;e). nici un răspuns nu este corect;

5.9 O sursă discretă Sn este extensia unei surse de ordin n a sursei S dacă:a). emisia unui simbol nu depinde de simbolurile anterior emise;b). probabilităţile diferitelor simboluri nu depind de originea timpului;c). generează simboluri la o indicaţie exterioară;d). generează simbolurile cu o viteză fixă;*e). nici un răspuns nu este corect;

5.10 Informaţia obţinută în urma realizării evenimentului a, a cărui şanse de realizare sunt 100% este:*a). zero; b). un bit; c). un bit/simbol; d). strict pozitivă; e). nici un răspuns nu e corect.

5.11 Relaţiile între unităţile de măsură a informaţiei sunt:a). 1nit<1bit<1dit;b). 1bit<1dit<1nit;c). 1dit<1nit<1bit;d). 1dit<1bit<1nit;*e). 1bit<1nit<1dit.

5.12 Entropia unei surse de informaţie:a). reprezintă incertitudinea medie ce există apriori asupra emisiei;b). reprezintă informaţia medie purtată de un simbol al sursei;c). se calculează cu formula:

H(s)=∑=

N

i 1

p(si)·i(si), unde: si i=1..N, -simbolurile sursei;

N -numărul de simboluri; i(si) -informaţia furnizată de simbolul si; p(si)-probabilitatea de emisie a lui si;

*d). se măsoară în biţi/secundă;e). devine maximă dacă sursa este echiprobabilă.Precizaţi răspunsul fals.

59

5.13 O SDFM , S, cu 32 de simboluri are entropia egală cu a unei surse echiprobabilă cu 26 desimboluri. Redundanţa sursei S este:

*a). 0,3 bit/simbol;b). 0,3 bit/secundă;c). 4,7 bit/simbol;d). 4,7 bit/secundă;e). 6%.

5.14 Precizaţi răspunsul fals. Entropia unei SDFM este:a). dată prin formula:

H(S)=∑=

N

i 1

p(si)·log2p(si),unde: si i=1..N, -simbolurile sursei;

N -numărul de simboluri; p(si) -probabilitatea de emisie a lui si;

b). măsurată în biţi/simbol;*c). o funcţie continuă în raport cu fiecare variabilă si;d). o funcţie simetrică în raport cu toate variabilele p(si);e). aditivă.

5.15 O sursă de informaţie are entropia numeric egală cu 3,7 iar redundanţa sursei este 5,3%. Sursa areun număr de simboluri egale cu:

a). 13; *b). 15; c). 16; d). 9; e). 4.

5.16 Semnalele utilizate pentru transportul informaţiei numerice sunt compuse din suite de semnaleelementare în timp, numite momente. Numărul de momente transmise în unitatea de timp este:

1). debitul de momente;2). viteza de modulaţie;3). viteza telegrafică.

Răspunsurile corecte sunt:a). 1); b). 2); c). 3); d). nici unul; *e). toate trei.

5.17 Precizaţi răspunsul fals. Debitul de informaţie al unei surse de informaţie este:*a). măsurat în biţi/simbol;b). măsurat în biţi/secundă;c). cantitatea medie de informaţie generată de sursă în unitatea de timp;d). egal cu debitul de decizie, dacă sursa este echiprobabilă;e). mai mic decât capacitatea canalului, la transmisiile în timp real.

5.18 Pentru un canal de transmisie discret, X=xii=1..n si Y=yjj=1..m reprezintă câmpurile de laintrarea, respectiv ieşirea din canal. Matricea de trecere P este o matrice având dimensiunile nxm şiconţine probabilităţi de forma:

a). p(xi)·p(yj); b). p(xi, yj);c). p(xi/yj); *d). p(yj/xi,);e). nici un răspuns nu e corect.

60

5.19 Un canal este binar simetric dacă:a). p(0E)=P(1E);b). p(0E/1R)=p(1E/0R);*c). p(0R/1E)=p(1R/0E);d). p(0R)=p(1R);e). nici o variantă nu e corectă.

5.20 Un canal este binar simetric dacă:a). p(0E,0R)=p(0E,1R);b). p(0E/0R)=p(1E/1R);c). p(0R/1E)=p(1R/1E);d). p(0R)=p(1R);*e). nici o variantă nu e corectă.

5.21 Mărimea H(y)-H(y/x) pentru un canal binar este:*a). transinformaţia doar dacă p(0R)=p(1R);b). capacitatea canalului doar dacă p(0R)=p(1R);c). subunitară;d). măsurată în biţi/simbol binar;e). egală cu H(x)-H(x/y) dacă p(0R)=p(1R);Precizaţi răspunsul fals.

5.22 Mărimile mărginite superior de H(x) – entropia câmpului de la intrarea în canal, sunt:a). numai transinformaţia;b). eroarea medie şi transinformaţia;c). echivocaţia şi eroarea medie;*d). echivocaţia şi transinformaţia;e). echivocaţia, eroarea medie şi transinformaţia.

5.23 Mărimile mărginite superior de H(Y) – entropia câmpului de la ieşirea din canal, sunt:a). numai transinformaţia;*b). eroarea medie şi transinformaţia;c). echivocaţia şi eroarea medie;d). echivocaţia si transinformaţia;e). echivocaţia, eroarea medie şi transinformaţia.

5.24 Capacitatea canalului binar simetric având rata erorii BER=10-2 este:

*a). 0,9192 biţi/simbol binar;b). 0,944 biţi/simbol binar;c). 0,944 biţi/secundă;d). 0,9756 biţi/secundă;e). 0,9192 biţi/secundă.

61

5.25 O SDFM având tabelul:

S=

25,02,04,0

dcba

emite câte un simbol la fiecare milisecundă. Debitul sursei este:a). 1,9 kbiţi/simbol;b). 1,3 kbiţi/secundă;c). 573 biţi/secundă;*d). 1,9 kbiţi/secundă;e). 1,3 kbiţi/secundă.

5.26 Care din expresiile de mai jos reprezintă capacitatea unui canal de transmisiune analogic(considerat ca un FTJ ideal având lărgimea de bandă B şi raportul semnal-zgomot ξ - zgomotgaussian).

a) ( )B1logC 2 +⋅ξ= ;*b) ( )ξ+⋅= 1logBC 2 ;c) ( ) ξ⋅+= 2log1BC ;

d) ( )ξ+⋅= 1logBC 22 ;

e) ( )22 1logBC ξ+⋅= ;

5.27 Fie S o sursă discretă cu memorie având graful din figura 1:

Figura.1Sursa are memorie de:

a) un pas, deoarece orice tranziţie se face între starea actuală şi starea viitoare;b) doi paşi, deoarece orice tranziţie se face între două stări;*c) doi paşi, deoarece fiecare stare este numită prin doi paşi;d) doi paşi, deoarece din fiecare stare pleacă două ramuri;e) patru paşi, deoarece sunt patru stări.

5.28 Fie S o sursă discretă cu memorie având graful din figura 1. Ce şanse sunt ca sursa S să emită unzero dacă secvenţa emisă până în prezent a fost: 10011?

a) 25%; b) 30%; c) 40%; d) 50%; *e) 60%;

S2 = 10S1 = 01

S0 = 00

S3 = 11

3/7

3/4

2/5

1/2

62

5.29 Sursa discretă cu memorie, S, al cărei graf este prezentat în figura 1, se găseşte în stare S2. Careeste probabilitatea ca după emisia a trei simboluri sursa să se găsească în starea S1?

a) 3,125%;b) 42,86%;c) 18,37%;*d) 21,5%;e) 46%;

5.30 Fie Sn extensia sursei discrete şi fără memorie, S. Entropia sursei Sn, notată H(Sn), se calculeazăfuncţie de entropia sursei S, notată H(S), după relaţia:

*a) H(Sn)=nH(S);b) H(Sn)=(H(S))n;c) H(Sn)=H(S);d) H(Sn)=H(S)⋅log2n;e) nici o variantă nu este corectă.

5.31 Eficienţa unei surse discrete fără memorie, având 20 simboluri echiprobabile, ce s-a codat cu uncod binar bloc, este:

a) ;20log51

2

*b) 100%;c) ;20log/5 2d) ;20log/4 2e) nici o variantă nu este corectă.

5.32 O SFDM având 20 simboluri echiprobabile se codează binar bloc. Eficienţa codării este:

*a) ;20log51

2

b) 100%;c) ;20log/5 2d) ;20log/4 2e) nici o variantă nu este corectă.

5.33 Teorema de existenţă a codurilor instantanee se exprimă prin inegalitatea:

1mM

1i

n i ≤∑=

−

(care reprezintă condiţia necesară şi suficientă de existenţă a codurilor instantanee).În relaţia de mai sus, se reprezintă numărul de simboluri:

a) de control;b) de informaţia;c) ale sursei de informaţie;*d) ale alfabetului codului;e) nici o variantă nu este corectă.

63

5.34 Teorema de existenţă a codurilor instantanee se exprimă prin inegalitatea:

1mM

1i

n i ≤∑=

−

(care reprezintă condiţia necesară şi suficientă de existenţă a codurilor instantanee).În relaţia de mai sus, M reprezintă numărul de simboluri:

a) de control;b) de informaţia;*c) ale sursei de informaţie;d) ale alfabetului codului;e) nici o variantă nu este corectă.

5.35. Teorema I-a a lui Shannon (teorema codării surselor pentru transmitere pe canale fără perturbaţii).a) afirmă că poate fi făcută o codare absolut optimală;*b) se adresează doar codării surselor cu probabilităţile simbolurilor de forma:

( ) Nncu mSp in

i i ∈= −

c) nu precizează procedee de codare;d) are în vedere o codare pe grupe de n simboluri a sursei, cu n→∞.e) este valabilă şi pentru coduri ternare.

Precizaţi răspunsul fals.

5.36 Un cod absolut optimal:a) are eficienţă 100%;b) se poate obţine pentru surse la care probabilităţile simbolurilor sunt de forma

( ) Nncu mSp in

i i ∈= − ;c) pentru o sursă oarecare este doar o limită teoretică;*d) nu poate fi obţinut, indiferent de sursă, printr-o codare simbol cu simbol;e) are lungimea medie a cuvintelor egală cu entropia sursei ce o codează.

Precizaţi răspunsul fals.

5.37 Un cod optimal:a) Se poate obţine prin algoritmul Huffman static?b) are eficienţa subunitară;c) este un cod bloc dacă N=2k - numărul de cuvinte de cod;d) este un cod bloc dacă N=2k - numărul de simboluri ale sursei codate;*e) este neapărat un cod binar.

Precizaţi răspunsul fals.

5.38 Algoritmul de codare Huffman static:*a) conduce la un cod absolut optimal,b) conduce la un cod de eficienţă maxim posibilă;c) presupune ordonare descrescătoare a simbolurilor sursei după probabilităţi;d) se poate aplica şi surselor echiprobabile;e) se poate aplica şi la coduri nebinare.

Precizaţi răspunsul fals.

64

5.39 Algoritmii de compresie realizează micşorarea:a) cantităţii de informaţie conţinută într-un anumit mesaj;*b) spaţiului ocupat de un mesaj;c) debitului de informaţie la o transmisie;d) vitezei de transmitere a informaţiei;e) nici o variantă nu este corectă.

5.40 Algoritmul de compresie Huffman dinamic:a) realizează o compresie superioară celui static;b) necesită cunoaşterea statisticii a sursei date;c) presupune modificarea codului după transmiterea fiecărui simbol;d) realizează o codare pe grupe de n simboluri, cu n→∞;*e) nici o variantă nu este corectă.

5.41 Suma cifrelor mesajului VARZA, cifrat cu cifrul lui Polybius este:a) 20, b) 25; *c) 26; d) 28; e) nici un răspuns nu este corect.

5.42 Suma cifrelor mesajului DOVLEAC cifrat cu cifrul lui Polybius este:a) 26; b) 28; c) 31; *d) 34; e) 39.

5.43 Aflaţi răspunsul la întrebare descifrând mesajul EQDVYXLQ:a) 1°; b) 2°; *c) 3°; d) 4°; e) 5°;

5.44 Aflaţi răspunsul la întrebare descifrând mesajul DOGRLOHD:a) 1°; *b) 2°; c) 3°; d) 4°; e) 5°;

5.45 Aflaţi răspunsul la întrebare descifrând mesajul ECWE IK HACKKU:a) de la 1 la 6; b) de la 7 la 12; c) de la 13 la 18; d)de la 19 la 24; e)de la 25 la 31;

5.46 O sursă de informaţie discretă şi fără de memorie se codează cu un cod binar bloc de eficienţămaxim posibilă. Cât trebuie să fie lungimea cuvintelor codului bloc dacă sursa are 15 simbolurilor?

a) 3 biţi; *b) 4 biţi; c) 15 biţi; d) 16 biţi; e) nici o variantă nu este corectă.

5.47 Codând prin algoritmul Huffman static o sursă de informaţie oarecare cu 15 simboluri, lungimeamaximă a cuvintelor codului ar putea fi (se are în vedere toate sursele posibile cu 15 simboluri).

a) 4 biţi; *b) 14 biţi; c) 15 biţi; d) 16 biţi; e) nici o variantă nu este corectă.

5.48 Codând prin algoritmul Huffman static o sursă de informaţie oarecare cu 15 simboluri, lungimeacea mai mică dintre cuvintele codului ar putea fi (se are în vedere toate sursele posibile cu 15simboluri).

a) 4 biţi; b) 14 biţi; c) 3 biţi; d) 2 biţi; *e) 1 bit.

65

5.49 Sursa de informaţie text TEORIA TRANSMITERII INFORMATIEI se codează binar bloc.Lungimea medie a cuvintelor codului este:

a) 3,1 biţi/secundă;b) 2,15 biţi/secundă;c) 4 biţi/secundă;d) 10 biţi/secundă;*e) nici o variantă nu este corectă.

5.50 Sursa de informaţie text TEORIA TRANSMITERII INFORMATIEI se codează cu un cod deeficienţă maxim posibilă (codare simbol cu simbol ). Lungimea medie a cuvintelor codului este:

*a) 3,1 biţi/simbol;b) 2,15 biţi/simbol;c) 4 biţi/simbol;d) 10 biţi/simbol;e) nici o variantă nu este corectă.