Cours Codage Source

  • View
    157

  • Download
    11

Embed Size (px)

Text of Cours Codage Source

Dpartement DElectronique Master Acadmique : Systmes de Tlcommunications numriques Matire : THEORIE DE LINFORMATION POUR LES TELECOMMUNICATIONS Codage de Source Anne 2011/2012

THEORIE DE LINFORMATION POUR LES TELECOMMUNICATIONS Codage de Source UED122Dr.L. SALAH Ne DEKKICHEThorie de linformation | Codage de source 1

CHAPITRE 1

1. Introduction :Il est possible de classer les sources en deux catgories selon les signaux ou messages quelles mettent : Les sources analogiques : domaine de la TV, la vido, la radio (laudio en gnral). Les sources discrtes : disques optiques (Cd, DVD,), les mmoires magntiques (disques durs, bandes,). Quelque soit le type de source, linformation doit tre transmise sous forme numrique. Lencodeur de source est llment charg de la transformation du format de linformation. Bien entendu, le problme est diffrent selon que nous avons faire une source continue ou discrte.

2. Modle mathmatique dune source :Une source transmet une information un rcepteur celui-ci ne connaissant pas linformation qui va lui tre transmise. On peut dire alors : 1. Une source d'information met en gnral un message non dterministe. D'un point de vue signal a ne peut tre qu'un signal alatoire et la modlisation mathmatique associe doit tre stochastique une information est un processus stochastique. 2. Ce qui rend une information intressante est son caractre imprdictible. Une information est ainsi d'autant plus riche qu'elle est peu probable.

3. Source discrte sans mmoire :Une source dispose d'un "alphabet" constitu d'lments ou symboles ou caractres {x1 , x2 , x3,, xk} K est la longueur de l'alphabet. Ces symboles sont associs pour constituer un message. Emettre un message revient mettre une succession de symboles appartenant une source. Chaque symbole xk de l'alphabet a une probabilit d'utilisation pk.

Thorie de linformation | Codage de source 2

Dfinition : une source sans mmoire est une source pour laquelle la probabilit d'mission d'un caractre est indpendante de ce qui a t mis avant ou sera mis aprs. Cest une catgorie de sources qui est plus simple modliser.

4. Architecture gnrale dune chaine de transmission:

Thorie de linformation | Codage de source 3

CHAPITRE 2

1. Quantit d'information:La quantit d'information d'un symbole est d'autant plus grande que celui-ci est peu probable. celui ci La quantit d'information de deux symboles successifs est la somme de leurs quantits d'information. La quantit d'information note I est une fonction qui doit ainsi avoir les proprits suivantes: 1. I(.) est une fonction continue de la probabilit pi. 2. I(pk) si pk I(pk) est une fonction dcroissante de pk.

3. I(pk et pj) = I(pk) + I(pj). 4. Un symbole certain possde une quantit d d'information nulle : I(pk=1) = 0. Une fonction mathmatique qui remplit les conditions 1, 3 et 4 nest autre que : log(pk). Pour obtenir la proprit 2, il suffit de prendre log(pk) = log(1/pk). La quantit d'information d'un symbole xk de probabilit pk a ainsi t dfinie par Shannon comme :

Remarque : la base du logarithme utilise est la base 2 et c'est cette base qui dfinit l'unit obtenue : le bit pour binary digit ou binary unit

2. Entropie d'une source :L'entropie H(S) d'une source S est la quantit d'information moyenne contenue dans l'alphabet X de cette source. Du point de vue mathmatique, cela s'exprime par H(S) = E[ I(X) ] soit:

Thorie de linformation | Codage de source 4

Elle est exprime en bits/symbole ou Shannon/symbole. Exemple: source binaire avec deux symboles "0" et "1" de probabilits respectives p et 1-p.

Cette entropie est maximale pour p = 0,5 et vaut zro pour p = 0 et p = 1.

Cet exemple est un cas particulier d'une source ayant un alphabet de K symboles. On dmontre que son entropie est maximale lorsque tous les symboles sont quiprobables donc pk = 1/K et l'entropie devient: entropie devient

Ce qui montre le thorme suivant sur l'entropie d'une source:

3. Entropie jointe entre deux sources : Cette notion permet de mesurer le degr de similitude entre deux sources. Soit deux sources : X d'alphabet {x1, x2,,xN} et Y d'alphabet {y1, y2,,yM} Si p( xi , yj ) est la densit de probabilit jointe entre deux caractres alors la quantit d'information jointe est :

Dfinition : lentropie jointe des deux sources est alors la quantit d'information moyenne jointe entre deux caractres de la source :

Thorie de linformation | Codage de source 5

Cas ou les deux sources sont indpendantes:

4. Quantit d'information mutuelle :Gnralisation du calcul prcdent avec les sources dpendantes en faisant apparatre les deux termes prcdents :

Dans ce rsultat le premier terme est un terme supplmentaire par rapport au cas de sources indpendantes : c'est le terme d'information mutuelle. Sachant que p( xi , yj ) p( xi ).p( yj ) ce terme est ngatif . En dfinissant la quantit d'information mutuelle I( X , Y ) entre les deux sources comme une quantit positive nous aurons: Thorie de linformation | Codage de source 6

Nous retrouvons bien sr le cas de deux sources indpendantes pour lesquelles :

5. Entropie conditionnelle :Nous pouvons aussi dfinir partir des densits de probabilit conditionnelles une quantit d'information conditionnelle:

Puis une entropie conditionnelle :

Et enfin une entropie conditionnelle moyenne :

6. Expressions de la quantit d'information mutuelle et de l'entropie conditionnelle moyenne :L'entropie conditionnelle permet d'obtenir d'autres formulations de ces quantits en utilisant la loi de Bayes :

Thorie de linformation | Codage de source 7

Un rsultat semblable peut tre tabli en permutant le rle de x et y d'o les deux expressions quivalentes de la quantit d'information mutuelle:

Ces expressions ajoutent deux nouvelles formulations de l'entropie jointe des deux sources :

7. Intrt de ces quantits et formulations :Lors de la transmission par un canal, nous souhaitons rcuprer l'information sans distorsion, autrement dit, l'alphabet de sortie du canal doit tre le mme que celui de l'entre. Simplifions encore l'exemple un canal qui doit transmettre des messages. Si nous appelons p la probabilit d'erreur nous pouvons schmatiser le fonctionnement du canal par le graphe suivant :

Thorie de linformation | Codage de source 8

Thorie de linformation | Codage de source 9

Thorie de linformation | Codage de source 10

Quelques remarques : 1. si p = 0 ce qui veut dire pas d'erreur de transmission alors I(X, Y) = 1. Similitude parfaite entre les deux sources, la transmission se passe bien. H(X, Y) = 1. 2. si p = , pagaille complte lors de la transmission. Dans ce cas I(X, Y) = 0, plus du tout de similitude entre les deux sources. H(X, Y) = H(X) + H(Y) = 2. Tout se passe comme si les deux sources taient indpendantes. 3. si p = 1, nouveau I(X, Y) = 1. Les deux sources sont nouveau tout fait semblables. Le fait qu'il y a dans ce cas permutation du "0" et du "1" n'ayant pas d'importance.

Thorie de linformation | Codage de source 11

CHAPITRE 3

1. Introduction :Afin de transformer un signal analogique en un signal numrique, il est ncessaire de passer par une succession d'tapes qui vont permettre d'assurer le bon fonctionnement du procd. Dans un premier temps, il va falloir chantillonner le signal, c'est--dire le transformer en une srie d'chantillons de valeurs. Puis il faudra le filtrer pour isoler la partie du signal qui nous intresse. Enfin, il faudra attribuer chaque chantillon une valeur numrique c'est--dire faire une quantification.

2. Lchantillonnage :La manipulation informatique des signaux impose leur transformation en valeurs numriques. Cette transformation se fait gnralement par prlvements d'chantillons raliss une frquence Fe appele frquence d'chantillonnage. Pour raliser cette " prise " d'chantillons, on multiplie le signal analogique par ce que l'on appelle un train d'impulsion de Dirac (figure(1)) :

Figure.1 : Echantillonnage dun signal analogique

Plus la frquence d'chantillonnage sera grande plus la mesure sera prcise et plus le signal pourra tre restitu fidlement. Mais cela demande un espace mmoire consquent car le nombre de donnes traiter sera normment augment. Thorie de linformation | Codage de source 12

3. Le thorme de Shannon :Lorsqu'on fait l'analyse de Fourier d'un signal chantillonn, il apparait qu'une infinit de spectres sont crs, centrs autour des diffrents multiples de la frquence d'chantillonnage (Fe, 2Fe, 3Fe, etc).

Figure.2 : Echantillonnage dun signal analogique avec Fe > 2 * frquence du signal

Ce phnomne implique donc un rapport entre la frquence d'chantillonnage et la frquence du signal chantillonner (figure(2)), Il s'agit de la condition de Shannon : La frquence d'chantillonnage doit tre suprieure au double de la plus haute frquence contenue dans le signal chantillonner. Fe > 2 * frquence du signal Si la condition de Shannon n'est pas respecte (figure(3)), les diffrents spectres se croisent et au niveau des zones de recouvrement, les spectres s'additionnent (figure(4)) ; on appelle cela un repliement spectral (ou aliaising). Le spectre restitu aprs filtrage ne correspond donc plus au spectre rel du signal et les analyses en sont fausses :

Figure.3 : Echantillonnage dun signal analogique avec Fe < 2 * frquence du signal : repliement spectral

Thorie de linformation | Codage de source 13

Figure.4 : Spectre due au recouvrement : addition des spectres dans les zones de recouvrement.

On constate alors une modification nette et radicale du spectre frquentiel du signal d'origine rendant impossible la restitution du dit signal.

4. Le filtrage :Une fois le signal chantillonn, il faut se dbarrasser des composantes inutiles. En effet les spectres