Théorème de Shannon (codage source) - i3s.unice.fr rendas/SICOM/  · Codage source M. J. Rendas Codage

  • View
    220

  • Download
    0

Embed Size (px)

Text of Théorème de Shannon (codage source) - i3s.unice.fr rendas/SICOM/  · Codage source M. J. Rendas...

  • Codagesource

    M. J. Rendas

    CodageSource

    Thorme de Shannon (codage source)

    Un codeur (binaire) est une application

    C : X {0, 1}?x c(x) ,

    Le dcodeur D est une application des squences binairesdans lalphabet X :

    D : {0, 1}? Xc(x) d(c(x))

    Source X x Codeur C c(x) Canal/disque c(x) Decodeur D d(c(x))

  • Codagesource

    M. J. Rendas

    CodageSource

    Codage sans pertes

    Si x Xd(c(x)) = x ,

    (lapplication C est inversible sur X )nous dirons que le codage est sans pertes.Dans le cas contraire, nous dirons que C est un codeuravec pertes.

    Un code sans pertes doit vrifier :

    |C(X )| = |X |.

  • Codagesource

    M. J. Rendas

    CodageSource

    Codes de longueur fixe et variable

    Longueur dune squence :

    x = x1 xn |x | = n

    C est un code de longueur fixe si

    c C(X ), |c| = n

    Sinon,C est de longueur variable.C binaire, sans pertes, de longueur fixe

    |c| log2 |X |.

    Si nous acceptons des pertes (erreurs)

    d(c(x1)) = d(c(x2)), x1 6= x2 X

    nous pouvons utiliser |c| < log2 |X |.Pour garantir Pr {erreurs} 1

    caractrisation probabiliste de la source.

  • Codagesource

    M. J. Rendas

    CodageSource

    Plus petit ensemble -reprsentatif S

    X : variable alatoire X X , et loi pX : X pX .S est le plus petit sous-ensemble de X avec probabilitplus grande ou gale 1 :

    S = arg minSX ,Pr(S)1

    |S|.

  • Codagesource

    M. J. Rendas

    CodageSource

    Contenu -informatif de X H(X )

    X pX , X X , S le plus petit sous-ensemble -informatifpour X .Le contenu -informatif de X est

    H(X ) = log |S|.

    H(X ) indique le nombre minimal de bits dun code C delongueur fixe qui peut transmetre sans erreur toutes lessquences de lensemble S.C a donc Pr {erreur} < .H0(X ) est gal la valeur maximale de H(X ), X X :

    H0(X ) = log |X | H(X ),

  • Codagesource

    M. J. Rendas

    CodageSource

    Exemple

    Squence binaire de longueur 4 :x1x2x3x4, xi {0, 1}, Pr {xi = 0} = 0.2.

    xk X p(xk ) Hk(X)0000 (0.2)4 log2(15) = 3.90001 (0.2)3 0.8 log2(14) = 3.90010 (0.2)3 0.8 log2(13) = 3.80100 (0.2)3 0.8 log2(12) = 3.71000 (0.2)3 0.8 log2(11) = 3.60011 (0.2)2 (0.8)2 log2(10) = 3.40101 (0.2)2 (0.8)2 log2(9) = 3.31001 (0.2)2 (0.8)2 log2(8) = 3.20110 (0.2)2 (0.8)2 log2(7) = 3.01010 (0.2)2 (0.8)2 log2(6) = 2.81100 (0.2)2 (0.8)2 log2(5) = 2.61110 0.2 (0.8)3 log2(4) = 2.01101 0.2 (0.8)3 log2(3) = 1.61011 0.2 (0.8)3 log2(2) = 1.00111 0.2 (0.8)3 log2(1) = 01111 (0.8)4

  • Codagesource

    M. J. Rendas

    CodageSource

    Plus petit ensemble -reprsentatif

    S0 = X Sk1 = Sk

    {xk}, k = 1, 2, . . . , 16,

    Taille :

    |Sk | = |Sk1 | 1, k = 1, 2, . . . , 16 |S0 | = 16.

    Probabilit derreur : k = Pr{

    xi 6 Sk}

    0 = 1, k+1 = k p(xk+1), k = 1, 2, . . . , 16.

  • Codagesource

    M. J. Rendas

    CodageSource

    0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

    0.1

    0.2

    0.3

    0.4

    0.5

    0.6

    0.7

    0.8

    0.9

    1

    H(X)

    graphe de H(X )/n (n = 4)

  • Codagesource

    M. J. Rendas

    CodageSource

    0.2 0 0.2 0.4 0.6 0.8 1 1.20

    0.1

    0.2

    0.3

    0.4

    0.5

    0.6

    0.7

    0.8

    0.9

    1

    H(X)

    graphe de H(X )/n (n = 10)

  • Codagesource

    M. J. Rendas

    CodageSource

    0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

    0.1

    0.2

    0.3

    0.4

    0.5

    0.6

    0.7

    0.8

    0.9

    1

    H(X)/n

    H(0.8)

    n=20

    n=50

    n=100

    graphe de H(X )/n (n = 20, 50, 100)

  • Codagesource

    M. J. Rendas

    CodageSource

    Thorme du codage source (Shannon)

    Soit X une source avec entropie H(X ). Alors

    > 0, ]0, 1[, n0 :

    n > n01nH(X (n)) H

    < .X (n) : squences de longueur n dont les lments sont destirages statistiquement indpendants de la mme variablealatoire X .

  • Codagesource

    M. J. Rendas

    CodageSource

    Proprit dqui-rpartition asymptotique

    "Tous les vnements qui peuvent se produire sontessenciellement quiprobables"

    x (n), n 1, X = {1, . . . , m}, |X | = m

    ni(x) = |{xi = i}|

    Loi des grands nombres ni ' np(i).

    p(x (n)) =n

    k=1

    p(xk ) =m

    i=1

    p(i)ni (x) 'm

    i=1

    p(i)np(i)

    log1

    p(x (n)

    ) ' n mi=1

    p(i) log1

    p(i)' nH(X )

  • Codagesource

    M. J. Rendas

    CodageSource

    Ensemble typique A(n)

    X1, X2, . . . , Xn : variables alatoires indpendantes etidentiquement distribues (i.i.d.), Xi p(x), x X .Lensemble -typique par rapport p est le sous-ensemblede X n :

    A(n) ={

    x (n) X n : p(x (n)) [2n(H(X)+), 2n(H(X))

    ]}

    A(n) ={

    x (n) X n : 1n

    log1

    p(x (n)) [H(X ) + , H(X ) ]

    }Les squences dans A(n) ont toutes la mme probabilit.

  • Codagesource

    M. J. Rendas

    CodageSource

    Proprit dqui-rpartition assymptotique

    Pour n 1 , x (n) (symboles iid dune source X ) appartientpresque surement un sous-ensemble de X qui contientseulement 2nH(X) lments, chacun avec une probabilitproche de 2nH(X).

    quivalente au Thorme de Shannon:

    Codage source (version informelle)n variables Xi p, i = 1, . . . , n iid, avec entropie H(X ),peuvent tre codes avec un nombre de bits non infrieur nH(X ) avec une probabilit derreur ngligeable; si unnombre de bits infrieur nH(X ) est utilis, la probabilitderreur sera prs de 1.

  • Codagesource

    M. J. Rendas

    CodageSource

    Loi (faible) des grands nombres

    Xi , i = 1, . . . , n, i.i.d., moyenne et variance 2. Soit

    X =1n

    i=1

    Xi .

    Alors,

    Pr{

    (X )2 }

    2

    n

    > 0, > 0, n0 : n > n0 Pr{|X |

    }

    ( =

    , et n0 = d 2

    e)

  • Codagesource

    M. J. Rendas

    CodageSource

    Ingalit de Chebychev

    X 0, > 0. Alors

    Pr {X } E[X ]

    .

    Dmonstration :

    Pr {X } =x

    p(x)(a) Pr {X }

    x

    x

    p(x)

    (b) Pr {X } xX

    x

    p(x) =E[X ]

    (a): car x 1 (b): car les termes ajouts sont positifs.

  • Codagesource

    M. J. Rendas

    CodageSource

    Ingalit de Chebychev

    Ingalit de Chebychev (moment dordre 2)

    X variable alatoire, > 0. Alors

    Pr{

    (X E[X ])2 }

    2

    .

    (prendre X = (X E [X ])2)

  • Codagesource

    M. J. Rendas

    CodageSource

    Principe dqui-rpartion asymptotique

    xi i.i.d. p(x (n)) =

    i=1,...,n p(xi), A(n) est dfini par

    1n

    ni=1

    log1

    p(xi) [H(X ) , H(X ) + ] .

    Soient

    Zi = log1

    p(Xi), i = 1, . . . , n, (i.i.d.), E [Zi ] = H(X ), var(Zi) = 2Z

    A(n) 1nn

    i=1

    Zi H(X )

    (

    1n

    ni=1

    Zi H(X )

    )2 2 .

  • Codagesource

    M. J. Rendas

    CodageSource

    Borne suprieure de probabilit

    Pr

    (

    1n

    ni=1

    Zi H(X )

    )2 2

    2Zn2 n 0

    Pr{

    A(n)}

    = Pr

    {1nn

    i=1

    Zi H(X )

    < } 1

    2Zn2

    n 1 .

    Pr{

    A(n)} 1 (n, ), (n, ) =

    2Zn2

    ,

  • Codagesource

    M. J. Rendas

    CodageSource

    Dmontration Thorme de Shannon ducodage source

    |A(n) | H(X (n)) = log |S|

    > 0, ]0, 1[, n0 tel que n > n0H(X (n)) nH(X ) [n, n]

    Deux tapes1 > 0, [0, 1], n0 tel que

    1n

    H(X (n)) H(X ) < , n > n0 .

    2 Pr{S} = 1 ,n > n0

    H(X (n)) > n (H(X ) ) 1n

    H(X (n)) H(X ) > ,

  • Codagesource

    M. J. Rendas

    CodageSource

    1nH(X

    (n)) H(X ) <

    S

    Pr {S} = 1

    A(n)

    Pr{

    A(n)} 1 (n, )

    |A| 2n(H+)

    A(n) borne suprieure de |S| :H(X (n)) = log |S| log |A(n) |.

    Nous allons montrer que Bs :

    |A(n) | Bs H(X (n)) log Bs.

  • Codagesource

    M. J. Rendas

    CodageSource

    |A(n) | < 2n(H+)

    1 Pr{

    A(n)}

    =

    x (n)A(n)

    p(x (n))

    (a)>

    x (n)A(n)

    2n(H+)

    = 2n(H+)

    x (n)A(n)

    1 = 2n(H+)|A(n) |

    |A(n) | < 2n(H+)

    (a) la borne infrieure pour x (n) A(n)

  • Codagesource

    M. J. Rendas

    CodageSource

    Fixons n0 tel que

    (n0, ) =2Z

    2n0 n0

    2Z2

    Alors, n > n0

    Pr{

    A(n)} 1 (n, ) 1 (n0, ) 1

    Pr{

    A(n)} 1 , et log |A(n) | n (H(X ) + ) .

    H(X (n)) < n(H + )

  • Codagesource

    M. J. Rendas

    CodageSource

    1nH(X

    (n)) H(X ) >

    Par contradiction.Admettons T , tel que n > n0

    |T | < 2n(H(X)), Pr {T} 1

    impossible de trouver n0.

    A(n)/2

    x A(n)/2 p(x) 2

    n(H(X)/2)

    |T | < 2n(H(X))

    Prn

    T A(n)/2

    o 2n/2

    CCCCO

    T A(n)/2 C

    CCCO

  • Codagesource

    M. J. Rendas

    CodageSource

    Pr {T} = Pr{

    T

    A(n)/2}

    + Pr{

    T

    A(n)/2}

    Mais

    Pr{

    T

    A(n)/2}

    =

    x (n)T ,x (n)A(n)/2

    p(x)

    maxxA(n)

    /2

    p(x)T A(n)2

    2n(H/2) |T | 2n(H/2)2n(H) = 2n/2

    Pr{

    T

    A(n)/2} Pr

    {A(n)/2

    } 4

    2Z

    n2

    |T | 2n(H(X)) Pr {T} 2n/2 +42Zn

    n 0|S| 2n(H(X)), ou encore

    1n

    H(X (n)) H(X ) >

  • Codagesource

    M. J. Rendas

    CodageSource

    1n

    H(X (n)) H(X ) >

    etH(X (n)) < n(H + )

    > 0, ]0, 1[, n0 tel que n > no1nH(X (n)) (H + ) <

    Codage Source