Upload
luiz-henrique
View
1.059
Download
2
Embed Size (px)
Citation preview
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
1/62
Teoria da Informação
Codificação de Fonte
Prof. Dr. Luciano Leonel [email protected]
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
2/62
Conteúdo e Referência
1. Revisão: Probabilidade e Variáveis Aleatórias
2. Fontes de informação – amostragem e quantização
3. Princípios da Teoria da Informação
4. Compactação de Fonte
5. Limitantes para Canais AWGN
Livro Texto: Haykin, Simon, “Sistemas de Comunicação”, 4° Edição, John Wilwy & Sons, 2001.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
3/62
Revisão de Probabilidade
1. Noções Básicas de Probabilidade
• Diagrama de Venn: permite realizar uma representação gráfica dos conjuntos e/ou sua probabilidade de ocorrência.
A AB B
s
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
4/62
Revisão de Probabilidade
2. Os Axiomas da Probabilidade
• Para qualquer evento A, P[A]=0.• P[S]=1, onde S é o espaço amostral.• P[AUB]=P[A]+P[B]-P[AB].
Exemplo: Seja o espaço amostral S={0, 1, 2, 3}. Então:P[S]=P[0]+P[1]+P[2]+P[3]=1. Logo
1][][3
0== ∑ =i isPSP
“A probabilidade é sempre um número entre 0 e 1”
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
5/62
Seja um evento B={números pares}. Logo B = ? Qual é P[B]?P[B]=P[0]+P[2]
Seja um evento C={números menores que 2}. Logo C=? Qual é P[C]?P[C]=P[0]+P[1]
Seja D=BUC. Logo D=? Qual é P[D]?P[D]=P[BUC]=P[B]+P[C]-P[BC]=P[0]+P[2]+P[0]+P[1]-P[0]P[D]=P[0]+P[1]+P[2]
Revisão de Probabilidade
Continuando...
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
6/62
Revisão de Probabilidade
3. Eventos Mutualmente Exclusivos: são aqueles que nunca acontecem ao mesmo tempo.Exemplo: A={números pares} e B={números ímpares}.Se A e B são mutualmente exclusivos, então P[AB]=0.
4. Probabilidade de eventos conjuntos: considere o diagrama de Venn.
B1 B2 B3 B4
A
Qual é a P[A]?P[A]=P[AB1]+P[AB2]+P[AB3]+P[AB4]
∑=
⋅=4
1
][][i
iBAPAP
Note que Bi e Bj são mutualmente exclusivos!
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
7/62
Revisão de Probabilidade
5. Eventos Independentes: dois eventos são independentes somente se a probabilidade de ocorrência de um evento não alterar a probabilidade de ocorrência do outro evento.
P[AB]=P[A]xP[B] somente se A e B forem independentes.
6. Probabilidade Condicional: é a probabilidade de ocorrência de um evento, sabendo-se que outro evento já aconteceu.Exemplo: Qual é a probabilidade de um pneu novo estourar?
Qual é a probabilidade de um pneu novo estourar, dado que existem pregos na pista?
][][
]/[BP
BAPBAP
⋅=
Qual é P[A/B], quando A e B são independentes?
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
8/62
Revisão de Probabilidade
Exercício: considere um dado honesto e os seguintes eventos:Ei={número sorteado é i}Mj={número sorteado é maior do que j}P={número sorteado é par}
a) Qual é a probabilidade de ter-se sorteado um 3, dado que o número sorteado é maior do que 1, ou seja, P[E3/M1]=?b) Qual é a probabilidade condicional de se obter um 6 dado que o número sorteado é maior do que 3?c) P[M3/P]=?d) Dado que o número sorteado é maior do que 3, qual é a probabilidade dele ser par?e) P[E1E2], P[M6P], P[M3UP], P[M3P]
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
9/62
Revisão de Probabilidade
7. Variáveis aleatórias: são variáveis cujo valor em um dado instante de tempo não pode ser determinado. No entanto é possível determinar a probabilidade do valor desta variável estar dentro de uma faixa de valores. Parâmetros de uma V. A.a) Função densidade de probabilidade (f.d.p.) - fX(x): mostra como os valores que a variável pode assumir estão distribuídos.b) Função distribuição cumulativa (F.D.C.) - FX(x): mostra a probabilidade de uma variável assumir um valor maior do que x.
3 2.4 1.8 1.2 0.6 0 0.6 1.2 1.8 2.4 3
0.11
0.22
0.33
0.44
0.55
0.66
0.77
0.88
0.99
1.1
Função densidade de probabilidade
x
Função distribuição cumulativadyyfxXPxFx
XX ∫∞−
=≤= )(][)(
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
10/62
Revisão de Probabilidade
c) Média: é o valor médio da variável aleatória, também conhecido como valor esperado. Eqüivale ao nível DC, se a variável aleatória for um sinal elétrico.
d) Desvio padrão: é uma medida de quanto a variável aleatória pode se distanciar da média. Pode ser interpretado como sendo a tensão RMS, se a V.A for um sinal elétrico.
∑∞
−∞=
=⋅=i
ii xXPxXE ][][ dxxfxXE X∫+∞
∞−
⋅= )(][
Continuando...
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
11/62
Revisão de Probabilidade
e) Variância: é o quadrado do desvio padrão. Pode ser associado àpotência AC do sinal.
222 ][][ XEXE −=σ
∑∞
−∞=
=⋅=i
ii xXPxXE ][][ 22 ∫∞
∞−
⋅= dxxfxXE X )(][ 22
Continuando...
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
12/62
Revisão de Probabilidade
8. Alguns tipos de variáveis aleatórias.
a) Distribuição uniforme
{ }1210 ,...,,,1
)( −∈= NX xxxxXN
xf bXaab
xf X ≤≤−
=1
)(
f(x
)
1 2 3 4 5 660
0.05
0.1
0.15
0.20.2
X
X
0 1 2 3 4 5 6 70
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0.18
0.2
f(x
)X
XCalcule a média e a variância das duas F.D.P’s.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
13/62
Revisão de Probabilidade
b) Gaussiana ( )
−= 2
2
2 2exp
2
1)(
σµ
πσ
xxf X
222 ][
][
µσ
µ
−=
=
XE
XE
-3 -2 -1 0 1 2 30
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
f(x
)X
X
Continuando...
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
14/62
Fontes de Informação
• As fontes de informação em um sistema de comunicação digital são os dispositivos que geram os dados que devem ser transmitidos.
• Toda fonte de informação de um sistema de comunicação digital deve ter um número discreto de símbolos.
• Algumas fontes são discretas por natureza.
• Outras possuem um número infinito de símbolos. Essas fontes devem ser discretizadas.
• Tipos de fontes: binárias, m-árias e analógicas.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
15/62
Fontes de Informação
• Fontes binárias: são aquelas que somente geram dois tipos de símbolos. Exemplo: computador.
• Os dados emitidos por esta fonte não precisam sofrer maiores processamentos para serem transmitidos por um sistema de comunicação digital.
Fonte DigitalBinária
TransmissorDigital
Bitsmk Canal
Ruidoso
s(t) ReceptorDigital
r(t)Destino
mk^
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
16/62
Fontes de Informação
• Fontes discretas ou fontes m-árias; são aquelas que podem emitir atéM símbolos diferentes. Exemplo: texto.
• Os símbolos emitidos por esta fonte devem ser codificados em bits.
• A quantidade de bits necessária para codificar uma fonte com Msímbolos é:
• Exemplo: qual é a quantidade de bits necessária para representar o nosso alfabeto?
m = dlog2(M)e
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
17/62
Fontes de Informação
• O dispositivo responsável em atribuir os bits aos símbolos da fonte éconhecido como codificador.
• Exemplo: assuma que a fonte de informação seja um dado. Proponha uma tabela de codificação para que os símbolos gerados por esta fonte possam ser transmitidos por um sistema de comunicação digital.
Codificador TransmissorDigital
Bitsmk Canal
Ruidosos(t) Receptor
Digitalr(t) De-
codificador
mk^
FonteDiscreta Destino
SímbolosAk
Ak^
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
18/62
Fontes de Informação
•.Fontes Analógicas: são aquelas que geram sinais com uma quantidade infinita de amplitudes. Exemplo: câmera de vídeo ou microfone.
• As fontes analógica devem ser digitalizadas para que os dados possam ser transmitidos em um sistema de comunicação digital.
• Esse procedimento consiste de dois passos:
a) Amostragem: consiste em discretizar o sinal no domínio do tempo. Esse processo não introduz distorções no sinal.
b) Quantização: consiste em limitar a amplitude das amostras em Mníveis possíveis. Esse processo introduz uma distorção denominada de ruído de quantização.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
19/62
Fontes de Informação
• Transmissão de um sinal analógico através de um sistema de comunicação digital.
Codificador TransmissorDigital
Bitsmk Canal
Ruidosos(t)
ReceptorDigital
r(t)
De-codificador
mk^
Quantizador
Filtro deRecuperação
SímbolosAk
DestinoAk^
AmostragemFonteAnalógica
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
20/62
Fontes de Informação
• Amostragem: consiste em pegar o valor da amplitude do sinal a cada Ts segundos, que é chamado de período de amostragem.
• A freqüência de amostragem é fs=1/Ts.
Amostragem temporal
Tempo [s]0 .5 1 1.5 2 2.5 3 3.5 4
-1.0
-.5
0
.5
1.0
t=kTs
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
21/62
Fontes de Informação
• Teorema da Amostragem ou Teorema de Nyquist:
\Um sinal limitado em freqÄuencia, cuja freqÄuencia m¶axima ¶e dada por fmax,pode ser perfeitamente representado por suas amostras, desde que estas sejamtomadas a uma taxa de amostragem maior ou igual a duas vezes fmax, ou seja,se
fs ¸ 2 ¢ fmax
ent~ao ¶e poss¶³vel recuperar o sinal original a partir das suas amostras, sem dis-tor»c~ao."
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
22/62
Fontes de Informação
• Para recuperar o sinal original a partir das suas amostras, basta empregar um filtro passa-baixa.
t=kTs
Sinal Original e Sinal Recuperado
Tempo [s]0 .5 1 1.5 2 2.5 3 3.5 4
-2
-1
0
1
2
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
23/62
Fontes de Informação
• Outro tipo de amostragem bastante utilizado é a amostragem com retenção, onde o valor da amostra é mantido até o próximo instante de amostragem.
• A recuperação da informação original é feita da mesma forma que na amostragem instantânea.
t=kTs
Retenção
Sinal Original e Sinal Amostrado com Retenção
Tempo [s]0 .5 1 1.5 2 2.5 3 3.5 4
-1.0
-.5
0
.5
1.0
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
24/62
Fontes de Informação
• Quantização: é processo no qual o valor da amplitude das amostras édiscretizado.
• Um quantizador permite apenas NQ níveis de amplitude em sua saída.
• O número de bits necessários para representar cada uma das amostras é q = log2(NQ), ou seja, o número total de níveis possíveis com q bits éNQ = 2q.
Sinal Contínuo e Sinal Quantizado
Tempo [s]0 .5 1 1.5 2 2.5 3 3.5 4
-1.0
-.5
0
.5
1.0Quantizador
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
25/62
Fontes de Informação
• A quantização insere uma distorção que não pode ser mais removida do sinal.
• Essa distorção pode ser modelada como um ruído de potência:
• A taxa de bits mínima para representar essa fonte analógica é limitada pelo Teorema de Nyquist e pelo número de amostras na saída do quantizador.
¾2Q =
¢2
12
Rb ¸ 2 log2(NQ) ¢ fmax
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
26/62
Fontes de Informação
• Exemplo: qual é a menor taxa para representar um sinal telefônico que foi quantizado com 256 níveis?
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
27/62
Teoria da Informação
• O que é Teoria da Informação?Teoria da Informação é o modelo matemático que permite tratar, de modo analítico, os diferentes modos de transmitir informação em um canal de comunicação.
• Questões tratadas na Teoria da Informação:
a) Qual é a menor quantidade de bits necessária para representar uma fonte discreta sem perda de informação?
b) Qual é a máxima taxa de transmissão para uma comunicação confiável em um canal ruidoso?
Para responder a essas questões, é necessário compreender o que éInformação, Entropia, Canal e Confiável!
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
28/62
Teoria da Informação
• Informação: é a quantidade de surpresa que um evento causa ao ocorrer.Seja S ={s0, s1, s2 , s3 ,..., sK-1} uma fonte discreta com K elementos, onde pk é a probabilidade de ocorrência de sk.A quantidade de informação associada ao símbolo sk é dada por
( )
=
kk p
sI1
log2
• Conclusões importantes:- Se há certeza de ocorrência de um evento, não há ganho de informação quanto esse evento ocorre!- A ocorrência de um evento nunca causa perda de informação!- Quanto menor a probabilidade de ocorrência, maior é a informação ganha quando o evento acontece!
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
29/62
Teoria da Informação
• Algumas propriedades da informação:
1) I(sk) = 0 quando p(sk) = 1
2) I(sk) > 0 para 0 < p(sk) < 1
3) I(sk) > I(si) para p(sk) < p(si)
4) I(sksi) = I(sk) I(si) se sk e si forem independentes.
Exemplo: calcule a informação associada a cada um dos símbolos
pertencentes S={a, b, c, d}, sendo que p(sk) = {0.5, 0.3, 0.15, 0.05}.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
30/62
Teoria da Informação
• Entropia: é a quantidade média de informação fornecida por uma fonte discreta.
( ) ( ) bitsp
psIpSHk
K
kkk
K
kk
== ∑∑
−
=
−
=
1log2
1
0
1
0
• Propriedades da Entropia:
1) 0 = H(S) = log2(K)
A entropia é nula quando a fonte possui um evento certo.
A entropia é máxima quando a fonte é equiprovável.
Exercício: calcule a entropia de uma fonte binária onde o símbolo “0”possui probabilidade p0 e o símbolo “1” possui probabilidade p1.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
31/62
Teoria da Informação
• Fonte discreta sem memória: é uma fonte que envia símbolos discretos a cada T segundos, onde a ocorrência de um símbolo específico não muda a probabilidade de ocorrência do próximo símbolo.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
32/62
Teoria da Informação
• Extensão de uma fonte discreta sem memória: consiste em criar uma nova fonte cujos elementos são combinações da fonte inicial.
• A probabilidade de cada novo elemento será o produto das probabilidades individuais dos elementos elementares.
Exemplo: Considere uma fonte que representa o resultado de uma jogada de um dado honesto.
S={1, 2, 3, 4, 5, 6} pk = [1/6, 1/6, 1/6, 1/6, 1/6, 1/6]
Quais serão os elementos da extensão de ordem 2 desta fonte, ou seja, de uma fonte que consiste em duas jogadas sucessivas de um dado?
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
33/62
Teoria da Informação
• A entropia de uma fonte estendida de ordem n é n vezes maior do que a entropia da fonte original.
• Exemplo: Seja uma fonte S = {s0, s1, s2} com pk = {¼, ¼, ½}.
a) Qual é a entropia desta fonte?
b) Encontre a fonte estendida de ordem 2. Qual é a entropia desta fonte?
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
34/62
Teoria da Informação
• Codificação de fonte: utilizar a estatística da fonte para minimizar o número de bits necessários para representar seus eventos. As palavras códigos devem ser inequívocas.
Exemplo: uma fonte emite os caracteres S={a,b,c,d}. Associe bits a cada evento dessa fonte de modo intuitivo.
Sabendo que P[a]=0.8, P[b]=0.1, P[c]=0.07 e P[d]=0.03, calcule a entropia da fonte e compare com o número médio de bits que você utilizou anteriormente. É possível fazer algo mais eficiente?
A resposta para esta questão é fornecida pelo 1° Teorema de Shannon!
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
35/62
Teoria da Informação
• 1° Teorema de Shannon: Teorema de Codificação de Fonte.
“O número médio de bits necessários para representar uma fonte discreta é maior ou igual à Entropia desta fonte.”
)(SHL ≥∑
−
=
⋅=1
0
K
kkk lpL
LSH )(
=η
• É possível construir uma representação binária mais eficiente para uma fonte discreta utilizando palavras código de comprimento variável.Exemplo: código Morse.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
36/62
Teoria da Informação
• Compressão: retira a redundância da fonte, reduzindo a entropia de maneira controlada. Exemplos: JPEG, MPEG, Vocoders.
• Compactação: retira a redundância da fonte, sem alterar sua entropia. Exemplo: compactadores de arquivos.
Compactação Compressão
Entropia
Redundância
Entropia
Redundância
Entropia
Redundância
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
37/62
Teoria da Informação
• Código do Prefixo: compactação de fonte onde a representação binária de um símbolo nunca é o prefixo da representação binária de outro símbolo. • O símbolo mais provável é sempre representado pela menor quantidade de bits.Quais destes códigos é um código do prefixo?
• Códigos do prefixo podem ser codificados ou decodificados utilizando uma árvore. 0
0
0
1
1
1
ξ
ξ
ξ
ξ
0
1
2
3
Estadoinicial
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
38/62
Teoria da Informação
• Exemplo: encontre um código do prefixo para representar a seguinte fonte: S ={s0, s1, s2 , s3}, onde p0=0.7, p1=0.2, p2=0.15 e p3=0.05.
Codifique a seguinte seqüência de dados: s1 s0 s0 s0 s2 s0 s3.
Desenhe a árvore deste código. Calcule a eficiência da codificação.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
39/62
Teoria da Informação
• Limites para o comprimento médio do código do prefixo:H(sk) = L = H(sk)+1
• O limite inferior é obtido quando pk = 2-lk.• Quando o limite inferior é atingido, então o código está casado com a fonte.• Pode-se utilizar o conceito de fonte estendida para casar um código do prefixo com a fonte. Note o que ocorre com os limites do comprimento médio normalizado de uma fonte estendida:
H(Sn) · ¹Ln < H(Sn) + 1nH(S) · ¹Ln < nH(S) + 1
H(S) ·¹Ln
n< H(S) +
1n
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
40/62
Teoria da Informação
• Código de Huffman: é a técnica de codificação empregada nos compactadores ZIP.
Procedimento para codificação empregando código Huffman:
a) Liste os símbolos em ordem decrescente de probabilidade. Atribua os bits “1” e “0” aos últimos dois símbolos da lista.
b) Os dois símbolos combinados formam um novo símbolo cuja probabilidade de ocorrência é a soma das probabilidades anteriores. O novo símbolo deve ser reposicionado na lista, que contém um símbolo a menos.
c) Repita o processo até que se tenha apenas dois símbolos. O código para cada símbolo é obtido pegando-se os “1” e “0” no sentido reverso que culminou nos últimos dois símbolos.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
41/62
Teoria da Informação
• Exemplo: Seja uma fonte S={ ?0, ?1, ?2, ?3, ?4}, onde p0=0.15, p1=0.2, p2=0.4, p3=0.15 e p4=0.1. Encontre o código de Huffman para esta fonte. Encontre a árvore de decodificação e calcule a eficiência do código.
ξ2
0,40
0,20
0,15
0,15
0,10
0
1
0,40
0,25
0,20
0,15
0
1
0,40
0,35
0,25
0
1
0,40
0,60 0
1ξ1
ξ0
ξ3
ξ4
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
42/62
Teoria da Informação
• Continuando...
1
1
1
0
0
Estadoinicial
ξ0
ξ2
ξ1
ξ3
0
1 ξ4
0
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
43/62
Teoria da Informação
• Código Lempel-Ziv: é um código de comprimento fixo que éadaptativo à fonte discreta.
• Este código utiliza a correlação entre os símbolos enviados pela fonte para aumentar a sua eficiência.
• Outra vantagem: não requer o conhecimento prévio das estatísticas da fonte para obter um alto desempenho.
• Para que este código atinja um desempenho adequado é necessário que uma longa seqüência de símbolos seja codificada.
• O Lempel-ziv utiliza um livro de palavras-código cujo tamanho édefinido pelo comprimento da palavra-código.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
44/62
Teoria da Informação
• Exemplo: veja página 32 da apostila.
• Exercício: utilize o código de Lempel-ziv com n=3 para codificar uma fonte discreta S={s0, s1, s2 s3} cujas estatísticas não são conhecidas. Recupere os símbolos a partir do resultado da codificação.
Seqüência de saída da fonte: s0 s1 s2 s0 s0 s0 s2 s2 s0 s1 s3
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
45/62
Teoria da Informação
• Canais discretos sem memória: é um modelo estatístico do canal de comunicação com J entradas e K saídas.
• O sinal de entrada é modelado por uma variável aleatória:
X={x0 x1 x2 ... xj-1}
• O sinal de saída, que é uma versão ruidosa do sinal de entrada, émodelado por uma variável aleatória Y:
Y={y0 y1 y2 ... yk-1}
• Para caracterizar o canal é necessário conhecer as probabilidades de transição p(yk/xj) para todo k e todo j.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
46/62
Teoria da Informação
• Caracterização de um canal discreto sem memória através da matriz de transição:
=
−−−−
−
−
)/()/()/(
)/()/()/()/()/()/(
111110
111110
010100
jkjj
k
k
xypxypxyp
xypxypxypxypxypxyp
P
LMOMM
LL
• Dado que um símbolo foi inserido na entrada do canal, haverá um símbolo na saída com uma dada probabilidade. Logo:
1)/(1
0
=∑−
=
K
kjk xyp
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
47/62
Teoria da Informação
• Utilizando a lei das probabilidades marginais pode-se obter a probabilidade de um dado símbolo Y aparecer na saída do canal.
)()/()(
),()(
1
0
1
0
j
J
jjkk
J
jkjk
xpxypyp
yxpyp
∑
∑−
=
−
=
=
=
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
48/62
Teoria da Informação
• Modelo de canal binário discreto sem memória: é uma maneira simples e eficiente de modelar o comportamento de um canal de comunicação binário.
1-p
1-p
pp
x0 = 0
x1 = 1
y0 = 0
y1 = 1
• A matriz de transição deste canal é dada por:
−
−=
pppp
P1
1
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
49/62
Teoria da Informação
• Exemplo: um canal binário discreto sem memória apresenta p=0.1.
• Assumindo que uma fonte com p0=0.4 e p1=0.6 seja empregada na entrada do canal, qual é a entropia do sinal na saída do canal?
• Qual é a probabilidade de erro de bit neste canal?
• Qual será a entropia na entrada e na saída deste canal se a fonte sempre emitir o símbolo “1”?
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
50/62
Teoria da Informação
• Informação Mútua: determina a quantidade de informação obtida sobre uma ponta do canal, dado que foi observada a outra ponta do canal.
= ∑∑
−
=
−
= )/(1
log),()/( 2
1
0
1
0 kj
K
k
J
jkj yxp
yxpYXH
= ∑∑
−
=
−
= )/(1
log),()/( 2
1
0
1
0 jk
K
k
J
jkj xyp
yxpXYH
• Entropia condicional: determina a quantidade de incerteza remanescente sobre uma ponta do canal, dado que a outra ponta foi observada
)/()():()/()():(
XYHYHXYIYXHXHYXI
−=−=
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
51/62
Teoria da Informação
• Propriedades da Informação Mútua:
a) Simetria: I(X:Y) = I(Y:X)
b) Polaridade: I(X:Y) = 0
c) Dependência conjunta: I(X:Y)=H(X)+H(Y)-H(X,Y)
= ∑∑
−
=
−
= ),(1
log),(),( 2
1
0
1
0 kj
K
k
J
jkj yxp
yxpYXH
)|( YXH );( YXI )|( XYH
)(XH )(YH
);( YXH
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
52/62
Teoria da Informação
• Exemplo: Qual é a informação mútua do canal do exemplo anterior, para ambas distribuições de probabilidade da fonte de entrada?
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
53/62
Teoria da Informação
• Capacidade do canal: é a máxima informação mútua que se pode obter de um canal de comunicação. • A informação mútua depende da distribuição da fonte de entrada e da probabilidade de transição do canal.• A capacidade do canal somente será atendida se a fonte de entrada apresentar a distribuição adequada.• Para um canal binário, a capacidade do canal é atingida apenas quando a fonte de entrada é equiprovável.
• Qual é a Capacidade do Canal quando:p = 0, p = 0.5 e p = 1?
C = 1 + (1 ¡ p) ¢ log2(1 ¡ p) + p ¢ log2(p)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Cap
acid
ade
do C
anal
Probabilidade de transição
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
54/62
Teoria da Informação
• Qual é a variação da Informação Mútua de um canal binário sem memória em função da distribuição da fonte de entrada e da probabilidade de transição?
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
55/62
Teoria da Informação
• Codificação de canal: tem como objetivo inserir bits de redundância de maneira controlada que permitem detectar e corrigir erros causados pelo canal.
Fonte discretasem memória
Codificadorde canal
Canal discretosem memória
Decodificadorde Canal Destino
Ruído
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
56/62
Teoria da Informação
• Transmissão confiável: é aquela em que a probabilidade de erro de bit pode ser tão baixa quanto necessário.• O 2° Teorema de Shannon determina qual é a condição para que tenha uma transmissão confiável.
“Existe um esquema de codificação de canal que permite que a taxa de erro de bit seja tão baixa quanto desejada se a seguinte condição for satisfeita:
TcC
TsSH
≤)(
• Ts é o tempo de emissão dos símbolos pela fonte e TC é o tempo de bit após a codificação de canal.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
57/62
Teoria da Informação
• Aplicação do Teorema de Codificação de Canal:a) Taxa de codificação: é a razão entre o número de bits de informação pelo número total de bits inseridos pelo codificador de canal:
b) Se a vazão do sistema tiver que se manter constante, então o tempo de sinalização na saída do codificador terá que ser menor do que o tempo de sinalização na entrada.
c) Portanto a condição para que a probabilidade de erro possa ser tão baixa quanto necessária pode ser reescrita como
r =kn
=k
k + p
r =TcTs
r · C
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
58/62
Teoria da Informação
• Exemplo: Código de Repetição – ver página 50 da apostila.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
59/62
Teoria da Informação
• Ruído AWGN (Additive White Gaussian Noise): é o ruído térmico presente em todos os modelos de canais de comunicação. Suas características são:
a) Média nula.
b) Potência: Pruído=s 2=B.N0, onde N0 é a densidade espectral de potência do ruído e B é a largura de faixa do sinal transmitido.
c) Distribuição Gaussiana e independente. SN(f)
f
N0/2
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
60/62
Teoria da Informação
• Teorema da Capacidade do Canal: 3° Teorema de Shannon.
“Um canal de comunicação limitado em B Hertz de largura de faixa e contaminado por um ruído AWGN com densidade espectral de potência de N0/2 permite a comunicação confiável a uma taxa menor ou igual a
( )SNRBBN
PBC +=
+= 1log1log 2
02
P é a potência do sinal. SNR é a relação sinal-ruído.
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
61/62
Teoria da Informação
• Limitante de Shannon
0 10 20 300.1
1
10
100
Eficiência de BW (Rb/B)
Eb/N0 em dB
Região para a qual Rb>C
Região para a qualRb<C
Fronteira ondeRb=C
Prof. Dr. Luciano Leonel MendesTeoria da InformaçãoPós-graduação – Redes e Sistemas de Telecomunicações
62/62
Teoria da Informação
• Exemplo 1: qual é a máxima taxa de dados para uma transmissão confiável em um canal telefônico com relação sinal ruído igual à 15dB?
• Exemplo 2: Qual é a menor largura de faixa possível para se obter uma taxa de transmissão de 15kb/s em um canal com SNR=10dB?
• Exemplo 3: Qual é a potência necessária para se conseguir 15kb/s em um canal com 5kHz de banda, sabendo-se que a potência do ruído éigual a 2mW?