Upload
edwin-hak
View
230
Download
0
Embed Size (px)
Citation preview
8/19/2019 Teoria Informacion y Codificacion.pdf
1/40
Teoría de las Comunicaciones
(a.k.a Redes )Claudio Enrique Righetti
Segundo Cuatrimestre del 2011
Departamento de ComputaciónFacultad de Ciencias Exactas y Naturales
Universidad de Buenos Aires
Argentina
8/19/2019 Teoria Informacion y Codificacion.pdf
2/40
Teoría de la Información y
CodificaciónFundamentos de TIyC - Fuente de Ruidos y
Capacidad de un canal
Claude Shannon
8/19/2019 Teoria Informacion y Codificacion.pdf
3/40
Teoría de la Información
Claude Shannon estaleció la Teoría de la InformaciónCl!sica
(o tami"n los #ue al$unos denominan teoría estadísticade la información% otra teoría seria la al$orítmica ..)
&os Teoremas Fundacionales'
. Codificación para un fuente sin ruido
. Codificación para un canal ruidoso
C. *. Shannon% +ell System Technical ,ournal% ol. % pp. /0-1/ and 2/-232% ,uly and 4ctoer% 015. Reprinted 6ith correctionsfrom The Bell System Technical Journal,
8/19/2019 Teoria Informacion y Codificacion.pdf
4/40
7no de ellos descrie la m!8ima eficienciaposile de un m"todo de corrección deerrores ( codificación ) frente a los nieles deruido y de corrupción de los datos. 9o dice
nada sore como implementar dichacodificación . *n definitia rinda el limitepara la T: de its (as!ndose en la ;ey de los
8/19/2019 Teoria Informacion y Codificacion.pdf
5/40
February 8, 2010 Harvard QR48 5
Shannon % paper +ell ;as (015)
8/19/2019 Teoria Informacion y Codificacion.pdf
6/40
C. *. Shannon% +ell System Technical ,ournal% ol. % pp. /0-1/ and 2/-232% ,uly and 4ctoer% 015
A method is developed for representing anycommunication system geometrically. essages and thecorresponding signals are points in t!o "functionspaces,# and the modulation process is a mapping of onespace into the other. $sing this representation, a num%erof results in communication theory are deducedconcerning e&pansion and compression of %and!idth and
the threshold effect. 'ormulas are found for thema&imum rate of transmission of %inary digits over asystem !hen the signal is pertur%ed %y various types ofnoise. Some of the properties of "ideal# systems !hichtransmit at this ma&imum rate are discussed. Thee(uivalent num%er of %inary digits per second for certaininformation sources is calculated. "
8/19/2019 Teoria Informacion y Codificacion.pdf
7/40
8/19/2019 Teoria Informacion y Codificacion.pdf
8/40
Información
8/19/2019 Teoria Informacion y Codificacion.pdf
9/40
&efinición ' unidades
8/19/2019 Teoria Informacion y Codificacion.pdf
10/40
+it
8/19/2019 Teoria Informacion y Codificacion.pdf
11/40
Fuente de memoria nula
8/19/2019 Teoria Informacion y Codificacion.pdf
12/40
Bemoria nula (cont)
8/19/2019 Teoria Informacion y Codificacion.pdf
13/40
*ntropía
8/19/2019 Teoria Informacion y Codificacion.pdf
14/40
*ntropía (cont) ;a entropía de un mensae :% #ue se representa
por D(:)% es el valor medio ponderado de lacantidad de información de los diersos estadosdel mensae.
D(:) E - Σ p(8) lo$ Gp(8)H
*s una medida de la incertidumre media acercade una ariale aleatoria y el n4mero de %its deinformaci5n.
*l concepto de incertidumre en D se puedeasociar. ;a función entropía representa unamedida de la incertidumre% no ostante se sueleconsiderar la entropía como la información mediasuministrada por cada símolo de la fuente
8/19/2019 Teoria Informacion y Codificacion.pdf
15/40
*ntropía' Fuente +inaria
8/19/2019 Teoria Informacion y Codificacion.pdf
16/40
a) ;a entropía es no ne$atia y se anula si y sólo siun estado de la ariale es i$ual a y el resto @ .
) ;a entropía es m!8ima% mayor incertidumre delmensae% cuando todos los alores posiles de la
ariale : son e#uiproales .
Si hay n estados e#uiproales% entonces pi E
Gn. ;ue$o'
D(:) E - Σ pi lo$ pi E - n(Gn) lo$ (Gn) E - (lo$ - lo$ n)
i
D(:)m!8 E lo$ n
ropiedades de la entropía
8/19/2019 Teoria Informacion y Codificacion.pdf
17/40
*8tensión de una Fuente de Bemoria 9ula
8/19/2019 Teoria Informacion y Codificacion.pdf
18/40
Fuente de Barko
8/19/2019 Teoria Informacion y Codificacion.pdf
19/40
Fuente de Barko (cont)
8/19/2019 Teoria Informacion y Codificacion.pdf
20/40
8/19/2019 Teoria Informacion y Codificacion.pdf
21/40
Codificación
*stalecer una correspondencia entre lossímolos de una fuente y los símolos delalfaeto de un códi$o.
roceso mediante el cual tami"n podemos lo$raruna representación m!s eficiente de lainformación ( eliminar redundancia).
8/19/2019 Teoria Informacion y Codificacion.pdf
22/40
Codificación ' condiciones
+lo#ue
Sin$ular
Separale (uníocamente decodificale)
8/19/2019 Teoria Informacion y Codificacion.pdf
23/40
Condición de los prefios
;a condición necesaria y suficiente para #ue uncódi$o sea instant6neo es #ue sus palarascumplan la condición de los prefios'
9o e8ista palara #ue sea prefio de otrapalara de lon$itud mayor.
8/19/2019 Teoria Informacion y Codificacion.pdf
24/40
Códi$os eficientes
Jsi$nar palaras m!s cortas a símolos m!sproales l
ilon$itud de la palara codificada del mensae m i
r : K de símolos del alfaeto del códi$o
L = Σ pi l
i ' ;on$itud media de un códi$o
L log r ≥ H(s)
lo$ r ' Cantidad promedio m!8ima de informaciónde un símolo del códi$o.
η = Η S) / (L log r) *ficiencia
8/19/2019 Teoria Informacion y Codificacion.pdf
25/40
8/19/2019 Teoria Informacion y Codificacion.pdf
26/40
9os falta encontrar el se$undo t"rmino pendiente en ladefinición de cantidad de información' codificador5ptimo.
Introduciendo el si$no ne$atio dentro del lo$aritmo en
la e8presión de la entropía% "sta nos #uedar! como'D(:) E Σ p(8) lo$
Gp(8)H
i;a e8presión lo$ Gp(8)H representa el n=mero
necesario de its para codificar el mensae : en uncodificador óptimo.
Codificador óptimo es a#uel #ue paracodificar un mensae : usa el menor n=mero posile de
its.
Codificador óptimo
8/19/2019 Teoria Informacion y Codificacion.pdf
27/40
M = 1 “ ” = 01 A = 000 I = 0010 E = 0011
Letra Frecuencia Ocurrencia→
! 1 ve" # → $ → % → 15
& 2 vece
' # vece & ! ' ( ( )
( ( # vece & ! ' ( (
) $ vece & ! '
& !
Código óptimo:
Mensaje: MI MAMA ME MIMA
Mensaje: 1 0010 01 1 000 1 000 01 1 0011 01 1 0010 1 000 ( !its)
"reg#nta: $Con %#&ntos !its se %odi'i%ara si se #sara ACII* a+#e %on%l#siones,
Crea%ión del &r!ol de
're%#en%ias o!ser-adas
Codificación de Duffman
8/19/2019 Teoria Informacion y Codificacion.pdf
28/40
;os medios de transmisiónL.
L. M las NperturacionesO L..
Bodelo de un Sistema de
8/19/2019 Teoria Informacion y Codificacion.pdf
29/40
Bodelo de un Sistema deComunicaciones
8/19/2019 Teoria Informacion y Codificacion.pdf
30/40
erturaciones en la transmisión
;a sePal reciida puede diferir de la sePaltransmitida Jnaló$ico - de$radación de la calidad de la
sePal
&i$ital A *rrores de its Causado por Jtenuación y distorsión de atenuación &istorsión de retardo Ruido
8/19/2019 Teoria Informacion y Codificacion.pdf
31/40
Jtenuación
;a intensidad de la sePal disminuye con ladistancia
&epende del medio ;a intensidad de la sePal reciida' &ee ser suficiente para #ue se detecte &ee ser suficientemente mayor #ue el ruido para
#ue se recia sin error
Crece con la frecuencia
*cualiQación' amplificar m!s las frecuenciasm!s altas
rolema Nmenos $raeO para las sePalesdi$itales
8/19/2019 Teoria Informacion y Codificacion.pdf
32/40
&istorsión de retardo
Sólo en medios $uiados ;a elocidad de propa$ación en el medio
aría con la frecuencia ara una sePal limitada en anda% la
elocidad es mayor cerca de la frecuenciacentral
;as componentes de frecuencia lle$an al
receptor en distintos instantes de tiempo%ori$inando desplaQamientos de fase entrelas distintas frecuencias
8/19/2019 Teoria Informacion y Codificacion.pdf
33/40
Ruido () SePales adicionales insertadas entre el
transmisor y el receptor T"rmico &eido a la a$itación t"rmica de los electrones Jumenta linealmente con la temperatura asoluta
(9@E kT)
7niformemente distriuido en la frecuencia
Ruido lanco (9+RE kT+)
Intermodulación SePales #ue son la suma y la diferencia de
frecuencias ori$inales y sus m=ltiplos (mf ( nf
))
Se produce por falta de linealidad
8/19/2019 Teoria Informacion y Codificacion.pdf
34/40
Ruido ()
&iafonía 7na sePal de una línea se mete en otra
Impulsio Impulsos irre$ulares o picos
*' Interferencia electroma$n"tica e8terna(tormenta)
Corta duración
8/19/2019 Teoria Informacion y Codificacion.pdf
35/40
*fecto del ruido en sePal di$ital
Conceptos relacionados con la
8/19/2019 Teoria Informacion y Codificacion.pdf
36/40
Conceptos relacionados con lacapacidad del canal elocidad de datos *n its por se$undo elocidad a la cual se pueden transmitir los
datos
Jncho de +anda *n ciclos por se$undo (hertQ) ;imitado por el transmisor y el medio
Ruido% niel medio a tra"s del camino de
transmisión Tasa de errores% camiar @ por y iceersa (+*R%
+it *rro Rate)
Jncho de +anda de 9y#uist
8/19/2019 Teoria Informacion y Codificacion.pdf
37/40
Jncho de +anda de 9y#uist(Capacidad teórica m!8ima)
ara nieles SI9 R7I&4 elocidad inaria
ara B nieles SI9 R7I&4 elocidad inaria
1 Baudio 7 1 estado se8ali3aci5n9seg : tam%i;n se e&presa sa relaci5n entre la velocidad de transmisi5n C y la velocidad de modulaci5n ? es@
)(.)( HzBbpsC =
)(log)(.)( . niveles M HzBbpsC =
M baudiosV bpsC .)/log()( =
9y#uist% D.% NCertain Factors Jffectin$ Tele$raph Speed%O Bell System Technical Journal, Jpril 01% p./1U NCertain Topics in
8/19/2019 Teoria Informacion y Codificacion.pdf
38/40
Capacidad de Shannon ()
ara un cierto niel de ruido% a mayor
elocidad% menor período de un it% mayortasa de error (se pueden corromper its enel tiempo en #ue antes se corrompía it)
Relación SePal G Ruido (Si$nal 9oise Ratio% S9R) en d+
Restricción' no se puede aumentar cuantose #uiera por#ue dee cumplirse'
Ruido Potencia
Señal PotenciaSNRSNRdB
log10)log(10 ==
SNR M +≤ 1
8/19/2019 Teoria Informacion y Codificacion.pdf
39/40
Capacidad de Shannon ()
*n principio% si se aumenta el ancho deanda B y la potencia de sePal S% aumentala elocidad inaria C.
ero' 7n aumento del ancho de anda B aumenta el
ruido 7n aumento de potencia de sePal S aumenta las
no linealidades y el ruido de intermodulación
or tanto% la elocidad inaria teórica m!8imaser!'
EV
.
... /log/log/./log)( M B M B M V bpsC ===
)1()/log()( . SNR HzBbpsC máx +=
8/19/2019 Teoria Informacion y Codificacion.pdf
40/40
*emplo Canal entre / BDQ y 1 BDQ
Relación sePal ruido E 1 d+% S9RE@)%1E3
Calcular ancho de anda
Respuesta' B E BDQ
Calcular la elocidad inaria teórica m!8ima y el n=mero de
nieles Respuesta' SNR 7 21
Respuesta' C E 5 Bps
Respuesta' M E 2 nieles