Upload
rosanna-rinaldi
View
217
Download
1
Embed Size (px)
Citation preview
METRO, KILOGRAMMO, SECONDO, BITBreve storia di una grande avventura: lo studio della misura e delle
unità di misura
Lunedì 26 aprile 2004
BIT
La misura dell’informazione
Giorgio Goldoni
IL BITLA MISURA
DELL’INFORMAZIONE
bit = binary digit
(numero binario)
1
|
|||| |||| || || || | 1
1 0
||
|||| |||| || || || | 2
1 1
|||
|||| |||| || || || | 3
1 0 0
||||
|||| |||| || || || | 4
1 0 1
|||||
|||| |||| || || || | 5
1 1 0
||||||
|||| |||| || || || | 6
1 1 1
|||||||
|||| |||| || || || | 7
1 0 0 0
||||||||
|||| |||| || || || | 8
1 0 0 1
|||||||||
|||| |||| || || || | 9
1 0 1 0
||||||||||
|||| |||| || || || | 10
1 0 1 1
|||||||||| |
|||| |||| || || || | 11
1 1 0 0
|||||||||| ||
|||| |||| || || || | 12
1 1 0 1
|||||||||| |||
|||| |||| || || || | 13
1 1 1 0
|||||||||| ||||
|||| |||| || || || | 14
1 1 1 1
|||||||||| |||||
|||| |||| || || || | 15
+ 0 10 0 11 1 10
× 0 10 0 01 0 1
byte = sequenza di 8 bit
01100101
310 1010242
kilobyte
1.024 byte
8.192 bit
Megabyte
1.024 kilobyte
1.048.576 byte
8.388.608 bit
Gigabyte
1.024 Megabyte
1.073.741.824 byte
8.589.934.592 bit
binit = binary digit
Codifica binaria a lunghezza fissa
0
1
0 1
00
01
10
11
0 1
0 01 1
000001010011100101110111
0 1
0
0 0
0
0 0
1 1
1 1 1 1
Milano Messina
Sole 25% 50%
Pioggia 25% 25%
Coperto 25% 12,5%
Nebbia 25% 12,5%
messaggio codifica
Sole 00
Pioggia 01
Coperto 10
Nebbia 11
Esempio di codifica:
Sole-Coperto-Coperto-Pioggia:
00-10-10-01
00101001
Esempio di decodifica:
01110001
01-11-00-01
Pioggia-Nebbia-Sole-Pioggia
2 binit per messaggio
Milano Messina
Sole 25% 50%
Pioggia 25% 25%
Coperto 25% 12,5%
Nebbia 25% 12,5%
Codifica binaria a lunghezza variabile
Idea:
codifiche corte per messaggi frequenti
codifiche lunghe per messaggi rari
Messaggio Codifica Frequenza
Sole 1 50%
Pioggia 01 25%
Coperto 001 12,5%
Nebbia 0001 12,5%
Esempio di codifica:
Sole-Sole-Pioggia-Coperto:
1-1-01-001
1101001
Esempio di decodifica:
01110001
01-1-1-0001
Pioggia-Sole-Sole-Nebbia
Su 8 messaggi ce ne sono in media:4 di 1 binit2 di 2 binit1 di 3 binit1 di 4 binit
Lunghezza media di un messaggio
875,18
15
8
41312214
binit
Perché da Messina è possibile inviare messaggi con codifiche più brevi che da Milano?
È possibile ridurre ulteriormente la lunghezza media dei messaggi?
Esiste un limite inferiore alla lunghezza media dei messaggi?
La sequenza di binit usata per la codifica dei possibili messaggi di una sorgente può essere interpretata come una strategia di domande da porre ad un oracolo binario, cioè un essere onnisciente che risponde solo con dei “sì” e con dei “no”, al fine di indovinare un messaggio.
Sole oPioggia?
Sole?
sì no
Coperto?sì sìno no
Sole Pioggia Coperto Nebbia
Strategia ottimale per Milano
Sempre 2 domande per messaggio
sì no
sì
sì
no
no
Sole?
Sole Pioggia?
Pioggia Coperto?
Coperto Nebbia
Strategia ottimale per Messina
In media 1,75 domande per messaggio
Su 8 volte:4 volte 1 domanda2 volte 2 domande2 volte 3 domande
Messaggio Codifica Frequenza
Sole 1 50%
Pioggia 01 25%
Coperto 001 12,5%
Nebbia 0001 12,5%
Messaggio Codifica Frequenza
Sole 1 50%
Pioggia 01 25%
Coperto 001 12,5%
Nebbia 000 12,5%
sì no
sì
sì
no
no
Sole?
Sole Pioggia?
Pioggia Coperto?
Coperto Nebbia
Strategia non ottimale per Milano
In media 2,25 domande per messaggio
Su 4 volte:1 volta 1 domanda1 volta 2 domande2 volte 3 domande
Studio del caso di n messaggi
equiprobabili
0
1
0 1
00
01
10
11
0 1
0 01 1
000001010011100101110111
0 1
0
0 0
0
0 0
1 1
1 1 1 1
n 2n
1 2
2 4
3 8
4 16
5 32
6 64
log2m m
1 2
2 4
3 8
4 16
5 32
… …
× 2+ 1
1 2
2 4
3 8
4 16
5 32
… …
: 2- 1
… …
-3 0,125
-2 0,25
-1 0,5
0 1
1 2
2 4
3 8
4 16
5 32
… …
: 2- 1
+1 = +0,5 +0,5
×2 = ×1,4142 ×1,4142
… …
-2 0,25
-1,5 0,3536
-1 0,5
-0,5 0,7071
0 1
0,5 1,4142
1 2
1,5 2,8284
2 4
… …
×1,4142+ 0,5
+0,5 = +0,25 +0,25
×1,4142 =
×1,1892 ×1,1892
… …
-1 0,5
-0,75 0,5946
-0,5 0,7071
-0,25 0,8409
0 1
0,25 1,1892
0,5 1,4142
0,75 1,6818
1 2
… …
×1,1892+ 0,25
1 2 3 4 5 6 7 8
1
2
3
823
58496,13log2
32 58496,1
?
Strategia per indovinare uno di tre messaggi equiprobabili
1 domanda 1/3 delle volte
2 domande 2/3 delle volte
Media domande:
6667,13
52
3
21
3
1
3 messaggi:
A B C
9 coppie di messaggi:
AA AB AC BA BB BC CA CB CC
3 domande 7/9 delle volte4 domande 2/9 delle volte
Media domande:
2222,39
294
9
23
9
7
6111,12:2222,3
per 2 messaggi
per messaggio
27 terne di messaggi:
AAA AAB AAC ABA ABB ABC
ACA ACB ACC BAA BAB BAC
BBA BBB BBA BCA BCB BCC
CAA CAB CAC CBA CBB CBC
CCA CCB CCC
4 domande 5/27 delle volte5 domande 22/27 delle volteMedia domande:
8148,427
1305
27
224
27
5
6049,13:8148,4
3 messaggi
per messaggio
quaterne di messaggi.76 212881642
8134
176481
Ci sono
Essendo occorronodalle 6 alle 7 domande per indovinare una quaterna di messaggi.
per cui in 34 casi occorre fare 7
domande e 6 domande nei rimanenti 47 casi.
4198,681
5206
81
477
81
34
6049,14:4198,6
Gruppi di 5 messaggi: 24335 87 22562431282
115128243 2301152 13230243
Media domande:
9465,7243
19317
243
138
243
230
5893,15:9465,7
Per indovinare 1 tra n messaggi equiprobabili è possibile usare una
strategia il cui numero medio di domande per messaggio da formulare
a un oracolo binario si avvicini a piacere al valore
n2log
Analogamente è possibile codificare gli n messaggi equiprobabili usando
un numero medio di binit per messaggio che si avvicina a piacere al
valore
n2log
np
1
pn
1loglog 22
Probabilità di ciascun messaggio:
Limite inferiore al numero medio di domande da porre all’oracolo binario
per indovinare il messaggio:
Più in generale affermiamo che il verificarsi di un evento casuale
di probabilità p fornisce un’informazione di
p
1log2 bit
La quantità di informazione è tanto maggiore quanto più
l’evento è raro.
Un evento certo fornisce una quantità nulla di informazione.
SORGENTE DI INFORMAZIONESENZA MEMORIA
Trasmette n tipi di messaggi diversi, ciascuno indipendente dal precedente, e con una determinata probabilità.
nn p
pp
pp
pH1
log...1
log1
log 22
221
21
ENTROPIA DI INFORMAZIONE
Quantità media di informazione
ricevuta da un messaggio
L’entropia di informazione rappresenta il limite inferiore,
approssimabile a piacere, del numero medio di domande da porre ad un oracolo binario per indovinare il
messaggio trasmesso dalla sorgente o, equivalentemente, il limite inferiore,
approssimabile a piacere, del numero medio di binit per codificare un
messaggio.
Stazione meteorologica di Milano
bitH 24log2
Messaggio Probabilità
Sole 1/4
Pioggia 1/4
Coperto 1/4
Nebbia 1/4
Stazione meteorologica di Messina
bit
H
75,14
73
8
13
8
12
4
11
2
1
8log8
18log
8
14log
4
12log
2
12222
Messaggio Probabilità
Sole 1/2
Pioggia 1/4
Coperto 1/8
Nebbia 1/8
Quando, per la stazione meteorologica di Messina,
utilizziamo una codifica di 2 binit per messaggio, ogni binit non trasporta
un bit di informazione, ma
bit875,02:75,1
con un rendimento dell’87,5% e una ridondanza del 12,5%.
UN BINIT TRASPORTA AL MASSIMO UN BIT DI
INFORMAZIONE
Claude E. Shannon
(1916 – 2001)
D
DD
DDD
DDDB
DDDBD
DDDBDB
DDDBDBS
DDDBDBSS
DDDBDBSSA
DDDBDBSSAS
DDDBDBSSASS
DDDBDBSSASSA
Spostamento Codifica
Destra 00
Sinistra 01
Alto 10
Basso 11
D D D B D B S S A S S A
00 00 00 11 00 11 01 01 10 01 01 10
000000110011010110010110
D D D B D B S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D A S S A S S A
00 00 00 11 00 10 01 01 10 01 01 10
000000110010010110010110
D D D B D B S S A S S A
00 00 00 11 00 11 01 01 10 01 01 10
000000110011010110010110
Idea:
1. Eliminare tutta la ridondanza, ricorrendo ad una codifica idealmente coincidente con l’entropia di informazione
2. Aggiungere una ridondanza “organizzata” per proteggere il messaggio dal rumore
Ogni m binit di messaggio aggiungo c binit di controllo. I c binit di controllo possono assumere 2c configurazioni diverse, le quali
devono poter indicare quale degli
m + c binit è stato ricevuto in modo errato oppure se il messaggio non
contiene errori.
12 cmc
Con c binit di controllo posso tentare di proteggere un messaggio di lunghezza
12 cm c
1 0
2 1
3 4
4 11
12 cm cc
1 0
2 1
3 4
4 11
12 cm cc
Sole-Sole-Pioggia
1-1-01
1101
1101 1
1
10
1 0
0
100
1001 1
0
10
1 0
0
100
1001 1
0
10
1 0
0
100
1001 1
0
10
1 0
0
100
1001 1
0
10
1 0
0
100
1001 1
0
10
1 0
0
100
1001 1
0
10
1 0
0
100
1001 1
0
10
1 0
0
100
1101 1
1
10
1 0
0
100
1101 1
1
10
1 0
0
100
1101 1
1
10
1 1
0
110
1101 1
1
10
1 1
0
110
1101 1
1
10
1 1
0
110
1101 1
1
10
1 1
0
110
1101 1
1
10
1 1
0
110
1101 1
1
10
1 1
0
110
1101 1
1
10
1 1
0
110
1101 1
1
10
1 0
0
100
Richard W. Hamming
(1915 – 1998)
www.itisvinci.com