Embed Size (px)
Citation preview
Definizione intuitiva di informazione
Definizione quantitativa, misurabile
By prof. Camuso
Senza, è impossibile affrontare in modo rigoroso temi quali l’elaborazione e la trasmissione delle informazioni
By prof. Camuso
Rumore +Disturbo
Trasmissione di messaggi Trasmissione di messaggi da una sorgente da una sorgente SS ad una destinatario ad una destinatario DD
Rumore=fattori interniDisturbo=fattori esterni
By prof. Camuso
Teoria dell’Informazione
Branca della matematica applicata che si prefigge di definire una unità di
misura dell’informazione e di approfondire le tecniche di
rappresentazione (codifica) dei dati anche in relazione alle problematiche
poste dalla loro trasmissione. By prof. Camuso
Esempio 1
elaboratore (sorgente), hard disk (destinatario), interfaccia e cavo SATA
(canale trasmissivo).
Questo quando si registra qualche cosa sull’hard disk.
Quando si legge ovviamente sorgente e destinatario si invertono
rumore e disturbo ?By prof. Camuso
Esempio 2
il vostro cellulare e la torretta radio della compagnia telefonica
cellulare e torretta sono alternativamente la sorgente e la destinazione il canale è
l’etere
(facciamo finta che non ci sia l’aria …)
rumore e disturbo ?By prof. Camuso
Esempio 3
due pc che si scambiano dati usando la rete locale
di nuovo, i due pc sono sia sorgente che destinazione; il canale può essere un cavo
in rame (rete cablata) o l’etere (rete wireless)
rumore e disturbo ?By prof. Camuso
Dati due messaggi, quale ha il maggior contenuto informativo?
Quello più grande?
Eppure un documento ‘zippato’ intuitivamente contiene la stessa quantità di informazione dell’originale…
By prof. Camuso
Qual è la capacità massima di un canale (massimo numero di simboli trasmissibili in un secondo = banda passante)?
E’ possibile accorgersi degli errori? Si possono correggere? A che ‘prezzo’?
By prof. Camuso
Informazione e probabilità degli eventi
interpretazione matematica dell’informazione legata alla
probabilità del verificarsi di uno stato di un sistema tra tutti i possibili stati
in cui può trovarsi.
Maggiore è l’incertezza sullo stato e maggiore è l’informazione associata ad un messaggio che chiarisca quale sia questo
stato By prof. Camuso
By prof. Camuso
By prof. Camuso
QUANTI stati possibili?
Che percentuale di probabilità ha ogni stato di verificarsi?
By prof. Camuso
2 stati possibili (il terzo lo possiamo considerare
trascurabile)
ciascuno ha 1/2 = 0,5 = 50% di probabilità di verificarsi
By prof. Camuso
QUANTI stati possibili?
Che percentuale di probabilità ha ogni stato di verificarsi?
By prof. Camuso
6 stati possibili
ciascuno ha 1/6 = 0,16 = 16% di probabilità di verificarsi
By prof. Camuso
QUANTI stati possibili?
Che percentuale di probabilità ha ogni stato di verificarsi?
By prof. Camuso
36 stati possibili
ciascuno ha 1/36 = 0,03 = 3% di probabilità di verificarsi
Maggior numero di stati equiprobabili della sorgente
=
più informazione in un messaggio da essa emesso
Sono le 18:24
Sono le
16:20:5
3
l’approssimativo … il precisino …By prof. Camuso
By prof. Camuso
QUANTI stati possibili?
Che percentuale di probabilità ha ogni stato di verificarsi?
1440 stati possibili
ciascuno ha 1/1440 = 0,0007 = 0,07% di probabilità di verificarsi
By prof. Camuso
QUANTI stati possibili?
Che percentuale di probabilità ha ogni stato di verificarsi?
By prof. Camuso
86400 stati possibili
ciascuno ha 1/86400 = 0,00001 = 0,001% di probabilità di verificarsi
By prof. Camuso
Quindi un messaggio che chiarisca lo stato del sistema ‘orologio del precisino’ ha un contenuto d’informazione notevolmente
superiore perché ‘toglie’ maggiore incertezza
Ovvio, io so sempre di
più di tutti …
By prof. Camuso
Eventi non equiprobabili: come calcolare il contenuto informativo medio dei messaggi emessi dalla sorgente
‘sistema solare’ in riferimento all’evento sorgere del sole?By prof. Camuso
+ stati
=
minore probabilità (maggiore incertezza)
=
maggiore informazione
=
codifica più lunga
By prof. Camuso
Il prezzo per un contenuto informativo maggiore è una codifica più lunga dei
messaggi emessi dalla sorgente
Questo indipendentemente dall’alfabeto dei simboli usati e dalla codifica adottata
By prof. Camuso
La relazione tra probabilità di un evento e contenuto informativo non definisce però un’unità di misura vera e propria.
La teoria dell’informazione riconduce l’informazione a una sequenza di scelte binarie sì/no, vero/falso, 1/0
By prof. Camuso
Volendo un’informazione da una persona e potendo questa rispondere solo sì o no, con che strategia dovrei porre le domande?
Esempio: gioco in cui i due partecipanti pensano ad un numero da 1 a 10000. Poi …
By prof. Camuso
Soluzione: quella che ad ogni risposta dimezza l’incertezza.
Quindi con il gioco di prima …
By prof. Camuso
Applichiamolo al lancio di un dado.
Domanda 1
Domanda 2
Domanda 3
By prof. Camuso
3 bit (max; ma anche 2)
By prof. Camuso
OTTIMALE (dimezzamento incertezza)
NON OTTIMALE
Valore del dado
Messaggio0 = risposta no1 = risposta sì
Messaggio0 = risposta no1 = risposta sì
123456
D1 D2 D3 D1 D2 D3 D4 D5 D6 000111
001001
01 01
1 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 0 0 1
Con il sistema di numerazione binario lo stato di ogni risposta viene memorizzato usando un bit (0 od 1).
Più risposte in successione corrispondono semplicemente a sequenze di 1 e 0 sempre in successione.
By prof. Camuso
By prof. Camuso
Quanti bit per codificare un orario?
1)Si calcolano prima quanti stati possibili ci sono 2)Si stima la potenza del 2 >= numero stati
By prof. Camuso
Strategia 1
Codificando separatamente ore minuti secondi
24 ore: servono 5 bit 25 = 32>=2460 minuti: servono 6 bit 26 = 64>=6060 secondi: servono 6 bit 26 = 64>=60
In tutto: 5+6+6 = 17bit
By prof. Camuso
Strategia 2
Codificando l’orario come uno degli 86400 secondi
servono ancora 17 bit 217 = 131072 >= 86400
Ci sono casi in cui la strategia di codifica fornisce prestazioni diverse.
By prof. Camuso
Sul pianeta XYZ ci sono 24 hh di 24 min di 24 sec
Strategia 1
Codificando l’orario ore, minuti, secondi
24 ore: servono 5 bit 25 = 32>=24 24 minuti: servono 5 bit 25 = 32>=24 24 secondi: servono 5 bit 25 = 32>=24
In tutto: 5+5+5 = 15bit
By prof. Camuso
Sul pianeta XYZ ci sono 24 di 24 minuti di 24 secondi
Strategia 2
Codificando l’orario come uno degli 13824 secondi
servono 14 (uno in meno!) bit 214 = 16384 >= 13824
Che macchina hai visto passare?
3
107
By prof. Camuso
2
38
4
1 Fiat
2 Kia
3 Ferrari
4 Citroen
1 Universal
2 Testa Rossa
3 …
1 500
2 600
3 650
… …
38 3000
1 utilitaria
2 city
3 berlina
4 sportiva
1 7000
2 7200
3 8000
… …
107 1000000
Che macchina hai visto passare?
Ferr
ari
100000
0€ !!
By prof. Camuso
Test
a Ros
sa 3000
di
cilin
drat
asp
ortiv
a
Marca 20 caratteri
Modello 50 caratteri
Cilindrata 4 caratteri
Tipo 20 caratteri
Costo 8 caratteri
Un messaggio testuale
By prof. Camuso
Se lo si invia un carattere alla volta
ASCII 256 simboli (stati possibili)8 bit infatti 28 = 256
UNICODE migliaia di simboli16 bit 216 = 65536
Un messaggio testuale
By prof. Camuso
Se lo si invia usando un dizionario di parole note sia alla sorgente che al destinatario: il numero di possibili stati è pari al numero di parole. Ad ogni parola viene assegnato un codice.
La sorgente impiega però tempo a cercare il codice a partire dalla parola da trasmettere.
Il destinario usa tempo per cercare la parola a partire dal codice ricevuto.
Una immagine
By prof. Camuso
Se la si invia un sub pixel (RGB) alla volta
256 stati (le intensità di un colore)8 bit infatti 28 = 256
Una immagine
By prof. Camuso
Se la si invia un pixel alla volta
2563 stati = 1677721624 bit infatti 224 = 16777216
Una immagine con dizionario
By prof. Camuso
Se la si invia usando un dizionario di immagini. Ipotizziamo una risoluzione 1000x1000 e 256 livelli per ogni colore base (true color)
Una immagine con dizionario
By prof. Camuso
1000x1000 = 1000000 pixel * 2563 = 16777216000000 stati!
44 bit infatti 244 = 17592186044416
UN MOMENTO… SOLO 44bit ???
Un video
By prof. Camuso
Semplice generalizzazione del caso immagine.
Un suono
By prof. Camuso
Caso interessante: la sorgente è analogica, non discreta.
By prof. Camuso
By prof. Camuso
By prof. Camuso
By prof. Camuso
