View
9
Download
0
Category
Preview:
Citation preview
Úvod do teorie informace
Ing. Jan Přichystal, Ph.D.
PEF MZLU v Brně
24. září 2007
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Úvod
Výměna informací s okolím nám umožňuje udržovatvlastní existenci.
Proces zpracování informací je trvalý, nepřetržitý,ale ovlivnitelný.
Zabezpečení informací je spojeno s lidskýmjednáním a je údělem celé společnosti, bez ohleduna vývojový stupeň materiálních podmínek.
Problémy se zpracováním informací se prohloubilyběhem 20. století a neexistují lidé, kteří by jevšechny byli schopni zpracovat nebo evidovat.
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Úvod
Využívání a efektivní práce s informacemi vyžaduje o nich něcovědět.
Co jsou to informace?
Co jsou relevantní informace
Jak je získáme a jak zhodnotíme jejich využitelnost?
Jak se přenášejí a jak jsou uloženy?
Základní podmínkou úspěšnosti jednotlivců je permanentníosvojování nových znalostí vytvořených jinými a tvorba znalostívlastních. Abychom byli připraveni, musíme mít dostatekinformací o informacích a možnostech manipulace s nimi.
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Pojem informace
Informace je obsah jakéhokoli oznámení, údajeo čemkoli, s určením pro přenos v prostoru a čase.V nejširším slova smyslu je to obsah vztahů mezimateriálními objekty, projevující se změnami těchtoobjektů. (Terminologický slovník informatiky)
Informace je obsah zprávy, sdělení, objasnění,vysvětlení, poučení. (Slovník cizích slov)
Informace jsou údaje, čísla, znaky, povely, instrukce,příkazy, zprávy apod. Za informace považujeme taképodněty a vjemy přijímané a vysílané živýmiorganismy. (Oborová encyklopedie VT)
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Jak informace chápat?
Informace – z hlediska kvalitativního(obsah sdělení, význam zprávy) tím se zabýváINFORMATIKA
Informace – z hlediska kvantitativního(množství a jeho měření) tím se zabývá TEORIEINFORMACE
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Teorie informace
Claude Shannon – základy teorie informace,stanovil možnosti měření informačního množství
Shannonova definice informace:
Informace je míra množství neurčitosti nebonejistoty o nějakém náhodném ději odstraněnárealizací tohoto děje.
Informace rozšiřuje okruh znalostí příjemce.
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Měření informačního množství
Entropie – název vypůjčený z fyziky, použitý proměření informačního množství.
Jak kvantifikovat rozšíření okruhu znalostí příjemce?
Pravděpodobnost jevu – spojeno s individuálnímivlastnostmi příjemce (Shannon)
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Jevy a jejich realizace
Jev – náhodný proces s n možnými realizacemi (tahsportky, účast na přednášce, semafor na křižovatceapod.)
Realizace jevu – jeden projev, získání výsledku(vytažení 6 čísel, konkrétní počet osob napřednášce, svítící zelená na křižovatce apod.)
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Požadované vlastnosti funkce provýpočet množství informace
Jev X má n realizací, množství informace jefunkcí n.Je-li n = 1, jedná se o jev jistý, množstvíinformace je rovno nule.Jevy X a Y probíhající současně a nezávisle,p(x , y) = p(x) · p(y): množství informace jedáno součtem množství jednotlivých jevů:f (x , y) = f (x) + f (y)Jev X má n realizací, jev Y má m realizací.Je-li m > n, pak chceme i f (m) > f (n)
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Výpočet vlastní informace
Funkce, která vyhovuje uvedeným podmínkám, jelogaritmus.
I (x) = log n
Zde předpokládáme, že pravděpodobnost každérealizace je stejná. Má-li jev n realizací, pakmůžeme psát
p(x) = 1/n, odsud pak n = 1/p(x)
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Výpočet vlastní informace
Buď X množina výsledků náhodného děje, xvýsledek realizace a p(x) pravděpodobnost tohotovýsledku. Každému x z X pak lze přiřadit reálnéčíslo I (x) nazývané vlastní informace o výsledku x ,pro než platí:
I (x) = − log p(x), (0 ≥ p(x) ≥ 1)Číslo I (x) představuje množství informace obsaženéve výsledku x .
Základ logaritmu – principiálně není podstatný. Alepoužívají se logaritmy o základu 2. Pak dostávámevýsledek v bitech.
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Entropie
Jak spočítat informační množství celého jevu?Pomůžeme si shrnutím všech vlastních informacíjednotlivých realizací.
Předpokládejme, že jev X má n realizací
X = x1, x2, . . . , xn
s pravděpodobnostmi
p(x1), p(x2), . . . , p(xn)
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Výpočet entropie jevu
Entropie H(X ) je dána určitou střední hodnotouvlastních informací všech realizací jevů:
H(X ) = −n∑i=1
p(xi) · log p(xi)
Entropie zahrnující informační množství celého jevuse nazývá též úplná informace.
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Kódování informace
Základní podmínkou komunikace je vytvořenísignálního komunikačního kanálu.
Informaci je pro tento účel nutné transformovat, tj.vyjádřit v jiném jazyce s jinou abecedou.
Přiřazení znaků jedné abecedy znakům jiné abecedyse nazývá kódování, inverzní postup pak dekódování.
Předpis, který toto přiřazování definuje, se nazývákód.
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Kvalita kódování, redundance
Z hlediska optimálního přenosu je efektivní kód,který obsahuje minimální počet informačních prvků,každý znak kódu tedy má maximální entropii.
Kvantitativně je hospodárnost kódu vyčíslitelnáredundancí (nadbytečností), podle vztahu:
R = 1− H/Hmax
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Způsoby kódování
Rovnoměrné kódování – každému znaku jepřiřazen stejně dlouhý kód. Obvykle je jednodušší,rychlejší na zpracování, ale méně hospodárné.(Baudot)
Nerovnoměrné kódování – každému znaku jepřiřazen jinak dlouhý kód. Pro konstrukcia zpracování je obtížnější, může však být maximálněhospodárné. (Shannon-Fano, Huffman)
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Příklady kódů
Zdroj produkuje 4 znaky A, B, C, D.
Předpokládáme pravděpodobnosti znaků:
znak p1(x) kód 1 kód 2A 0,25 00 0B 0,25 01 10C 0,25 10 110D 0.25 11 111
znak p2(x) kód 1 kód 2A 0,5 00 0B 0,25 01 10C 0,125 10 110D 0.125 11 111
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Shannon-Fanův algoritmus
1 Znaky uspořádáme sestupně podlepravděpodobnosti jejich výskytu.
2 Vypočteme kumulativní pravděpodobnosti.3 Rozdělíme znaky do dvou skupin tak, aby jejichsoučtové pravděpodobnosti byly blízké 0,5.
4 Krok 3 opakujeme tak dlouho, dokud existujívícečlenné skupiny znaků.
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Shannon-Fanův algoritmus
znak p(x) s skupiny výsledekx1 0,30 1,00 0 00x2 0,24 0,70 0 1 01x3 0,20 0,46 0 10x4 0,15 0,26 1 0 110x5 0,11 0,11 1 1 111
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Huffmanovo kódování1 Sečteme poslední dvě pravděpodobnosti a vytvoříme nový sloupecpravděpodobností, kde ty dvě, které jsme sčítali nahradí jejichsoučet.
2 Všechny pravděpodobnosti v novém sloupci seřadíme sestupněpodle velikosti a propojí se spojnicemi s hodnotami v původnímsloupci.
3 Spojnice pravděpodobností p(xn−1) a p(xn) se sjednotí, alepředtím přiřadíme p(xn) bit kódového slova s hodnotou 1 ap(xn−1) bit s hodnotou 0.
4 Takto postupujeme, dokud se součet posledních dvou čísel nerovná1.
5 Závěrečné kódování každého slova pak probíhá po spojnicích jako„sbíráníÿ zapsaných bitů kódového slova tak, že jdeme pospojnicích a zapisujeme všechny bity, které po cestě potkáme.
6 Nakonec se celý zápis obrátí odzadu dopředu a výsledkem jekódové slovo pro danou událost.
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Huffmanovo kódování 1.
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Huffmanovo kódování 2.
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Výsledný kód
událost p(xi) kódx1 0.35 00x2 0.15 010x3 0.13 011x4 0.09 101x5 0.09 110x6 0.08 111x7 0.05 1001x8 0.04 10000x9 0.02 10001
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Zabezpečení informace při přenosu
Detekce chybyzabezpečení paritoukontrolní součet (CRC)Hammingův kód
Zabezpečení proti neoprávněnému čteníšifrovánípodepisování
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Zabezpečení paritou
Ke každému úseku dat je připojen další bit, kterýsvou hodnotou doplňuje počet binárních jedniček napočet lichý nebo sudý (sudá/lichá parita)
10010011 10110101→ 100100110 101101011
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Kontrolní součet
Data se rozdělí na úseky požadované délky (8, 16,32 bitů) a tyto úseky se sečtou po bitech bezpřenosu. Vzniklý úsek dat se připojí k datůmpřenášeným.
10100010 Data11010111110101010110011011000110 CRC
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Závěr
Děkuji za pozornost
Dotazy?
Ing. Jan Přichystal, Ph.D. Úvod do teorie informace
Recommended