Upload
mliss
View
175
Download
5
Embed Size (px)
DESCRIPTION
信息论课件. 信息论 Information Theory. 蒋青 [email protected] TEL : 62460517. 2 离散信源及其信息测度. 2.1 信源的数字模型及分类 2.2 离散信源的信息量和信息熵 2.3 信息熵的基本性质 2.4 信息熵的唯一性定理 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵. 2.1 信源分类. 按照消息取值集合以及取值时刻集合的离散性和连续性分类(表 2.1 ) - PowerPoint PPT Presentation
Citation preview
信息论课件 信息论课件
通信与信息基础教学部 2
2 离散信源及其信息测度 2.1 信源的数字模型及分类 2.2 离散信源的信息量和信息熵 2.3 信息熵的基本性质 2.4 信息熵的唯一性定理 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵
信息论课件 信息论课件
通信与信息基础教学部 3
2.1 信源分类 按照消息取值集合以及取值时刻集合的
离散性和连续性分类(表 2.1 ) 按照信源输出消息所对应的随机序列的
平稳性,信源可分为平稳信源和非平稳信源;
按照信源输出的信息所对应的随机序列中随机变量前后之间有无统计依赖关系,信源可分为无记忆信源和有记忆信源。
信息论课件 信息论课件
通信与信息基础教学部 4
表 2.1
消息 ( 信号 ) 取值的集合
消息 ( 信号 )取值时刻的集合
信源种类
离散 离散 离散信源 (Discrete source)/数字信源 (Digital source)
连续 连续 波形信源 Waveform
source/ 模拟信源 (Analog source)
连续 离散 连续信源(Continuous source)
离散 连续
信息论课件 信息论课件
通信与信息基础教学部 5
可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说,用一个样本空间及概率测度——概率空间来描述信源。
不同的信源输出的消息不同,可以根据消息的不同的随机性质来对信源进行分类。
信息论课件 信息论课件
通信与信息基础教学部 6
信源输出的消息由随机变量描述
离散信源的数学模型
并满足
1 2
1 2
, , ,
( ), ( ), , ( )( )q
q
a a aX
P a P a P aP x
1
( ) 1q
ii
P a
信息论课件 信息论课件
通信与信息基础教学部 7
信源输出的消息由随机变量描述
连续信源的数学模型
并满足
( , )
( ) ( ) ( )
X a b
p x p x p x
或
R
( ) 1 ( ) 1b
a Rp x dx p x dx 或
信息论课件 信息论课件
通信与信息基础教学部 8
信源输出的消息由随机矢量描述
多维离散信源: 很多实际信源输出的消息往往是由一系列
符号序列所组成。 一般情况下,信源输出的随机序列的统计
特性比较复杂,分析起来也比较困难。为了便于分析,假设信源输出的是平稳的随机序列,即序列的统计特性与时间的推移无关。
信息论课件 信息论课件
通信与信息基础教学部 9
多维离散信源的数学模型 信源的 N 重概率空间为
)()()(
)()()(
)( 211111
211111
qqq
qqqN
aaapaaapaaap
aaaaaaaaa
XP
X
这个空间共有元素 个Nq
信息论课件 信息论课件
通信与信息基础教学部 10
总结:信源的分类图
离散无记忆信源 离散有记忆信源及其描述 连续平稳信源
信息论课件 信息论课件
通信与信息基础教学部 11
通信与信息基础教学部 12
2.2 离散信源的信息量和信息熵
信息论课件 信息论课件
通信与信息基础教学部 13
自信息量定义 某事件发生所含有的信息量应该是事件发生的
先验概率的函数。
函数 f [P(ai)] 应满足以下条件: f (Pi) 应是先验概率 P(ai) 的单调递减函数,即当
P1(a1)> P2 (a2)时 f (P1) < f (P2) 当 P(ai) =1 时, f (Pi) =0 当 P(ai) =0 时, f (Pi) =∞ 两个独立事件的联合信息量应等于它们各自的信息
量之和。即统计独立信源的信息量等于它们各自的信息量之和。
) ( )i iI a f P a(
信息论课件 信息论课件
通信与信息基础教学部 14
自信息量定义 自信息量
I(ai) 代表两种含义:当事件 ai 发生以前,表示事件 ai 发生的不确定性;当事件 ai 发生以后,表示事件 ai 所含有(或所提供)的信息量。
在无噪信道中,事件 ai 发生后,能正确无误地传输到收信者,所以 I(ai) 可代表接收到消息 ai
后所获得的信息量。
)(log)(
1l)( i
ii aP
aPogaI
信息论课件 信息论课件
通信与信息基础教学部 15
自信息量定义 自信息量的单位:
以 2 为底的对数时单位是“比特”( bit — binary unit 的缩写)
以 e 为底时单位是“奈特”( nat — nature unit 的缩写)
以 10 为底时单位是“哈特”( Hart — Hartley 的缩写)
信息论课件 信息论课件
通信与信息基础教学部 16
自信息量与确定度的关系
收到某消息获得的信息量 = 不确定性减少量 = (收到此消息前关于某事件发生的不确定性) - (收到此消息后关于某事件发生的不确定性)
无噪声传输时: 收到某消息获得的信息量 = 收到此消息前关于某事件发生的不确定性 = 信源输出的某消息中所含有的信息量自信息量和该事件的不确定度的含义有本质的区别
信息论课件 信息论课件
通信与信息基础教学部 17
联合自信息量 定义:若有两个消息 xi, xj 同时出现,
可用联合概率 P(xi, xj) 来表示,这时的自信息量定义为
),(log),( jiji yxpyxI
信息论课件 信息论课件
通信与信息基础教学部 18
当 xi和 xj 相互独立时,有P(xi, xj)= P(xi)P(xj) ,那么就有 I(xi, xj)= I(xi)+ I(xj)
信息论课件 信息论课件
通信与信息基础教学部 19
条件自信息量 定义:设在 yj 条件下,随机事件发生 xi
的条件概率为 P(xi/yj) ,则 xi 的出现所带来的信息量被称为它的条件自信息量,表示为
)/(log)/( jiji yxpyxI
P(xi/yj) 的含义:收端收到 yj 后,推测信源发 xi 的概率。
信息论课件 信息论课件
通信与信息基础教学部 20
自信息量、条件自信息量和联合自信息量之间的关系:
I(xi, xj)= -logP(xi) P(yj /xi)= I(xi)+ I(yj /xi) = -logP(yj) P xi / yj)= I(yj)+ I(xi /yj)
信息论课件 信息论课件
通信与信息基础教学部 21
互信息量 定义: 对两个离散随机事件集合 X和
Y ,事件 yj 的出现给出关于事件 xi 的信息量,定义为事件 xi、 yj 的互信息量,用I(xi ; yj) 表示。
)(
)|(l);(
i
jiji xP
yxPogyxI
)/()()( jiiji yxIxIyxI ;
互信息量的性质:
信息论课件 信息论课件
通信与信息基础教学部 22
例:设有两个离散信源集合
4.06.0
10
)(21 aa
XP
X )10 21 bbY
其中
4
1
4
36
1
6
5
)/()/(
)/()/()/(
2221
1211
abpabp
abpabpxyP
求:
自信息量
条件自信息量
互信息量
)( iaI
)/( ji baI
);( ji baI
信息论课件 信息论课件
通信与信息基础教学部 23
条件互信息量 定义:条件互信息量是在给定 zk 条件下,事件 yj 的出现所提供的有关 xi 的信息量,用I(xi; yj|zk) 表示或用 I[(xi; yj)|zk] 表示。
)/(
)|(log)|(
ki
kjikji zxP
zyxPzyxI ;
信息论课件 信息论课件
通信与信息基础教学部 24
条件互信息量 假设 XYZ 空间的事件 xi、 yj、 zk ,那
么事件 yjzk 出现后,从 yjzk 中获取关于xi 的信息量是多少呢?
如果把 yjzk 看作一个事件,有
)(
)|(l);(
i
kjikji xP
zyxPogzyxI
信息论课件 信息论课件
通信与信息基础教学部 25
条件互信息量 条件互信息量和条件信息量的关系
)/()/(
)/()/()|(
kijkj
kjikikji
zxyIzyI
zyxIzxIzyxI
;
即:条件互信息量可用条件信息量表示
信息论课件 信息论课件
通信与信息基础教学部 26
离散信源的信息熵 Entropy 离散随机变量 X 的信息熵就是其概率空
间中每个事件所含有的自信息量的数学期望
1
( ) ( ) ( ) log ( )q
i i ii
H X E I a P a P a
信息论课件 信息论课件
通信与信息基础教学部 27
例 : 二进制通信系统的信源空间为
)0()1(:)(
01::][
PPPP
X
XX
求该信源的熵
解 : 设 P(1)=p ,则 P(0)=1-p。
H(X) = - p logp - (1-p) log(1-p)
上式又称为二进制熵函数,也常用 H(p) 表示
当 p = 0或 p =1 时, H(X) = 0; p = 1/2 时, H(X) =1
信息论课件 信息论课件
通信与信息基础教学部 28
信息熵的物理含义: 信息熵 H(X) 表示了信源输出前,信源的平
均不确定性; 信息熵 H(X) 表示了信源输出后,每个消息
或符号所提供的平均信息量; 信息熵 H(X) 反映了随机变量 X 的随机性。
信息论课件 信息论课件
通信与信息基础教学部 29
条件熵
上面讨论的是单个离散随机变量的概率空间的不确定性的度量问题。然而,在实际应用中,常常需要考虑两个或两个以上的概率空间之间的相互关系,此时就要引入条件熵的概念。
信息论课件 信息论课件
通信与信息基础教学部 30
条件熵
定义:在联合集 XY 中,把条件自信息量的概率加权平均值定义为条件熵。其定义式为:
XYXY
YX
)|(lb)()|(lb)|()(
)/()()|(1 1
yxPxyPyxPyxPyP
baIbapHq
i
m
jjiji
信息论课件 信息论课件
通信与信息基础教学部 31
条件熵 物理含义: 称: H(X/Y) 为信道疑义度。 称: H(Y/X) 为信道噪声熵或散步度。
信息论课件 信息论课件
通信与信息基础教学部 32
举例:已知信源 , XY 构成的联合概率为
10,、 YX
计算条件熵 H( X/Y)
8
111(00( 2211 ),), bapbap
8
301(10( 1211 ),), bapbap
信息论课件 信息论课件
通信与信息基础教学部 33
联合熵 定义:在联合集 XY 中,把每对元素 aibj
的自信息量的概率加权平均值定义为联合熵。其定义式为:
XY
XY
)(l)(
)()()(1 1
xyogPxyP
baIbapHq
i
m
jjiji
联合熵的性质:
信息论课件 信息论课件
通信与信息基础教学部 34
平均互信息量 定义: 两个离散随机事件集合 X和 Y ,若
其任意两事件间的互信息量为 I(xi; yj) ,则其联合概率加权的统计平均值,称为两集合的平均互信息量,用 I(X; Y) 表示。
XYXY
XYX
);()()(
)|(lb)(
)(
)|(lb)|()();()();(
1 11
yxIxyPxP
yxPxyP
xP
yxPyxPyPyIyPI
N
i
M
j i
jijij
M
jjj
物理含义
信息论课件 信息论课件
通信与信息基础教学部 35
平均互信息量的几点讨论 I(X; Y) = H(X) –H(X/Y) I (Y; X) = H (Y) – H (Y/X) I (X; Y) = H(X) + H(Y) – H(XY) 平均互信息量的性质
信息论课件 信息论课件
通信与信息基础教学部 36
多变量之间的平均互信息 两组多元随机变量之间的平均互信息
)()()(
)/()()/()();(
XYZHYZHXH
XYZHYZHYZXHXHYZXI
条件平均互信息
)()()()(
)/()/()/()/()/;(
YZHXYZHZHXZH
XZYHZYHYZXHZXHZYXI
)/;();(
)/()/()/()()/()();(
YZXIYXI
YZXHYXHYXHXHYZXHXHYZXI
信息论课件 信息论课件
通信与信息基础教学部 37
总结:各类熵之间的关系
信息论课件 信息论课件
通信与信息基础教学部 38
例:已知信源空间
5.05.0:)(
: :][ 21
X
XX
P
xxP
信道特性如图所示: 0.98
x1 y1
x2 y2
0.80
求:在该信道上传输的平均互信息量 I (X; Y) ,疑义度 H(X|Y) ,噪声熵 H(Y|X) 和共熵 H(XY)。
信息论课件 信息论课件
通信与信息基础教学部 39
熵函数性质 离散信源的数学模型
1 2
1 2
, , ,
( ), ( ), , ( )( )q
q
a a aX
P a P a P aP x
信息论课件 信息论课件
通信与信息基础教学部 40
信息熵的基本性质 用一个概率矢量 P 表示离散信源 X 的
概率分布,即令
则信息熵可表示为 P 的函数:
又称 H(P) 为熵函数。
1 2 1 2( ( ), ( ), , ( )) ( , , , )q qP a P a P a p p p P
1
1 21
( ) ( ) log ( )
log ( , , , ) ( )
q
i ii
q
i i qi
H X P a P a
p p H p p p H
P
信息论课件 信息论课件
通信与信息基础教学部 41
熵函数性质 (1) 对称性:变量的顺序任意交换,不改
变熵函数的值。
(2) 确定性:信源为一个确知信源,则信息熵等于零。为一确知信源
1 2 2 3 1
1 1
( , , , ) ( , , , , )
( , , , )
q q
q q
H p p p H p p p p
H p p p
(1,0) (1,0,0) (1,0, ,0) 0H H H
信息论课件 信息论课件
通信与信息基础教学部 42
熵函数性质 (3) 非负性
(4) 扩展性:若信源符号集中增加了若干符号,当这些符号出现的概率很小时,信源的熵不变。
1 21
( ) ( , , , ) log 0q
q i ii
H H p p p p p
P
1 1 2 1 20lim ( , , , , ) ( , , , )q q q qH p p p H p p p
信息论课件 信息论课件
通信与信息基础教学部 43
熵函数性质
(5) 可加性:统计独立的两个信源 X 和 Y ,有
H( X Y )=H( X )+H( Y )证明:
信息论课件 信息论课件
通信与信息基础教学部 44
(6) 强可加性:任意两个相互关联的信源 X 和 Y ,其联合熵等于
H( X Y )=H( X )+H( Y / X )
或 H( X Y )=H( Y )+H( X / Y )
证明:
信息论课件 信息论课件
通信与信息基础教学部 45
熵函数性质 (7)
(8) 条件熵小于信源熵即
( ) ( ) ( )H XY H X H Y
H(Y|X)< H(Y)
当且仅当 Y 和 X 相互独立时,等号成立
信息论课件 信息论课件
通信与信息基础教学部 46
熵函数性质 (9) 递增性:若原信源中某一个符号划分成 m 个符号,这 m 个符号概率之和等于原某一符号的概率,新信源的熵增加了。
其中
1 1 2 1 1 2
1 21 2 1
( , , , , , , , )
( , , , , ) , , ,
n m n m
mn n n n m
n n n
H p p p q q q
qq qH p p p p p H
p p p
1 1
1n m
i j ni j
p q p
,推广分析:
信息论课件 信息论课件
通信与信息基础教学部 47
推广结论:具有 n 个概率分量的熵函数,最终可分解为( n-1 )个只二员信源的熵函数的加权和。
信息论课件 信息论课件
通信与信息基础教学部 48
熵函数性质 (10) 极值性(最大离散熵定理) 离散信源的各符号为等概率分布时,信
息熵有最大值。
1 2
1 1 1( , , , ) , , , logqH p p p H q
q q q
信息论课件 信息论课件
通信与信息基础教学部 49
熵函数性质 (11) 上凸性: 对任意概率矢量
和 ,及 有
由于 H(P ) 是概率矢量 P 上的严格上凸函数,所以熵函数存在极大值。
1 1 2( , , , )qp p p P
2 1 2( , , , )qp p p P 0 1
1 2 1 2(1 ) ( ) (1 ) ( )H H H P P P P
信息论课件 信息论课件
通信与信息基础教学部 50
多维随机变量的熵 二维随机变量的熵H(X1,X2) = H(X1)+H(X2|X1) 多维随机变量的熵 P(X1,X2,…,Xn)=P(X1)P(X2|X1)···P(Xn |
Xn–1,Xn–2,…,X2,X1) 根据熵和共熵的定义可推得
H(X1,X2,X3)=H(X1)+H[(X2,X3)|X1] = H(X1)+H(X2|X1)+H(X3|X1X2)
信息论课件 信息论课件
通信与信息基础教学部 51
多维随机变量的熵 H(X1,X2,…,Xn)=H(X1)+H(X2|X1)
+H(X3|X1X2)+…+H(Xn|X1X2…Xn–1)
可以看出,多维随机变量的熵等于某一随机变量的熵及其它所有随机变量的条件熵之和,而条件熵涉及的条件,随着随机变量的维数增加而递增。
n
iiiH
111 ),,|( XXX
信息论课件 信息论课件
通信与信息基础教学部 52
多维随机变量的信息流通问题 假设信源是一个多维随机变量 (X1, X2,
…,Xn) ,它通过信道传送到信宿的信息量 , 就 是 它 们 的 平 均 互 信 息 量 I(X1, X2,…, Xn ; Y) 。由平均互信息量的定义和熵的链接准则,有
n
iiiin II
112121 ),,,|;(),( XXXYXYXXX ;,,
信息论课件 信息论课件
通信与信息基础教学部 53
熵的界 n 维随机变量的共熵,不大于它们各自的熵
之和。即
称为熵的界( Bounds )
n
iin H,,,H
121 )()( XXXX
信息论课件 信息论课件
通信与信息基础教学部 54
离散无记忆信源讨论的问题: 发出单个符号的离散无记忆信源和发出
符号序列的离散无记忆信源两种,离散无记忆信源发出的各个消息符号是相
互独立的。
2.5 离散无记忆的扩展信源
信息论课件 信息论课件
通信与信息基础教学部 55
发出单个符号的离散无记忆信源:每次只发出一个符号且每个符号代表一个消息
发出符号序列的离散无记忆信源:每次发出一组不少于两个的符号序列来代表一个消息。
信息论课件 信息论课件
通信与信息基础教学部 56
前面我们讨论的只是最简单的离散信源,即信源每次输出只是单个符号的消息。我们给出了用信息熵 H( X )来对基本离散信源进行信息测度,以及研究了信息熵 H( X )的基本性质。
从本节开始,我们将进一步讨论较为复杂的离散信源及其信息测度。
信息论课件 信息论课件
通信与信息基础教学部 57
离散无记忆信源的序列熵 定义: 若信源发出的消息是由 N 个离散
符号构成的符号序列,且各消息相互统计独立,则称此信源为发出符号序列消息的离散无记忆信源。
信息论课件 信息论课件
通信与信息基础教学部 58
发出符号序列消息离散无记忆信源的典型例子 ASCII 码可以看成是由 8 个二进制符号构成的
符号序列; 中文电报码是由 4 个十进制符号构成的符号序
列而每个十二进制符号又由 5 个二进制符号构成;
通信系统中的 QPSK ,根据 2 个二进制符号 00 ,01 , 10 , 11 进行相位调制等。
信息论课件 信息论课件
通信与信息基础教学部 59
离散无记忆信源的 N 重扩展信源
定义: 若单符号离散无记忆信源的信源空间为 [X · P] ,对其进行 N 重扩展得到符号序列 X=X1X2…Xn ,则称扩展后的信源为离散无记忆信源 [X · P]的 N 重扩展信源, N 重扩展得到符号序列记为 XN。
信息论课件 信息论课件
通信与信息基础教学部 60
离散无记忆扩展信源的特点: 信源先后发出的一个个符号彼此是统计独立的,并且具有相同的概率分布,
信息论课件 信息论课件
通信与信息基础教学部 61
N 重扩展信源的数学模型 用N 重离散概率空间来描述这类信源。若N维随机矢量中每个变量的取值为
Niaaax qi ,,2,121
信息论课件 信息论课件
通信与信息基础教学部 62
则信源的 N 重概率空间为
)()()(
)()()(
)( 211111
211111
qqq
qqqN
aaapaaapaaap
aaaaaaaaa
XP
X
这个空间共有元素 个。Nq
N
k
q
ii
N
kii
Ni aPpaXPaP
11
1)()()( 并满足且:
信息论课件 信息论课件
通信与信息基础教学部 63
离散无记忆扩展信源的熵 由于信源发出的符号序列彼此统计独立,故发出符号序列消息离散无记忆信源的熵为
H(XN) = N H(X) 证明:
信息论课件 信息论课件
通信与信息基础教学部 64
例(书 例 2.5 )设由一离散无记忆信源
X: a1, a2, a3
P(X): 1/2, 1/4, 1/4
构成二重扩展信源 X2 ,求该扩展信源的 H(X2)
信息论课件 信息论课件
通信与信息基础教学部 65
2.6 离散平稳信源 在实际信源中,输出序列各符号之间存
在一定的相关性,引入离散平稳信源的概念。
定义:若信源输出的消息是取值离散的随机序列,随机序列的任意有限维的概率分布不随时间平移而改变,则称为离散平稳信源。
信息论课件 信息论课件
通信与信息基础教学部 66
平稳信源的熵 为了使分析简单直观,先分析研究发出的
信源序列中只是前后两个符号之间有关联性的情况。即先讨论二维再推广到多维
信息论课件 信息论课件
通信与信息基础教学部 67
二维平稳信源 数学模型
)/()()()(
1212111
21
21
ijiji
qqq
aapapaap
aaaaaaaaaa
XXP
XX
有:
信息论课件 信息论课件
通信与信息基础教学部 68
例 : 已知某单符号离散信源的概率空间为
4
1
9
4
36
11:)(
,,: 321
X
X
P
aaa
该信源发出的消息均为二重符号序列 (ai, aj), (i, j = 1, 2, 3) ,两个符号的关联性用条件概率 P(ai|aj) 表示,如表 3.2 所示,求 H(X2)。
信息论课件 信息论课件
通信与信息基础教学部 69
离散平稳信源的极限熵
若离散平稳信源当 N 趋于无穷时,平均符号熵的极限存在,则称此极限为离散平稳信源的极限熵(也称熵率)
)|(lim)(lim 121 NNN
NN
XXXXHHH X
信息论课件 信息论课件
通信与信息基础教学部 70
离散平稳信源的性质
1 、若信源 X 是平稳离散信源,则有 H(X) = H(X1X2…XK)
= H(X1) + H(X2|X1) +H (X3|X1X2) + … + H (XK |X1X2…XK – 1)
即 H(X)是 X 中起始时刻随机变量 X1 的熵与各阶条件熵之和。
信息论课件 信息论课件
通信与信息基础教学部 71
离散平稳信源的性质
2 、平稳离散信源的条件熵随 K 的增加是非递增的,即
H (XK |X1X2…XK–1) ≤H (XK–1 |X1X2…XK–2)
特别地,当 K=2 时,有
H (X2 /X1) ≤ H (X2)
信息论课件 信息论课件
通信与信息基础教学部 72
离散平稳信源的性质
3 、对于平稳离散信源,令
)(1
)( 21 NN XXXHN
XH
若 H (X1) < ∞ ,则 HN (X) 的极限值存在且有
)|(lim)(lim 121 NNN
NN
XXXXHHH X
信息论课件 信息论课件
通信与信息基础教学部 73
结论:对于有限记忆长度的平稳信源可用有限记忆长度的条件熵来对平稳信源进行信息测度。
信息论课件 信息论课件
通信与信息基础教学部 74
例:设有离散二维平稳信源 X ,其概率空间如下:
4
1
9
4
36
11:)(
,,: 321
X
X
P
aaa
1)(3
1
i
iaP且
假设发出的符号只与前一个符号有关,即可用二维联合概率给出它们的关联程度,如表所示
求 : H ( X ) , H ( X2/X1 ), H( X1X2 ), H2( X)(平均符号熵)
信息论课件 信息论课件
通信与信息基础教学部 75
习题 2.18
信息论课件 信息论课件
通信与信息基础教学部 76
2.7 马尔可夫信源 前面已对离散平稳有记忆信源进行了讨论,
下面主要讨论非平稳离散信源中的一类特殊信源——马尔可夫信源( m 阶M 信源)。
定义:书 50页
信息论课件 信息论课件
通信与信息基础教学部 77
马尔可夫信源发出消息的方式体现在马尔可夫链的状态转移上,可以用条件概率(或称为转移概率)来描述这种转移。
信息论课件 信息论课件
通信与信息基础教学部 78
马尔可夫过程和马尔可夫链的定义 定义 1 : 设 X(t) 为一个随机过程,若对任意的
t1<t2<…< tn 时刻的随机变量 X(t1) , X(t2) ,…, X(tn) ,有
P( xn; tn | xn- 1, xn- 2, …, x1; tn- 1, tn- 2, …, t1)
= P( xn; tn | xn- 1; tn- 1) 则称X(t) 为单纯马尔可夫过程或一阶马尔可夫过程。
上式说明:一阶马尔可夫过程在 tn 时刻的随机变量 xn ,仅和它前一时刻 tn-1 的随机变量 xn-1 有关。
信息论课件 信息论课件
通信与信息基础教学部 79
K 阶马尔可夫过程 定义 2 : 设 X(t) 为一个随机过程,若对任意的
t1<t2<…tn –k…< tn 时刻的随机变量X(t1), X(t2),…, X(tn – k ),…, X(tn) ,有
P( xn ; tn|xn - 1,xn - 2…,xn–k,…,x1 ; tn -1,tn- 2, …tn-k, …,t1)
=P(xn; tn|xn- 1,xn- 2,…,xn–k ; tn- 1,tn-2,…tn–k)
则称 X(t)为 K 阶马尔可夫过程。
信息论课件 信息论课件
通信与信息基础教学部 80
定义 2 说明, K 阶马尔可夫过程在 tn 时刻的随机变量 xn ,仅和它前 k 个时刻tn–1,tn–2,…,tn–k 的随机变量 xn–1,xn–2,…,xn–k 有关。
信息论课件 信息论课件
通信与信息基础教学部 81
马尔可夫链
当马尔可夫过程的随机变量的值和时间均取离散值时,该马尔可夫过程就称为马尔可夫链。
信息论课件 信息论课件
通信与信息基础教学部 82
马尔可夫信源的状态分析
可用马尔可夫链的状态转移图来描述马尔可夫信源。
在状态转移图上,每个圆圈代表一个状态,状态之间的有向线代表某一状态向另一状态的转移。有向线的一侧的符号和数字分别代表发出的某符号和条件概率 )/( ik Eap
信息论课件 信息论课件
通信与信息基础教学部 83
可以将马尔可夫链状态及其状态转移的情况用线图的方法表示出来,这种含有状态和状态转移的图又称为香农线图。
信息论课件 信息论课件
通信与信息基础教学部 84
例:
一个二进制二阶马尔可夫信源 X ,其信源符号集为 [0,1] ,条件概率给定为 P(0|00) = P(1|11)=0.8;
P(1|00) = P(0|11)=0.2;
P(0|01) = P(0|10) = P(1|01)=P(1|10) = 0.5。
试画出其香农线图。
信息论课件 信息论课件
通信与信息基础教学部 85
解 :信源符号只有 0,1 两种,即 M=2。
二阶马尔可夫信源, k=2 ,故信源的状态数为
S = MK= 22=4
即 S = {s1, s2, s3, s4}={ 00, 01, 10, 11},
下面是该信源的两种香农线图 初始状态 下一状态
00 00 (01)
0.2 0.5
01 01 0.8
0.8 (00) 0.5 0.5 (11)
10 10
0.5 0.2
11 11 (10)
0.8
0.2
0.2
0.8
0.5
0.5
0.5
0.5
信息论课件 信息论课件
通信与信息基础教学部 86
例:设信源符号 ,信源所处的状态 321 ,, aaaAX
JEEEES ,, 21
各状态之间的转移情况如下图:
试求出其一步状态转移阵
信息论课件 信息论课件
通信与信息基础教学部 87
2
1
4
1
4
1
0014
10
4
32
1
2
10
4
1
4
1
2
1
)/( ik Eap
解:由图可知:
信息论课件 信息论课件
通信与信息基础教学部 88
4
1
4
3000
10000
004
1
4
30
002
1
2
10
04
10
4
1
2
1
)/( ij EEp
状态的一步转移概率为
信息论课件 信息论课件
通信与信息基础教学部 89
状态转移矩阵 P 的讨论:
1 、一步状态转移矩阵 P
设 为马尔可夫信源的状态空间( q 表示信源符号的个数, m 表示马尔可夫信源的阶数,则一步状态转移矩阵 可写成矩阵形式:
qSSSS ,, 21
ijp
qqqq
q
q
ppp
ppp
ppp
P
21
22221
11211
该矩阵 P 中第 i 行元素对应从某一个状态 Si 转移到所有状态Sj 的转移概率。
信息论课件 信息论课件
通信与信息基础教学部 90
特点: P 中每行之和为 1 ,每列元素之和不一定为 1 。
2、 k 步状态转移矩阵 kP
由且普曼—柯尔莫郭洛夫( Chapman—Kormotopob )方程 :
r
rjk
irr
krjir
r
lkrj
lir
kij ppppppp )1()1()()()(
写成矩阵形式:
kk PP
PPPP
)(
2)2(
信息论课件 信息论课件
通信与信息基础教学部 91
马尔可夫信源的熵
m阶马尔可夫信源的数学模型
qkkkkaaaap
aaa
P
Xmm
kkkk
q
mm
,,2,1,,,)/( 121
21
211
qkkkaaaap m
q
kkkkk
m
mm,,2,1,,1)/( 21
1
211
满足:
信息论课件 信息论课件
通信与信息基础教学部 92
马尔可夫信源的熵
m阶马尔可夫信源的熵
)/()/()/(211111121 mmNmNmNNNmmN kkkkkkkkkkkkkk aaaapaaaapaaaaaap
信息论课件 信息论课件
通信与信息基础教学部 93
)/(
)/(log)(
)/(log)(lim
)/(log)(lim
)|(lim
211
1 1
1 1
1 1
121
1 1
211121
1
21121
1
12121
mm
q
k
q
kkkkkkkk
q
k
q
kkkkkkkk
N
q
k
q
kkkkkkkk
N
NNN
XXXXH
aaaapaaap
aaaapaaap
aaaapaaap
XXXXHH
m
mmm
N
mmN
N
NNN
结论: m 阶马尔可夫信源的熵等于 m 阶条件熵
信息论课件 信息论课件
通信与信息基础教学部 94
11 1
1 1
1
( ) ( / ) log ( / )
( ) ( / ) log ( / )
( ) ( / )
m m
m
m
q q
m i j i j ii j
q q
i k i k ii k
q
i ii
H H p E p E E p E E
p E p a E p a E
p E H X E
进一步
式中 是马尔可夫信源稳定后的状态极限概率, 是状态之间的一步转移概率。
),2,1)(( mi qiEp
)/( ij EEp
信息论课件 信息论课件
通信与信息基础教学部 95
状态极限概率存在的条件
不是任何马尔可夫信源都存在状态极限概率,只有具有各态历经性的马尔可夫信源才存在状态极限概率。
各态历经性的判断
信息论课件 信息论课件
通信与信息基础教学部 96
具有各态历经性的 M 信源的状态极限概率
当m阶M 信源具有各态历经性时,存在状态极限概率
),2,1()()/(lim mjijl
lqjEpEEp
如何求解?
信息论课件 信息论课件
通信与信息基础教学部 97
其极限概率 是下方程的唯一解
),,2,1()/()()(1
mq
i
mijii qjEEpEpEp
mq
jji EpEp
1
1)(,0)(
且要满足:
信息论课件 信息论课件
通信与信息基础教学部 98
稳态时信源符号的概率
mq
iikik SapSpap
1
)/()()(
信息论课件 信息论课件
通信与信息基础教学部 99
例:
已知道某一马尔可夫信源的一步状态转移概率如下图,问其是否具有各态历经性?
信息论课件 信息论课件
通信与信息基础教学部 100
例:
有一个二元二阶马尔可夫信源,其信源符号集为0 , 1 。初始概率大小为 p(0)=1/3, p(1)=2/3。
条件概率定为:
p(0/00)=p(1/11)=0.8
p(1/00)=p(0/11)=0.2
p(0/01)=p(0/10)=p(1/01)=p(1/10)=0.5
求其极限熵和稳态后信源符号的概率分布。
信息论课件 信息论课件
通信与信息基础教学部 101
马尔可夫信源和有记忆平稳信源的比较
m 阶马尔可夫信源和消息长度为 m 的有记忆信源其所含符号的依赖关系不同,对相应关系的数学描述不同,平均信息量的计算公式也不同。
信息论课件 信息论课件
通信与信息基础教学部 102
马尔可夫信源和有记忆平稳信源的比较
长度为 m 的有记忆信源 X 用这 m 个符号的联合概率来描述符号间的依赖关系。
m 阶马尔可夫信源用状态转移概率(条件概率)来描述这种依赖关系
信息论课件 信息论课件
通信与信息基础教学部 103
2.8 信源剩余度
相对熵(熵的相对率) =H ( X ) / Hmax( X )
剩余度 E=1 – H ( X ) / Hmax( X )
内熵 =Hmax( X ) – H ( X )
信息论课件 信息论课件
通信与信息基础教学部 104
练习:1 、某一无记忆信源的符号集合为( 0 , 1 ),其概率空间为
( 1 )求符号的平均熵;( 2 )由 100 个符号构成的序列,求某一特定序列(例如有 m 个 0 和 100-m 个 1 )的自信息量的表达式;( 3 )计算( 2 )中的序列的熵。
4
3
4
1:)(
,1,0:
X
X
P
信息论课件 信息论课件
通信与信息基础教学部 105
解:( 1 )因为信源是无记忆信源,所以符号的平均熵
符号/.., 81bit041504
32
4
1
4
3
4
1X
( 2 )某一特定序列(例如: m 个 0 和 100-m 个1 )出现的概率为
m-100m
m-100m10021
L
4
3
4
11P0PXXXPXP
,,,
所以,自信息量为
bitm)(
XP,X,,XXI-mm
L
3log100200
4
3
4
1loglog
2
100
10021
信息论课件 信息论课件
通信与信息基础教学部 106
( 3 )序列的熵 序列/81bitX100XL
信息论课件 信息论课件
通信与信息基础教学部 107
作业: 2.21 ; 2.23
信息论课件 信息论课件
通信与信息基础教学部 108
( 1 )求( )的联合熵和平均符号熵
( 2 )求这个链的极限平均符号熵
( 3 )求 和它们所对应的冗余度。
321 XXX
210 ,, HHH
信息论课件 信息论课件
通信与信息基础教学部 109
解:( 1 )因为 23121213121321 /xxP/xxPxPx/xxP/xxPxPxxxP
可以计算得到
,
,
,
16
1/aaP/aaPaPaaaP
16
1/aaP/aaPaPaaaP
8
1/aaP/aaPaPaaaP
13111311
12111211
11111111
,
,
,
24
1aaaP
0aaaP12
1aaaP
321
221
121
,
,
,
0aaaP24
1aaaP
12
1aaaP
331
231
131
,
,
,
24
1aaaP
24
1aaaP
12
1aaaP
312
212
112
信息论课件 信息论课件
通信与信息基础教学部 110
,
,
,
0aaaP
0aaaP
0aaaP
322
222
122
,
,
,
0aaaP36
1aaaP
18
1aaaP
332
232
132
,
,
,
24
1aaaP
24
1aaaP
12
1aaaP
313
213
113
,
,
,
36
1aaaP
0aaaP18
1aaaP
323
223
123
,
,
,
0aaaP
0aaaP
0aaaP
333
233
133
信息论课件 信息论课件
通信与信息基础教学部 111
所以:
三个符号3.967bit/
log3636
12log18
18
12log24
24
16log12
12
14log16
16
12log8
8
1
xxxlogPxxxPXXX 321X X X
321321
1 2 3
所以,平均符号熵
符号/1.322bitXXX3
1X 321
33
信息论课件 信息论课件
通信与信息基础教学部 112
( 2 )因为这个信源是一阶马尔可夫链,其状态极限概率分布就是信源达到平稳后的符号概率分布. 由题意得到一步转移矩阵 :
03
1
3
23
10
3
24
1
4
1
2
1
P
信息论课件 信息论课件
通信与信息基础教学部 113
可得状态方程组:
1WWW
W3
1W
4
1W
W3
1W
4
1W
W3
2W
3
2W
2
1W
321
213
312
3211
解方程组得到各状态的稳态分布概率
143W
143W
74W
3
2
1
/
/
/
信息论课件 信息论课件
通信与信息基础教学部 114
所以信源平稳后的概率分布为
143aP
143aP
74aP
3
2
1
/
/
/
因为信源为一阶马尔可夫信源,所以信源的熵:
符号/.,,,,,,
/
251bit103
1
3
2H
14
3
3
10
3
2H
14
3
4
1
4
1
2
1H
7
4
XXX 122
( 3 )解: 符号/.585bit1log30
)(log)(3
11 i
ii apaP
其中 应是达到平衡后的概率分布,不是起始概率分布。则
)( iap
信息论课件 信息论课件
通信与信息基础教学部 115
符号/251bit.1X/X 122 H
符号,, /.414bit114
3
14
3
7
41
对应的冗余度分别为 :
02511
251111
11504141
251111
2105851
251111
22
11
00
.
.
..
.
..
.