日出作文-支部委员会会议记录

2.1 同时掷出一对质地均匀的骰子，也就是各面朝上发生的概率均为16，试求：
(1) “3和5同时出现”这事件的自信息量；
(2) “两个1同时出现”这事件的自信息量；
(3) “两个点数中至少有一个是1”这事件的自信息量。
解：
(1)
p(x
i
)
11111

666618
1
I(x
i
)logp(x
i
) log4.17 bit
18
(2)

p(x
i
)
111

6636
1
I(x
i
)log p(x
i
)log5.17 bit
36
(3)

p(x
i
)
1111
11
6636
11
1.71 bit
36

I(x
i
)logp(x
i
)log

2.4 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩
中身高1.6m以上的占总数的一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消
息，问获得多少信息量？
解：
设随机变量X代表女孩子学历
X
x
1
（是大学生） x
2
（不是大学生）
P(X) 0.25 0.75

设随机变量Y代表女孩子身高
Y
y
1
（身高>160cm） y
2
（身高<160cm）
P(Y) 0.5 0.5

已知：在女大学生中有75%是身高160厘米以上的
即：
p(y
1
x
1
)0.75 bit

求：身高160厘米以上的某女孩是大学生的信息量
即：
I(x
1
y
1
)logp(x
1
y
1
)log
p( x
1
)p(y
1
x
1
)
0.250.75
log1.415 bit

p(y
1
)0.5

2.5 一副充分洗乱了的牌（含52张牌），试问：
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

· 1 ·

p(x
i
)
1

5 2!
I(x
i
)logp(x
i
)log52!225.5 81 bit

(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
4
13
p(x
i
)
13
C
52
I(x
i
) logp(x
i
)log

4
13.208 bit
13
C
52
13

2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少
倍？
解：
四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示2个不同的消息，例如：{0, 1}
假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量
H(X
1
)lognlog42 bit

八进制脉冲的平均信息量
H(X
2
)lognlog83 bit

二进制脉冲的平均信息量
H(X
0
)lognlog21 bit

所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.9 如有6行8 列的棋型方格，若有2个质点A和B，分别以等概率落入任一方格内，且它
们的坐标分别为
(X
A
,Y
A
)
、
(X
B
,Y
B)
，但A和B不能落入同一方格内。试求：
(1) 若仅有质点A，求A落入任一方格的平均自信息量；
(2) 若已知A已入，求B落入的平均自信息量；
(3) 若A、B是可分辨的，求A、B同时落入的平均自信息量。
解：
1
(1)
48
H(X)lognlog485.58 bit
p(x
i
)

p(x
i
)
1
48
(2)
p(y
j
x
i
)
1

47
H( YX)

p(x
i
)p(y
j
x
i
)logp(y
j
x
i
)lognlog475.55 bit
ij

t
(3)
H(XY)H(X)H(YX)5.585.5511.14 bi


· 2 ·

311
1
2.10 一个消息由符号0，1，2 ，3组成，已知
p(0)
，
p(1)
，
p(2)
，< br>p(3)
。试求
8
844
由60个符号构成的消息的平均信息量。
解：
H(X)

p(x
i
)logp(x
i
)
i
(0.375log0.3750.25log0. 250.25log0.250.125log0.125)

1.906 bit
60H(X)601.906114.36 bit
2.13 已 知信源发出
a
1
和
a
2
两种消息，且
p(a
1
)p(a
2
)0.5
。此消息在二进制对称信道上传
输，信 道传输特性为
p(b
1
a
1
)p(b
2
a2
)1

, p(b
1
a
2
)p( b
2
a
1
)


求互信息量
I(a1
;b
1
)
和
I(a
2
;b
2
)
。
解：
1
(1

)
p(a
1
)p(b
1
a
1
)
2
p(a
1
b
1
)1

11
p(a
i
)p(b
1
a
i
)

(1

)

i
22

1
(1

)
p(a
2
)p(b
2
a
2
)
2
p(a
2
b
2
)1

11
p(a)p(ba)

i2i

(1

)
i
22
p(a
1
b
1
)(1

)
I(a
1
;b
1
)loglog1log(1

) bit
1
p(a
1
)
2

p(a
2
b
2
)(1

)
I(a
2
;b
2)loglog1log(1

) bit
1
p(a
2
)
2
2.15 黑白传真机的消息元只有 黑色和白色两种，即
X
={黑，白}，一般气象图上，黑色的出
现概率
P(黑 )
= 0.3，白色的出现概率
P(白)
= 0.7。假设黑白消息视为前后无关，求信息熵
H(X)
。
解：
H(X) 

p(x
i
)logp(x
i
)(0.3log0 .30.7log0.7)0.881 bit

i

2.17 对某 城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，
调查结果得联合出现的 相对频度如下：

· 3 ·

晴

冷 12

晴

冷 8

忙

雨

暖 8

冷 27

闲

雨

暖 15

冷 4

暖 16

暖 12


若把这些频度看作概率测度，求：
(1) 忙闲的无条件熵；
(2) 天气状态和气温状态已知时忙闲的条件熵；
(3) 从天气状态和气温状态获得的关于忙闲的信息。
解：
(1)
根据忙闲的频率，得到忙闲的概率分布如下：
x忙x
2
闲


X



1


6339
 

P(X)




102102


633939

63
H(X)

p(x< br>i
)logp(x
i
)

loglog
0.960 bit
102102102

102
i

(2)
设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z
2

H(XYZ)

p(x
i
y
j
z
k
)logp(x
i
y
j
z
k
)
ijk
6

12


loglogloglog
102102102


102
881515441212

loglogloglog

1

2.819 bit
28

20
H(YZ)

p(y
j
z
k
)logp(y
j
z
k
) 

loglogloglog

1

jk

1.980 bit
H(XYZ)H(XYZ)H(YZ)2.8191.9800.839 bit

(3)
I(X;YZ)H(X)H(XYZ)0.9600.8390.121 bit


2.18 有两个二元随机变量
X
和
Y
，它们的联合概率分布函数如题表2.1所列。
题表 2.1

· 4 ·

Y
X
0
1
0
18
38
1
38
18
同时定义另一随机变量
Z = XY
（一般乘积）。试计算：
(1) 熵
H(X)
,
H(Y), H(Z), H(XZ), H(YZ)
和
H(XYZ)
；
(2) 条件熵
H(XY), H(YX), H(XZ), H(ZX), H(YZ), H(ZY), H(XYZ), H(YXZ)
和
H(ZXY)
；
(3) 互信息
I(X;Y), I(X;Z), I(Y;Z), I(X;YZ), I(Y;ZX)
和
I(X;ZY)
。
解：
(1)
p( x
1
1
)p(x
1
y
1
)p(x
1< br>y
2
)
8

31
8

2
p(x)p(x
311
22
y
1
)p(x
2
y
2
)
8

8

2

H(X)

p(x
i
)logp(x
i
)1 bit
i
p(y
13
1
)p(x
1
y
1
)p(x
2
y
1
)
8

8

1
2
p(yp(x
311
2
)
1
y2
)p(x
2
y
2
)
8

8
2

H(Y)

p(y
j
)logp(y
j
)1 bit
j

Z = XY的概率分布如下：

Z




z
1
0z
2
1



P(Z)




71

< br>
88



2
H(Z)

p (z

7711

k
)logp(z
k
)
log
k

88

8
log
8

0.544 bit
p(x
1
)p(x
1< br>z
1
)p(x
1
z
2
)
p(x
1
z
2
)0
p(x
1
z
1
)p(x1
)0.5
p(z
1
)p(x
1
z
1)p(x
2
z
1
)
p(x
2
z
1< br>)p(z
7
1
)p(x
1
z
1
)8
0.5
3
8

p(z
2
)p(x1
z
2
)p(x
2
z
2
)
p(x< br>2
z
2
)p(z
2
)
1
8
H( XZ)

p(xz

113311

i
z< br>k
)logp(x
ik
)

logloglog
1
ik

228888

.406 bit

5 · ·

p(y
1
)p(y
1
z
1
)p(y
1
z
2
)
p(y
1
z
2
)0
p(y
1
z
1
)p(y
1
)0.5
p(z
1
)p(y
1
z
1
)p(y
2
z
1
)
p(y
2
z
1
)p(z
1
)p(y
1
z
1
)
p (z
2
)p(y
1
z
2
)p(y
2
z
2
)
p(y
2
z
2
)p(z
2
)
1
8

73
0.5
88
13311

1
H(YZ)

p(y
j
z
k
)logp(y
j
z
k
)

logloglog

1.406 bit
28888

2
jk

p(x
1
y
1
z
2
)0
p(x
1
y
2
z
2
)0
p(x
2
y
1
z
2
)0
p(x
1
y
1
z
1< br>)p(x
1
y
1
z
2
)p(x
1
y
1
)
p(x
1
y
1
z
1
) p(x
1
y
1
)18
p(x
1
y
2z
1
)p(x
1
y
1
z
1
)p( x
1
z
1
)
p(x
1
y
2
z1
)p(x
1
z
1
)p(x
1
y
1
z
1
)
p(x
2
y
1
z
1< br>)p(x
2
y
1
z
2
)p(x
2
y
1
)
p(x
2
y
1
z
1
) p(x
2
y
1
)
p(x
2
y
2
z
1
)0
p(x
2
y
2
z
1
) p(x
2
y
2
z
2
)p(x
2
y2
)
1
8
H(XYZ)

p(x
i< br>y
j
z
k
)logp(x
i
y
j
z
k
)
p(x
2
y
2
z
2
)p( x
2
y
2
)
ijk
113

288< br>3
8
1333311

1


loglogloglog

1.811 bit
88888888

(2)


· 6 · < /p>

1333311

1
H(XY)

p (x
i
y
j
)logp(x
i
y
j
) 

loglogloglog

1.811 bit
8 888888

8
ij
H(XY)H(XY)H(Y)1.811 10.811 bit
H(YX)H(XY)H(X)1.81110.811 bit
H(XZ)H(XZ)H(Z)1.4060.5440.862 bit

H(ZX)H(XZ)H(X)1.40610.406 bit
H(YZ)H(YZ)H(Z)1.4060.5440.862 bit
H(ZY)H(YZ)H(Y)1.40610.406 bit
H(XYZ)H(XYZ)H(YZ)1.8111.4060.405 bit
H(YXZ)H(XYZ)H(XZ)1.8111.4060.405 bit
H(ZXY)H(XYZ)H(XY)1.8111.8110 bit

(3)
I(X;Y)H(X)H(XY)10.8110.189 bit
I(X;Z)H(X)H(XZ)10.8620.138 bit

I(Y;Z)H(Y)H(YZ)10.8620.138 bit
I(X;YZ)H(XZ)H(XYZ)0.8620.4050.457 bit
I(Y;ZX)H(YX)H(YXZ)0.8110.4050.406 bit

I(X;ZY)H(XY)H(XYZ)0.8110.4050.406 bit

2.19 有两个随机变量
X
和
Y
，其和为
Z = X + Y
，若
X
和
Y
相互独立，求证：
H(X) ≤ H(Z),
H(Y) ≤ H(Z)，H(XY) ≥ H(Z)。

证明：
(1)

ZXY

p(y
j
) (z
k
x
i
)Y
p(z
k
x
i
)p(z
k
x
i
)

(z
k
x
i
)Y

0
 
H(ZX)

p(x
i
z
k
)logp( z
k
x
i
)

p(x
i
)


p(z
k
x
i
)logp(z
k
xi
)

iki

k





p(x
i
)


p(y
j
)logp(y
j
)

H(Y)
i

j


H(Z)H(ZX)
H(Y)H(Z)
同理可得
H(X) H(Z)
。
(3)

· 7 ·


H(XYZ)H(Z)H(XYZ)H(Z)
H(XYZ)H(XY)H(ZXY)H( Z)

H(ZXY)0
H(XY)H(Z)


2.20 对于任意三个随机变量X、Y、Z，求证：
H(XYZ)H(XZ)H(YX )I(Z;YX)
H(XYZ)H(XY)H(XZ)H(X)
证明：
< br>H(XZ)H(YX)I(Z;YX)


H(ZX)H(X)

H(YX)

H(ZX)H(ZXY)

H(ZX)< br>
H(X)H(YX)

H(ZX)H(ZXY)

H(XY)H(ZXY)
H(XYZ)


I(Z;YX) 0

I(Z;YX)H(ZX)H(ZXY)
H(ZX)H(ZXY)0< br>H(ZXY)H(ZX)


H(ZXY)H(XYZ)H(XY)< br>
H(ZX)H(XZ)H(X)
H(XYZ)H(XY)H(XZ)H( X)

2.21 证明：
H(X
3
X
1
X
2
)H(X
3
X
1
)

证明：
I(X
3
;X
2
X
1
)0

I(X
3
;X
2
X
1
)H(X
3
X
1
)H(X
3
X
2
X
1
)
H(X
3
X
1
)H(X
3
X
2
X
1
)0
H(X
3
X
2
X
1
)H(X
3
X
1
)
2.26 已知信源包含8个数字信息0，1，2，3，4，5，6， 7。为了在二进制信道上传输，用
信源编码器将这8个十进制数编成三位二进制代码组，信源各消息的先 验概率及相应的代码
组见题表2.2。
题表 2.2

u
i

0 1 2 3 4 5 6 7
x
0
y
0
z
0

代码组
000
x
0
y
0
z
1

001
x
0
y
1
z
0

010
x
0
y
1
z
1

011
x
1
y
0
z
0

100
x
1
y
0
z
1

101
x
1
y
1
z
0

110
x
1
y
1
z
1

111

· 8 ·

p

u
i



求：
1

4
1

4
1

8
1

8
1

16
1

16
1

16
1

16
(1) 互信息量
I(u
3
;x
0
)
，
I(u
3
;x
0
y
1
)
，
I( u
3
;x
0
y
1
z
1
)
；

(2) 在
x
0
给定的条件下，各消息与
y
1
之间的条件互信息量；
(3) 在
x
0
y
1
给定的条件下，各消息与
z< br>1
之间的条件互信息量。
解：
(1)
1
p(u
3
x
0
)
I(u
3
;x
0
)logl og
6
0.415 bit

1
p(u
3
)8
1
p(u
3
x
0
y
1
)
I (u
3
;x
0
y
1
)loglog
2
2 bit

1
p(u
3
)
8
p(u
3
x
0
y
1
z
1
)
1
I(u
3
;x
0
y
1
z
1
)loglog3 bit

1
p(u
3
)
8

(2) 1
p(u
2
y
1
x
0
)
I(u
2
;y
1
x
0
)loglog
2
1.58 5 bit

1
p(u
2
x
0
)
6
1
p(u
3
x
0
y
1
)
I(u
3
;y
1
x
0
)loglog
2
1.585 bit

1
p(u
3
x
0
)
6
I (u
0
;y
1
x
0
)I(u
1
;y1
x
0
)I(u
4
;y
1
x
0)I(u
5
;y
1
x
0
)I(u
6
;y
1
x
0
)I(u
7
;y
1
x0
)0 bit


(3)
I(u
3
;z
1
x
0
y
1
)log
p(u
3
x
0
y
1
z
1
)1
log1 bit

1
p(u
3
x
0
y
1
)
2

I(u
0
;z
1
x
0
y
1
) I(u
1
;z
1
x
0
y
1
)I(u< br>2
;z
1
x
0
y
1
)I(u
4< br>;z
1
x
0
y
1
)
I(u
5;z
1
x
0
y
1
)I(u
6
;z< br>1
x
0
y
1
)I(u
7
;z
1< br>x
0
y
1
)0 bit

· 9 ·