中国人民公安大学官网-十八大感想

山东科技大学2014—2015学年第二学期
《信息论与编码》期末考试试卷（A卷）答案
一、 填空（每空3分，共36分，）
1、可靠性 2、 不确定性 3、
H(XY)H(X)H(X|Y)

4、信源概率
P(X)
5、 1.75bit 6、信源必须传送给用户的信息量
7、 找紧致码 8、
R'
logM
R(D)

9、 3 10、 0.749bit
n
11、 0.0817bit 12、
E=(01000000)

二、简答题（每题8分，共24分）
1、请给出信息熵的物理含义。
答：三种物理含意(1)表示信源输出后，每个消息所提供的 平均信息量；(2)表示信源输
出前，信源的平均不确定性；(3)表征变量X的随机性。
2、请叙述数据处理定理，并说明简要含义。
答：对于通信系统
X Y Z W
信息I 信息II 信息III

有
H(X)I(X;Y)I(X;Z)I(X;W)L

说明，在任何信息传输系统中，最后获得的信息至多是所提供的信息。
3、若码符号个数r2
，问是否存在码长
l
i
1,3,3,3,4,5,5
的 即时码，为什么？如果有，试
构造出一个这样的码。
答：因为它满足Craft不等式，所以存在这样的即时码。
此码为：
{0,100,101,110,1110,11110,11111}

三、计算题(本题40分，第1、2小每题15分，第3小题10分)

X

a
1
0a
1
1a
1
2a
13

1、设离散无记忆信源



18

，其发出的消息为
p(x)141438

（221223210），求
（1） 此消息的自信息是多少？
（2） 在此消息中平均每个符号携带的信息量是多少？
解：信源 是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信
息即为各消息的自信息之和 。根据已知条件，发出各消息所包含的信息量分别为：

I(a
0
0)log

8
1.415比特

3

I (a
1
1) log 4 2 比特
I (a
2
2) log 4 2 比特
I (a
3
3) log 8 3 比特
在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，
6 个“3” 符号，则得到消息的自信息为：

I141.41513212263比特87.

81
45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为
I
87.81
1.95比特符号

45
注意：消息中 平均每个符号携带的信息量有别于离散平均无记忆信源平均每
个符号携带的信息量，后者是信息熵，可计 算得
H ( X ) 

P(x) log P(x) 1.91比特符号
2、对于二元对称信道的输入概率空间为
X
0
1p

p

p

Y
0
1< br>

X


0


(0

1)
。


P(X)





1


信道特性如右图所示，求其平均互信息。

解：
I(X;Y)H(Y)H(Y|X)H(Y)
1
1p

1


P(x)

P(y|x )log
XY
1
P(y|x)


11

11

H(Y)

P(x)

plogplog< br>
H(Y)

plogplog

pp
pp

X

H(Y)H(p)

由于
P(y0)

p(1

)p

p
< br>p

P(y1)

p(1

)p

p

p

所以
I(X;Y)H(Y)

)H(

p
(

p

p)log
1111

(

p

p)log
plogplog



p

p

p

p

pp

H(

p

p)H(p)

3、设某
(7,3)
循环码，其生 成多项式
g(x)xxx1
。

(1) 列出其所有码字，并求此码的最小码距；
(2) 写出其系统循环码的标准生成矩阵；
(3) 写出此码的校验多项式及标准校验矩阵。
解：(1) 所有的码字为：
2

42

C
0
(0000000)C
1(0010111)C
2
(0101110)C
3
(011100 1)

C
4
(1100101)C
5
(1011100 )C
6
(1101101)C
7
(1110010)

最小码距
d
min
4

(2) 系统循环码的标准生成矩阵为：

1001011


G
0101110



0010111


(3)
h(x)g(x)x
7
1
由
g(x)x
4
x
2
x1
，得
h(x)x
3
x1

经计算可得标准校验矩阵为：

1

0

H< br>
1


1
1
1
1
0
0< br>1
1
1
1
0
0
0
0
1
0< br>0
0
0
1
0
0


0
< br>
0


1

3