《信息论基础》答案

　一、填空题（共 15 分，每空 1 分) １、若一连续消息通过某放大器，该放大器输出得最大瞬时电压为 b,最小瞬时电压为a.若消息从放大器中输出，则该信源得绝对熵就是

　 无穷大

　;其能在每个自由度熵得最大熵就是 。

　2、高斯白噪声信道就是指

　信道噪声服从正态分布,且功率谱为常数

　 。

　3、若连续信源得平均功率为５ W，则最大熵为,达到最大值得条件就是

　高斯信道

　。

　４、离散信源存在剩余度得原因就是

　信源有记忆（或输出符号之间存在相关性)

　与

　不等概

　. 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到

　1

　。

　6、离散无记忆信源在进行无失真变长信源编码时,码字长度就是变化得。根据信源符号得统计特性,对概率大得符号用

　短

　码,对概率小得符号用

　长

　码，这样平均码长就可以降低，从而提高编码效率。

　7、八进制信源得最小熵为

　０

　，最大熵为 。

　８、一个事件发生概率为 0、125，则自信息量为 。

　9、在下面空格中选择填入数字符号“”或“〈”

　=

　二、判断题（正确打√,错误打×）（共 5 分,每小题 1 分）

　1) 离 散 无 记 忆 等 概 信 源 得 剩 余 度 为 0 。

　（ √ ）

　2) 离 散 无 记 忆 信 源 N 次 扩 展 源 得 熵 就 是 原 信 息 熵 得 N 倍

　 （ √ ）

　3) 互 信 息 可 正 、 可 负 、 可 为 零 。

　 （ √ ）

　4) 信源得真正功率永远不会大于熵功率,即

　（ × ）

　5) 信 道 容 量 与 信 源 输 出 符 号 得 概 率 分 布 有 关 。

　( × ) 三、（５分）已知信源得概率密度函数如下图所示,求信源得相对熵

　四、（15 分)设一个离散无记忆信源得概率空间为

　它们通过干扰信道,信道输出端得接收信号集为,已知信道出书概率如下图所示。

　试计算：

　（1）

　信源中事件得自信息量；（3 分) （2）

　信源得信息熵；（３分) （3）

　共熵;(3 分）

　（4）

　噪声熵;（3 分）

　（5）

　收到信息后获得得关于信源得平均信息量。（３分)

　(1）

　(2) （3) (４）

　（5) 五、（10 分）一个平均功率受限得连续信道，信道带宽为 10ＭHｚ，信道噪声为高斯白噪声。)１(

　.量蓉道信得道信该算计，３6 为值比率功均平得声噪与号信得上道信知已ﻫ （2)如果信道带宽降为２MHz，要达到相同得信道容量,信道上得信号与噪声得平均功率比值应为多少？

　（1) （2）

　六、（10 分)已知信源共 7 个符号信息，其概率空间为

　（1）

　试用霍夫曼编码法编成二进制变长码。（7 分) （2）

　计算信源熵,平均码长与编码效率。（9 分) （1）

　1s2s3s4s5s6s7s0.20.20.20.10.10.10.10000001111110.40.60.20.20.40.1123456700010011100101110111sssssss(７分）

　（2）

　分）

　 （3 分）

　七、（１0 分)设给定两随机变量与,它们得联合概率密度为

　求随机变量得概率密度函数，并计算变量得熵。

　已知得

　 （2 分) 则

　（２分）

　所以与独立，所以 y 为高斯分布 因为

　所以

　（２分) 所以

　（２分）

　所以

　(2) 八、(10 分）设某信道得传递矩阵为

　计算该信道得信道容量,并说明达到信道容量得最佳输入概率分布。

　解:s=４

　(2 分)

　(2 分) 最佳概率分布当输入概率

　（2 分) 九、(1４分）设有一个马尔可夫信源,如果为时，为、、得概率为 1／3;如果为时,为、、得概率为１/3；如果为时,为、得概率为 1/2。而且后面发得概率只与有关，又。

　（1)写出转移概率矩阵 (2）计算达到稳定后状态得极限概率. (3)该马尔可夫信源得极限熵 解 （1）

　(4 分) (２）

　 （3 分) （３）

推荐访问:信息论 答案 基础