信息论基础与应用pdf/txt下载_在线阅读全文

编辑推荐

内容简介

本书在借鉴了国内外众多的信息论优秀教材和参考资料之后编写了《信息论基础》。教材以香农的三个编码定理为中心，重点讲述了相关的基本概念、基本原理和基本方法。教材只是讲述经典信息论的内容，没有涉及过多的分支。

作者简介

2003年至今在中国地质大学（北京）工作，主要从事信号与信息处理的教学和科研工作，主讲课程包括《信息理论与编码》、《虚拟仪器技术》、《现代数字信号处理》。

目　　录

绪论………………………………………………………………………………………………… 1
0.1 信息的概念 …………………………………………………………………………… 1
0.2 信息论的研究对象、目的和内容 …………………………………………………… 2
扩展阅读：信息论的形成和发展…………………………………………………………… 5
扩展阅读：量子通信与量子信息论………………………………………………………… 6

第1章信息的度量 …………………………………………………………………………… 8

绪论………………………………………………………………………………………………… 1 0.1 信息的概念 …………………………………………………………………………… 1 0.2 信息论的研究对象、目的和内容 …………………………………………………… 2 扩展阅读：信息论的形成和发展…………………………………………………………… 5 扩展阅读：量子通信与量子信息论………………………………………………………… 6 第1章 信息的度量 …………………………………………………………………………… 8 1.1 自信息和互信息 ……………………………………………………………………… 8 1.1.1 自信息 …………………………………………………………………………… 8 1.1.2 互信息 ………………………………………………………………………… 10 1.2 平均自信息…………………………………………………………………………… 11 1.2.1 平均自信息（信息熵）的概念 …………………………………………………… 11 1.2.2 熵函数的性质 …………………………………………………………………… 12 1.2.3 联合熵与条件熵 ………………………………………………………………… 15 1.3 平均互信息…………………………………………………………………………… 19 1.3.1 平均互信息的概念 ……………………………………………………………… 19 1.3.2 平均互信息的性质 ……………………………………………………………… 20 1.3.3 数据处理定理 …………………………………………………………………… 24 1.3.4 相对熵（KL散度） ……………………………………………………………… 25 扩展阅读：凸函数及詹森不等式 ………………………………………………………… 26 扩展阅读：信息增益与决策树 …………………………………………………………… 27 动手实践：图像的熵和平均互信息 ……………………………………………………… 29 习题1 ……………………………………………………………………………………… 29 第2章 信源及信源熵 ………………………………………………………………………… 34 2.1 信源的分类及其数学模型…………………………………………………………… 34 2.2 离散单符号信源……………………………………………………………………… 35 2.3 离散多符号信源……………………………………………………………………… 36 2.3.1 离散平稳无记忆信源 …………………………………………………………… 36 2.3.2 离散平稳有记忆信源 …………………………………………………………… 38 2.3.3 马尔可夫信源 …………………………………………………………………… 40 2.3.4 信源的相关性和剩余度 ………………………………………………………… 44 2.4 连续信源……………………………………………………………………………… 46 2.4.1 连续信源的最大熵 ……………………………………………………………… 50 2.4.2 连续信源的熵功率 ……………………………………………………………… 51 扩展阅读：随机过程 ……………………………………………………………………… 52 扩展阅读：隐马尔可夫模型与赌场风云 ………………………………………………… 56 习题2 ……………………………………………………………………………………… 58 第3章 信道及其信道容量 …………………………………………………………………… 63 3.1 信道的分类…………………………………………………………………………… 63 3.2 离散单符号信道……………………………………………………………………… 64 3.2.1 离散单符号信道的数学模型 ……………………………………………………… 64 3.2.2 信道容量的概念 ………………………………………………………………… 66 3.2.3 几种特殊信道的信道容量………………………………………………………… 68 3.2.4 离散对称信道的信道容量………………………………………………………… 69 3.2.5 一般离散信道的信道容量………………………………………………………… 73 3.2.6 信道容量定理 …………………………………………………………………… 77 3.2.7 信道容量的迭代算法* …………………………………………………………… 80 3.3 离散多符号信道及其信道容量……………………………………………………… 83 3.4 组合信道及其信道容量……………………………………………………………… 86 3.4.1 独立并联信道 …………………………………………………………………… 87 3.4.2 级联信道………………………………………………………………………… 87 3.5 连续信道及其信道容量……………………………………………………………… 88 3.5.1 连续随机变量的互信息 ………………………………………………………… 88 3.5.2 加性高斯信道的信道容量………………………………………………………… 90 3.5.3 多维高斯加性信道的信道容量 …………………………………………………… 91 3.6 波形信道的信道容量………………………………………………………………… 92 扩展阅读：信道容量定理引理 …………………………………………………………… 93 动手实践：信道容量的迭代算法 ………………………………………………………… 94 习题3 ……………………………………………………………………………………… 95 第4章 无失真信源编码 ……………………………………………………………………… 99 4.1 信源编码概述………………………………………………………………………… 99 4.1.1 编码器 ………………………………………………………………………… 99 4.1.2 码的分类 ……………………………………………………………………… 101 4.2 定长码及定长信源编码定理 ……………………………………………………… 103 4.3 变长码及变长信源编码定理 ……………………………………………………… 106 4.3.1 Kraft不等式和McMillan不等式 ………………………………………………… 107 4.3.2 唯一可译码的判别准则 ………………………………………………………… 108 4.3.3 紧致码平均码长界限定理 ……………………………………………………… 109 4.3.4 无失真变长信源编码定理（香农第一定理） …………………………………… 111 4.4 变长码的编码方法 ………………………………………………………………… 115 4.4.1 香农编码 ……………………………………………………………………… 115 4.4.2 香农-费诺-埃利斯编码 ……………………………………………………… 116 4.4.3 二元霍夫曼码 ………………………………………………………………… 116 4.4.4 r元霍夫曼码 …………………………………………………………………… 119 4.4.5 费诺码 ………………………………………………………………………… 120 4.5 实用的无失真信源编码方法 ……………………………………………………… 122 4.5.1 游程编码 ……………………………………………………………………… 122 4.5.2 算术编码 ……………………………………………………………………… 124 4.5.3 LZW编码 ……………………………………………………………………… 126 扩展阅读：渐进等分割性和典型序列…………………………………………………… 129 习题4 ……………………………………………………………………………………… 132 第5章 有噪信道编码 ……………………………………………………………………… 136 5.1 信道编码的相关概念 ……………………………………………………………… 136 5.1.1 错误概率和译码规则 …………………………………………………………… 137 5.1.2 错误概率与编码方法 …………………………………………………………… 142 5.2 有噪信道编码定理 ………………………………………………………………… 148 5.3 纠错编码 …………………………………………………………………………… 150 5.3.1 纠错编码分类 ………………………………………………………………… 150 5.3.2 纠错编码的基本概念 …………………………………………………………… 152 5.3.3 线性分组码 …………………………………………………………………… 153 5.3.4 几种重要的线性分组码 ………………………………………………………… 163 5.3.5 卷积码* ……………………………………………………………………… 168 5.3.6 TCM码、级联码、Turbo码和LDPC码 ………………………………………… 171 动手实践5.1：Hamming(7,4)编译码器 ……………………………………………… 172 动手实践5.2：通信系统仿真 …………………………………………………………… 172 习题5 ……………………………………………………………………………………… 173 第6章 限失真信源编码 …………………………………………………………………… 178 6.1 失真测度 …………………………………………………………………………… 178 6.1.1 失真函数 ……………………………………………………………………… 179 6.1.2 平均失真 ……………………………………………………………………… 181 6.2 信息率失真函数 …………………………………………………………………… 182 6.2.1 D失真6

显示全部信息

前　　言

前言
信息论是现代信息通信领域的基础理论，是研究信息传输和信息处理的一般规律的科学，因此目前各高等院校的相关专业的本科生、研究生都开设了这门课。
在借鉴了国内外众多的信息论优秀教材和参考资料之后，作者根据多年的教学实践经验编写了本书。本书以使读者掌握基本概念和方法为目的，力图以读者最易接受的方式介绍信息论的基本内容及应用。本书可作为通信及电子信息类相关专业高年级本科生和研究生的教材, 也可作为相关专业科研人员的参考书。
教材以香农的三个编码定理为中心，重点讲述了相关的基本概念、基本原理和基本方法。鉴于目前各大高校都在削减学时，教材只介绍经典信息论的内容，没有涉及过多的分支。同时，我们认为，“信息论”是一门理论和实践紧密结合的课程，因此选择了很多与日常生活密切相关，具有一定趣味性的习题，同时增加了动手编程实践。
除绪论外，本书还包括7章内容。绪论主要介绍香农信息论的研究对象、目的和内容。

前  言 信息论是现代信息通信领域的基础理论，是研究信息传输和信息处理的一般规律的科学，因此目前各高等院校的相关专业的本科生、研究生都开设了这门课。 在借鉴了国内外众多的信息论优秀教材和参考资料之后，作者根据多年的教学实践经验编写了本书。本书以使读者掌握基本概念和方法为目的，力图以读者最易接受的方式介绍信息论的基本内容及应用。本书可作为通信及电子信息类相关专业高年级本科生和研究生的教材, 也可作为相关专业科研人员的参考书。 教材以香农的三个编码定理为中心，重点讲述了相关的基本概念、基本原理和基本方法。鉴于目前各大高校都在削减学时，教材只介绍经典信息论的内容，没有涉及过多的分支。同时，我们认为，“信息论”是一门理论和实践紧密结合的课程，因此选择了很多与日常生活密切相关，具有一定趣味性的习题，同时增加了动手编程实践。 除绪论外，本书还包括7章内容。绪论主要介绍香农信息论的研究对象、目的和内容。 第1章介绍信息度量的几个重要概念：自信息、互信息、信息熵、平均互信息以及数据处理定理。第2章研究定量度量信源产生信息的能力和信源冗余度的问题。第3章研究定量描述信道传递信息能力的问题, 并介绍了信道容量的计算方法。第4章的核心内容是香农的无失真信源编码定理。围绕这个定理我们介绍了无失真信源编码的基本概念，讲述了几种实用的无失真信源编码方法。第5章讲述香农的有噪信道编码定理以及纠错编码的主要内容, 介绍了信道编码的基本概念、基本理论。第6章介绍香农的限失真信源编码定理，引入了信息率失真函数的概念并介绍了信息率失真函数的性质以及计算方法，还介绍了几种常用的熵压缩编码算法。第7章介绍信息论的主要应用。 在此感谢李亦农、吴韶波、王永峰、李红、杨师、徐益民、杨世忠和徐安庭等老师提出的宝贵意见，同时感谢邢开颜、赵永平、刘旭、甄晓丹、明舒晴同学为收集习题所做的大量工作。 在本书的编写过程中，参阅了国内外的很多信息论经典著作(列于本书参考文献中)，同时参考了大量国内外知名大学信息论课程的课后习题及解答，在此向有关作者表示感谢! 尽管我们在本书中力求更加符合读者的要求，但仍无法避免错漏和不当，恳切希望广大读者提出宝贵意见。欢迎交流探讨：<a href="mailto:maggieli@cugb.edu.cn">maggieli@cugb.edu.cn</a>。
李梅 2016 年5 月于中国地质大学(北京)

显示全部信息

媒体评论

在线试读部分章节

信息论基础与应用下载

信息论基础与应用

发布书评

相关图书推荐