信息论与编码（第2版）（高等院校信息与通信工程系列教材）

本书重点介绍由香农理论发展而来的信息论的基本理论以及编码的理论和实现原理。全书分7章，在介绍了有关信息度量的基础上，重点讨论了信道容量、率失真函数，以及无失真信源编码、限失真信源编码、信道编码和密码学中的理论知识及其实现原理。
　 本书注重概念，采用通俗的文字，联系目前实际通信系统，用较多的例题和图示阐述基本概念、基本理论及实现原理，尽量减少繁杂的公式定理证明。在各章的最后还附有内容小结和大量习题，书后附有部分习题答案，便于读者学习，加深对概念和原理的理解。此外，本书有配套电子教案。
　 本书可作为理工科高等院校电子信息工程、通信工程及相关专业的本科学生教材，亦可供通信工程、电子工程等相关专业的科技人员学习参考。

第1章 绪论
科学技术的发展使人类跨入了高度发展的信息化时代。在政治、军事、经济等各个领域，信息的重要性不言而喻，有关信息理论的研究正越来越受到重视。
人们在自然和社会活动中，获取信息并对其进行传输、交换、处理、检测、识别、存储、显示等操作，对这方面科学的研究就是信息科学。信息论(information theory)是信息科学的主要理论基础之一。它主要研究可能性和存在性问题，为具体实现提供理论依据。与之对应的是信息技术(information technology)，信息技术主要研究怎样实现的问题。
通过本章的学习，可以了解下列问题：信息论的形成和发展；信息论研究的内容及信息的基本概念。本章还结合通信系统模型介绍了模型中各部分的作用、编码的种类和研究内容。
　　1.1 信息论的形成和发展
信息论理论基础的建立，一般来说开始于香农(C．E．Shannon)在研究通信系统时所发表的论文。随着研究的深入与发展，信息论有了更为宽广的内容。
信息在早些时期的定义是由奈奎斯特(H．Nyquist)和哈特利(L．V．R．Hartley)在20世纪20年代提出来的。1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特利最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯壮(Armslrong)提出增大带宽可以使抗干扰能力加强。这些研究工作都给香农很大的影响，他在1941年至1944年对通信和密码进行深入研究，并用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。……