信息论基础(含习题与解答）pdf/txt下载_在线阅读全文

编辑推荐

《信息论基础：含习题与解答》可作为理工科高等院校电子、信息、通信、计算机和自动化及相关专业的本科生和研究生的教材，也可供有关专业的科技人员参考。

内容简介

《信息论基础：含习题与解答》重点介绍由香农理论发展而来的信息论的基本理论，它主要应用概率论、*过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性。《信息论基础：含习题与解答》共9章，以信息熵为基本概念，以香农的三个基本定理为核心，系统地讲述了香农信息论的基本理论，主要内容包括离散信息和连续信息的度量、离散信道和连续信道的容量、无失真信源编码定理、有噪信道编码定理、信息率失真函数、MIMO信道容量和数字喷泉码等。《信息论基础：含习题与解答》注重概念，采用通俗的文字描述并联系实际，用较多的例题阐述基本概念、基本理论及实现原理。在各章的*后还附有小结和大量习题，便于读者学习，加深对概念的理解。

作者简介

目　　录

目录
前言
第1章绪论1
1.1信息概念和特性1
1.2熵的概念2
1.3信息论研究的基本问题和主要内容3
1.3.1信息论研究的基本问题3
1.3.2信息论研究内容4
1.4香农简介5
1.5本书结构7
1.6本章小结7
第2章数学基础8
2.1概率论基础8
2.1.1概率空间8

目录 
前言 
第1章绪论1 
1.1信息概念和特性1 
1.2熵的概念2 
1.3信息论研究的基本问题和主要内容3 
1.3.1信息论研究的基本问题3 
1.3.2信息论研究内容4 
1.4香农简介5 
1.5本书结构7 
1.6本章小结7 
第2章数学基础8 
2.1概率论基础8 
2.1.1概率空间8 
2.1.2随机变量与分布函数11 
2.1.3多维随机变量及其分布13 
2.1.4数字特征18 
2.1.5大数定律及中心极限定理21 
2.2马尔可夫链24 
2.2.1有限状态马氏链24 
2.2.2状态转移概率24 
2.2.3齐次马氏链25 
2.2.4马氏链的平稳分布27 
2.3凸函数和常用不等式28 
2.3.1凸函数28 
2.3.2常用不等式30 
2.4本章小结32 
习题33 
第3章信息度量和熵36 
3.1自信息、条件自信息和联合自信息36 
3.1.1自信息36 
3.1.2条件自信息38 
3.1.3联合自信息39 
3.2互信息和信息散度39 
3.2.1互信息定义39 
3.2.2互信息的性质40 
3.2.3条件互信息41 
3.2.4信息散度41 
3.3离散集合的平均信息量(熵)43 
3.3.1信息熵43 
3.3.2条件熵44 
3.3.3联合熵44 
3.3.4熵的基本性质45 
3.3.5各类熵的关系49 
3.3.6熵函数的**性51 
3.3.7通信系统中熵的意义51 
3.4平均互信息53 
3.4.1平均互信息定义53 
3.4.2平均互信息与熵的关系54 
3.4.3平均互信息的性质56 
3.4.4多随机变量的互信息61 
3.5本章小结69 
习题70 
第4章信源和熵74 
4.1信源的分类与数学模型74 
4.1.1信源的分类74 
4.1.2信源的数学模型74 
4.2离散信源75 
4.2.1离散无记忆信源和熵75 
4.2.2离散平稳信源和熵76 
4.2.3马尔可夫信源79 
4.2.4信源的冗余度84 
4.3连续信源86 
4.3.1连续信源的熵与平均互信息86 
4.3.2连续随机变量信息散度90 
4.3.3几种特殊分布连续信源熵90 
4.3.4**熵定理94 
4.3.5熵功率96 
4.3.6随机矢量通过线性系统后信息的变化96 
4.3.7符号持续时间不同信源的熵99 
4.4本章小结102 
习题104 
第5章信道与信道容量107 
5.1信道的特性及其分类107 
5.1.1信道模型107 
5.1.2信道分类107 
5.2离散信道及其容量108 
5.2.1离散信道数学模型108 
5.2.2离散信道容量111 
5.2.3多符号离散信道的容量124 
5.3连续/波形信道及其容量126 
5.3.1加性噪声信道和容量127 
5.3.2加性高斯信道和容量129 
5.3.3加性非高斯信道的容量130 
5.3.4多维无记忆加性高斯信道133 
5.3.5限频限功率高斯信道的容量136 
5.3.6香农信道编码定理139 
5.4本章小结140 
习题142 
第6章无失真信源编码145 
6.1信源编码简介145 
6.2离散信源定长编码147 
6.2.1典型序列与信源序列的渐近均分特性148 
6.2.2定长编码定理150 
6.2.3定长码参数151 
6.3离散信源变长编码152 
6.3.1变长码的**可译性和即时性153 
6.3.2Kraft不等式154 
6.3.3变长编码定理156 
6.3.4变长码参数157 
6.4平稳信源和Markov信源的编码158 
6.4.1平稳信源的编码158 
6.4.2马尔可夫信源的编码159 
6.5变长编码方法161 
6.5.1香农编码161 
6.5.2Fano编码162 
6.5.3Huffman编码162 
6.5.4实用的信源编码方法166 
6.6本章小结169 
习题170 
第7章限失真信源编码174 
7.1系统模型和失真测度175 
7.1.1系统模型175 
7.1.2失真测度175 
7.1.3失真函数举例说明176 
7.2信息率失真函数177 
7.2.1定义177 
7.2.2信息率失真函数的性质177 
7.2.3简单信源的信息率失真函数180 
7.3离散信源R(D)计算188 
7.3.1离散信源信息率失真函数的参量表示188 
7.3.2离散信源R(D)求解矢量/矩阵表示190 
7.3.3参量s的意义191 
7.3.4离散信源R(D)的迭代计算194 
7.4连续信源的信息率失真函数196 
7.4.1连续信源的平均失真函数196 
7.4.2d(x，y)只与x？y有关情况下率失真函数的求解198 
7.4.3高斯信源的率失真函数199 
7.4.4限带高斯信源的率失真函数201 
7.4.5一般信源率失真函数的上限和下限202 
7.5限失真信源编码定理202 
7.6本章小结205 
习题207 
第8章MIMO信道模型及容量210 
8.1引言210 
8.2无线信道特性210 
8.2.1路径损耗211 
8.2.2信道衰落213 
8.2.3信道扩展215 
8.2.4信道相关性217 
8.3MIMO信道模型222 
8.3.1常见信道模型222 
8.3.2基本信道模型224 
8.3.3扩展信道模型226 
8.4MIMO信道容量228 
8.4.1确定性MIMO信道228 
8.4.2随机性MIMO信道232 
8.5本章小结236 
习题238 
第9章数字喷泉码240 
9.1信道模型241 
9.1.1删除信道241 
9.1.2无线信道242 
9.2数字喷泉码的数学描述242 
9.2.1数字喷泉码的定义242 
9.2.2数字喷泉码的Tanner图243 
9.2.3数字喷泉码的度分布函数244 
9.3典型的数字喷泉码245 
9.3.1LT码245 
9.3.2Raptor码246 
9.4数字喷泉码的译码算法247 
9.4.1删除信道中的译码算法247 
9.4.2无线信道中的译码算法248 
9.5数字喷泉码的密度演化分析方法250 
9.5.1删除信道中的密度演化250 
9.5.2无线信道中的密度演化253 
9.6本章小结256 
参考文献258

显示全部信息

前　　言

媒体评论

在线试读部分章节

第1章绪论
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的一门学科。克劳德艾尔伍德香农于1940年开始思考信息论问题。经过多年的努力，香农在《贝尔系统技术杂志》(BellSystemTechnicalJournal)上发表了具有深远影响的论文《通信的数学原理》和《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，建立了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。
1.1信息概念和特性
信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。信息科学由信息论、计算机科学、控制论、系统工程与人工智能等学科互相渗透、互相结合而形成。“信息”使用的广泛性使得学者难以给“信息”下一个确切的定义，但是，一般来说，信息可以界定为由信息源发出的被使用者接受和理解的各种信号。作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展过程中从客观现象中提炼出来的各种消息之和。信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号[1～5]。一切事物，包括自然界和人类社会，都在发出信息；每个人每时每刻都在接收信息。在人类社会中，信息往往以文字、图形、语言、图像、声音、视频等形式出现[1～12]。
信息一般具有如下一些特征。
(1)可识别、可转换。
(2)可传递。
(3)可加工处理。
(4)可多次利用。
(5)在流通中扩充。
(6)主客体二重性。信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性、**性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关，表现了信息的主体性和相对性。
(7)信息的能动性。

第1章绪论 
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的一门学科。克劳德 艾尔伍德 香农于1940年开始思考信息论问题。经过多年的努力，香农在《贝尔系统技术杂志》(BellSystemTechnicalJournal)上发表了具有深远影响的论文《通信的数学原理》和《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，建立了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。 
1.1信息概念和特性 
信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。信息科学由信息论、计算机科学、控制论、系统工程与人工智能等学科互相渗透、互相结合而形成。“信息”使用的广泛性使得学者难以给“信息”下一个确切的定义，但是，一般来说，信息可以界定为由信息源发出的被使用者接受和理解的各种信号。作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展过程中从客观现象中提炼出来的各种消息之和。信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号[1～5]。一切事物，包括自然界和人类社会，都在发出信息；每个人每时每刻都在接收信息。在人类社会中，信息往往以文字、图形、语言、图像、声音、视频等形式出现[1～12]。 
信息一般具有如下一些特征。 
(1)可识别、可转换。 
(2)可传递。 
(3)可加工处理。 
(4)可多次利用。 
(5)在流通中扩充。 
(6)主客体二重性。信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性、**性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关，表现了信息的主体性和相对性。 
(7)信息的能动性。 
(8)可共享性。这是信息与物质和能量的主要区别。 
(9)信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动。 
1.2熵的概念 
香农的一个重要工作就是引入熵(entropy)的概念，作为不确定性度量。香农理论的重要特征是熵的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是玻尔兹曼在热力学第二定律引入的概念，可以把它理解为分子运动的混乱度。信息熵也有类似意义。熵指的是体系的混乱程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵由鲁道夫 克劳修斯(RudolfClausius)提出，并应用在热力学中。香农**次将熵的概念引入到信息论中。 
众所周知，质量、能量和信息量是三个非常重要的量。人们知道用秤或者天平计量物质的质量，而热量和功的关系则是到了19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。“能量”一词就是它们的总称，而能量的计量则通过“卡”“焦耳”等新单位的出现而得到解决。然而，关于文字、数字、图画、声音的知识已有几千年历史了，但是它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达和通信等的发展，如何计量信号中信息量的问题被提上日程。 
1928年哈特莱(Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。从这些词里取特定的一个就对应一个信息量I。哈特利建议用NlogD这个量表示信息量，即I=NlogD。后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。 
但是就信息传输给出基本数学模型的核心人物还是香农。1948年香农长达数十页的论文《通信的数学理论》成了信息论正式诞生的里程碑。在他的通信数学模型中清楚地提出信息的度量问题，他把哈特利的公式扩展到概率不同的情况，得到了著名的计算信息熵H的公式 
如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特(bit)为单位。今天在计算机和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来的。“比特”的出现标志着人类知道了如何计量信息量。香农的信息论为明确什么是信息量的概念作出了决定性的贡献。 
香农在进行信息定量计算的时候，明确地把信息量定义为随机不定性程度的减少。这就表明了他对信息的理解：信息是用来减少随机不定性的。 
虽然香农的信息概念比以往的认识有了巨大的进步，但仍存在局限性；这一概念同样没有包含信息的内容和价值，只考虑了随机型的不定性，没有从根本上回答“信息是什么”的问题。 
1.3信息论研究的基本问题和主要内容 
1.3.1信息论研究的基本问题 
香农指出，通信的基本问题是在一点精确地或近似地恢复另一点所选择的信息。从这个基本问题出发，对通信系统指定了3项性能指标：传输的有效性、传输的可靠性、传输的安全性。有效性是指：①信源代码应尽量短；②信息传输应尽量快，即高的传信率；③信息传送应该尽量节省资源，即高的频谱利用率。可靠性是指传输差错要尽量少，对数字传输就是要求低的误码率。安全性是指传输的信息不能泄露给未授权人。3项性能指标所对应的3项基本技术是：数据压缩、数据纠错和数据加密。 
香农信息论所研究的通信系统基本模型见图1.1[1～13]。 
图1.1通信系统模型 
这个模型主要包括以下5个部分。 
(1)信源。信源是信息的发源地。信源消息有多种形式，可以是离散的或连续的，也可以是时间序列，它们分别可用离散型随机变量、连续型随机变量及随机过程等数学模型表示。 
(2)编码器。编码是对消息符号进行编码处理的过程。编码包括信源编码、保密编码、信道编码等。其中，信源编码是对信源输出的消息进行适当的变换和处理，以尽可能提高信息传输的效率；而信道编码是为了提高信息传输的可靠性而对信息进行的变换和处理。香农信息论分别用几个重要的定理给出了编码的理论性能极限，几十年来鼓舞着一批又一批通信理论工作者为达到这些极限而殚精竭虑、苦苦求索，从而推动了编码技术研究的空前繁荣。此中编码还包括调制器。 
(3)信道。信道是信息的传递媒介。实际的信道有明线、电缆、波导、光纤、无线电波传播空间等。信息的传输不可避免地会引入噪声和干扰，为了分析方便，通常把系统所有其他部分的干扰和噪声都等效地折合成信道干扰，这些干扰被看成是由一个噪声源产生的，并叠加于所传输的信号上。这样，信道的输出是已经叠加了干扰的信号。由于干扰和噪声均具有随机性，所以信道的特性同样可以用概率模型来描述，而噪声源的统计特性又是划分信道类型的主要依据。 
(4)译码器。译码是把信道输出的编码信号进行反变换，以尽可能准确地恢复原始的信源符号。与编码器相对应的译码器也有信源译码器和信道译码器等。 
(5)信宿。信宿即信息传输的目的地。 
香农信息论在解决了信息的度量问题之后，主要致力于研究如何提高图1.1所示的通信系统中信息传输的可靠性和有效性。香农编码定理是信源编码和信道编码理论研究的重要指导方针。 
信息论解决了通信中的两个基本问题。首先对于信源编码，信息论回答了“达到不失真信源压缩编码的极限(**)编码速率是多少”这一问题。香农的答复是这个极限速率等于该信源的熵。事实上，香农认为每个随机过程，不管音乐、语言还是图像，都有一个固有的复杂性，该随机过程不能被无失真地压缩到该固有复杂性之下，这个固有复杂性就等于该随机过程的熵。信息论为通信解决的第二个问题是关于信道编码方面的。它回答了“无差错传输信息的临界传输速率是多少”这一问题。在香农以前，人们都认为增加信道的信息传输速率总要引起错误概率的增加。但香农却出人意料地证明，只要信息传输速率小于信道容量，传输的错误概率就可以任意地小；反过来，如果速率大于信道容量，则传输错误是不可避免的。 
1.3.2信息论研究内容 
信息论是研究信息的产生、获取、变换、传输、存储、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。信息论有狭义和广义之分。 
狭义信息论即香农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。 
广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、图像识别、学习理论及其各种应用。广义信息论包括了狭义信息论的内容，但其研究范围却比通信领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域。 
信息论主要研究内容如下。 
1)信源和熵 
信源限制为具有某一先验概率的随机过程；熵作为信源平均不确定性的度量。 
2)关于无失真信源编码 
无失真信源编码定理(香农**定理)：如果编码后的信源序列信息传输速率不小于信源的熵，则可实现无失真编码，反之不存在。例如，英文字母加空格27个符号，不编码每个符号需5比特的二元符号来表示，但根据研究，信源熵约为1.4比特/符号，所以根据香农**定理，存在某种信源编码方式，使得每个符号仅用1.4个二进制符号就能无失真传送。 
3)关于信道容量与信息的可靠传输 
有噪信道编码定理(香农第二定理)：如果信息传输速率小于信道容量，则总可找到一种编码方式使得当编码序列足够长时传输差错任意小，反之不存在使得差错任意小的编码。 
4)信息率失真理论(数据压缩的理论基础) 
限失真信源编码定理(香农第三定理)：对任何失真测度D≥0，只要码字足够长，总可以找一种编码，使得当编码后的信息传输速率大于等于R(D)时，码的平均失真d≤D。R(D)称为信息率失真函数。另一种等价描述：对任何失真测度D≥0，码的平均失真d≤D，那么编码后信息传输速率大于等于R(D)。所以R(D)是满足失真准则编码的*小的平均码长。 
1.4香农简介 
克劳德 艾尔伍德 香农(ClaudeElwoodShannon，1916年4月30日—2001年2月26日)是美国数学家、信息论的创始人，照片见图1.2。香农于1916年4月30日出生于美国密歇根州，是爱迪生的远亲。1936年，香农在密歇根大学获得数学与电气工程学士学位，然后进入麻省理工学院念研究生。 
1938年，香农在麻省理工学院获得电气工程硕士学位，硕士论文题目是“ASymbolicAnalysisofRelayandSwitchingCircuits”(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，奠定了数字电路的理论基础。哈佛大学的HowardGardner教授说，“这可能是本世纪*重要、*著名的一篇硕士论文”。 
1940年香农在麻省理工学院获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是“AnAlgebraforTheoreticalGenetics”(理论遗传学的代数学)。这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。 
在读学位的同时，还跟随温尼法 布什教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年，香农发表了“Mathematicaltheoryofthedifferentialanalyzer”(微分分析器的数学理论)。 
1941年，香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。1956年他当了麻省理工学院的访问教授，1958年成为正式教授，1978年退休。 
人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事Slepian写道：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但香农很少过来。他总是关起门来工作。但

显示全部信息

信息论基础(含习题与解答）下载

信息论基础(含习题与解答）

发布书评

相关图书推荐