什么是信息素什么是信息( 三 )

二．信息的概念是什么1．信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
2．信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。
3．这两个方面又由信息传输定理、信源－信道隔离定理相互联系。香农被称为是“信息论之父” 。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。
4．这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：H = - ∑ pilogpii这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。
5．熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。
6．南丰公益书院信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。
7．信息论中的熵也正是受之启发。互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。
8．两个事件X和Y的互信息定义为：I(X ， Y) = H(X) + H(Y) - H(X ， Y)其中 H(X ， Y) 是联合熵(Joint Entropy) ，其定义为：H(X ， Y) = - ∑ p(x ， y)logp(x ， y)x ， y互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。
9．应用信息论被广泛应用在：南丰公益书院编码学密码学与密码分析学数据传输数据压缩检测理论估计理论信息论第一定律信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。
10．它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
11．信息论的研究范围极为广阔。一般把信息论分成三种不同类型：(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。
12．它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
13．(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。
14．信息就是一种消息，它与通讯问题密切相关。1984年贝尔研究所的申农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。
15．维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。
16．20世纪50年代是信息论向各门学科冲击的时期， 60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。
17．研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。

什么是信息素 什么是信息( 三 )

什么是信息素什么是信息( 三 )