信息论
来自站长百科
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
简介[ ]
- 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
- 香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义： H = - ∑ pilogpi i 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。 信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。 互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为： I(X,Y) = H(X) + H(Y) - H(X,Y) 其中H(X,Y) 是联合熵(Joint Entropy)，其定义为： H(X,Y) = - ∑ p(x,y)logp(x,y) x,y 互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。
应用[ ]
- 信息论被广泛应用在
编码学 密码学与密码分析学 数据传输 数据压缩 检测理论 估计理论
- 信息论概述
- 信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
- 研究范围
- 信息论的研究范围极为广阔。一般把信息论分成三种不同类型：
- (1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
- (2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
- (3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。
- 信息的定义域
- 信息是确定性的增加----逆Shannon信息定义；
- 信息是物质、能量、信息的标示----Wiener信息定义的逆;
- 及邓宇们提出的：信息是事物及其属性标识的集合”。
- 信息与通讯
- 信息就是一种消息，它与通讯问题密切相关。1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。
- 信息科学
- 信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。
信息论假说[ ]
- 英译
- Materialism
- 信息详细定义
- 物质、能量与信息是组成世界的三大要素。人们已经很深入地了解了物质与能量，而对信息的认识才刚起步。那么，信息是什么？它又是以何种方式存在的？它有着怎样的作用？以下是我的猜想，希望对人类进一步认识世界有一定帮助。
- 一、信息的定义
- 非世界三要素的信息定义:信息是事物及其属性标识的集合。不含世界三要素的邓宇们的信息定义.
- 含三要素的信息定义：
- 1．信息是确定性的增加----逆Shannon信息定义；
- 2．信息就是信息，信息是物质、能量、信息及其属性的标示----Wiener信息定义的逆.
- 信息（information）是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。然而，这只是对于我们所生活的三维空间而言的，信息还有更深藏的本质。那么，难道信息还存在于四维空间（这里所说的四维空间不包括时间，而是空间的四维状态）中吗？是的，但要明确一点，信息只存在于四维空间，三维空间中的信息只是四维空间中真实信息的影子。信息大量存在于四维空间中，其本质是在四维空间中存在的一种信息子（informer，假想的存在于四维空间的组成信息的基本单位）的规则排布。
- 信息是事件（corritor）发生的根本原因，这将在第三节中细作分析。
- 二、信息的性质
- 信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系（第四节将具体分析）。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性，每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。
- 三、信息论机制
- 在平常状态下，信息子杂乱无章地分布于四维空间中。当三维空间中的分子摩擦碰撞时，其中的能量逃逸到四维空间中，启动了信息子的规则排布，排布好的信息子又将能量释放出来，进入三维空间，引起其他分子的摩擦碰撞，如此循环下去。如果被引起摩擦碰撞的分子恰好是决子（decider，决定事件的因子，如引起神经冲动的钠钾离子、引起雷电的电荷），并且有一定物质的量的决子被引起摩擦碰撞时，事件发生。当然，不同分子摩擦碰撞产生的能量不同，其引起的信息子的排布形式的种类也不同，因而决定的事件也不同。
- 然而，在宇宙爆炸前只有信息存在，一个决定因素（现在还不了解这个因素是什么）导致了信息子的偶然规则排布，一部分信息子转化为能量（信息子转化为能量是有一定条件的，这只有在宇宙爆炸前或初期才能实现），能量再在一定条件下转化为物质，并继续转移转化，最终形成了我们现在的宇宙。因此，信息子的有序排布是事件发生的根本原因，物质摩擦碰撞是事件发生的直接原因，而能量的传递是事件发生的必要条件。
- 四、信息论假说的实例
- 1．思想与记忆：思想是我们一直捉摸不透的东西，而按照信息论假说来讲，思想其实就是一种信息。大脑中的某些特定分子摩擦碰撞，引起了某些信息子的规则排布，在三维空间中的表现就是产生电流，引起脑细胞的活动，这便是思想的本质，当然，不同信息表现出不同思想。然而，这不等于我们的思想是早已限定好了的吗？其实就是这样。只不过我们脑中分子数量是庞大的，其能引起信息子的排布形式的种类是极其多的，我们现在的思想不过也只开发了很少一部分。现实中我们所谓的思想还要有另一个因素，那就是需要通过一个完整复杂的调节机制将其表达出来，这个调节机制对于人类来说便是神经系统，因此只有我们能将复杂的思想表达出来。记忆是思想的特化，是信息引起摩擦碰撞的分子恰好是以前产生思想的分子（记忆的决子）时，以前的思想便会再次通过特定信息子的规则排布表达出来。这样看来，我们的思想是连续的，前一刻的思想直接决定了后一刻的思想，只是我们并没发觉也没有手段去发现罢了。
- 2．生命现象：人的生老病死也可以通过信息论假说来解释。人生病其实是不融合分子（细菌或病毒）与体内分子摩擦引起的信息。成长其实是各种各样的外界分子（如钙离子）进入人体内与体内分子摩擦引起的信息。衰老与死亡是细胞内分子摩擦引起的信息，其宏观表现为细胞的衰老与凋亡，进而影响人。
- 3．预感与巧合：预感是思想的一种极特殊的形式，当脑中某些分子摩擦引起信息子排布后，信息并未释放全部能量，而是只将其中一部分能量先释放出来，引起预感决子的摩擦，剩下的能量则在另外的时刻释放出来，并由于与前一部分能量同源，恰好引起事件决子的摩擦，从而印证了预感。巧合也是一种极特殊的现象，其本质是信息释放的能量分为两半进入到三维空间中的不同地点，引发相同分子的摩擦，从而引起不同地点相同事情的发生，这一般出现在同卵双胞胎身上，因为其基因的相似性决定了其相同分子摩擦的几率较大。
- 4．梦与不实印象（untrue impressions）：梦是在无意识情况下产生的思想，其本质也是信息。我们平时会产生不实印象，看到某情景感觉以前似乎发生过，可是以前却并没有发生，其实这是因为脑内分子摩擦引起信息，而信息并没有将能量马上释放出来，而是暂时储存起来，当另一时刻又有同样的分子摩擦时，其能量被激活，双倍能量释放出来，其中一半能量使我们思想，另一半能量使我们产生印象，这便是不实印象的本质。
- 5．化学反应：一切化学反应的本质都是信息。几种分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化学键断裂与形成，完成化学反应。
- 6．命运与灵魂：古人相信命运，可能是冥冥之中感到在另一空间中我们是早已被安排好的个体，于是出现了人类对灵魂、神的遐想。
- 五、信息论假说的意义
- 信息论假说将物质与思想相统一，它是唯物主义发展所必经的一步，它用唯物的观点解释了人类一直无法弄清的问题。它自身只是一个假说，需要人类长时间去探索与证明，它自身也存在缺陷，需要人类的不断发现。也许它本来就是个错误，但它是人类成长的见证，是人类伟大的精神财富。
- 用信息论假说的观点看问题，可以使人类认识到一个全新的世界，并有助于探索世界更深的本质。它给人类提供了一个丰富的经验，是人类跳出固有思想看问题的典范。总之，不管它是否正确，它都是人类的不朽之作。