克劳德·香农的信息论如何为数字时代奠定基础

甚至在任何人拥有电脑之前，克劳德·香农就已经想出了如何让电脑值得拥有。

作为麻省理工学院的一名电气工程研究生，香农玩弄着“微分分析仪”，这是计算机的原始先驱。但在他的硕士论文中，他更关心电路中的继电器和开关，这类东西可以在电话交换网络中找到。1937年，用数学家所罗门·戈洛姆的话说，他发表了“有史以来最伟大的硕士论文之一”，在符号逻辑和描述这种现象的数学之间建立了联系。

现在正是庆祝香农成就的好时机，纪念香农1916年在密歇根州佩托斯基诞辰一百周年(4月30日)。基于计算在当今社会中无处不在的重要性，将那以后的时间称为“香农的世纪”并不疯狂。

“毫不夸张地说，”Golomb写道，“将克劳德·香农称为‘信息时代之父’，并将他的智力成就称为20世纪最伟大的成就之一。”

香农最出名的是在1948年发表的两篇论文中创造了一个全新的科学领域--信息论。然而，他的这项工作的基础是在十年前的他的论文中建立的。在那里，他设计了表示电路行为的方程式。电路的运行方式取决于继电器和开关之间的相互作用，这些继电器和开关可以将一个端子连接到(或不连接)另一个端子。香农寻求用数学表示电路的“微积分”。

香农写道：“任何电路都是由一组方程表示的，方程中的项对应于电路中的各种继电器和开关。”他指出，他处理这些方程式的演算“完全类似于逻辑符号研究中使用的命题演算。”

作为密歇根大学(University Of Michigan)数学(和电气工程)专业的本科生，香农了解到19世纪数学家乔治·布尔(George Boole)用代数符号表示逻辑语句的工作。布尔设计了一种使用二进制数计算命题逻辑结论的方法；1代表真命题，0代表假命题。香农察觉到布尔的逻辑命题和电路中的电流之间有一种类比。如果..。

在他的博士论文中，香农分析了种群中的遗传学数学，但这项工作没有发表。1941年，他开始在贝尔实验室工作；在第二次世界大战期间，他写了一篇关于密码学的重要论文(当时是秘密的)，这篇论文需要更深入地考虑如何量化信息。战后，他更充分地发展了这些想法，专注于使用他的1和0，或比特，来显示通过通信通道可以发送多少信息，以及……。

1948年，他关于这些问题的两篇论文发表在“贝尔系统技术杂志”上。它们很快就出版了，沃伦·韦弗(Warren Weaver)在一本名为“通信数学理论”的书中有一个介绍性的章节。今天，那本书被认为是信息论的奠基性文献。

对香农来说，沟通不是关于消息或它的意义，而是关于一条消息中可以传达多少信息(通过给定的渠道)。在其最基本的意义上，交流仅仅是消息在远离原点的某个点上的复制。香农断言，这样的信息可能有“意义”，但这种意义“与工程问题无关”，即将消息从一个点传输到另一个点。“重要的是……。

在一个非常简单的通信系统中，如果唯一可能的消息是“是”和“否”，那么每条消息(1表示是，0表示否)会使您的无知减半。根据香农的数学，这相当于一位信息。(他没有创造术语“位”--二进制数字的缩写--但他的作品确立了它的含义。)。现在考虑一个更复杂的情况-一本完整的英语词典，它应该包含大约50万个单词。一位将对应是或否.。

香农研究了更复杂的情况，并设计了计算信息量的定理，以及如何在存在噪音的情况下有效地沟通信息量。他的数学仍然是几乎所有现代数字技术的核心。正如电气工程师安德鲁·维特比(Andrew Viterbi)在香农的悼词中所写的那样，香农1948年的论文“建立了数字信息最佳压缩和传输的所有关键参数和限制。”

除了实际用途之外，香农的工作后来被证明具有深远的科学意义。他的以位为单位量化信息的数学借用了表达热力学第二定律的方程式，在方程式中，熵的概念描述了系统状态的概率。概率似乎适用于系统各部分的排列方式。