克劳德·香农（Claude Shannon）创造了未来

科学寻求自然的基本定律。数学会在旧的基础上寻找新的定理。工程部门可以构建解决人类需求的系统。这三个学科是相互依存但又截然不同的。一个人很少同时为这三个人做出核心贡献，但是Claude Shannon是一个罕见的人。

尽管是最近的纪录片《 The Bit Player》的主题，而他的工作和研究哲学启发了我自己的职业，但香农并不是一个家喻户晓的人物。他从未获得过诺贝尔奖，而且在2001年去世之前或之后，他都不像阿尔伯特·爱因斯坦（Albert Einstein）或理查德·费曼（Richard Feynman）这样的名人。但是70多年前，他在一篇开创性的论文中为现代信息时代的基础通信基础设施。

香农（Shannon）于1916年出生于密歇根州的盖洛德（Gaylord），是一位当地商人的儿子和一名教师。从密歇根大学获得电气工程和数学学位后，他在麻省理工学院（Massachusetts Institute of Technology）撰写了一篇硕士论文，该论文将名为布尔代数的数学学科应用于开关电路的分析和综合。这是一项变革性的工作，将电路设计从一门艺术变成了一门科学，现在被认为已成为数字电路设计的起点。

沟通是人类最基本的需求之一。从烟雾信号到信鸽，再到电话再到电视，人类一直在寻找能够使他们进行更远，更快，更可靠的通信的方法。但是，通信系统的工程总是与特定的来源和物理介质相关联。香农反而问：“是否有一个伟大的统一交流理论？”香农在1939年给他的导师范尼瓦尔·布什（Vannevar Bush）的信中，概述了他关于“用于情报传递的通用系统的基本特性”的一些初步想法。经过十年的研究，香农终于在1948年发表了他的杰作：“传播的数学理论”。

他的理论的核心是一个简单但非常通用的通信模型：发送器将信息编码为信号，该信号会被噪声破坏，然后由接收器解码。尽管其简单性，Shannon的模型融合了两个关键见解：将信息和噪声源与要设计的通信系统隔离开来，并对这两个源进行概率建模。他设想信息源会生成许多可能的消息之一来进行通信，每条消息都有一定的概率。概率噪声进一步增加了接收器解开的随机性。

在Shannon之前，通信问题主要被视为确定性信号重建问题：如何转换受物理介质扭曲的接收信号，以尽可能准确地重建原始信号。香农的天才在于他的观察力，即沟通的关键是不确定性。毕竟，如果您提前知道了我在本专栏中对您说的话，那么编写它的目的是什么？

单一的观察将通信问题从物理问题转移到了抽象问题，从而使Shannon可以使用概率对不确定性进行建模。这给当时的通信工程师带来了极大的震惊。

考虑到不确定性和可能性的框架，Shannon在其具有里程碑意义的论文中着手系统地确定沟通的基本限制。他的回答分为三个部分。信息“位”的概念在这三个方面都扮演着重要角色，香农将其用作不确定性的基本单位。 “二进制数字”的portmanteau，可以是1或0，Shannon的论文是第一个使用该词的人（尽管他说数学家约翰·图基首先在备忘录中使用了该词）。

首先，Shannon提出了一个用于表示信息的每秒最小位数的公式，这个数字他称之为熵率H。该数字量化了确定源将生成哪个消息所涉及的不确定性。熵率越低，不确定性越小，因此将消息压缩成较短的内容越容易。例如，以每分钟100个英文字母的速率发送短信意味着每分钟发送26 100条可能的消息，每条消息均由100个字母的序列表示。因为2 470≈26 100，所以可以将所有这些可能性编码为470比特。如果序列具有相同的可能性，那么Shannon的公式将说熵速率确实是每分钟470比特。实际上，某些序列比其他序列更有可能，并且熵率要低得多，从而可以进行更大的压缩。

其次，他提供了一个在面对噪声时可以可靠通信的每秒最大位数的公式，他将其称为系统的容量C。这是接收机可以有效解决消息不确定性的最大速率。使其成为通信速度的极限。

最后，他表明，当且仅当H ＜0时，才有可能在面对噪声的情况下可靠地传达来自源的信息。 C.因此，信息就像水一样：如果流速小于管道的容量，则流可靠地通过。

虽然这是一种传播理论，但同时也是一种有关信息如何产生和传递的理论-信息论。因此，香农现在被认为是“信息论之父”。

他的定理得出了一些与直觉相反的结论。假设您在嘈杂的地方讲话。确保您的消息能够通过的最佳方法是什么？也许重复多次？当然，这是任何人在大声餐厅中的第一个本能，但事实证明这不是很有效。当然，您重复自己的次数越多，沟通越可靠。但是您牺牲了速度来提高可靠性。香农向我们展示了我们可以做得更好。重复消息是使用代码传输消息的示例，通过使用不同且更复杂的代码，可以在保持给定可靠性的同时，快速通信-一直到速度限制C。

香农的理论得出的另一个意外结论是，无论信息的性质是什么，无论是莎士比亚十四行诗，贝多芬第五交响曲的录音还是黑泽泽的电影，在传输之前，将其编码为位总是最有效的。因此，例如在无线电系统中，即使初始声音和通过空中发送的电磁信号都是模拟波形，香农定理也暗示着最好先将声波数字化为位，然后将这些位映射为电磁波。这一令人惊讶的结果是现代数字信息时代的基石，在这个时代，比特位已成为信息的通用货币。

香农的一般传播理论是如此自然，以至于他似乎发现了宇宙的传播定律，而不是发明了它们。他的理论与自然的物理定律一样基础。从这个意义上说，他是一名科学家。

香农发明了新的数学来描述传播定律。他介绍了一些新思想，例如概率模型的熵率，这些新思想已应用于遍历数学等广泛的数学分支，动力学系统的长期行为研究中。从这个意义上说，香农是一个数学家。

但最重要的是，香农是一名工程师。他的理论受到实际工程问题的启发。尽管对当时的工程师来说是深奥的，但香农的理论现已成为所有现代通信系统（光学，水下，甚至行星际）的基础标准框架。就我个人而言，我很幸运地参与了将Shannon的理论应用和扩展到无线通信的全球性努力，在多代标准中将通信速度提高了两个数量级。确实，当前推出的5G标准使用的不是一种而是两种实用的代码，它们被证明可以达到Shannon的速度极限。