熵、代数和拓扑 = ?

今天我想分享一些涉及信息论、代数和拓扑学思想的数学。这一切都在我最近上传到 arXiv 的一篇新论文中，您可以在右侧看到其摘要。这篇论文很短——只有 11 页！即便如此，我还是认为在这里浏览一些周围的数学会很好。为了介绍这些想法，让我们首先考虑由 $d(x)=-x\log x$ 定义的函数 $d\colon[0,1]\to\mathbb{R}$ 当 $x>0$ 和当 $x=0$ 时 $d(x)=0$。也许拿出笔和纸后，很容易检查这个函数是否满足一个方程，这个方程看起来很像微积分中的乘积规则：满足让人联想到“莱布尼茨规则”的方程的函数，就像这个，被称为导数，这调用了熟悉的衍生概念。上面的非零项 $-x\log x$ 对你们中的一些人来说可能也很熟悉。这是一个出现在概率分布的香农熵中的表达式。 $n\geq 1$ 在有限集 $\{1,\ldots,n\}$ 上的概率分布是满足 $\sum_{ 的非负实数序列 $p=(p_1,\ldots,p_n)$ i=1}^np_i=1$，而$p$的香农熵定义为换句话说，$H(p)\neq d(\sum_ip_i).$ 即便如此，好奇心可能会让我们想知道香农熵本身就是一个推导的设置。上面的论文中描述了一个这样的设置，它显示了香农熵和（等待它......）拓扑单形的推导之间的对应关系！但是，这是什么意思？为了理解它，我们需要引入一个起源于同伦理论的代数工具。该工具称为操作数，这是我们之前在博客中介绍过的内容。粗略地说，操作数是一种抽象的方式来编码代数的各种“风味”：结合代数、交换代数、李代数等等。操作数已广泛用于代数拓扑（请参阅 Jim Stasheff 在 AMS Notices 中撰写的这篇友好文章）甚至物理学中。事实上，我们曾在 PBS Infinite Series 上看到过一个例子——Associahedra！事实证明，拓扑单纯形是操作数的另一个很好的例子，如这篇旧博客文章以及最近在 Tom Leinster 的新书 Entropy and Diversity 的第 12 章中所述。形式上，$n-1$-单纯形 $\Delta^{n-1}$ 是 $\mathbb{R}^n$ 中所有点 $(p_1,\ldots,p_n)$ 的集合，使得 $0\ leq p_i\leq 1$ 对于每个 $i$ 和 $\sum_i p_i=1$。所以单纯形中的一个点只不过是一个概率分布！这样，概率和拓扑是相辅相成的。但这与熵有什么关系？还是代数？还是推导，就此而言？我来解释一下。但首先，让我告诉你为什么我觉得这些想法的融合如此有趣。

近年来，很明显信息论和代数拓扑的交叉是沃土。来自（共）同调代数的思想尤其出现在几个不同的地方。粗略地说，同源工具能够检测拓扑空间中的“洞”，因此是区分一个空间与另一个空间的有用方法——只需计算每个空间中的洞数！从概念上讲，孔就像一根闭合的绳子，您可以通过它戳破手指。换句话说，洞是一个封闭的弦，它不是某个二维空间区域的边界。顺便说一下，边界通常用字母 $d,$ 表示，这意味着当 $R$ 是一个区域时，它的边界用 $dR$ 表示。如果 $S$ 是一个封闭的字符串，那么它的边界直观上就是一个点。 （想象一下，从单位区间 $[0,1]$ 开始，将端点 $0$ 和 $1$ 粘在一起形成一个循环。）这个想法可以简洁地写成 $dS=0$。如果封闭字符串 $S$ 也是某个区域的边界，使得 $S=dR$，那么它遵循 $dS=d(dR)=0$。这导致了一句精辟的说法，“边界的边界为零”，简明地翻译为 $d^2=0$。这个方程在数学中是非常重要的。 “如果我能从简洁的命题 $d^2=0$ 中理解美丽的后果就好了。” - Henri Cartan Quanta 杂志最近发表了一篇很好的文章来解释这些想法，所以我不会详细介绍。要知道的主要事情是“洞”更正式地称为循环，或者更好的是， 1-cycles ，因为这个概念可以抽象到更高的维度。在任何情况下，检测边界的能力都很重要。一维空洞恰好是一个不是边界的 1-cycle！更重要的是，这个关于同源性的故事有一个双重版本，称为上同调。在那里，孔的双重概念称为共环，在这两种情况下，所有（共）环、（共）边界（和更高维的类似物）和（共）边界检测器 $d$ 的总和都可以组织起来进入称为（共）链复合体的东西。撇开术语不谈，这是相关的一点：虽然我在上面绘制了类似变形虫的形状，但我们也可以在纯代数而非拓扑设置中理解“孔”、“形状”和“（共）同源性”。例如，您可以计算您最喜欢的关联代数的同源性！在这个代数上下文中，在某些情况下，边界算子 $d$ 也可能满足莱布尼茨规则（或其某个版本），即边界算子 $d$ 也可能是一个推导。正如我上面提到的，信息论和代数拓扑的联系是一个诱人的地方。 2015年，Pierre Baudot和Daniel Bennequin发表了一篇名为“熵的同调性质”的论文，他们引入了“信息上同调”的工具，构建了一个特定的cochain复合体，其中熵代表了唯一的1-cocycle。大约在同一时间，Philippe Elbaz-Vincent 和 Herbet Gangl 定义了所谓的“1 阶信息函数”，这些函数看起来像熵，并证明这些函数的行为“很像某些推导”。几年前，John Baez、Tobias Fritz 和 Tom Leinster 在 2011 年给出了熵的范畴理论表征。在准备那篇论文时，Baez 在 nLab 上写了一篇非正式的文章，他观察到熵似乎表现得像一个推导从歌剧的角度来看。 （验证这一观察并使其精确是我论文的内容。）而且——好像这还不够！ — 2019 年，Tom Mainiero 在一篇名为“量子力学的同调工具”的论文中探索了互信息和熵背景下的上同调思想，并发现熵出现在与量子态相关的特定 cochain 复合物的欧拉特征中。

盘点这些想法，人们会觉得这些结果都与熵的行为有点像“某物的 $d$”的概念一致，对于某些合适的（共）边界类运算符 $d$。我们不是查看与拓扑空间相关联的（共）链复合体上的推导 $d$ 或关联代数的推导，而是查看拓扑单形操作数的推导。定义该概念是本文的关键部分，因此您必须阅读本文才能了解它的含义！对此的灵感来自于 John Baez 在 2011 年的博客文章中的一些观察，以及 Dmitry Faddeev 在 1956 年给出的香农熵的一个很好的表征，以及 Tom Leinster 最近在本书第 12 章中给出的启发性变体。我在 2017 年汤姆在 CIRM 上发表的关于“熵的分类起源”的精彩演讲中第一次了解了单纯形的操作。将所有这些联系在一起的数学在预印本中进行了解释，我将其命名为“作为拓扑操作推导的熵”。我希望你能看一看！也许不出所料，还有几张照片。这是我最喜欢的一个，你可以在第 9 页找到它： ‍香农熵定义了拓扑单纯形操作数的推导，并且对于这个操作数的每个推导，都存在一个点，在该点上它由香农熵的常数倍给出。