胜败

假设这是二十世纪初，我们正在努力量化“信息”的概念。 具体而言，我们希望测量一个变量的“多少信息”包含关于另一个变量 - 例如，信息如何噪声测量发动机的温度的噪声包含关于实际发动机温度的噪声。 随着卡尔皮尔森，并建议使用他的“相关系数”（特别是相关系数的正方形，ρ（x，y）2）。 作为信息的衡量标准，这具有一些明智的特性： 如果ρ（x，y）2是一个，那么有完美的信息 - 一个变量告诉我们关于另一个的一切都知道。 它是对称的：X告诉我们关于y的信息量等于Y告诉我们X的信息量。