#信息论
Introduction to Information Theory(www.kdnuggets.com)
2021-1-19 4:6
信息理论领域研究信号中信息的量化。在机器学习的上下文中，其中一些概念用于表征或比较概率分布。决策树算法中还使用了量化信息的能力，以选择与最大信息增益关联的变量。熵和交叉熵的概念在机器学习中也很重要，因为它们导致分类任务中广泛使用的损失函数：交叉熵损失或对数损失。
直觉理解信息理论的第一步是考虑与随机变量相关的信......
A brief introduction to the beauty of Information Theory(notamonadtutorial.com)
2020-5-7 19:59
通信的基本问题是在一个点上精确地或近似地复制在另一个点上选择的消息。-克劳德·香农(Claude Shannon)，1948年。
想象一下，你的任务是在空间站和地球上的地面控制总部之间设计一个通信系统。该系统将发送和接收二进制编码的消息，即，作为1和0的序列。在信息传输过程中，可能会受到其他无线电信号的干扰，因此在地......
How Claude Shannon’s information theory built the foundation for the digital era(www.sciencenews.org)
2020-5-2 17:45
甚至在任何人拥有电脑之前，克劳德·香农就已经想出了如何让电脑值得拥有。
作为麻省理工学院的一名电气工程研究生，香农玩弄着“微分分析仪”，这是计算机的原始先驱。但在他的硕士论文中，他更关心电路中的继电器和开关，这类东西可以在电话交换网络中找到。1937年，用数学家所罗门·戈洛姆的话说，他发表了“有史以来最伟大的硕士论文......