差分数据流

2020-10-20 22:47:38

在本书中,我们将详细介绍差分数据流背后的动机和技术细节,差分数据流是一个建立在实时数据流之上的计算框架,旨在高效地对大量数据执行计算,并在数据更改时维护计算。

差分数据流程序看起来像许多标准的大数据计算,借鉴了MapReduce和SQL等框架的习惯用法。但是,一旦您编写并运行程序,您就可以更改计算的数据输入,并且Differential DataFlow将立即在其输出中向您显示相应的更改。迅速意味着在短短几毫秒内。

这种相对简单的设置,编写程序,然后更改输入,导致了令人兴奋的新的可伸缩计算类的范围之广,令人惊讶。我们将在本文档中对其进行探讨!

差异数据流源于微软研究院的工作,在那里我们的目标是构建一个既可以计算又可以增量地维护非平凡算法的高级框架。