#spark
From Rust to Spark: Formally Proven Bip-Buffers(blog.adacore.com)
2021-5-6 18:40
我遵循嵌入式生锈群落的演变，特别是詹姆斯门斯的工作。基于BipBuffers，引起了引起我注意的项目是BBQueue，单一的生产者，单一消费者，锁定，线程安全队列。
此库的主要用法是异步处理数据进入或超出外设的数据，特别是在使用直接内存访问（DMA）时。
当从外围设备接收数据时，说明以太网控制器时，用户必须提供一......
Beating Spark with a Better Map Reduce(vladfeinberg.com)
2021-4-26 15:3
Warning: Can only detect less than 5000 characters
在计算结束时，我们有长时间的几乎串行代码。这是为什么？从该地图的计算图中可以看到问题，从而减少作业。
当我们下降计算时，我们将单词蒸馏成单词计数对。这是o（语料库尺寸）工作，可以是无限的并行化。但在减少步骤中，我......
2021-4-12 19:9
虽然为其汽车组件最着名，但NGK Spark插头还制造了许多其他硬件组件，包括半导体生产设备，切割工具，医疗设备，工业陶瓷。近年来，日本名古屋，日本总部公司已经开始关注新技术，如固态电动汽车电池。
NGK Spark Plug的新公司风险投资基金是一个有机会与初创公司合作并扩展到新业务，称为Pegasus Tech......
AutoML Library for Apache Spark(github.com)
2020-9-10 3:3
TransmogrifAI(发音为trăns-mŏgˈrə-fī)是一个运行在Apache Spark之上的用scala编写的automl库。它的开发重点是通过机器学习自动化和强制执行编译时类型安全性、模块性和重用的API来加速机器学习开发人员的工作效率。通过自动化，它实现了接近手动调整模型的精度，时间减少了近100......
Kotlin for Apache Spark Preview(blog.jetbrains.com)
2020-8-29 6:19
Apache Spark是一个用于大规模分布式数据处理的开源统一分析引擎。在过去的几年中，它已经成为用于处理大量数据的最流行的工具之一。它涵盖了广泛的任务-从数据批处理和简单的ETL(提取/转换/加载)到流和机器学习。
由于Kotlin与Java的互操作性，Kotlin开发人员已经可以通过Java API使用Apac......
Lyft Sparks Uproar After Opening Online Store to Sell Masks to Its Drivers(www.theguardian.com)
2020-7-19 21:45随着新冠肺炎疫情的加剧，叫车平台Lyft开设了一家网店出售口罩和其他防护用品，这激怒了司机和劳工组织者，他们表示公司应该免费提供这些东西。
这家科技公司向司机出售防护装备而不是提供防护装备的举动，重新引发了关于司机是员工还是独立承包商的辩论，以及科技巨头在多大程度上对零工的工作条件负有责任。
加州通过了一项法律，要求......
Apache Spark Release 3.0.0(spark.apache.org)
2020-6-19 4:43Apache Spark 3.0.0是3.x系列的第一个版本。投票于2020年6月10日通过。此版本基于git tag v3.0.0，其中包括截至6月10日的所有承诺。Apache Spark 3.0构建于Spark 2.x的许多创新之上，带来了新的想法，并继续开发中的长期项目。在开源社区的巨大贡献的帮助下，这个版本......
2020-5-31 6:8
很棒的文章。如果您愿意尝试dask_cudf，那就太好了，因为它确实允许内核耗尽的能力。通常，我们看到dask_cudf至少降低了80-90%的总拥有成本，而且它有一个字符串库。
我也不相信data.table有任何GPU支持，H2O4GPU只是ML算法。
欢迎来到一个语言很重要的地方。在媒体上，聪明的声音和原创的想......