#kafka
I wrote a children's book / illustrated guide to Apache Kafka(gentlydownthe.stream)
2021-6-18 1:7#clone克隆存储库git clone \ https：//github.com/round-robin-books/gente-kafka.git #start Kafka Docker-Compose Up
Kafka without ZooKeeper(www.confluent.io)
2021-4-1 19:35
在ApacheKafka®的核心侧坐在日志 - 一个简单的数据结构，它使用顺序操作与底层硬件合作。高效的磁盘缓冲和CPU高速缓存使用，预取，零复制数据传输以及许多其他益处从以日志为中心的设计出现，导致它所以的高效率和吞吐量。对于那些新的Kafka，主题 - 以及其作为提交日志的底层实施 - 通常是他们了解的第一件事。......
The Kafka API is great; now let's make it fast(vectorized.io)
2021-2-24 21:27
这篇博客文章代表了几个月的工作和超过400个小时的实际基准测试，我们将Redpanda和最新的2.7 Kafka版本进行了比较。我们使用了Confluent在CNCF开放式消息传递基准测试中的推荐的生产设置和环境。
在开始之前，完整的实际结果以及完整的工作负载分布，饱和度，延迟和吞吐量位于此交互式博客文章的底部。
......
Kafka Is Not a Database(materialize.com)
2020-12-9 19:45
这篇文章是由Fivetran首席执行官George Fraser和Materialize首席执行官Arjun Narayan共同撰写的。此博客文章交叉发布在Fivetran博客上。
Apache Kafka是一个消息代理，在过去几年中迅速普及。消息经纪人已经存在了很长时间。它们是一种数据存储，专门用于在生产者和使......
New Apache Kafka to AWS S3 Connector(lenses.io)
2020-11-21 19:40
一段时间以来，社区中的许多人一直在要求我们开发新的Kafka至S3连接器。因此，我们很高兴地宣布它现已可用。
与现有的S3连接器相比，它具有许多优势：
与我们的其他Stream Reactors一样，该连接器扩展了标准的connect配置，并为SQL命令（Lenses Kafka Connect查询语言或“ KCQL......
2020-11-16 19:31
Curl-s https://4ea388d7df71a589f4325f7f344f9a65b6b70f56c51c3acf：@packagecloud.io/install/repositories/vectorizedio/v/script.rpm.sh|sudo bash；&；sudo yum安装red......
2020-11-10 3:13
阿帕奇·卡夫卡是一个美丽的系统。它具有良好的可扩展性、稳定性和惊人的系统架构灵活性。在运行了5年的生产Kafka集群后，我收集了一系列提示和陷阱。如果你在一个将卡夫卡投入生产的小团队中工作，这些可能会被证明是有用的。这篇文章假设你熟悉卡夫卡的基本概念，如经纪人、主题、生产者和消费者。更重要的是，以下几点对于卡夫卡2.......
2020-10-31 9:55
超标量CPU具有宽GB/s内存，NVMe访问时间在10-100微秒量级，这就需要为低延迟存储系统进行新的缓冲区管理。
正如我之前观察到的，软件不是基于类别理论运行的，它运行在超标量CPU上，具有宽的多通道Gb/s存储单元和10-100微秒量级的NVMe固态硬盘访问时间。十年前在不同的硬件平台上编写的一些软件感觉很慢的......
2020-10-31 4:36
在Segment，我们每天处理数百亿个事件。虽然这从业务角度来看是积极的，但也意味着我们的云提供商的账单需要持续监控和管理。作为一项基础设施密集型SaaS业务，成本很容易失控，因此我们必须非常小心云成本对毛利率的影响。
在过去的几个月里，在线活动的增加意味着流量的大幅增加。连锁反应是，我们开始注意到我们的网络传输成本......
2020-10-28 7:16
任何运行Apache Kafka数据基础设施并运行在Kubernetes上的人，都有可能以这种方式定义您的基础设施。
如果您在Kubernetes上运行，您可能会使用操作符作为CI/CD工具链的一部分来自动化部署。
采用GitOps是自然发展，因此您的环境的状态在Git(或任何代码库)中进行管理，自动化系统确保部署的......
Kafka in Pieces(thebaffler.com)
2020-10-12 21:46
弗朗茨·卡夫卡的第三部也是最后一部小说“城堡”未完成的草稿中途结束。但当手稿最初进入世界时，正文已经编辑完成。卡夫卡的朋友和文学执行人马克斯·布罗德(Max Brod)准备了1926年的原版，后来他反思说，他的“目的是以通俗易懂的形式呈现一部尚未完全完成的非常规、令人不安的作品：因此，我们尽一切努力避免任何可能强调其......
Eliminating Task Processing Outages by Replacing RabbitMQ with Apache Kafka(doordash.engineering)
2020-10-7 17:31
扩展后端基础设施以应对高速增长是DoorDash工作的众多令人兴奋的挑战之一。2019年年中，我们面临着重大的扩展挑战和频繁的停机，涉及芹菜和RabbitMQ，这两项技术支持系统处理异步工作，启用我们平台的关键功能，包括订单结账和Dasher分配。
我们用一个简单的、基于Apache Kafka的异步任务处理系统快速......
Stream Data from Postgres to Apache Kafka(turkogluc.com)
2020-9-22 23:51
从数据库获取数据到Apache Kafka肯定是Kafka Connect最流行的用例之一。Kafka Connect提供了可扩展且可靠的方式将数据移入和移出Kafka。因为它将插件用于连接器的特定插件，并且它只通过配置运行(不需要编写代码)，所以它是一个简单的集成点。
我们可以使用以下docker-compose文......
What Every Software Engineer Should Know about Apache Kafka(www.michael-noll.com)
2020-5-17 4:9为了帮助其他工程师理解Apache Kafka和事件流，我在Confluent博客上写了一个关于Kafka核心基础的4部分系列文章。在本系列中，我们将探索Kafka的存储层和处理层以及它们之间的相互关系，以Kafka Streams和ksqlDB为特色。
在第一部分中，我首先概述事件、流、表和流表对偶性，以便做好准备......
Resiliency and Disaster Recovery with Kafka(tech.ebayinc.com)
2020-5-11 1:55
高可用性、弹性和可扩展性已经成为构建面向用户的应用程序的标准。云计算一直是促成这一点的一个因素。
以前，拥有多个数据中心是一项主要的前期资本投资-无论是在技术方面还是在硬件方面。今天，多亏了云计算，制定灾难恢复计划需要的工作量更少，而且不需要前期投资。因此，许多面向消费者的应用程序现在都是以地理上分散的方式设置的。在......