我们很高兴地宣布,Apache Pinot 0.7.1于4月2021年4月几个月发布.Apache Pinot是一个实时分布式数据存储,旨在回答那些是这款博客的新读者的OLAP查询。此版本引入了几种梦幻般的新功能,包括JSON索引,基于查找的连接支持,地理空间支持,TLS支持Pinot Connections,以及各种性能优化和改进。它还添加了几种新的API,以更好地管理段并将数据上传到脱机表。它还包含许多关键错误修复。
JSON字符串可以表示数组,映射或嵌套字段,而无需强制固定模式。它非常灵活,但它以成本为准:在JSON字符串列上过滤非常昂贵。
如果没有索引,我们需要从JSON字符串扫描并重建JSON对象,以获取每个记录以查找基于该值的键和过滤器记录。然后我们需要查找密钥并比较值。 Pinot的新JSON索引功能旨在加速JSON String列的过滤而不扫描和重建所有JSON对象。
让我们考虑以下JSON结构化文档摄取到Pinot表列。
通过索引列,我们现在可以通过索引任何其他Pinot表的字段来搜索JSON文档的结构。
可以在此处找到与此查询的文本的JSON索引文档链接:JSON索引
通过名为Lookup的新UDF SQL函数在0.7.1中添加了基于查找的加入支持。此功能相对简单以便开始使用。在此功能之前,默认情况下,您将无法在单个SQL查询中横跨小点连接表,而无需使用Presto等内容。我们现在已经向您添加了从维度表中加入的支持。目前不支持维度之外的表类型。您可以在文档中找到有关维度表的更多详细信息。
上面的SQL查询将维度表DimBaseballTeams连接到Teamid密钥上的常规表棒球服务器中。查找(...)函数然后返回列TeamName的值。
Apache Pinot中的连接与您在关系数据库中可能使用SQL的类型不同。 UDF功能在此提供了一段时间已久的功能,可扩展OLAP连接是表现和方便的。此功能包括Pinot的高级索引功能的优势,使实时分析SQL查询如此之快。
要在操作中看到函数,您还可以宣传joyquickstart并按如下方式测试:
要运行joinquickstart,您可以在Docker中运行以下命令以触发该示例。
要在0.7.1中启动此功能,您需要在架构定义配置中使用转换函数进行表格。
您需要添加到架构定义文件以启用基于地理位置查询的第一件事是您的纬度和经度字段。这些字段将从脱机数据源或流中的数据源导入。
在您的字段列表中,它由其唯一名称导入或使用转换函数生成,您需要列出纬度和经度字段,如上所示(LON,LOT)。这里没有什么太特别的事情,但你需要生成一个新的字段来在这些字段上执行实时地理空间查询。您需要生成一个新字段,我在下面的代码段中指定了一个名为location_st_point。
刚刚清除,这两种代码段都来自架构定义文件中的相同配置块。
既然我们已将必要的位添加到架构配置文件,我们现在可以继续更新引用上述架构的表配置。这里的变化很简单,可以在下面看到。未来版本可能会有一些变化,因此始终始终好转到最近的Apache Pinot文档版本。
启用在地理空间字段上索引的最终步骤是使用上面显示的设置进行修改您的表配置。
就是这样!在使用上述配置中创建了Pinot中的模式和表格后,您将能够开始摄取现在索引的地理空间数据并开始实时执行查询。
在Pinot 0.7.1中查看全部功能博客文章,以便在Pinot 0.7.1中继续探索H3索引系统及其在优步的起源。
在0.7.1中也添加了对TLS安全连接的支持。可以使用以下新(或重构)属性来配置TLS。可以安全地执行升级到启用TLS的群集,无需停机时间。要实现实时升级,请通过以下步骤:
首先,在经纪商,控制器和服务器上配置用于HTTPS / NETTY-TLS的备用入口端口。使用滚动策略重新启动组件以避免群集停机时间。
其次,手动验证HTTPS对控制器和经纪人的访问是直播的。然后,配置所有组件以更喜欢启用TLS的连接(同时仍允许无担保访问)。重新启动各个组件。
第三,通过配置禁用不安全的连接。您还可能必须设置Controller.VIP.PRotocol和Controller.VIP.PORT并更新任何摄取作业的配置文件。重新启动组件最后一次,并验证是否不再使用HTTP不安全的入口。
我们要花一点时间感谢Pinot社区支持我们的产品。我们在过去一年内保留稳定的犯罪,我们已经看到越来越优秀的功能是在这个项目中实现的。此时,我们要感谢为此发布做出贡献的大家。
媒体是一个开放的平台,17亿读者来寻找有洞察力和动态的思维。在这里,专家和未被发现的声音相似地潜入任何主题的核心,并将新的想法带到表面上。学到更多
遵循对您有关的作家,出版物和主题,您将在您的主页和收件箱中看到它们。探索
如果您有一个故事来讲述,知识分享,或者提供提供的视角 - 欢迎回家。很容易和免费发布您对任何主题的思考。写下媒介