CentOS的创始人正在构建下一个平台

2021-02-19 09:56:18

Greg Kurtzer是CentOS Linux发行版的共同创始人之一,是HPC工作负载的Singularity容器环境的创建者,新Rocky Linux发行版的创始人,该发行版旨在取代现已不复存在的CentOS,以及自己的HPC专家对,正在执行任务。这是我们一直钦佩和看到的任务:建立一个集成的应用程序平台,可以从根本上消除现代分布式计算的复杂性而又不会降低其复杂性。

这是一件非常困难的事情,而且即使是从稍微倾斜的角度来看,库尔策也对此非常了解。

即使他所做的工作非常致命,Kurtzer还是一个有趣的家伙。自己承认,他在大学里徘徊了一段时间,学习了机械工程,音乐和医学博士学位,然后在1997年从他所谓的“北加州鸡肉美容学校”获得了生物化学理学学士学位,然后补充道:“您可能会认为我优柔寡断,但我不确定。” (大概是加州大学伯克利分校,这是世界上计算机硬件和软件体系结构的主要温床之一。)Kurtzer确实在一家生物技术公司工作,毕业后从事基因组学工作,然后在Linuxcare是数不胜数的Linux发行版之一,就在2000年底互联网泡沫破灭之前。

然后,库尔策(Kurtzer)换了档–似乎似乎–成为了劳伦斯·伯克利国家实验室(Lawrence Berkeley National Laboratory)的高性能计算系统架构师和技术负责人,该实验室是美国能源部运营的主要高性能计算中心之一,该中心与该大学联合任命,并且在那段时间里,他集成了大约40个不同的集群以进行HPC工作,同时编写了Warewulf集群管理工具。在业余时间,他与​​Rocky McGough和Lance Davis一起创建了Red Hat下游的CentOS Linux发行版。 Enterprise Linux,还构建了具有奇异HPC风格的Kubernetes容器系统,并试图在一家名为RStor的公司对其进行商业化,然后在2017年初离开伯克利实验室后又在另一个名为Sylabs的公司进行商业化。这个叫做HPCng项目的项目,现在我们看到,这个名为Ctrl IQ的新公司正在完成这项任务,而Kurtzer是该公司的创始人兼首席执行官。

“当我第一次参与这个工作时,甚至现在,我们总是以相同的方式构建HPC系统,” Kurtzer告诉The Next Platform。 “当然每个都有些不同,但是架构基本上是相同的,并且它是从当初的Beowulf集群派生而来的。自从我离开能源部开始与企业合作以来,我意识到有两个方面正在进行。我们有HPC派对,有企业IT派对,人们通常不会混在一起。他们可能偶尔会出去吃午餐,但是他们拥有完全独立的基础架构,团队和技能。但是有趋势。在HPC大会上,人们希望有更多的现代化环境来运行其工作负载,并且他们想要更多的企业级功能。容器就是一个很好的例子,但这只是第一步。 HPC中心需要更多的现代化,与DevOps的更多集成,更多的业务流程,更多的数据业务流程以及在混合环境中进行部署的能力。企业对数据分析,机器学习和其他类型的HPC越来越感兴趣,但是当我解释我们如何在HPC中做到这一点时,他们就像我过去一样看着我,并说明这不是他们如何构建的今天的系统。因此,Ctrl IQ所做的就是将这些各方聚集在一起并建立完整的堆栈。”

当Kurtzer说完成时,他的意思是,即使这意味着用已确定会存在的闪亮的新Rocky Linux来全球替代不再存在的CentOS(实际上不再存在)。看一下Ctrl IQ堆栈:

Kurtzer于2001年在伯克利实验室创建的Warewulf集群管理器和服务器配置系统已经扩展,可以将无状态容器配置到裸机服务器,而且显然是大规模的。 Warewulf背后的想法是能够由少量管理员配置和管理数千个节点。当然,分布式系统中的节点将使用Rocky Linux进行配置,并且容器环境是Singularity,它是一种容器格式,与Kubernetes兼容,并带有一些HPC商店专用的调味料,包括加密和数字签名的容器映像。

Ctrl IQ堆栈中的新内容包括Fuzzball,Kurtzer认为Fuzzball是对性能至关重要的工作流程的编排工具。 Kurtzer认为,针对“工作流”的“性能至关重要”限定符使其不同于现有的作业调度程序和编排系统,并且包括原始的Kubernetes容器控制器,该控制器非常擅长微服务的发布。 Fuzzball将数据移动到计算和计算到数据中,以最佳选择为准,它可以根据情况在本地和跨多个公共云中进行处理。 Kurtzer说,它创建了一个巨大的虚拟计算和数据结构,因此它可以查看依赖关系,成本和资源可用性来决定何时以及如何运行这些工作流。

Ctrl IQube是开源Kubernetes容器控制器的一种形式,它是由Ctrl IQ创建的,因为Fuzzball本身需要Kubernetes以及Kurtzer曾与之合作过的许多HPC中心表示他们不想弄乱原始的Kubernetes。因为这是一个沉重的负担。 (而且HPC中心几乎肯定不会为从IBM Red Hat部门购买商业级OpenShift Kubernetes环境付费,而不是为使用Red Hat Enterprise Linux而不是使用免费的CentOS发行版支付费用。)“我们的一些工程师想出了办法如何简化和保护现有Kubernetes资源,以便任何人都可以安装和维护它。

Ctrl Cloud是整个Ctrl IQ堆栈的托管版本,正如您在上表底部所看到的,有专门的Ctrl IQ堆栈-传统的基于MPI的HPC工作负载以及Kurtzer所说的更现代的HPC工作负载作为AI和机器学习,以及针对芯片设计,大型制药等的堆栈。

您会立即发现一些问题。这不仅是Kubernetes平台,而且容器也不会,也不会总是由容器维护。在某些情况下,就像像伯克利实验室这样的HPC中心所使用的奇异性一样,具有重量级的Kubernetes实施不会妨碍具有复杂工作流程并且对性能敏感的容器化应用程序。这些对性能敏感的应用程序将直接在Fuzzball容器服务上运行。从某种意义上说,Kubernetes容器装箱服务只是在Fuzzball容器服务之上运行的另一个应用程序。正如您很久以前就讨论过的那样,Mesos和OpenStack正是使用Kubernetes的方式,尽管您可以采用另一种方法,将Mesos或OpenStack容器化并在Kubernetes上运行它们。此处的信息是,这种区别仍然很重要,Kurtzer理解了原因,并通过以一种稍微不同且绝对更有趣的方式将Warewulf,Singularity和Kubernetes混搭在一起来对此做些事情。

Kurtzer说,Kubernetes服务往往是永久性的,并且被大量超额订阅,因为大多数时间它们都处于空闲状态,而Fuzzball容器往往更短暂,并且运行全倾斜布吉。但是,我们认为,这种区分不一定在所有情况下都适用。我们认为,情况将视情况而定。配置HPC系统的麻烦在于,即使它们的工作负载发生变化,例如使用作业调度程序将应用程序塞入节点的大型Tetris游戏,它们也可以保持静态。我们确实可以将其称为精简容器。

Ctrl IQ堆栈的关键组件之一是零信任服务网格,该网格将Fuzzball和Kubernetes容器彼此链接在一起,并实现了企业和HPC中心近来都需要的那种安全性。从周日开始,通过六种方式来部署此服务网格以及用于确保其安全的安全带,吊带,绳索,shot弹枪,步枪和弹弓,这将使组织有信心将本地群集与运行在公共云中的群集混合在一起混合时尚。

虽然Kurtzer是开源社区中最著名的人之一,并且对如何构建下一个平台非常确定,但他仍不确定对Ctrl IQ堆栈定价的正确方法以及应该确定多少价格。开放源代码,如果其中一些应该是封闭源代码。真正的形式库尔泽(Kurtzer)对此持开放态度,正在考虑各种选择。我们知道,Ctrl IQ从IAG Capital Partners和OpenDrives那里获得了400万美元的A轮融资,他们希望获得投资回报。使用开放核心模型很难做到这一点-但并非没有可能。目前尚无法确定全部解决方案,直到2021年第二季度初Ctrl Cloud才准备就绪,而堆栈的其余部分则要在今年中旬左右准备就绪。无论Kurtzer做什么,我们都可以肯定它将比Red Hat OpenShift便宜很多。几乎默认情况下,如果不是设计使然。

直接从我们到您的收件箱,包括本周的重点摘要,分析和故事,而中间没有任何内容。