ARBOL，一个建立在IPFS上的参数化天气风险平台

当谈到数据安全性和访问便利性时，这通常是一种权衡。IPFS在这两个方面都没有妥协，这一事实令人敬畏，而且抛弃Amazon S3 Bucks转而使用开源的感觉也很棒。

ARBOL是一个软件平台，将农民和其他依赖天气的农业实体与投资者和其他资本提供商联系起来，以确保和防范与天气相关的风险。Arbol&39；的平台在一个创新的、数据驱动的风险管理方法的市场上销售参数天气保护协议合同，省去了通常的遗留保险索赔流程，即实地进行损失评估。取而代之的是，ARBOL依靠防篡改的数据索引来确定支出，并且不需要明确的损失进行赔偿。ARBOL&39；的平台将参数化天气保护与基于区块链的智能合约相结合，提供具有成本效益的、自动化的和用户定义的天气相关风险对冲。与传统的农作物保险和类似的传统产品一样，最终用户购买的保证是，在恶劣天气情况下，他们将获得财务保护-但在Arbol中，如果出现不利条件，这些最终用户将自动获得支付，正如合同所定义的，并由Arbol的数据源跟踪当地气象观测来衡量。

为了建立Arbol用来处理其合同的数据索引，该团队聚合并标准化了数十亿个数据文件，其中包括来自各种可靠来源的数十年的天气信息-所有这些文件都存储在IPF上。IPFS对于ARBOL的服务模式至关重要，因为其内容寻址架构提供了固有的可验证性，以及促进ARBOL日常聚合、同步和分发海量数据的去中心化数据交付模型。

虽然美国农业综合企业一直是Arbol'；的最初重点领域，但该团队已经建立了一个具有全球能力的平台，正在向世界各地的新地区和新行业扩张。ARBOL目前提供管理能源和农业部门天气风险的合同，并为跨行业和规模的客户提供定制和预先设计的保护协议。他们目前的最终用户群从小型咖啡农场到大型农业综合企业和电力生产商。

简而言之，Arbol'；的平台是一个风险市场，终端用户可以在这里获得价格有竞争力的风险管理解决方案，资本提供者可以从进入利润丰厚但不发达的天气风险市场中受益。由于Arbol使用IPF来满足其数据存储和交付需求，因此终端用户和承保合作伙伴可以确信，Arbol用来确定合同价格和支付的数据是防篡改和值得信赖的。

Arbol&39；的故事始于大宗商品市场，该公司创始人兼首席执行官悉达多·贾(Siddhartha Jha)曾在该市场担任量化分析师和投资组合经理。Jha看到的是一个没有解决方案的问题：供应链、农业和能源部门对天气风险管理的巨大(且不断增长)需求，但没有可行的、高效的或成本效益高的天气风险市场来满足这种需求。传统的农作物保险受到低效率和高成本上限的困扰，保险提供商被迫收取只有大公司才能负担得起的高额保费。虽然市场上有更有效的参数保险解决方案，但即使是这些数据驱动的选择，也往往背负着高昂的管理费用和官僚浪费。因此，小企业和当地农民经常被困在无法获得与天气有关的风险保护的情况下。

ARBOL旨在通过为天气风险市场带来基本的透明度、效率和数据驱动的客观性来改变这一状况，确保任何规模的企业都能获得管理其天气相关风险水平所需的适当保护。ARBOL平台通过为受天气影响的企业与资本提供商连接提供一种新颖的机制来实现这一目标。Arbol'；方法的关键是灵活的金融衍生品，它们利用大数据和机器学习的力量，以低成本提供参数风险保护。这些参数结构根据与财务损失密切相关的指标确定自动支付。

使用ARBOL，最终用户支付对冲特定天气相关事件的费用，例如降雨量或温度的年度偏差。在确定保费和支付金额后，最终用户将依靠Arbol'；的平台来处理其余部分。由于参数化结构是客观的和数据驱动的，它们可以达到传统保险无法达到的精度、可靠性和成本效益水平。事实上，与传统天气相比，阿尔博尔的主要优势之一是

ARBOL的方法还通过将参数保险的精确性和灵活性与区块链的安全性、透明度和效率相结合，改进了标准参数保险。Arbol的许多保护协议合同都是在以太区块链上作为智能合同执行的。一旦发生相关的不利天气事件，这些智能合约就会自动向最终用户交付付款。

通过这样的基于区块链的合同提供天气风险管理解决方案，可以消除代价高昂的支付延迟，以及与欺诈、腐败和官僚管理费用相关的风险。它还带来了点对点去中心化的好处：ARBOL的用户不需要依赖ARBOL作为金融中间人，因为最终用户和资本提供者之间的资金是锁定的，而ARBOL没有控制资金的转移。

然而，即使是最好的智能合约也只能像它从中提取的数据一样智能。甲骨文问题可能是智能合约的一个根本性障碍，但Arbol对IPF的使用消除了这一风险。因为智能合同是基于数据自动和不可信任地执行的，所以它对区块链的使用是多么安全、透明和可公开验证都无关紧要。如果没有准确、值得信赖和不变的数据，即使是基于区块链的智能合约也很容易受到偏见、损害或操纵。对于Arbol来说，这就是IPF绝对关键的地方。

IPFS的内容寻址架构使ARBOL能够确保其数据集的完整性和公开可验证性，这是使用集中式服务器架构的传统位置寻址无法提供的。智能合同指向特定的、不变的IPFS CID，而不是指向可能被篡改的数据位置，这要归功于其Oracle的完整性。

IPFS是我们在Arbol做的一切事情的核心。IPFS作为我们可独立验证的数据存储库，存储与我们销售的合同相关的所有天气数据。它为我们的平台注入了权力下放、数据安全和公众可验证性的基本原则。

ARBOL通过利用来自各种可信的公共和私人来源的大型天气相关数据集来建立其数据索引，这些来源包括美国国家航空航天局(NASA)和美国国家海洋和大气管理局(NOAA)等著名的美国政府机构。这些来源跟踪天气数据，包括年降雨量、温度波动、风速等。然而，虽然Arbol使用的许多数据是公开的，但并不总是容易使用；许多数据，特别是更深层次的历史记录，都是以过时的格式存储的，很少有组织成易于阅读的结构。ARBOL的数据索引对这些数据进行处理、关联和打包，以便随时可以在天气风险市场中使用。通过将这些数据放到IPFS上，Arbol还确保了它拥有一个可验证的、防篡改的和分散的家。

ARBOL的商业模式取决于IPFS提供的好处--如果没有其不可改变的内容寻址和固有的数据可验证性，ARBOL提供的好处将不可能以具有成本效益和效率的方式实现。作为一个整体，IPFS通过提供以下功能对Arbol'；的服务模式至关重要：

不可变寻址：因为使用IPF存储的所有数据都是通过唯一内容标识符(CID)引用和访问的，所以对数据项的任何更改都意味着它会收到该修订所独有的新CID。在不更改CID的情况下更改数据是不可能的。

数据可验证性：Arbol'；平台上的合同链接到特定的、可验证不变的、内容寻址的数据。由于参数化天气风险管理完全依赖于用户对源数据的同意和信任，Arbol的方法提供了市场上其他产品所没有的保证。

分散的数据交付：ARBOL使用包含数十亿文件和TB级信息的海量数据集。IPFS适应了Arbol发布和添加到大型数据集的方法，同时仍然使Arbol能够通过分散的存储网络发布和同步这些数据集。

Arbol的最终用户只享受参数保护的好处，但要实现这种数据驱动的解决方案，还有很多工作要做。ARBOL的天气数据集大小从1 GB到1TB不等，每个数据集在使用之前都要经过详细的摄取过程。一旦决定一个数据集符合ARBOL的有用性和有效性标准，就是时候将其添加到ARBOL的IPFS流水线中，这是一个多阶段的过程，概述如下。

查询/发布：如果数据集直接上传到Arbol'；的网络(推送方法)，作为数据发布程序的一部分，维护人员自己启动此阶段。如果ARBOL或某些其他实体独立于数据集维护者将数据拉到网络，则需要定期查询数据集以确定何时发布新数据。由于许多数据提供程序遵循定期计划，因此可以相应地配置查询。

解析：ARBOL解析提供商的大型数据文件，必要时根据地理位置(而不是时间)对它们重新编制索引，并且通常会压缩格式，从而可以更轻松、更快速地查询ARBOL创建特定位置天气合同的主要用例。

解释：当数据集有漏洞或明显错误时-例如，个别站点的气象站数据可能容易丢失或错误-Arbol会根据需要通过运行统计清理和填充过程来插值数据。

压缩：这是将数据导入IPFS之前的最后一步。ARBOL压缩每个文件以节省磁盘空间并减少同步时间。

散列：ARBOL使用常用的IPFS递归添加操作(IPFS add-r)进行散列，以及实验性的无复制特性。此功能可减少散列节点使用的磁盘空间，尤其是在数据集的初始构建时。如果没有它，整个数据集将被复制到本地IPFS数据存储目录中。这可能会产生问题，因为默认平面文件系统数据存储(Flatfs)可能会在几百万个文件之后开始耗尽索引节点(磁盘位置的软件表示)，从而导致散列失败。ARBOL还在与IPFS核心团队合作，试验Badger，这是平面文件存储的替代方案，因为核心团队正在考虑将这一变化纳入IPFS本身。

验证：为了确保在解析阶段不会向文件引入错误，将对源数据文件进行查询，并将其与对解析后的散列数据进行相同查询的结果进行比较。

发布：一旦散列经过验证，它将被发布到Arbol的主Heads参考文件中，目前可以通过Arbol的网关访问，并可在合同中使用。

钉住和同步：当ARBOL网络中的存储节点检测到向head文件添加了新的散列时，它们会对其运行标准的递归ipfs pin-r命令。ARBOL的主要活动节点不需要很多：网络包括引导所有解析/散列节点的单个网关节点，以及充当主要数据存储备份的几个大型存储节点。不过，数据也会定期与冷节点(主要保持离线状态的档案存储节点)以及Arbol开发人员和农学家个人电脑上的单个IPFS节点同步。

垃圾收集：由于使用新散列覆盖旧散列的传统方法，一些较旧的ARBOL数据集在添加新数据时需要垃圾收集。然而，Arbol的所有较新的数据集都使用了一种架构，在这种架构中，旧的散列被保留，而新的帖子引用以前的帖子。此方法创建哈希的链接列表，每个哈希包含对前一个哈希的引用。当列表的长度变得计算繁重时，系统合并中间节点并向头部添加新的路由，从而创建DAG(分布式无环图)结构。磁头始终存储在位于Arbol命令服务器上的主heads.json引用文件中。

除了开箱即用的Go-IPF之外，ARBOL还在很大程度上依赖于定制编写的库和大量专门针对天气的Python库，例如netCDF4(netCDF的接口，面向数组的数据的自描述格式)和rasterio(用于地理空间栅格数据)。此外，Docker和Digital Ocean是Arbol'；盒子中用于持续集成和部署的重要工具。

如上所述，ARBOL数据集是通过推送或拉入来摄取和扩充的。为了拉取数据，Arbol使用命令服务器来查询数据集发布页面中的新内容。当发现新数据时，命令服务器启动一个数字海洋小滴(一个基于linux的虚拟机)，并将一个"；parse-interpret-compress-hash-verify"；码头容器部署到其中。这是使用一个定制的库来实现的，Arbol将其描述为自制的Lambda。由于亚马逊的Lambda无服务器计算机具有磁盘存储、CPU和RAM的限制，使其不适合Arbol流水线的规模和复杂性，因此该团队开发了自己的工具。

ARBOL的定制库传入Docker映像、入口点和清单(RAM、CPU等)。要创建适当规格的Drop，请将Docker图像放在其上，启动入口点(在本例中为解析阶段)，然后返回结果。然后，此自定义Docker容器构建新内容。在构建过程中，命令服务器轮询容器以获取作业状态。当它完成时，命令服务器通过IPFS管脚同步结果并销毁液滴-这意味着资源密集型液滴只需要在添加/管脚过程中处于在线状态。一旦结果被固定到命令服务器，新的IPFS散列就会被写入head文件，并且监视heads.json更改的守护进程会触发传播到更广泛的网络。但是，一旦将相关散列写入HEADS文件，客户端就可以访问数据。

数据由当前在JavaScript(使用js-ipfs)和Python中实现的自定义客户端库访问。客户端库通过接受人类可读的查询并将其转换为散列来简化查询-首先访问相关数据集的元数据文件，然后获取头部散列，然后以给定语言的适当数据结构返回结果。Arbol的平台还提供有用的实用程序，包括捕捉到网格的功能，用于查找给定数据集的最接近的有效纬度/经度，以及平均化、闰年计算等功能。

所有这些软件包，以及用于从数据和IPFS托管的数据本身构建散列的Docker库，构成了Arbol打算在未来以dWeather&34；(分散化天气)的绰号开源的一套工具。通过dWeather，Arbol计划使其详细的内部方法可公开审计、可共享和可重用。通过这样做，ARBOL将使世界上任何人都能够学习和利用以前深奥或难以获取的天气数据。最终，Arbol团队相信，将开源的价值融入其平台将使他们的客户、气象数据的科学界以及包括更广泛的IPFS生态系统在内的更广泛的世界受益。

Arbol团队将dWeather视为其即将推出的最重要举措之一。这套用于标准化和提供来自各种来源的内容可寻址的天气数据的开源工具将主要面向科学家、学者、政府机构和较小的天气数据收集者。DWeather将包括一组健壮的包和存储库-整个摄取管道的代码，以及使用IPF访问数据的各种客户端库。

安德烈说，我们认为dWeather是一种令人兴奋的方式，可以减少极其深奥的天气数据托管方案和架构，而善意的政府和科学实体自20世纪90年代以来基本上一直在使用这些方案和架构。DWeather的广泛采用不仅会使数据更安全，从而帮助Arbol，还会使这些丰富的数据集(最早可以追溯到19世纪末！)。对更广泛的公众更有效，对错误、丢失、攻击和服务中断的恢复能力更强。"；

Arbol还计划将dWeather与一项即将宣布的服务进行整合，这项服务将允许参与者在愿意的情况下将他们的数据收集和天气预报货币化，为提供专业、信誉良好的天气数据和预报的独立数据提供商打开一个新的、精度评级的市场。

另一个令人兴奋的未来举措是开源和扩展Arbol的数据管道的解释阶段。私营公司目前收取高额费用来访问使用黑盒算法解释的数据。相比之下，Arbol打算开放解释阶段-在可公开审计的执行环境中运行其方法，并将结果发布到IPFS支持的dWeather网络，使这些信息免费并可供所有人使用。有利于天气的科学界对Arbol的客户也有好处：这种可审计的解释可能会减少承销商的工作量，并降低Arbol合同参与者的价格。

我们认为IPF是大数据的Git。当涉及到像天气这样的分布式协作工作时，这是一个极其强大的概念--在那里，你有数千个研究团队从世界各地产生数据，无数个团队将其用于任何可以想象的目的。

注：此案例研究中的指标和其他详细信息是截至2020年9月的最新数据。在此期间，细节可能会发生变化。