请查看亚马逊S3的历史,这是15年前首次亮相的,最初设计用于存储20B对象,到2020年缩放了100T对象

2021-03-13 15:11:10

在2005年底,Don Alvarez只是另一个软件企业家努力在亚马逊工作的朋友邀请他邀请他来看看将改变世界的秘密项目。

Alvarez' S启动,FilmmakerLive,正在为创意专业人士设计在线协作应用程序,并在此时间面临常见问题:存储。 Tech Startups刚刚开始从Dot-Com Era的过度倾斜,并购买昂贵的硬件是一个冒险的危险。购买太少,您的网站崩溃了。买得太多了,你崩溃了。为了启动的混乱生活,这是一个冒险的赌注。

他对自己可以从电子商务公司的电影合作中学到的东西持怀疑态度,但是借着朋友的报价。

" Rudy Valdez吹了我的思想," alvarez告诉议定书。瓦尔德兹然后是AWS的业务开发负责人,当时只提供了少数基本服务。他给了Alvarez,现在是壁画的工程工程总监,一个亚马逊的味道和最重要的和最基本的最基本的产品:S3,基于云的对象存储服务。

S3或简单的存储服务,在本周末15年前首次亮相。这将是之前的几年"云"成为企业计算史上最具破坏性的力量之一。亚马逊甚至在2006年3月14日宣布S3时使用这个词。但是存储服务' S发射立即为alvarez这样的企业家解决了一些非常棘手的问题,并会改变所有业务的想法方式关于购买信息技术。

像Pinterest,Airbnb和Stripe一样的初创公司在未来几年蜂拥而至,以及Netflix这样的老年公司 - 然后是DVD邮寄操作 - 也拍摄了互联网的运营。

"亚马逊在每次启动手中掌握无限的磁盘空间,令人难以置信的低电平,付费,你需要的价格点,没有这样的东西," alvarez说。 "第二部分是他们的API非常简单,我可以挑选它并在使用未发生未经发布的产品的前24小时内接受它的东西。"

S3现在是AWS机器的重要堵塞,去年产生了超过450亿美元的收入。在过去的15年里,它已经在许多不同的方向发展,但在亚马逊最早的日子,亚马逊'亚洲首席技术官员的团队举行了一套由亚洲佛得多的团队制定的设计原则。它的策略。

"我们知道[客户]想要做什么," AWS存储副总裁Mai-Lan Tomsen Bukovec告诉议定书。 "但我们也知道应用程序会发展,因为我们的客户是令人难以置信的创新,以及他们在所有不同行业的所有不同行业中都在做什么。"

"当人们在计算机上思考更大且更快时,他们会想到这一点,"在2014年采访时说,朱德林,在空中和右侧绘制一条线。但是,存储技术已经不同,他说,在一段时间内的长期平原,随后是能力的急剧增加:"它'驾驶我的tesla和飞机之间的区别。"

S3是来自现状的急剧突破之一。这是一个像alvarez这样的开发人员的女神,他不再不得不担心购买和维护昂贵的存储硬件才能做生意。

"我们没有什么可以访问它提供的任何东西,就像S3可以做的那样," alvarez说。 "我觉得有人刚刚把糖果商店给了我的钥匙。"

像大量的AWS,S3出生于亚马逊' S的体验和缩放Amazon.com,从而教授它有很多关于分布式计算的限制和可能性的努力课程。

"设计的强制功能是单个Amazon S3分布式系统必须支持内部Amazon应用程序和任何应用程序的外部开发人员的需求。这意味着它必须足够快,可靠地运行Amazon.com'&#39的网站,而任何开发人员都可以使用它可以将其用于任何数据存储需求," AWS在2006年的S3的原始发布新闻稿中表示。

在云的早期,性能和可靠性是一个巨大的关注点。这些问题尤其令人担忧在达到数据时甚至15年前被理解为公司中最重要的资产之一'他的阿森纳。

"当我们在15年前推出S3时,S3有八个微服务,我们现在有300多个。" Tomsen Bukovec表示,指的是那些小说软件开发实践,将大块的相互依存代码分解为更小,独立的服务。

在微服务周围建立AWS对S3的失败点进行分散,同时还创建一个旨在确认分布式云服务的系统会在发生分布式云服务,并且此类故障应' t将整个系统置于整个系统。

它还允许该公司在未来的增强中划分,而无需打扰系统的核心部分:AWS现在声称S3提供" 11 9S"可靠性,或惊人的99.999999999%的正常运行时间超过自我管理的存储设备。 (其他云存储供应商已匹配此标准。)

S3开始作为单纯Web元素的持有笔生命,如图像和视频,网站运营商在加载页面时将从AWS向浏览器中拉下来。随着时间的推移,随着公司对云存储变得更加舒适,他们开始将各种数据放在S3中。

如果您在过去几年中回顾了任何数量的安全事件,其中大量可以归因于"漏水桶,"参考S3存储的核心单元。这些事件也发生在其他云提供商中,但是给予了AWS' S市场份额' S一个问题,公司必须在许多场合处理许多问题。

AWS在A&#34下运作;共享责任"安全模型:AWS将阻止任何人在物理上访问其服务器或渗透其网络,但客户预计将在合理程度上保护其账户。换句话说,如果有人从解锁车辆的后座窃取你的笔记本电脑,你可以欺骗租赁汽车公司。

然而,云客户又有时间和时间,云客户在未受保护的存储桶中留下了属于自己的客户的敏感数据,向任何可以找到它们的人,这比你想象的更容易。它只是AWS如何发展一些核心产品的一个例子,以满足他们所在的客户,尤其是后来的客户习惯于访问他们需要的所有内部网络所需的一切。

"在一个商业应用程序世界中,您不需要在公司外面访问,或者真正在业务中的一组用户外面," Tomsen Bukovec说。但很明显,AWS需要更多地帮助客户帮助自己帮助自己的帮助,这导致了块公共访问等工具的开发,可以锁定与公司帐户相关联的所有存储库。

在AWS的快速增长早期的亚马逊'着名的"两披萨队"是"既有实力和弱点," alvarez说。

"它使这些服务的每一个服务都以速度向前火箭,这些竞争对手都无法匹配。在早期,它的意思是较少的一致性[和]难以努力,并管理,"他说,注意到经验随着时间的推移而得到改善。

其他安全工具遵循,让客户扫描其帐户以从公共互联网上未经授权的访问,或者为公司内部的不同角色分配不同级别的访问权限。

"我们在哪里看到客户与他们的迁移一起去,他们经常有数百家桶和许多[不同]角色," Tomsen Bukovec对云似乎最容易出错的云的新人说。 "当我们考虑建立什么以帮助客户保护其AWS资源的周边时,我们考虑他们希望如何审计以及他们想如何控制"访问S3内的存储资源。

S3继续在首次亮相之后的几年中发展,它也花了很多便宜:当AWS到达第一次重大的RE:2012年发明开发人员会议时,那周的主要公告是24%达到S3储存价格的减少28%,该公司的24个价格达到该点。

那些价格削减是可能的,因为AWS能够升级潜在的S3服务,作为Alyssa Henry,然后是AWS存储服务的副总裁,在2012年的主题演讲中解释。

S3最初设计用于储存储存的20亿个物体,但它比任何人预期的更快地增长,在第一年内达到90亿个物品。该公司以更高的能力升级了底层存储服务,没有任何对原始S3客户的中断,到2012年,它在存储器上缩放到1万亿对象,到2020年,100万亿。

"真的很酷的是什么是顾客在' t必须做任何事情:你没有出去购买下一个升级 - 亚马逊s3的v2;你没有自己做迁移;你刚刚免费获得它,它刚刚工作,事情变得更好,"亨利现在在2012年活动中表示,他现在执行副总裁兼广场的负责人和#39;卖方部队。 "那个'云与云的差异之一,它已经完成了传统。"

当AWS介绍S3的强效应时,刚刚推出的类似升级。

一致性是一种数据存储概念,可以在它第一次出现时拨动你的大脑;诸如原始S3之类的旧存储系统围绕&#34设计;最终一致性,"这意味着存储服务不会始终能够立即告诉您,如果新的数据已经落入其指定的存储桶,但它会在长时间追赶。

现在,现代应用程序的移动得多,但是,对存储服务进行查询的任何东西都需要知道在预期级别的可用数据的确切,当前列表。因此,在过去几年中,AWS重建S3周围的S3围绕强大的一致性原则,其他云提供商提供,但能够抵御更小的用户群。

"这是一个非常复杂的工程问题," Tomsen Bukovec表示,这是Re:Geekier在AWS用户集中的脱颖而出的公告之一。

当他们进入一个新的十年时,Tomsen Bukovec和她的团队正在寻找途中可以更轻松地在S3数据上进行机器学习,并提高数据湖泊的性能和能力,允许内部细粒度分析 和AWS用户之间的客户数据。 事实上,Covid-19的现代疫苗是在S3数据湖中开发的,Tomsen Bukovec表示。 "我们拥有这一独特的观点,我们建立了超过15年的使用情况,在那里我们可以确定客户正在努力做什么,以及我们如何构建[S3],以便它保持真实的方式 ,经济高效,安全,耐用,可靠,高度性能的储存," 她说。