谷歌的真正起源部分在于政府对大规模监控的拨款(2017)

2020-06-22 15:03:13

20年前,美国情报界与硅谷密切合作,努力在网络空间追踪公民。谷歌是这个起源故事的核心。导致谷歌雄心勃勃的创造的一些研究是由情报界建立的一个研究小组资助和协调的,该小组的目的是找到在线追踪个人和团体的方法。

情报界希望,国家领先的计算机科学家可以利用非机密信息和用户数据,将其与后来被称为互联网的东西结合起来,并开始创建营利性的商业企业,以满足情报界和公众的需求。他们希望从一开始就指导超级计算革命,以便理解数百万人在这个数字信息网络中所做的事情。这种合作使今天一个全面的公私大规模监控国家成为可能。

刻意创建现代大规模监控国家的故事包含了谷歌令人惊讶但基本上不为人知的起源的元素。这是一个与公众听到的有点不同的创造故事,解释了谷歌联合创始人谢尔盖·布林和拉里·佩奇打算建立什么,以及为什么。

但这不仅仅是谷歌的起源故事:这也是这个大规模监控国家的起源故事,以及资助它的政府资金。

在20世纪90年代中期,美国情报界开始意识到他们有机会。超级计算机界刚刚开始从大学环境迁移到私营部门,领头的是一个后来被称为硅谷的地方的投资。

情报界希望从一开始就塑造硅谷的努力,这样它们才能用于国土安全目的。

一场数字革命正在进行:一场将改变数据收集世界和我们如何理解海量信息的革命。情报界从一开始就希望塑造硅谷的超级计算努力,这样它们就可以用于军事和国土安全目的。这个超级计算网络将能够存储万亿字节的信息,它能智能地理解人类留下的数字踪迹吗?

情报收集可能是他们的主要领域,但中央情报局(CIA)和国家安全局(NSA)已经意识到,他们的未来可能会在政府之外深刻塑造。当时克林顿政府内部的军事和情报预算岌岌可危,私营部门拥有大量资源可供支配。如果情报界想要出于国家安全的目的进行大规模监控,这将需要政府和新兴的超级计算公司之间的合作。

为了做到这一点,他们开始联系创造这场超级计算革命的美国大学的科学家。这些科学家正在开发一种方法,来做任何坐在美国国家安全局和中央情报局的工作站上的人类都不希望做的事情:收集大量数据,并对其进行智能理解。

美国最优秀的科学家和情报界之间的合作已经有很长的历史了,从原子弹和卫星技术的发明到把人送上月球的努力。

事实上,互联网本身是因为情报工作而产生的:在20世纪70年代,负责为军事、情报和国家安全目的开发新兴技术的机构-国防高级研究计划局(DARPA)-连接了四台超级计算机来处理大规模数据传输。大约十年后,它将业务移交给国家科学基金会(NSF),该基金会将网络扩展到数千所大学,最终覆盖了公众,从而创建了万维网的架构和脚手架。

硅谷也不例外。到了20世纪90年代中期,情报界正在为整个学术界最有希望的超级计算努力提供种子资金,指导人们努力使大量信息对私营部门和情报界都有用。

他们通过一个非机密的、高度划分的项目资助这些计算机科学家,该项目由大型军事和情报承包商为中央情报局和国家安全局管理。它被称为海量数字数据系统(MDDS)项目。

MDDS在一份白皮书中被介绍给了斯坦福大学、加州理工学院、麻省理工学院、卡内基梅隆大学、哈佛大学和其他机构的数十名顶尖计算机科学家,这份白皮书描述了中央情报局、美国国家安全局、美国国防部高级研究计划局和其他机构希望实现的目标。这项研究将在很大程度上由像NSF这样的非机密科学机构提供资金和管理,这将允许该架构在私营部门扩大规模,如果它成功实现了情报界的希望。

情报界在其1993年的MDDS白皮书中表示:“不仅活动变得越来越复杂,而且不断变化的需求要求IC[情报界]处理不同类型的数据,以及处理更大量的数据。”因此,IC正在发挥积极作用,鼓励对海量数据库进行有效管理的研究,并确保IC的要求可以被纳入或改编到商业电子产品中。由于这些挑战并不是任何一个机构独有的,社区数据管理人员(CMS)已经委托了一个大规模数字数据系统[MDDS]工作组来解决需求,并确定和评估可能的解决方案。

在接下来的几年里,该计划声明的目标是提供十几笔拨款,每笔数百万美元,以推动这一研究概念的发展。这些拨款主要是通过NSF进行的,这样最有希望、最成功的努力就可以被捕获为知识产权,并成为公司吸引硅谷投资的基础。这种公私创新体系帮助创办了高通(Qualcomm)、赛门铁克(Symantec)、网景(Netscape)等强大的科技公司,并为多普勒雷达和光纤等领域的关键研究提供了资金,这些领域是当今AccuWeather、Verizon和AT&;T等大公司的核心。今天,美国国家科学基金会为基于大学的计算机科学研究提供了将近90%的联邦资金。

美国中央情报局(CIA)和美国国家安全局(NSA)的研究部门希望,学术界最优秀的计算机科学头脑能够识别出他们所说的“物以类聚”:就像大雁一起以大V形飞行,或者成群的麻雀突然和谐地一起移动一样,他们预测,志同道合的人类群体将在网上一起行动。情报界将他们为科学家举办的第一次非机密简报会命名为“物以类聚”的简报会,1995年春在圣何塞的费尔蒙特酒店举行了“关于海量数字数据系统中情报界倡议的羽毛之鸟会议”(Birds of a Feather Session on the Intelligence Community Initiative in海量数字数据系统)。

情报界将他们首次面向科学家的非机密简报命名为“物以类聚”的简报。

他们的研究目标是在迅速扩张的全球信息网络(当时称为万维网)内追踪数字指纹。整个数字信息世界能否被组织起来,以便对人类在这样一个网络中提出的请求进行跟踪和分类?他们的查询可以按重要性顺序链接和排序吗?能否在这个信息海洋中识别“物以类聚”,以便有组织地追踪社区和团体?

通过与新兴的商业数据公司合作,他们的目的是追踪互联网上志同道合的人群,并根据他们留下的数字指纹来识别他们,就像法医科学家使用指纹污点来识别罪犯一样。就像“物以类聚”一样,他们预测潜在的恐怖分子将在这个新的全球互联世界中相互交流--他们可以通过识别大量新信息中的模式来找到他们。一旦这些群体被识别出来,他们就可以随时随地追踪他们的数字踪迹。

1995年,最早也是最有希望的MDDS拨款之一授予了斯坦福大学的一个计算机科学研究团队,该团队与NSF和DARPA的拨款有十年的合作历史。这项拨款的主要目标是“对使用‘查询群’方法描述的非常复杂的查询进行查询优化。”第二笔拨款-DARPA-NSF拨款与谷歌的起源最密切相关-是以互联网为骨干建设大规模数字图书馆的协调努力的一部分。这两项拨款都资助了两名研究生的研究,这两名研究生在网页排名以及跟踪(并理解)用户查询方面取得了快速进步:未来的谷歌联合创始人谢尔盖·布林(Sergey Brin)和拉里·佩奇(Larry Page)。

布林和佩奇在这些拨款下的研究成为谷歌的核心:人们使用搜索功能在非常庞大的数据集中准确地找到他们想要的东西。然而,情报界在他们的研究中看到了一个略有不同的好处:网络能否被有效地组织起来,以便能够唯一地识别和跟踪个别用户?

这一过程非常适合反恐和国土安全工作的目的:可能对国家安全构成威胁的人和志同道合的团体可以在造成伤害之前在网上得到独特的识别。这就解释了为什么情报界认为布林和佩奇的研究工作如此吸引人;在此之前,中央情报局主要利用该领域的人类情报工作来识别可能构成威胁的个人和团体。虚拟跟踪他们的能力(与实地的努力相结合)将改变一切。

这是在短短几年内成为谷歌的开始。负责领导该项目的两名情报社区经理在布林的研究进展中定期与他会面,在他和佩奇离开公司成立谷歌之前,布林是MDDS拨款产生的其他几篇研究论文的作者之一。

这些拨款使布林和佩奇得以完成他们的工作,并为他们在网页排名和跟踪用户查询方面的突破做出了贡献。布林没有为情报界工作,也没有为其他任何人工作。谷歌当时还没有成立。他只是一名斯坦福大学的研究人员,利用美国国家安全局和中央情报局通过非机密MDDS项目提供的拨款。

MDDS的研究工作从来不是谷歌原始故事的一部分,尽管MDDS拨款的主要调查者特别提到谷歌是他们的研究的直接结果:“它的核心技术,使它能够比其他搜索引擎更准确地找到页面,部分得到了这笔拨款的支持,”他写道。在一篇发表的研究论文中,包括了布林的一些关键工作,作者还提到了由MDDS计划创建的NSF拨款。

相反,每个创建谷歌的故事都只提到一项联邦拨款:NSF/DARPA的“数字图书馆”拨款,该拨款旨在允许斯坦福大学的研究人员搜索当时存储在该大学服务器上的整个万维网。例如,斯坦福大学的Infolab在谈到谷歌算法的起源时说:“谷歌算法的开发是在各种计算机上进行的,主要是由斯坦福大学NSF-DARPA-NASA资助的数字图书馆项目提供的。”同样,在谷歌的起源历史上,NSF也只引用了数字图书馆拨款,而不是MDDS拨款。在著名的研究论文“大规模超文本网络搜索引擎的解剖”中,描述了谷歌的创建,布林和佩奇感谢NSF和DARPA为斯坦福大学提供的数字图书馆拨款。但情报界MDDS项目的拨款-专门为谷歌的突破而设计-已经变得模糊不清。

谷歌过去曾表示,它不是由中央情报局资助或创建的。例如,当2006年流传谷歌多年来一直从情报界获得资金以协助反恐努力的报道时,该公司告诉《连线》杂志创始人约翰·巴特尔(John Battelle),“与谷歌有关的声明完全不属实。”

中央情报局是否直接资助布林和佩奇的工作,从而创建了谷歌?不是的。但是,布林和佩奇在他们的拨款的帮助下,是否准确地研究了美国国家安全局、中央情报局和情报界所希望的事情?绝对一点儿没错。

中央情报局和美国国家安全局资助了一个非机密的、分区的项目,该项目从一开始就旨在刺激一些看起来几乎与谷歌一模一样的东西。

要理解这一意义,你必须考虑一下情报界在向学术界最优秀的计算机科学人才提供拨款时试图实现的目标:中央情报局(CIA)和美国国家安全局(NSA)资助了一个从一开始就旨在刺激与谷歌几乎一模一样的东西发展的非机密、分区项目。布林对页面排名的突破性研究是通过跟踪用户查询并将其与进行的许多搜索联系起来-本质上是识别“一羽之鸟”-这在很大程度上是情报界MDDS计划的目标。谷歌的成功超出了他们最疯狂的梦想。

近年来,人们对情报界和商业技术巨头之间的交集的数字隐私担忧有所增加。但大多数人仍然不理解情报界在反恐和国家安全工作中对世界上最大的科技公司的依赖程度。

公民自由倡导团体多年来一直在表达他们对隐私的担忧,特别是在他们现在与爱国者法案有关的情况下。美国公民自由联盟表示:“9/11事件发生45天后,以国家安全的名义匆忙通过了”爱国者法案“,这是监控法众多修改中的第一个,这些修改通过扩大监控电话和电子邮件通信、收集银行和信用报告记录以及追踪无辜美国人在互联网上的活动的权限,使政府更容易监视普通美国人。”“虽然大多数美国人认为它是用来抓捕恐怖分子的,但爱国者法案实际上把普通公民变成了嫌疑犯。”

当被问及这一问题时,最大的科技和通信公司--从威瑞森(Verizon)、美国电话电报公司(AT&;T)到谷歌(Google)、Facebook和微软(Microsoft)--都表示,他们从未故意和主动地向联邦安全和执法机构提供客户的海量数据库:他们表示,他们只回应根据“爱国者法案”(Patriot Act)条款适当提交的传票或请求。

但是,即使粗略地浏览一下最近的公共记录,也会发现持续不断的请求可能会破坏这一隐私承诺背后的意图。根据这些公司向公众提供的数据请求记录,在2016年至2017年的最近报告期间,地方、州和联邦政府当局向Verizon发出了超过26万张传票、法院命令、逮捕令和其他法律请求,寻求与国家安全、反恐或刑事关切相关的信息,向AT&;T提出了超过25万份此类请求,向谷歌发出了近2.4万张传票、搜查令或法院命令。直接的国家安全或反恐请求只占整个请求组的一小部分,但爱国者法案的法律程序现在已经变得如此例行公事,以至于每家公司都有一组员工,他们只负责处理源源不断的请求。

通过这种方式,情报界与大型商业科技公司之间的合作取得了巨大的成功。当国家安全机构需要识别和跟踪个人和团体时,他们知道该向哪里求助-而且经常这样做。这是一开始的目标。它的成功可能超出了当时任何人的想象。

订阅每日简报,这是我们的早间电子邮件,包含您了解不断变化的世界所需的新闻和见解。