对36+专家、内部人士和研究人员的采访：Facebook、Google、Lime、Zoom等未能评估新产品的风险，重点放在利润上

病毒式仇恨、选举干预和黑客账户：科技行业数十年来未能正视风险的内幕。

2014年春天的一天，苏珊·贝内什(Susan Benesch)来到位于门洛帕克(Menlo Park)的Facebook总部，被领进一间玻璃墙的会议室。她从华盛顿特区赶来与Facebook的同情研究团队会面，该团队包括员工、学者和研究人员，他们的工作是开发工具，帮助用户直接解决冲突，减少Facebook的干预需求。

贝内施是一名人权律师，也是哈佛大学的一名教师，也是危险演讲项目(Dangge Speech Project)的创始人，该项目是一个非营利性组织，研究在线言论与现实世界暴力之间的联系。她与同情研究团队密切合作，并利用这次会议提出了她注意到的一个严肃问题：缅甸广泛的宗派暴力。

早在它成为头条新闻之前，人权组织就警告说，缅甸军方和部分人口正在策划针对平民的大规模虐待行为，特别是该国的穆斯林罗辛亚少数民族：强迫劳动、性暴力、法外处决、焚烧村庄。人权活动人士说，这些袭击有充分的记录，但缅甸政府否认了这些袭击，这些袭击是在网上协调的，通常是通过Facebook。Facebook预装在大多数手机上，因此成为该国主要的新闻和信息来源。

缅甸和美国的活动人士打电话给贝内什，请求帮助。他们说，Facebook在没有完全掌握该国的政治和文化分歧，或者没有理解危险的情况下，正在泛滥危险的言论-他们与公司解决问题的努力没有得到足够的回应。在与同情团队的会面中，贝内施直言不讳地传达了他们的担忧。

“你在缅甸有这个严重的问题，”她告诉该组织。“发生大规模暴力事件的风险是显而易见的。”

为了解决这个问题，Facebook开始直接与缅甸的活动人士合作，标记危险内容，该公司做出了一些改变，比如将Facebook的社区标准翻译成缅语，并建立了一个快速升级的报告频道。但贝内施和人权活动人士表示，这些变化相对较小，对阻止随之而来的暴力浪潮几乎没有起到什么作用。

Facebook花了几年时间才公开承认自己在2017年联合国最高人权官员所说的“种族清洗的教科书例子”中所扮演的角色。次年，联合国缅甸人权状况特别报告员李仰熙(Yang Hee Lee)强调了这个社交媒体巨头在缅甸的影响力。“我担心Facebook现在已经变成了一头野兽，而不是它最初想要的，”Lee说。

现在的例行公事已经司空见惯：Facebook、Snapchat或Zoom等科技公司在没有完全预料到滥用可能性的情况下推出了一项新产品或服务。然后是道歉，并发誓“要做得更好”。这是一个持续数十年的洗涤-漂洗-重复循环。

然后是道歉，并发誓“要做得更好”。这是一个持续数十年的洗涤-漂洗-重复循环。

2003年，马克·扎克伯格(Mark Zuckerberg)在未经同意的情况下收集了一些哈佛同学的照片，将他们的照片放到facemash.com上。facemash.com是Facebook的前身，该网站邀请学生们对同学进行“热门与否”排名。之后，马克·扎克伯格(Mark Zuckerberg)对许多哈佛同学说，“我希望你们能理解，这不是我的本意，我为我疏于考虑这个网站的传播速度而造成的任何伤害，我深表歉意。”

“我认为，一旦每个人都能自由发言、交流信息和思想，世界就会自然而然地变得更美好。推特联合创始人伊夫·威廉姆斯曾在2008年10月至2010年10月期间担任该公司首席执行官。他在2017年接受“纽约时报”的回顾性采访时表示：“我错了。”采访报道了该平台上的暴力、骚扰和假新闻，并暗示推特可能帮助唐纳德·特朗普赢得了总统大选。(威廉姆斯也是OneZero母公司Medium的创始人兼首席执行官。)。

2020年4月，在疫情最严重的时候，当互联网巨魔用骚扰内容“轰炸”视频通话时，Zoom首席执行官埃里克·袁也为“我们没有预料到的挑战”道歉。

未能正确计算风险是过去十年大多数备受瞩目的科技灾难的核心。批评人士说，这个问题是该行业的地方性问题。微软(Microsoft)首席研究员、康奈尔大学(Cornell University)兼职副教授塔尔顿·吉莱斯皮(Tarleton Gillesbie)表示：“任何类别的有害内容都不是一种反常现象，而是平台的一种状况。”吉莱斯皮是2018年出版的“互联网保管人”(Guadodians Of The Internet)一书的作者。

互联网的“危害状况”及其与风险的直接关系是结构性的。科技行业-从风险资本家到工程师再到创造性的远见卓识者-以其富有活力的狂野西部个人主义精神、傲慢的冒险行为和持久的同质化而闻名。这其中的一些原因可能是该行业的白人和男性的直接结果。二十多年来，研究发现，在美国，有一群特定的男性，主要是白人，地位较高，对个人效能有强烈的信念，他们倾向于以更快的速度接受新技术，同时将潜在威胁降至最低--研究人员将这种现象称为“白人-男性效应”，这是一种保护地位的认知形式。用一项研究的话说，这些发现暴露了“在合理监管风险和民主决策之间调和的一系列新的实践和道德挑战”。

风险评估也经常被忽视，而偏向于利润。Decision Research的联合创始人、风险评估领域的先驱保罗·斯洛维奇(Paul Slovic)告诉OneZero和Type Investigations：“在决策制定过程中，人们的注意力变得集中在[利润]上，而不是人类福利和人道主义社会问题上。”“这可能会导致一些政策，这些政策不一定是故意伤害的，但会在不经意间造成伤害。”

根据对30多名科技行业专家、内部人士和研究人员的采访，这些公司以及包括谷歌、YouTube、Lime和Zoom在内的更多公司一再未能充分评估其产品带来的风险。尤其是Facebook继续成为头条新闻，最近一次是关于国家行为者涉嫌出于政治目的滥用该平台。今年夏天发生的一起大规模高调黑客攻击事件，突显出Twitter也在努力应对风险。历史上以降低风险为任务的安全和安全功能仍然是孤立的，狭隘的技术，对大约50年的决策科学研究一无所知或不屑一顾。

相反，许多科技公司仍然会造成伤害，并在事后道歉。多位消息人士将这一动态归因于“快速行动和突破事物”的后遗症。

亚历克斯·斯塔莫斯(Alex Stamos)曾在2014年至2018年担任雅虎(Yahoo)和Facebook的高级安全主管，他告诉我们：“当你在这些公司工作时，你会不断地从紧急情况转向紧急情况。”“无论是在Facebook还是雅虎，从来都没有发生过火灾。我想不出有哪一点可以坐下来做一些积极主动的事情。“。

每天关于安全漏洞、监控风险、武器化数据、选民操纵、虚假信息、算法偏差、阴谋论、仇恨和骚扰的故事层出不穷，证明了可能的失败数量无限，种类繁多。已经融入我们日常生活的物联网充满了深刻的安全风险。从匆忙设计和发布的与投票相关的应用程序，到对危险的蒸发吊舱、自动驾驶汽车、智能手机爆炸的担忧，以及理应是革命性的血液测试，公司经常发布未经测试、未经验证、不受监管的产品，有时还会发布欺诈性产品。

“当你在这些公司工作时，你就是在不断地从一个紧急情况转向另一个紧急情况。”

识别风险不仅仅是一个技术问题。简而言之，风险评估是指个人或机构为决定什么是可接受的风险而采取的任何行动。重要的是谁在房间里，识别可接受的风险，并采取行动应对。这是政治性的。这是高风险的。而且，据该领域的专业人士称，这一说法被严重误解了。

术语“风险”和“威胁”经常被混为一谈。斯洛维奇说：“风险的语言是模糊和令人困惑的。”“我们用”风险“这个词来表达不同的意思，通常是从一句话到另一句话，而我们并没有意识到这一点。”威胁通常被理解为已知的可能性，可以是自然的(龙卷风)、无意的(编码器的错误)或故意的(恐怖袭击)。从历史上看，威胁一直是安全团队的核心。

另一方面，风险可以理解为发生坏事并影响整个组织的可能性。

“风险管理着眼于组织面临的所有风险的宏观层面，”高地网络联合创始人兼首席执行官、Twitter前首席信息安全官、Mozilla前安全主管迈克尔·科茨(Michael Coates)说。

随着2020年总统大选的临近，科技行业出现问题的风险是有形的、迫在眉睫的。9月中旬，Facebook数据科学家索菲·张(Sophie Zhang)撰写的一份内部文件的该死出版物被泄露给BuzzFeed新闻。

她在一份退出备忘录中写道：“我发现外国政府多次公然企图大规模滥用我们的平台，误导本国公民。”这些国家包括阿塞拜疆、洪都拉斯、印度、乌克兰、西班牙、巴西、玻利维亚和厄瓜多尔。张描述了阻碍通信的竖井和一家优先考虑商业问题而不是“现实世界问题”的公司。虽然她本人并不是脸书“公民诚信”团队的一员，但她的工作经常暴露出公民诚信风险，但却被降级为在“业余时间”进行的宠儿项目的地位。她写道，相对于垃圾邮件，“公民方面被忽视了，因为它的体积很小，它的不成比例的影响被忽视了。”她小心翼翼地注意到，这并不是有意识的恶意企图。相反，她说，“草率和随意的事故”比比皆是。考虑到风险很高，她的观察结果令人担忧-但并不令人惊讶。

OneZero和Type Investigations采访了学者、活动人士以及谷歌(Google)、微软(Microsoft)、Twitter、优步(Uber)和YouTube等大型科技公司的现任和前任员工，以了解他们的公司是如何应对风险的。

我们在Facebook总部逗留了一段时间，并与该公司的高层管理人员进行了广泛的面对面讨论，并通过电子邮件进行了讨论。Facebook披露了有关该公司如何应对风险的重大细节，但该公司愿意回答问题并不是常态。正如YouTube的一位发言人所说，除了说他们正在“持续监测新的威胁”之外，很少有公司描述了识别和评估风险的具体或正式的过程。推特(Twitter)和谷歌(Google)等公司在其网站上提供了降低风险的概括性承诺声明或公共通信链接。我们还联系了最近有高调问题的其他公司，包括Zoom和Snapchat。这些公司的发言人提供了公开可用的政策文件和博客帖子。

在采访中，行业高管、技术专家和安全专家说，“你不可能知道你不知道的东西。”在伤害发生之前，他们对旨在识别可接受风险的决策过程几乎没有什么可说的。

虽然不是所有的风险都是已知的，新技术造成的风险往往是史无前例的，但风险和决策的科学是由半个世纪的研究支持的。核电、银行、环境、食品、汽车、航空航天和医疗行业都有正式的流程，用于在发布新产品或服务之前评估潜在风险。硅谷最杰出的公司应该获得通行证吗？

加州大学洛杉矶分校(University of California，Los Angeles)关键互联网调查中心(Center For Critical Internet Inquisition)联合创始人、“压迫的算法”(Algorithms Of Compression)一书的作者萨菲亚·诺布尔(Safiya Noble)表示：“例如，我们绝不会允许一家制药公司在公众身上进行试验，然后在看到结果后撤回或更换产品。”

那么，如果它们的创造者融合了最好的风险科学，有害的科技产品会是什么样子呢？

那是一个阴沉的12月下午，弗吉尼亚州阿灵顿，也就是风险分析协会2019年年会的第二天，我们第一次见到保罗·斯洛维奇(Paul Slovic)。他是一位82岁的秃头男子，穿着工装裤、跑鞋和一件破旧的羊毛色块毛衣，他正在草草记下关于风险沟通演示的笔记：“不完整。复杂。多学科的。“。

他后来告诉我们，“快速、直观的思维无法扩展，”尤其是涉及到社会价值和人道主义问题时。技术领导者应该更谦虚一些，“因为他们有能力预见到一个强大的系统可能会出现的所有问题，在这个系统中，我们没有决策的经验基础。”他说，第一步是“意识到我们的头脑在欺骗我们，这样我们就可以警惕为什么可以保护我们的系统也会欺骗我们。”

斯洛维奇花了几十年的时间研究风险和决策，以及遇到前所未有的速度、规模和伤害的组织会发生什么。他告诉我们：“人们必须非常努力地思考，才能想象出令人不快的、前所未见的后果。”

1957年，斯洛维奇是一名十几岁的篮球运动员，他已经进入斯坦福大学，计划主修数学。不久之后，他得出结论，他对塑造人类行为的强大力量-好奇心、恐惧、野心、地位、注意力和贪婪-更感兴趣，并将专业转向心理学。

在密歇根大学研究生院时，斯洛维奇被介绍研究风险和决策的心理学。最终，他和他的合作者将确定他所说的“社会赌博”-我们每天面临的风险-的核心机制的深井。他的作品调查了基于经验、身份和情感的认知启发式和偏见，这些都塑造了决策，形成了一套工作准则。斯洛维奇的理论和方法已经应用于公共政策、能源、医学、人权、法律、航空航天、军事、经济和环境等不同领域。

斯洛维奇说，风险评估具有挑战性，因为它迫使我们直面并克服自己的偏见。“决策还伴随着这样一个事实，即如果我们不想看到某些东西，我们很可能就不会去想它们。”如果出现有问题或令人不快的结果，你可能不会非常努力地预测和解决它们。“。

“决策还伴随着这样一个事实，即如果我们不想看到某些东西.”

20世纪70年代，斯洛维奇应邀在核工程师和能源行业高管会议上展示他的工作。斯洛维奇说：“就像今天的技术一样，核电是一项由工程科学和高深的技术知识推动的技术。”工程师们认为自己是房间里最聪明的人-就像今天的技术工程师和首席执行官一样。他们对斯洛维奇描述的关于风险的心理学观点几乎不理解，也不感兴趣。

他和两位合著者在20世纪70年代末写道，当时，核工业“正在不利舆论的滩涂上沉没”。他告诉他的核工程师和科学家的听众，专家和非专业判断之间存在着严重的差异，他们最好能理解这些差异。斯洛维奇警告说，反对核能的声音在全国范围内如雨后春笋般涌现，核科学家不应将公众对风险的担忧视为无知和不理性而不屑一顾。

斯洛维奇说，相反，工程师们认为他是一个麻烦制造者，在“硬科学”和技术专长面前，专注于主观上的不可量化因素-不确定性、价值观、政治、信任问题。出席会议的工程师不能将他们自己--他们的同质性、社会地位、商业动机、感情以及对“非专家”的鄙视--视为风险因素。

“整个过程是主观的和充满价值的，”斯洛维奇在描述他的遭遇和数十年的研究时说。“定义风险是一种权力的行使。”

然后，核工业敲响了警钟。凌晨4点左右。1979年3月28日，宾夕法尼亚州三里岛核电站的2号机组反应堆发生故障，导致部分熔毁。一份调查报告发现，该工厂的设计存在缺陷，其员工没有接受过应对紧急情况的培训。不久之后，美国核管理委员会(U.S.Nuclear Regulatory Commission)为斯洛维奇与同事、决策研究公司(Decision Research)联合创始人巴鲁克·菲施霍夫(Baruch Fischhoff)和萨拉·利希滕斯坦(Sarah Lichstein)提供资金，以编制一份“可接受风险”指南。

“可接受的风险问题是决策问题，”他们在1980年发表的结果报告中写道。“他们需要在两种选择之间做出选择。这一选择取决于所考虑的替代方案、价值观和信仰。“。

风险分析最初是作为工程师和政治家的“客观”工具，他们需要更多的事实来理解和控制新技术带来的风险，特别是在航空航天和核工业中。在20世纪70年代和80年代，私营部门、行业协会、学术界、研究中心和联邦政策层面的社区围绕这一主题联合起来，工程师、研究人员和监管机构构建特定于行业的流程和控制。

今天，一大批公司为您能想象到的几乎任何集体、部门或公司提供信息安全和风险管理服务-惠普、雀巢、国家气象局和密歇根州都提供了风险管理服务。据估计，这个行业每年吸引的收入超过1300亿美元。

现在，批评人士说，科技行业现有的应对风险的方法已经过时了--这种方法植根于狭义的做法，归入法律和信息安全部门，专注于版权等可量化和离散的东西。信息安全传统上专注于阻止已知对手对系统的“攻击”，这让公司很容易被滥用。批评人士说，2020年，科技行业的风险评估实践还必须考虑到对社会价值的保护，比如获取准确信息。

斯洛维奇和他的同事们认为，征求公众的意见对于克服内部偏见和盲点以及避免未来的问题至关重要。正如他们在1980年所说的那样：“早期的公众参与可能会导致需要更长时间才能做出的决定，但更有可能会坚持下去。”

评估部分核熔毁的风险和评估社交媒体平台被用来侵入选举的风险可能看起来截然不同--但有共同点。这两个行业都声称要改变世界；两个行业都有早期的批评者和公民社会倡导者警告潜在的危害；两个行业都是由白人、有权势的人主导的，他们倾向于将批评者斥为主观的、情绪化的、无理的和消息灵通的。

批评人士说，2020年，科技行业的风险评估实践也必须考虑到对社会价值观的保护。

两家公司都匆忙将自己的产品推向市场，将技术和商业目标置于社会和人道主义考虑之上。今天的技术领导者仍然倾向于优先考虑技术修复-更好的算法、更快的处理器、改进的功能-而不是努力改善DEC的结构。

.