风险创造者：核能，汽车和食品行业

病毒式仇恨，选举干扰和帐户被黑：在技术行业数十年来未能考虑风险的情况下

2014年的一个春日，苏珊·贝内施（Susan Benesch）到达了位于门洛帕克（Menlo Park）的Facebook总部，并被带进了玻璃墙会议室。她从华盛顿特区出发，与Facebook的同情研究小组会面，该小组的成员包括员工，学者和研究人员，他们的工作是建立可帮助用户直接解决冲突的工具，从而减少了Facebook的干预需求。

Benesch是一名人权律师，是哈佛大学的一名教授，也是危险言语项目（Dangerous Speech Project）的创始人，该机构是研究在线言语与现实暴力之间关系的非营利组织，与同情研究小组紧密合作，并利用这次会议提出了建议她注意到的一个严重问题是：缅甸广泛的宗派暴力。

早在成为头条新闻之前，人权组织就警告说，缅甸军方和部分人口正在策划对平民，尤其是该国罗兴亚穆斯林少数群体的大规模虐待：强迫劳动，性暴力，法外处决，烧毁村庄。人权活动家说，缅甸政府对袭击事件进行了充分记录，但遭到了缅甸政府的拒绝，目前正在通过网络协调并经常通过Facebook进行协调。 Facebook预先安装在大多数手机上，因此成为该国的主要新闻和信息来源。

缅甸和美国的激进分子打电话给贝内希，并寻求帮助。他们说，Facebook在传播危险言论时没有完全掌握该国的政治和文化分歧，也没有理解该危险–他们为解决该公司的问题所作的努力并未得到足够的回应。在同情小组的会晤中，贝内希直率地表达了他们的关切。

她对小组说：“缅甸存在严重问题。” “存在大规模暴力的明显风险。”

为了解决这个问题，Facebook开始直接与缅甸的激进分子合作，举报危险内容，并且公司做出了一些改变，例如将Facebook的社区标准翻译成缅甸语，并建立了快速上报渠道。但贝内斯和人权活动家说，这些变化相对较小，并没有阻止随后的暴力浪潮。

Facebook花费了数年的时间才公开承认其在2017年联合国最高人权官员所说的“种族清洗的教科书范例”中的作用。次年，联合国缅甸人权状况特别报告员李洋希（Yanghee Lee）强调了社交媒体巨头在缅甸的影响力。 Lee表示：“恐怕Facebook现在已变成野兽，而不是它最初的意图。”

现在已经很习惯了：Facebook，Snapchat或Zoom之类的科技公司在未完全预料到滥用可能性的情况下推出了新产品或服务。然后道歉，并发誓“做得更好”。这是一个反复进行数十年的清洗漂洗循环。

然后道歉，并发誓“做得更好”。这是一个反复进行数十年的清洗漂洗循环。

“我希望你明白，这不是我要走的路，我为忽略该网站的传播速度而造成的任何伤害表示歉意，”马克·扎克伯格对许多哈佛同学说。 2003年，他未经允许就收集了他们的照片，并将其填充到facemash.com（Facebook的前身）上，该网站邀请学生对同学进行“热门与否”排名。

“我认为一旦每个人都能畅所欲言并交流信息和想法，世界就会自动变得更好。 Twitter的联合创始人埃夫·威廉姆斯（Ev Williams）在2008年10月至2010年10月期间担任公司首席执行官，他在2017年对《纽约时报》的回顾性采访中表示，该报道涵盖了平台上的暴力，骚扰和虚假新闻，对此我错了，以及有关Twitter可能帮助唐纳德·特朗普（Donald Trump）赢得总统职位的建议。 （威廉姆斯还是OneZero母公司Medium的创始人兼首席执行官。）

2020年4月，在疫情最严重的时候，互联网巨魔骚扰了内容的“ Zoombombed”视频通话，Zoom首席执行官Eric Yuan也道歉-对于“我们没有预料到的挑战”。

未能正确计算风险是过去十年中最引人注目的技术灾难的核心。评论家说，这个问题是该行业特有的。微软首席研究员，康奈尔大学兼职副教授，2018年《互联网托管人》的作者塔勒顿·吉莱斯皮（Talleton Gillespie）表示：“任何种类的有害内容，不是畸变，而是平台的条件。”

互联网的“危害条件”及其与风险的直接关系是结构性的。从风险投资家到工程师再到富有创造力的有远见的高科技行业，以其罢工丰富的狂野西部个人主义精神，大胆的冒险精神和持久的同质性而闻名。其中一些可能是该行业的白人和男性的直接结果。二十多年来，研究发现，在美国，以男性为主的特定人群中，具有较高地位和对个人效能的强烈信念，倾向于接受具有更大敏捷性的新技术，同时将其潜在威胁降至最低。研究人员称这种“白人男性效应”是一种保护身份的认知形式。用一项研究的话来说，研究结果揭示了“在合理调整风险与民主决策之间达成一系列新的实践和道德挑战。”

风险评估通常也被忽略，而倾向于利润。 “在决策过程中，注意力变得集中在[利润]上，而不是人类福利，人道主义社会问题上，”决策研究联合创始人，风险评估领域的先驱Paul Slovic告诉OneZero和Type Investigations。 “那会导致政策不一定是有害的，但却会无意间造成伤害。”

根据对三多名技术行业专家，内部人士和研究人员的采访，这些公司以及包括Google，YouTube，Lime和Zoom在内的更多公司反复未能充分评估其产品带来的风险。尤其是Facebook继续成为头条新闻，最近一次是有关据称国家行为者出于政治目的滥用该平台的报道。今年夏天，一次大规模的备受瞩目的黑客事件突显了Twitter也是如何努力应对风险的。从历史上讲，降低风险的安保和安全功能一直处于孤立状态，技术狭窄，对决策科学研究已有50多年的了解或无知。

取而代之的是，许多科技公司仍在造成伤害并为此道歉。多个消息人士将这种动态归因于“快速行动并打破事物”的宿醉。

“在这些公司工作时，您会不断地从紧急状态过渡到紧急状态，” 2014年至2018年期间担任Yahoo和Facebook最高安全主管的Alex Stamos告诉我们。 “ Facebook或Yahoo从来没有生火。我无法想到可以坐下来做点积极的事情。”

每天都有大量有关安全漏洞，监视风险，武器化数据，选民操纵，虚假信息，算法偏见，阴谋论，仇恨和骚扰的故事证明了无数的数量和各种可能的失败。物联网已经渗透到我们的日常生活中，其中充满着深远的安全风险。从匆忙设计和发布与投票相关的小故障应用程序到对危险的蒸汽吊舱，自动驾驶汽车，爆炸性的智能手机以及据说是革命性的验血的担忧，公司经常发布未经测试，未经验证，未经监管的产品，有时甚至是欺诈性产品。

“在这些公司工作时，您会不断地从紧急状态过渡到紧急状态。”

识别风险不仅仅是一个技术问题。简单来说，风险评估是由个人或机构采取的任何行动，以确定可接受的风险。重要的是，谁在会议室中确定可接受的风险并采取应对措施。这是政治性的。这是高风险的。而且，据具有该领域专业知识的消息人士称，这被深深误解了。

术语“风险”和“威胁”经常混为一谈。 “风险的语言是模糊和混乱的，”斯洛维奇说。 “我们使用风险一词来表示不同的含义，通常从一个句子到下一句话，但我们没有意识到。”威胁通常被理解为已知的可能性，可能是自然的（龙卷风），无意的（编码人员的错误）或有意的（恐怖袭击）。从历史上看，威胁一直是安全团队的首要目标。

另一方面，风险可以理解为发生不良事件并影响整个组织的可能性。

Altitude Networks联合创始人兼首席执行官，Twitter的前首席信息安全官和Mozilla的前安全主管Michael Coates说：“风险管理正在研究组织面临的所有风险的宏观水平。”

随着2020年总统大选迫在眉睫，技术失误的风险是切实而直接的。 9月中旬，由Facebook数据科学家Sophie Zhang撰写的一份内部文件的诅咒出版物被泄露给BuzzFeed News。

她在一份退出备忘录中写道：“我发现外国政府多次公然企图大规模滥用我们的平台来误导本国公民，”她在阿塞拜疆，洪都拉斯，印度，乌克兰，西班牙，巴西，玻利维亚和厄瓜多尔的退出备忘录中写道。张描述了孤立的孤岛阻碍了沟通，而一家公司则将业务问题置于“现实世界中的问题”之上。尽管她本人并不属于Facebook的“公民诚信”团队，但她的工作经常暴露出公民诚信风险，但被降级为“业余时间”进行的宠物项目。相对于垃圾邮件，她写道：“由于它的体积小，其不成比例的影响而被忽略了。”她仔细地指出，没有自觉的恶意意图。她说，取而代之的是“四处碰碰事故”。鉴于赌注很高，她的观察令人震惊-但并不奇怪。

OneZero和Type Investigations与主要科技公司（包括Google，Microsoft，Twitter，Uber和YouTube）的学者，活动家以及现任和前任雇员进行了交谈，以了解他们的公司如何应对风险。

我们在Facebook总部度过了时光，并亲自或通过电子邮件与公司的高层管理人员进行了广泛的讨论。 Facebook透露了有关该公司如何应对风险的重要细节，但该公司是否愿意回答问题并不是正常现象。正如YouTube发言人所说，除了说他们正在“持续监控新威胁”之外，很少有公司描述用于识别和评估风险的特定或正式流程。 Twitter和Google等公司在其网站上提供了降低风险的通用承诺声明或公共通信链接。我们还与其他最近引起关注的公司联系，包括Zoom和Snapchat。这些公司的发言人提供了公开的政策文件和博客文章。

在采访中，行业主管，技术人员和安全专家说：“您不知道自己不知道的事。”他们对于危害事实发生之前旨在确定可接受风险的决策过程几乎没有意见。

尽管并非所有风险都是已知的，而且新技术创造的风险通常是空前的，但风险和决策科学却有半个世纪的研究作为后盾。核电，银行，环境，食品，汽车，航空航天和医疗行业都有正式的流程，例如在发布新产品或服务之前评估潜在风险。硅谷最杰出的公司应该通过吗？

“例如，我们永远不会允许制药公司在公众面前进行实验，然后在看到发生的情况后，撤回或更改产品，”压制算法的作者，关键研究中心的联合创始人萨菲亚·诺布尔说加州大学洛杉矶分校的互联网查询。

那么，如果有害技术产品的创造者整合了最好的风险科学，那将会是什么样？

在风险分析协会2019年年会的第二天，这是弗吉尼亚州阿灵顿市灰色的十二月下午，那是我们第一次见到保罗·斯洛维奇的时候。一个秃顶的男人，身高82岁，穿着工装裤，慢跑鞋和一件破旧的羊毛色块毛衣，当时他正记着关于一次风险通报的笔记：“不完整。复杂。多学科的。”

他后来告诉我们：“快速，直觉的思维无法扩展”，尤其是在涉及社会价值和人道主义问题时。技术领导者最好表现出谦逊的态度，“他们有能力预见到强大的系统可能会产生的所有问题，而我们没有经验的决策依据。”他说，第一步是“要意识到我们的思维在玩弄我们，因此我们可以警惕为什么可以保护我们的系统也会欺骗我们。”

Slovic花了数十年的时间研究风险和决策，以及组织遇到前所未有的速度，规模和危害时所发生的情况。他对我们说：“人们必须想出难以置信的难以想象的不良后果和前所未有的后果。”

1957年，斯洛维克（Slovovic）是一名少年篮球运动员，他就读于斯坦福大学，主修数学专业。不久之后，他得出结论，他对塑造人类行为的强大力量（好奇心，恐惧，野心，地位，注意力，贪婪）更加感兴趣，并将专业转向心理学。

在密西根大学（University of Michigan）研究生院学习期间，斯洛维奇（Slovic）被介绍从事风险与决策心理学研究。最终，他和他的合作者将找到一种深刻的机制，这对于他所谓的“社会赌博”至关重要-我们每天都会面临的风险。他的工作调查了基于经验，身份和情感的认知启发式和偏见，这些启发式和偏见塑造了决策制定能力，发展了工作规范。斯洛维奇的理论和方法已广泛应用于公共政策，能源，医学，人权，法律，航空航天，军事，经济和环境等领域。

斯洛维奇说，风险评估具有挑战性，因为它迫使我们面对和克服自己的偏见。 “决策还伴随着这样一个事实，即如果我们不想看到某些事物，我们很可能不会想到它们。如果结果有问题或令人不愉快，您可能不会很努力地预期和解决这些问题。”

“决策还伴随着这样的事实，即我们不想看到某些事物。”

1970年代，斯洛维奇受邀在核工程师和能源行业高管会议上介绍他的工作。斯洛维奇说：“像今天的技术一样，核能是由工程科学和丰富的技术知识驱动的技术。”工程师将自己视为会议室中最聪明的人-与今天的技术工程师和首席执行官不同。他们对Slovic所描述的风险的心理学观点知之甚少。

当时，他和两位合著者在1970年代后期写道，当时，核工业正“在公众舆论的低潮中立足”。他对核工程师和科学家的听众说，专家的判断与非专业的判断之间存在严重的差异，他们很容易理解它们。斯洛维奇警告说，全国范围内对核电的反对正在如火如荼地展开，核科学家们不应将公众对风险的担忧视为无知和非理性。

斯洛维奇说，相反，工程师将他视为麻烦制造者，面对“硬科学”和技术专长，专注于主观的无法量化的因素-不确定性，价值，政治，信任问题。与会的工程师不能将自己的同质性，社会地位，商业动机，感情和对“非专家”的鄙视视为危险因素。

“整个过程都是主观的且充满价值，”斯洛维奇说，描述了他的遭遇和数十年的研究。 “定义风险是一种权力的行使。”

然后，核工业接到了警钟。 1979年3月28日凌晨4点左右，宾夕法尼亚州三英里岛核电站的2号机组反应堆发生故障，导致部分熔毁。一份调查报告发现，该工厂的设计存在缺陷，并且其员工未经紧急情况培训。不久之后，美国核管理委员会与Slovic和同事以及Decision Research联合创始人Baruch Fischhoff和Sarah Lichtenstein一起为Slovic提供了资金，以制定“可接受风险”的指南。

他们在1980年发表的报告中写道：“可接受的风险是决策问题。它们需要在替代方案之间做出选择。这种选择取决于所考虑的替代方案，价值和信念。”

风险分析最初是为工程师和政治家提供的“客观”工具，他们需要更多的事实来理解和控制新技术带来的风险，特别是在航空航天和核工业中。整个社区在1970年代和1980年代在私营部门，行业协会，学术界，研究中心以及联邦政策级别围绕该主题结成联盟，工程师，研究人员和监管机构建立了针对特定行业的流程和控制措施。

如今，许多公司可以为您可以想象的几乎所有集体，部门或公司提供信息安全和风险管理服务-惠普，雀巢，美国国家气象局，密歇根州都已征集了风险管理服务。据估计，该行业每年可带来1300亿美元的收入。

现在，批评家们说，技术行业现有的风险处理方法已经过时，这种方法植根于狭义的实践中，并下放到专注于可量化和离散（例如版权）的法律和信息安全部门。 Infosec的传统重点是阻止已知对手对系统的“攻击”，这使公司容易滥用。评论家说，在2020年，科技行业的风险评估做法还必须考虑到对社会价值的保护，例如获得准确的信息。

斯洛维奇和他的同事认为，征求公众的意见对于克服内部偏见和盲点并避免未来出现问题至关重要。正如他们在1980年所说的那样：“早期公众的参与可能会导致做出更长的决策时间，但更有可能坚持下去。”

评估部分核危机的风险并评估社交媒体平台被用来篡改选举的风险可能看起来大不相同-但有一个共同点。这两个行业都对改变世界提出了很高的要求。这两个行业都有早期批评家和民间社会倡导者警告潜在危害；两者都由白人有权势的人所统治，他们倾向于以批评者的主观，情感，不合理和缺乏见识的方式来解斥批评家。

评论家说，2020年，科技行业的风险评估做法还必须考虑到对社会价值的保护。

两家公司都将其产品推向市场，将技术和商业目标置于社会和人道主义关注之上。当今的技术领导者仍然倾向于优先考虑技术修复-更好的算法，更快的处理器，改进的功能-而不是努力改善dec的结构

......