Facebook如何沉迷于传播错误信息

它是2018年3月23日，罗布里奇分析仪式的探索之后的几天，这是一项关于唐纳德特朗普2016年总统选举活动的咨询，偷偷地从他们的Facebook帐户中汲取了数千万美国人的个人数据，以试图影响如何他们投了投票。这是Facebook的历史中最大的隐私违约力，此前预定Quiñonero在该会议上发言，其中包括“AI，道德和隐私”在该公司的会议上发言。他考虑取消，但在与他的通信总监辩论后，他一直在规定的时间。

当他加紧面对房间时，他开始录取。 “我在Facebook的任期里刚刚最艰难的五天，”他记得说。 “如果有批评，我会接受它。”

这个故事仅适用于订阅者。不要满足于一个故事的一半。获取免费访问PayWall的技术新闻为此处和现在。

现在已经订阅了订阅者？登入

你已经阅读了所有免费故事。麻省理工学院技术评论为有关技术的信息提供了一个智能和独立的过滤器。

现在已经订阅了订阅者？登入

剑桥分析丑闻将使Facebook最大的宣传危机启动。它更加复杂的是，确定人们在平台上看到的算法正在放大假新闻和仇恨言论，俄罗斯黑客已经武器化了他们试图在特朗普的青睐中摇曳选举。百万开始删除该应用程序;员工留在抗议;该公司的市场资本化在7月份盈利呼叫后的超过1000亿美元。

在随后的月份，Mark Zuckerberg开始道歉。他为Facebook的责任的“足够宽阔的观点”以及作为首席执行官的错误而道歉。在内部，谢丽尔桑德堡是首席运营官，启动了两年的民权审计，建议公司可以防止使用其平台来破坏民主的方式。

最后，麦克斯·施罗佩弗，Facebook的首席技术官，要求Quiñonero开始一个团队的指令，这有点模糊：检查公司算法的社会影响。本集团名为自己的社会和AI实验室（帆）;去年它与另一个团队相结合，致力于数据隐私问题形成负责任的AI。

Quiñonero是这份工作的自然选择。他和任何人一样，是一个负责Facebook作为AI强国的地位的人。在他在Facebook的六年中，他创造了一个针对用户的一些算法，以便精确地定制了他们的兴趣，然后他将这些算法遍及整个公司。现在他的任务是使他们不那么有害。

Facebook一直指出Quiñonero和其他人的努力，因为它寻求修复其声誉。它经常击退各种领导人，谈到媒体正在进行的改革。 2019年5月，它批准了一系列与纽约时报的施罗佩斯的一系列访谈，该公司奖励了该公司的人性化的敏感，善意高管争夺努力克服滤除错误信息和仇恨讲话的技术挑战内容流每天达数十亿件。这些挑战是如此困难，使得斯皮罗佩比情绪化，写下了时代：“有时会让他泪流满面。”

在2020年春天，它显然轮到了。 Facebook的AI Communications Director，在电子邮件中询问，如果我想深入了解公司的AI工作，请在电子邮件中询问。在与其几个领导者交谈后，我决定专注于Quiñonero。幸福义务。不仅是负责任的AI团队的领导者，而且还是将Facebook的人纳入AI驱动的公司，Quiñonero是一个坚实的选择，可以作为一个海报男孩。

他似乎也似乎是一个自然的选择。在剑桥分析丑闻之后他组建了他的团队以来，对Facebook上的谎言和仇恨言论的担忧才会发展。 2018年底，该公司承认这项活动有助于促进缅甸的种族灭绝反穆斯林竞选几年。在2020年，Facebook开始姗姗来迟地采取了抵御大屠杀旦尼斯，反婆梦者和阴谋运动Qanon的行动。所有这些危险的虚假都是由于Quiñonero帮助建立的AI功能而转移。支撑Facebook的业务的算法未创建以筛选出虚假或炎症;他们旨在通过向他们展示他们最有可能被愤怒或刺激的东西来使人们分享并与尽可能多的内容。修复这个问题对我来说，似乎是核心负责的AI领土。

我经常开始录音Quiñonero。我还与Facebook高管，当前和前雇员，行业同行和外部专家谈过。许多人谈到了匿名的条件，因为他们已经签署了不可思议的协议或担心报复。我想知道：Quiñonero的团队在仇恨和谎言上是什么？

但entin和Quiñonero有一个不同的议程。每次我尝试提出这些主题时，我的请求就会删除或重定向。他们只想讨论负责任的AI团队的计划，以解决一种特定的问题：AI偏见，其中算法区分特定用户组。一个例子是一个广告目标算法，为白人提供某些工作或住房机会，但不是少数群体。

在成千上万的骚乱者中，1月份袭击了美国国会大厦，部分组织在Facebook上，由谎言引发了一个被禁止在平台的被盗选举，从我的谈话中很清楚，负责任的AI团队未能做出反对误导和仇恨言论的始终，因为它从未让这些问题成为主要关注点。更重要的是，我意识到，如果它试图，它将被设置为失败。

原因很简单。公司所做的一切并选择不从一个动机中流动：Zuckerberg对增长的不懈渴望。 Quiñonero的AI专业知识增强了增长。他的团队在我的报告中学到的是，因为我在报告中学到了这种偏见，因此可以帮助公司避免可能，如果通过，那么如果通过，那么妨碍这种偏见，那么如果通过，那么妨碍这种增长，那就可以避免提出规定。 Facebook领导层也一再削弱或停止了许多举措，意味着在平台上清理误导，因为这样做会破坏那种增长。

换句话说，负责任的AI团队的工作 - 无论其对解决AI偏见的具体问题的优点 - 都与解决更大的错误信息，极端主义和政治极化的问题是无关紧要的。这是我们支付价格的所有人。

“当你在最大化参与的业务时，你对真相并不感兴趣。你对伤害，分裂，阴谋感兴趣。事实上，这些是你的朋友，“加州大学伯克利教授Hany Farid说，与Facebook合作，了解平台上基于图像和视频的错误信息。

“他们总是足以让新闻稿释放出来。但是有一些例外，我认为这实际上是转化为更好的政策。他们从来没有真正处理基本问题。“

2012年3月，Quiñonero访问了湾区的一位朋友。当时，他是Microsoft Research的英国办公室的经理，领导一支使用机器学习的团队，让更多的访客点击公司搜索引擎，Bing显示的广告。他的专业知识很少见，球队不到一岁。机器学习，AI的子集尚未证明自己是对大规模行业问题的解决方案。很少有科技巨头已经投资了该技术。

Quiñonero的朋友想展示他的新雇主，硅谷的最热门初创公司：Facebook，那么八岁，已经拥有接近十亿的活跃用户（即，过去30年至少登录过一次的人天）。正如Quiñonero走在Menlo Park总部，他看了一个孤独的工程师向网站发放重大更新，这将在微软涉及重要的繁文缛节。这是一个令人难忘的介绍，Zuckerberg的“速度快速打破”精神。 Quiñonero是可怕的。在一周内，他通过采访并签署了加入公司的提议。

他的到来不可能更好的时间。由于公司正在为其IPO准备，Facebook的广告服务是在快速扩张的中间。目标是增加收入并采取谷歌，其中狮子的份额在线广告市场。机器学习，可以预测哪种广告会使哪些广告最适合使用哪些用户，从而使它们更有效，可能是完美的工具。开始后不久，Quiñonero被提升为管理一个类似于他在微软领导的团队。

与传统算法不同，通过工程师，机器学习算法“列车”在输入数据上以学习其中的相关性。培训的算法称为机器学习模型，然后可以自动化未来的决策。例如，在广告数据上训练的算法可能会发现妇女比男性更频繁地单击瑜伽腿部的广告。然后，所得到的模型将更多地用于女性的广告。今天在像Facebook这样的基于AI的公司，工程师会产生无数模型，略有变化，看看哪一个在给定的问题上表现最佳。

Facebook的大量用户数据给出了Quiñonero一个很大的优势。他的团队可以制定学习的模型，不仅仅是广泛的类别，也是像“女性”和“男人”这样的广泛类别，而是非常细粒度的类别，如“25到34之间的女性，他们喜欢与瑜伽相关的Facebook页面”和目标广告给他们。统治的更精细植物，越好的点击机会越好，这将使广告商更加抨击他们的降压。

在一年内，他的团队开发了这些模型，以及更快地设计和部署新的工具。之前，它已经拍摄了Quiñonero的工程师六到八周的建造，火车和测试一个新的模型。现在它只花了一个。

成功的新闻很快传播。在确定其个人新闻饲料上看到哪些帖子的团队希望申请相同的技术。正如算法可以接受训练以预测谁会点击什么广告，他们也可以接受培训，以预测谁希望或共享哪个帖子，然后给予这些帖子更加突出。如果模型确定一个人真正喜欢狗，例如，关于狗的朋友帖子将在该用户的新闻源上看起来更高。

Quiñonero与新闻的成功伴随着令人印象深刻的新AI研究，在公司之外进行 - 引起了Zuckerberg和Schropefer的注意。 Facebook现在拥有超过10亿用户，使其比任何其他社交网络大超过八倍，但他们想知道如何继续这种增长。高管决定在AI，互联网连接和虚拟现实中进行大量投资。

他们创造了两个AI团队。一个是公平的，一个基本的研究实验室，可以推进技术的最先进的能力。另一种应用机器学习（AML）将这些功能集成到Facebook的产品和服务中。 2013年12月，经过几个月的求助和劝说，高管招募了Yann Lecun，领域最大的名字之一，以展会。三个月后，Quiñonero再次推广，这次是引导AML。 （它后来更名为FAIAR，发表了“火”。）

“这就是你知道在他的想法。我总是，几年来，来自马克桌子的几步。“ JoaquinQuiñonero坎德拉

在他的新角色中，Quiñonero为Facebook访问的任何人都建立了一个新的模型开发平台。被称为FBlearner流程，它允许工程师在几天内培训和部署机器学习模型的工程师。到2016年中期，它曾在四分之一的Facebook的工程团队中使用，并已被用来培训超过一百万个模型，包括图像识别，广告目标和内容审核的模型。

扎克伯格对让全世界使用Facebook的痴迷发现了一种强大的新武器。团队以前使用过设计策略，如试验通知的内容和频率，试图更有效地挂钩用户。除其他外，他们的目标是增加一个名为L6 / 7的指标，这是登录Facebook的人数前七天的六个。 L6 / 7只是Facebook已经测量了“参与”的多种方式之一---人们以任何方式使用其平台的人，无论是通过发布事物，评论它们，喜欢或分享它们，还是只是看着它们。现在，由工程师分析一次的每个用户交互都被算法分析。这些算法正在创造更快，更个性化的反馈循环，以便调整和定制每个用户的新闻源以保持亮起啮合号码。

扎克伯格坐在20号大厦市中心，梅洛公园总部的主要办公室，将新博览会和AML队伍安置在他身边。许多原来的ai雇用如此接近，他的办公桌和他们的桌子几乎是触摸。它是“内心的阴道”，AI ORG的前领导者（包含其所有AI队的Facebook的分支机构），他回顾了CEO随着他们获得或失去偏袒的人进出了他的附近。 “这就是你如何知道他的想法，”Quiñonero说。 “我总是，几年来，来自马克桌子的几步。”

随着新的机器学习模型每天上网，公司创建了一个新的系统，以跟踪其影响并最大限度地提高用户参与。这个过程今天仍然是一样的。团队在FBlearner上培训新的机器学习模型，无论是更改帖子的排名顺序还是更好地捕获违反Facebook社区标准的内容（其关于在平台上的内容和不允许的内容）。然后，他们在Facebook用户的小型子集上测试新模型，以衡量它如何改变参与度量，例如喜欢的喜欢，评论和股份数，他是2016年至2018年新闻饲料的工程经理。

如果模型减少了太多的参与，则丢弃。否则，它已部署并不断监视。在Twitter上，Gade解释说，他的工程师将在每隔几天收到通知，例如喜欢或评论的指标。然后，他们破译了导致问题以及是否需要刷新的任何模型。

但这种方法很快造成了问题。最大化参与的模型也有利于争议，错误信息和极端主义：简单地说，人们就像蛮横的东西一样。有时这可能会对政治紧张局势发生。最毁灭的迄今为止是缅甸的情况，其中有些病毒假新闻和仇恨讲话穆斯林少数民族升级了该国的宗教冲突，进入了一个全面爆炸的种族灭绝。 Facebook于2018年承认，经过多年的落户作用，它还没有完成“帮助防止我们的平台用于贩卖划分并煽动离线暴力。”

虽然Facebook可能一直对这些后果一开始，但它在2016年之前研究了他们。在那一年的内部介绍中，由Warl Street Journal审查Monica Lee的公司研究员发现Facebook不仅举办了一个大量的极端主义团体，但也促进其用户：“所有极端主义团队的联盟的64％是由于我们的推荐工具，”演讲说，主要感谢“你应该加入的团体的团体”背后的模型和“发现”特征。

“领导力的问题是：如果你发现有人处于脆弱的心态，我们应该优化参与订婚吗？” 2018年加入的前AI研究员

2017年，Facebook的长期首席产品官员克里斯科克斯成立了一个新的任务队，了解最大限度地提高Facebook的用户参与是否有助于政治极化。它发现确实存在相关性，并且降低极化将意味着在接触时受到打击。在2018年中期的记录中，工作队提出了几种潜在修复，例如调整推荐算法，为人们加入的人提供更多样化的团体。但它承认，一些想法是“抗真实的”。大多数提案都没有向前迈进，并且任务力量解散。

从那时起，其他员工已经证实了这些发现。在2018年加入的前者Facebook AI研究员表示，他和他的团队在学习后进行了“学习”，确认了相同的基本思想：最大化参与的模型增加了极化。他们很容易跟踪用户在不同问题上同意或不同意的强烈用户，他们喜欢与之从事的内容以及他们的立场如何改变。无论问题如何，模型都会学到为用户越来越极端的观点。 “随着时间的推移，他们衡量地变得更加极化，”他说。

研究人员的团队还发现，用户倾向于发布或与忧郁内容进行倾向 - 抑郁症的可能迹象 - 可能很容易螺旋地消耗越来越消极的物质，冒着进一步恶化他们的心理健康。该团队建议调整这些用户的内容排名模型，以便单独停止最大化参与，因此它们将显示较少的令人沮丧的东西。 “领导力的问题是：如果你发现有人处于脆弱的心态，我们应该优化参与订婚吗？”他记得。 （Facebook发言人表示，她找不到此提案的文件。）

但是，即使是没有加剧某人的抑郁症，也减少了参与的任何东西，导致了很多折动和追随领导层。凭借其成功完成项目的绩效评估和薪金，员工迅速学会了解那些接受推送的人，并继续向上辩护的人。

由公司领导人大力推动的一个这样的项目，涉及预测用户可能面临几个人已经完成的事情的风险：在Facebook生活中将自己的自杀当局。涉及构建模型的任务来分析其他用户在播放的评论后，它在现场生活后，并将风险的用户带入训练有素的Facebook社区审阅者的注意，他们可以称之为当地应急响应者进行健康检查。它不需要对内容排名模型的任何变化，对参与的影响可忽略不计，并有效地抵御负压媒体。研究人员说，这也几乎是不可能的。“这是一个名词特技。试图确定有人在接下来的30秒内是否会自杀的功效，基于视频分析的前10秒 - 你不会非常有效。“

Facebook争议这一表征，称这项努力工作的团队已经成功预测了哪些用户处于危险之中并增加所执行的健康检查数。但该公司不会释放关于其预测的准确性的数据或者有多少个健康检查结果是真正的紧急情况。

当他于2018年4月创建帆（后来负责任AI）队时，Quiñonero应该完全放置来解决这些问题。他作为应用机器学习总监的时间使他成为内部

......