采访Facebook人工智能的Mike Schroepfer，Yann LeCun和Jerome Pesenti，讨论他们利用计算机视觉来打击Facebook上的有毒内容的努力

Facebook最令人惊叹的一件事就是它的规模之大。但是，虽然超过25亿人在这项服务中找到了价值，但这个规模也是Facebook最大的失败。控制在如此广阔的数字空间中发生的事情几乎是不可能的，特别是对于一家历史上在管理其技术中隐含的可能危害方面并不是非常负责任的公司来说。直到2017年--也就是Facebook成立13年后--Facebook才开始认真面对这样一个事实，即其平台可能被用来直接向数百万人的大脑传递有毒言论、宣传和错误信息。

Facebook上到处都是各种有毒的东西，从欺凌和贩卖儿童到帮助唐纳德·特朗普(Donald Trump)在2016年当选总统的谣言、仇恨和造假。在过去的几年里，Facebook在控制这类有毒内容的措施上投入了大量资金。它主要将其内容审核外包给世界各地合同商店的一小群评论员。但内容版主无法开始清除所有有害内容，而这类内容的贩运者正在不断演变新的规避方式。

这就是为什么Facebook将赌注押在能够检测其平台上的仇恨和错误信息的人工智能上。这种人工智能驻留在公司数据中心的数百台服务器上。每当Facebook上的任何地方出现新帖子时，都会调用经过训练以识别有毒用户内容的复杂神经网络，并要求其确定内容是否违反了公司的任何社区指导方针。一些人寻找仇恨言论，一些人寻找错误信息，另一些人寻找欺凌或裸体等等。虽然许多不合适的内容会被发送给人类版主进行进一步的操作，但其中一些内容可以被分析，然后由人工智能单独删除。

该公司取得了重大进展：今年第二季度，Facebook报告称，它删除了1.046亿条违反其社区标准的内容(不包括垃圾邮件)。它在第二季度仅从Facebook上删除了2250万条仇恨言论，而第一季度为960万条，而两年前只有250万条仇恨帖子。

本周早些时候，当向媒体宣布这些改进时，诚信副总裁盖伊·罗森(Guy Rosen)将其归功于公司的人工智能检测工具。由于过去几年在自然语言处理方面取得了一些重大进展，这些算法比以往任何时候都更好地配备了检测书面形式的有毒语音的能力。

Facebook的首席技术官Mike Schroepfer说：“我们已经到了这样的地步：我们的大多数系统可能接近、一样好，甚至可能比该领域未经培训的人更好。”“我的目标是让我们做得和专家一样好。。。我们会以最快的速度赶到那里。“。

但Facebook的未来是图像和多媒体。仇恨和危险的信息可能隐藏在视频中，或者编码在模因中。到目前为止，该公司在其自然语言AI方面取得的突破还没有转移到其计算机视觉AI检测此类内容的能力方面取得的类似进展。我与Schroepfer和Facebook的两名顶级人工智能技术专家谈到了他们最近的成功，以及如果Facebook希望最终解决其平台上的海量有毒内容，未来将面临的严峻计算机视觉挑战。

Facebook最近在过去两年里在检测仇恨言论方面的成功源于人工智能研究界取得的一些戏剧性进展。

过去的大多数人工智能模型都是使用不同的“有监督”学习进行训练的。使用这种方法，计算机科学家向神经网络提供即将被要求分析和分类的内容样本，例如图像、文本或音频。科学家们还贴上标签，描述每个样本的内容。然后，神经网络处理训练数据，并逐渐调整其每一层中的数学权重，直到它可以自己得出包含在标签中的描述。

监督学习通常涉及相对较小的标签训练数据集，这些数据包含模型在执行预期任务时可能遇到的相当具体的项目示例。这种特殊性的缺点是，模型可能会被它遇到的培训数据中没有的内容抛弃。例如，自然语言模型可能无法标记它在培训中没有见过的种族诽谤，并且无法从其上下文中理解它。

这些模型可能会更好地学习特定的任务，思维已经消失，如果他们接受过一些基础水平的世界理解的“预先培训”，给他们一些类似于人类常识的东西。这就是人工智能中无监督或自我监督学习的全部意义所在。这是一种训练方法，在这种方法中，人工智能系统会获得大量未标记的训练数据-例如整本书、几个小时的视频或大堆的图像。部分训练数据被隐藏(句子中的几个单词，或图像的一部分)，并且系统基于其对相邻单词或图像元素的理解，通过逐渐调整其参数以越来越大的概率猜测被屏蔽的内容来学习。这种技术被称为自我监督学习，因为系统使用训练数据的隐藏部分-而不是人类应用的标签-作为信号来指导其参数的调整。

经过这样的训练，有时是几天甚至几周，系统开始在一个大的、多维的结构中“表示”单词或图像，在这个结构中，相似的东西位于更近的位置，而不同的东西位于更远的位置。在这样做的过程中，系统开始了解世界上不同的事物是如何运行的，以及它们是如何相互关联的。

这和我们还是婴儿时人类使用的方法是一样的。我们爬来爬去，感知事物，逐渐了解这个世界。然后，到了学习如何将葡萄汁倒进杯子的时候，我们不需要被教导果汁会从罐子里往下掉，而不仅仅是悬挂在空中。

人工智能的一个领域，自然语言处理，利用自我监督学习取得了特别的成功。2018年，谷歌研究人员创建了一个名为BERT(来自变形金刚的双向编码器表示)的自然语言模型，他们用大量文本(11038本书和25亿字来自英文维基百科条目)对其进行训练，并隐藏了部分文本。在训练过程中，系统逐渐自我调整，以更高的概率准确地填空。在这样做的过程中，它逐渐将数据组织成类似于巨大的词云的东西，在这里，含义和上下文相似的单词位于更近的位置，而几乎没有共同含义或上下文的单词(如“鱼”和“航空航天”)位于更远的位置。

2019年，Facebook以伯特的方法为基础，推出了罗伯塔模型，该模型使用了更多的训练数据。Facebook首席人工智能科学家扬恩·勒昆(Yann LeCun)表示：“该系统必须代表它看到的单词的含义、句子的结构和上下文。”自20世纪80年代以来，他一直在应对人工智能领域的一些最大挑战。“其结果是，它在某种程度上学习了语言是什么，这很奇怪，因为它对世界的物理现实一无所知。它没有视觉，没有听觉，什么都没有。“。但是，即使计算机不直接了解世界，自我监督学习也可以帮助它在处理数据的同时了解一些关于单词的含义，以及含义之间的关系。

罗伯塔：费尔的自我监督的自然语言处理系统现在是通用语言理解评估(GLUE)排行榜上的佼佼者。Https://t.co/YBrziEy5E5 https://t.co/YBrziEy5E5

得益于这种新方法，Facebook的自然语言模型在2019年打破了现有纪录，其中包括几项行业标准的基准测试。(同年，微软、谷歌和OpenAI的自然语言系统也有很大的性能提升。)。这些自然语言模型现在已经在Facebook的数据中心投入使用，导致该公司在用户看到之前主动检测和删除有害言论的比例大幅上升。在本周发布的最新社区标准执行报告中，Facebook表示，其人工智能系统立即检测到95%的仇恨帖子，高于4月份报告的88%，也高于该公司去年夏天报告的52%。

由于恶意的Facebook用户不断试图设计新的有毒言论形式，以通过Facebook审查，因此有必要用新捕获的内容不断训练人工智能模型。而新的主题--比如大流行--催生了新类型的有害内容，Facebook的模型必须学会检测这些内容。CTO Schroepfer解释说：“去年12月，我们没有任何关于COVID的信息。”“如果人们开始张贴COVID错误信息，这种情况可能每天都会改变。或者人们可能会改编仇恨言论，使用编码语言或可怕的新模因。“。

一些培训数据来自Facebook的内容版主，他们捕捉并标记他们在社交网络上看到的新类型的有毒或误导性言论。人工审查员还可以使用人工智能工具搜索和销毁网络上已知类型的有害内容。施罗普费尔说：“我们的专业人类审查员可以说，‘啊，这里使用了一种新的编码语言--找出系统中所有与我们刚刚发现的明显违反我们标准的帖子很像的帖子，然后删除它们，”施罗普费尔说。“所以你有能力用电动工具充实我们的员工。”

审查者提供的一些培训数据是假阳性的例子，即Facebook错误地删除了一条没有违反社区指导方针的内容。模特们也从中吸取了教训。

Facebook也愿意也有能力投入大量硬件投资来解决这个问题。“有了更大的数据集和更大、更强大的网络，我可以更好地捕捉这些东西的所有细微差别和微妙之处，”Schroepfer说。

正如Schroepfer承认的那样，Facebook的人工智能远非完美。根据NBC新闻获得的2019年7月泄露的文件，该公司的系统标记并主动删除了针对白人的仇恨言论帖子，比例高于用户报告的比例。据NBC报道，同样的人工智能系统，针对包括黑人、犹太人和变性人用户在内的边缘群体的仇恨言论的比例低于用户报告的比例，“这表明这些攻击被认为是攻击性的，但Facebook的自动化工具没有检测到它们。”

当时，根据Facebook的记录，用户仍然报告了Facebook上所有仇恨言论的近一半(48%)。NBC的报道援引Facebook现任和前任员工的话说，当Facebook的高管团队面对这些数据时，他们命令Facebook员工停止这条查询路线，并停止与公司内的其他人分享。当我问到这份报告时，Facebook选择不予置评。

NBC报道中泄露的文件反映了尚未使用Roberta进行预培训的旧AI检测工具的性能。尽管如此，学术界和民权团体对Facebook内容审核算法存在偏见的担忧依然存在。Facebook最近完成了对其做法的独立民权审计，由民权律师劳拉·墨菲(Laura Murphy)、梅根·卡塞斯(Megan Cacace)和民权律师事务所Relman Colfax的一个支持团队进行。墨菲在团队报告中写道：“……。。。民权倡导者争辩说，Facebook的政策不仅在捕捉令人憎恨和有害的内容方面做得不够，他们还断言，Facebook对被禁止的内容执行或没有执行自己的政策是不均衡的。因此，有害内容在平台上停留的时间太长。“。审计人员写道，这些批评在针对非裔美国人、犹太人和穆斯林的内容方面尤其尖锐。

虽然Facebook的算法内容审核自2019年以来有了显著改善，但更多的挑战还在前面。罗伯塔的设计目的是预先训练自然语言人工智能工具，这些工具只扫描Facebook上的文本内容。罗伯塔的自我监督学习方法在用于检测有毒图像的计算机视觉人工智能模型的预训练中效果不佳。

Facebook和谷歌的研究人员目前正致力于使用一种名为“对比学习”的方法对图像分类器进行预培训，勒昆在这一过程中发挥了重要作用。这涉及到两个神经网络(“暹罗网络”)一起工作，以决定数百万对图像是相似的还是不同的。相似的一对可能是同一人的两张不同照片，或同一对象的两张图像，但其中一张图像被旋转或扭曲。不同的一对可能是一张猪的照片和一张鞋子的照片。

与Bert和Roberta在让人联想到词云的三维空间中构建单词的方式相同，这两个神经网络一起在理论空间中安排图像属性(如对象形状和背景颜色)，在理论空间中，相似的图像距离更近，而不同的图像距离更远。勒昆说，这项研究已经产生了足够精确的图像分类器，足以超过目前的图像识别基准，但他仍然怀疑这种方法最终会产生能够很好地检测有害图像，并且足够高效，足以大规模运行的图像分类器。这是因为网络必须创建的理论空间来容纳图像中每个像素的每一个可能方面的数字表示，这实在是太大了。

有了文本内容，伯特和罗伯塔可以在三维的理论空间内将单词表示为价值。对于他们训练数据中的大约3万个英语单词，模型们逐字进行了这一测试。

但是视觉数据是不同的，而且更加复杂。图像在网格中逐个像素表示，每个像素都有多个与其关联的值。根据像素在图像中的位置，每个像素可以具有左右坐标、上下坐标和前后坐标。每个像素还具有红色、绿色和蓝色颜色值。视频增加了额外的维度，因为像素在时间上前后移动时会发生变化。由于这些属性的可能组合数量几乎是无穷无尽的，因此它们所包含的理论空间有数百万个维度。随着训练图像的数量越来越大，绘制它们所需的理论空间也变得非常大。

LeCun解释说，在一个理论空间中映射所有这些维度，然后预测训练图像隐藏部分的像素值，这是一项非常繁重的任务，需要巨大的计算能力，即使是对于小图像也是如此。

尽管将最近的人工智能突破应用到视觉材料上存在困难，但Facebook有很好的理由希望LeCun能够建立一个能够工作的计算机视觉系统。Facebook的用户内容比以往任何时候都更直观，而且它还在继续朝着这个方向发展。该平台上的仇恨和虚假信息也越来越直观。一些最有毒或最有害的用户内容以图片和视频的形式出现(如深度伪造)。

LeCun现在正在研究一种不同的、希望更有效的预训练图像分类器的方法。就像自然语言处理模型一样，计算机视觉模型在特定的识别任务中做得更好，如果它们首先被预先训练成大量未标记的图像数据，然后被允许以一种帮助它们形成视觉世界如何运作的基本知识的方式来组织这些数据。

LeCun目前的研究重点是如何将人工智能必须关注的图像属性的数量减少到真正重要的属性-例如，代表图像或视频的主题的图像属性，而不是背景。他解释说，在巨大的理论空间中，绝大多数可以用数字表示的图像只是属性的随机组合，不能描述自然界中发现的任何东西。在所有的可能性中，只有一小部分代表了模特在Facebook上发布的图片中可能遇到的东西。

LeCun正在寻找训练模型的方法，以推断照片或视频中有意义的内容，然后只关注表达该图像所需的理论矢量空间中的区域。例如，模型可能会从一段视频中推断出，一个对象(比如人脸)可以仅使用帧内所有像素的所有可能位置和颜色状态的一小部分来逐个像素地表示。它可能只聚焦在50个像素上，这些像素在不同的状态下可以代表面部所有表面的所有可能的运动。有了较小的一组变量来处理，该模型可能有更好的机会预测视频中的人脸可能会朝哪个方向移动(就像自然语言模型可以预测句子中的空格一样)。

但是，教模型如何做出这些推论是计算机视觉系统有效预训练的最大障碍。

LeCun打赌这是一个可以克服的问题。这可能是他数十年传奇职业生涯中的最后一次重大研究。

“在我看来，这是通向未来的门票，”他告诉我。“这就是我正在做的事情，不管我是对是错，我都不能告诉你，因为我没有结果可以证明这一点.”

随着视觉优先内容越来越受欢迎，Facebook上分享最多的内容往往是混合媒体-包括多种沟通模式，比如将文本与照片或视频相结合的项目。Facebook人工智能副总裁杰罗姆·佩森蒂(Jerome Pesenti)表示：“未来是多式联运的。”“混合媒体类型的内容正成为我们平台上的大部分内容。”

例如，将语言和意象结合在一起的模因，在试图影响2016年总统选举的国内外演员有组织的造谣活动中发挥了重要作用。他们中的许多人都是精心设计的，目的是分裂和两极分化选民，公开宣传唐纳德·特朗普，或者说服人们不要投票。这些模因经常被广泛分享，因为它们既前卫又有争议，或者很有趣，或者两者兼而有之。在2020年大选前的几周，类似的图片很可能会在Facebook上的影响力竞选活动中发挥重要作用。

但表情包的多模态特性-语言和图像的整合-使它们对Facebook的人工智能来说是一个艰难的挑战。

它们通常是高度上下文的、具有指代性的、具有讽刺意味的和细致入微的。它们也可以是隐秘的和编码的，这样只有特定的互联网用户飞地的成员才能解析它们的含义-就像克赖斯特彻奇杀手在8chan上发布的宣言所例证的那样。

首席技术官施罗普费尔指出，模因通常需要一些解析和思考才能理解它们的含义，即使是对相当精明的网民来说也是如此。“这是一个很好的迹象，表明这对机器来说是一个困难得多的问题，”他说。“我们确实有能够以这种多模式方式工作的系统。。。这是我们正在推进的一个领域，我认为未来几年我们会取得合理进展。“。

对于AI来说，表情包是一个如此棘手的问题，因为机器必须同时从图像内容和文本内容中学习，而不是分开学习。佩森蒂告诉我：“我们有大量的例子，图片本身并不令人反感，文本本身也不令人反感--两者的结合才是令人反感的。”“因此，拥有一个同时从两种模式中学习的系统真的很重要。”

Facebook已经部署了使用监督学习训练的人工智能。

.