协议

在 1 月 6 日骚乱一个多月后，科技行业领先的反恐联盟——一个由 Facebook、YouTube、微软和 Twitter 创立的组织——宣布它正在寻求如何扩大其对恐怖主义的定义的想法，该联盟已经多年来或多或少是伊斯兰恐怖主义的代名词。这个名为全球互联网反恐论坛或 GIFCT 的组织至少一年来一直在考虑这种转变，但随着国会大厦起义的爆发，国内极端主义的威胁不断上升​​，这使得需要改变的事情变得更加清楚.但经过数月的成员公司面谈、数月的学术提案考虑以及科技平台对这一事件和世界各地其他暴力事件的影响，该组织的政策几乎没有改变。周一，在一份 177 页的报告中，GIFCT 发布了其计划的第一个细节，好吧，这是对网络极端主义的彻底反思，但事实并非如此。相反，该报告列出了一系列狭窄的步骤，强调了对在线恐怖活动进行分类的工作是多么令人担忧。自 2017 年成立以来，GIFCT 运营着一个数据库，其中包含已知的恐怖分子图像和视频，其散列方式使成员公司可以自动禁止其用户共享它们。但该数据库几乎完全包含与联合国正式指定为伊斯兰国和基地组织等恐怖组织相关的内容，为几乎所有非伊斯兰极端主义创造了一个巨大的盲点。现在，GIFCT 表示它正在扩展该数据库，以包括一个较小但范围更广的内容子集。这包括暴力极端主义和恐怖主义宣言的散列 PDF、品牌恐怖主义出版物的散列 PDF 以及与恐怖主义内容相关的散列 URL，这些内容已经被技术反恐怖主义组织收集。 GIFCT 的编程总监 Erin Saltman 说，这些变化远非完全重写规则，但公认是有限的。 “这是渐进式的，所以它可以从这里继续扩展，”Saltman 说。 “但我们还需要以透明的方式进行扩展，并以科技公司可以应用的方式对其进行定义。”在加入 GIFCT 之前，Saltman 担任 Facebook 的欧洲、中东和非洲反恐和危险组织政策负责人。她于 1 月离开了公司，就在国会大厦骚乱的同一周。一个月后，GIFCT 宣布了这项扩展工作。 Saltman 与 Protocol 讨论了 GIFCT 成员如何响应该组织的行动号召，这些适度的改变可以实现什么，以及它们不能实现什么。

当我听说 GIFCT 正在扩展其散列数据库时，尤其是在 1 月 6 日骚乱之后不久，我有点期待你们所有人回来时都会列出一大堆新增内容，其中包括许多已经存在的极端主义组织和意识形态被大平台禁止，但仍然不被GIFCT认可。我在想像 Oath Keepers 或 Boogaloo Bois 这样的团体。这是我的天真，还是您还期望在此期间结束时会有更广泛的改革？我认为我们对扩张的方式持非常开放的态度，但它必须首先基于我们科技公司成员的反馈，因为你可以说，“我要扩张到这个， “然后如果没有成员真正使用它，那么你为它付出的所有辛勤工作、技术和分类就毫无意义。其次，我们真的需要多利益相关方的反馈，因为这个领域存在两极分化的声音。一方面，很容易看一下当前的分类并说，“以联合国为重点的基于列表的方法有政府偏见，它有伊斯兰极端主义恐怖主义的偏见。”另一方面，人权和民间社会活动家说，“哇，对于其他形式的恐怖主义和暴力极端主义没有达成一致的定义。我们不相信技术来定义它，我们也不相信他们不要在这个领域过度审查。”有很多人称之为“合法但可怕”的内容。这不是 GIFCT 的目标，因此我们必须非常仔细地浏览这些支柱。我们可以做很多事情，但它必须是有用的。你可以采取两种不同的方法：你可以倾向于基于列表的方法——联合国列表，或者，在你看来，GIFCT 本身就可以成为列表大师——或者你倾向于基于行为的方法。我们想要扩展，看看哪里可以更基于列表，哪里可以更基于行为。你提到了 Oath Keepers 和 Boogaloo，天哪，Boogaloo，你把它放在什么地方？你可以说它与现实世界的暴力有关，但一些 Boogaloo 运动在意识形态上与 Black Lives Matter 保持一致，而一些 Boogaloo 运动与白人至上和白人权力团体非常一致。因此，如果没有类似于 QAnon 的基于仇恨的意识形态核心，其中一些团体很难定义，并且成员和附属结构非常松散。但是，只要您定义暴力威胁，定义他们的意识形态有多重要？暴力和煽动的范围非常广泛。 GIFCT 还希望确保我们不会进入太多的范围蠕变领域。有些团体可能是极端的，而这些团体的边缘部分是暴力的，而暴力是否是该团体的核心是一个大问题。有很多团体与暴力有关。因此，人们对过度审查存在很多担忧，尤其是在与政治关系如此密切的情况下。在我能想到的任何国家中，美国拥有最高的言论自由价值。

但是，如果发生攻击，并且有与这些团体中的任何一个相关联的宣言，则会进入[数据库]。如果他们有与暴力和煽动相关的品牌内容，并且我们看到附加的仇外比喻，那一切都会发生。但很难说 Boogaloo 整体上是恐怖组织或暴力极端主义组织。你会因此受到很多阻力。您提到需要从这些科技公司获得支持，因为使用 GIFCT 的数据库是自愿的，如果您没有支持，那么没有人会实施你们提出的任何想法。当您与这些公司交谈时，他们有多少兴趣让 GIFCT 扩大其方法并提出一套新规则，或者他们是否愿意编写自己的规则？没有同质的互联网，所以当我们说“互联网”或“平台”时，会有大量的多样性。我们仍然希望公司保持自己的服务条款、自己的政策和做法。他们对不良演员在其平台上的样子和感觉的可见性将大不相同。如果我与我们的一些端到端加密平台交谈，情况会大不相同。他们有元数据信号。他们有一些内容，如果您查看个人资料图片或群组图片，但他们没有聊天内容。所以这是频谱的一方面，与我们一些更大的社交媒体平台相比，这些平台旨在公开，意味着成为扬声器，如果你愿意的话。此外，我们的许多平台越来越不关注用户生成的内容。因此，电子邮件并不是明确的 MailChimp 用户生成的内容。 Airbnb 并不专注于用户生成的内容，所以这在他们看来会有所不同。这是我们采用散列 URL 的部分原因，因为您可能不会发布内容，但人们经常共享托管在第三方平台上的内容。你没有那个内容来源，所以如果你能将 [URL] 作为一个已知信号显示出来，它会引导你回顾并说：“嘿，也许这是我需要更仔细研究的东西。”但我们真的要坚持认为这不是卡特尔。每个人都有自己独立的政策和做法，有些人比其他人拥有更多的人力资源。所以我们需要做的是不断有框架，让他们可以以最适合他们的方式即插即用。没有人反对扩张的概念，但科技公司肯定有很多担忧，如果我们扩张，他们希望确保他们能够真正应用我们正在扩张的东西。

在您的论文中，您说 GIFCT 需要考虑其成员公司的规模、人力和专业知识。我对 GIFCT 的理解是，正是这个实体结合了行业的专业知识并对内容进行了哈希处理，然后您才能将这种复杂性提供给集团中的所有公司。那么，为什么你的任何成员的渺小会阻碍你给他们更多的工作呢？给他们更多的工作意味着一些不同的事情。给他们更多可能意味着我们散列更多类型的内容，或者给他们更多可能意味着他们可以集成不同类型的技术。这可能是压倒性的，尤其是后者。部分原因是将散列作为一个概念，传统上它只关注图像和视频，并意识到当我们查看威胁如何表现时，我们需要超越我们的图像和视频镜头。所以我们询问了公司的一些培训，这样当我们给他们这个闪亮的新东西时，他们知道如何处理它并且他们对它感到舒服。我们将不得不思考：下一阶段是什么？我们正在研究徽标检测之类的东西吗？我们是否正在寻找更好的方式来共享语言翻译和语言处理？特别是对于较小的公司，很多内容不一定是英语或他们确实涵盖的一两种语言。我可以理解技术集成可能具有挑战性，但该工具背后是您将要散列的内容的定义。所以我想我并没有完全理解为什么它的定义部分对于一家小公司来说更难。我认为很多技术平台，尤其是规模较小的平台，都倾向于使用非法内容。世界各地的民族国家都有相似或略有不同的定义，它们也有清单。所以一家公司知道：当我取消这个时，我得到了政府实体的法律支持，为什么这是恐怖主义，这应该被删除。一旦你超越了这一点——一些大公司已经做到了——这是一项艰巨的任务，许多小公司会感到不自在。最终发生的直接事情之一是一个问题：你是否过度审查？所以这就是为什么，当我们逐渐建立起来时，我们将其与公开的现实世界伤害，暴力极端主义表现出来的公开方式联系在一起。这不是一厢情愿。我们看到公司一直因过度审查和政治偏见而受到批评，即使他们说“这纯粹是仇恨言论”或“这纯粹是违反我们的政策”。尤其是小公司，如果被起诉，或者没有内部专业知识，可能没有钱支付法律费用。

当我加入 Facebook 时，我是危险组织政策团队的第二名员工。这花了一家大公司相当长的时间。因此，如果您是一家拥有 50 名员工的公司，您的第 51 名、第 100 名甚至第 1,000 名雇员通常不是反恐专家。因此，如果我们不确切地知道我们在内部谈论什么，我们将需要大量的帮助。未来，GIFCT 本身可能会决定成为一个列表制作者，但我们需要更多的员工。有很多事情要考虑，尽管那会很令人兴奋。因此，要了解您添加到数据库中的内容的实际内容：宣言、散列 URL、品牌恐怖主义出版物。我想很多人可能会惊讶地发现这不是数据库的一部分。因此，在 Facebook 工作过，您能否了解这种特定类型的内容有多普遍，或者这种扩展对解决网络暴力极端主义的整体问题有多大帮助，这显然远远超出了宣言和官方出版物的范围?网址是一个非常有趣的网址。我们之前已经测试过 URL 共享。 URL 本质上与个人身份信息相关联。我们对共享私人数据非常谨慎。但是当你散列一些东西时，它可以作为一个信号。不良内容通常不会托管在 Facebook 或 Twitter 上。它是通过 URL 共享的，作为一家科技公司，您并不通灵。您本质上并不知道该 URL 链接到什么。许多审核团队被告知要避免点击，因为您不知道是否附加了恶意软件，并且您没有时间和规模来监控第三方平台。因此，通过散列 URL，我们为它们提供了一个更广泛的网络。这是一个大问题，特别是对于社交媒体较少的网站，甚至是评论之类的网站。您可能在帖子中有良性图片，然后突然之间，它下面的评论使您陷入困境，并共享导致您离开平台的 URL。至于宣言中更具争议性或非法的内容，这非常接近亚文化的边缘。某些攻击者在实施攻击之前发布冗长的宣言越来越流行。那些在支持性亚文化中传播的病毒存在巨大的问题，它们被某些群体所觊觎并被指出和引用。基督城袭击者，他的宣言在其他地方被其他人引用，然后去实施暴力。所以我们知道宣言是一个问题。很多时候，它也让我们陷入白人至上主义和新纳粹团体。因此，如果您将其用作信号，它通常会将您引向，谁在发布该信息？然后是品牌内容：我们可以从联合国列表开始，但是围攻和其他形式的新纳粹杂志在网上的亚文化中非常多，我们可以与专家和研究人员合作，添加并纳入公共内容到这个数据库的方法。

所以它可能不是关于“合法但可怕”的内容。但它真正关注的是暴力极端主义团体的这些核心成员如何在网上表现和分享。你认为这些变化是否让我们进一步摆脱了你们所写的对伊斯兰恐怖主义的偏见，这种偏见已经主导了这个领域，并且肯定主导了数据库一段时间？这些变化是否使其相等，或不完全相等？我不认为它真的会被称为平等。在某些方面，它让我们摆脱了基于列表的方法，并着眼于行为。我认为这很重要。理论上，政府对恐怖主义的定义与任何一种宗教或意识形态无关。这是关于暴力。这是关于目标和动机。然而，列表并没有以这种方式表现出来。名单相当有偏见。不仅是美国，全世界都是这样。因此，这使我们能够采取更全面和基于行为的方法。在你们收集的所有这些不同的学术提案中，我认为很有趣的一个想法是 GIFCT 应该利用其召集力来尝试让成员公司标准化他们的服务条款并创建某种统一的列表。研究人员基本上说，“我们不会轻易提出这个建议。”这肯定会造成一些声誉和法律和安全风险，但其他风险更大。所以我想知道你对这个想法有什么看法。从长远来看，这是我们需要考虑的事情，当然，但同样，如果没有合适的人员配备和幕后的尽职调查，这是不可能完成的。我认为标准化服务条款与 GIFCT 持有超出政府清单的清单之间存在很大差异。标准化的服务条款就像要求政府对恐怖主义进行正式批准的定义。联合国没有就恐怖主义达成一致定义的一个原因是，政府无法决定政府是否可以成为恐怖主义实体。因此，即使在联合国层面，你也无法就恐怖主义的定义达成一致，尽管他们仍然有框架和名称清单。我们看到公司被要求遵守相同或更高的标准，被要求超越政府的能力范围，这使得公司对成为那个强大的守门人有点警惕。我认为基于列表的方法是我们需要考虑的，但它必须以可定义、可扩展和可解释的方式进行。我们不能只是说：“哦，我们只是因为美国的趋势或几个西方国家的趋势而扩大它。”

这意味着在幕后有很多考虑，那里有一些奇怪的团体。我强烈建议看看蒙古纳粹党的绿色运动。这是一个奇怪的。创始人拥有一家内衣店。有点奇怪。所以当你打开那扇门时，当我们要成为一个全球实体时，你不需要有地域偏见。你写的一件有趣的事情是现场音频平台的兴起将使这变得更加困难。 Facebook 刚刚推出了一款。推特也是。显然，有俱乐部。您认为这些公司在了解其他媒体如何被滥用的情况下推进这项技术是不负责任的吗？我的意思是，马克·扎克伯格说：“当我创办 Facebook 时，我从没想过会发生这种情况，”这一切都很好，但现在你知道会发生什么了。所以这是不负责任的吗？我的工作一直是与科技公司合作，当他们说：“我们创造了这个明亮、闪亮的新事物”时，我的工作一直是说：“这里有 101 种方法将被可怕地使用。”这并不意味着不应该这样做。这实际上取决于您认为要解决的问题以及您是否采用安全设计方法。一切都可能被挪用或重新挪用为坏事。如果你一直在解决低流行、高风险的问题，我们将实现零创新。你在 Facebook 的最后一周是 1 月 6 日骚乱的那一周。这是美国人民至少如何谈论和理解为挫败国内极端主义与外国极端主义所做的努力的真正转折点，显然法庭案件中围绕平台遗漏的内容和联邦调查局错过了什么。那么，从您在 Facebook 的角度来看，这些公司的防御措施在哪里不足？最大的盲点在哪里，您认为这些变化中的任何一个都可以解决这些缺点吗？我们所说的恐怖主义和暴力极端主义与我们开始称之为不真实的协调行为或纯粹的暴力和煽动之间存在着有趣的联系。所以你会看到这个不同伤害类型的重叠图出现了。有时，不是能够清楚地说“这是一个暴力极端主义团体”，而是说“好吧，我们现在看到语言和某些聊天线程中的暴力和煽动，这是一种不同类型的风险.”政府[称]它是“繁荣的左翼”。在现实世界的暴力发生之前，政府很难准确地了解“繁荣的左边”的实体。就像夏洛茨维尔一样，1 月 6 日，人们强烈要求做更多事情。贝夫……