规模化的内容审核不可能做好(2019年)

正如一些人所知，我花了相当多的时间研究经济学家肯尼斯·阿罗(Kenneth Arrow)，他在内生增长理论和信息经济学方面的研究影响了我对数字时代创新经济学的许多思考。然而，阿罗可能最广为人知的是通常被称为阿罗的不可能定理，该定理可以最简洁(如果不是完全准确的话)描述为认为没有完美的投票系统来充分反映公众的意愿。无论你选择哪一种投票制度，都会有一些内在的不公平。维基百科对它的总结(链接在上面)并不是最好的，但如果你想更详细地研究它，我推荐这个简短的描述或这个长得多的描述。

我最近一直在思考这一理论，这与一直存在的关于内容审查的讨论有关。我多年来一直认为，虽然很多人喜欢说内容审核很难，但这是一种误导。规模化的内容调节是不可能做好的。重要的是，这并不是说我们应该投降，什么也不做。这也不是说公司不能在自己的内容审核努力中做得更好。但我确实认为，很多人--包括许多政客和记者--似乎希望这些公司不仅能够，而且应该努力实现根本不可能达到的内容审查水平，这是一个巨大的问题。

因此，将谦逊抛诸脑后，我想提出马斯尼克的不可能性定理，作为对阿罗的不可能性定理的一种发挥。规模化的内容调节是不可能做好的。更具体地说，它最终总是会让很大一部分人感到沮丧，而且总是不能准确地代表任何人的适度水平。虽然我不打算经历定理形式化的过程，但我只会注意几点，说明为什么我提出的论点不可避免地是正确的。

首先，最明显的一点是：任何温和都可能最终激怒那些温和的人。毕竟，他们首先发布了他们的内容，因此认为它属于任何发布的地方--所以几乎可以肯定的是，他们不会同意调整它的决定。现在，一些人可能会争辩说，对此的明显反应是完全不节制，但这是失败的，原因很明显，许多人都非常喜欢一定程度的节制，特别是考虑到互联网上任何不节制的领域都会很快充斥着垃圾邮件，更不用说辱骂和骚扰内容了。有一种观点(我经常主张)认为，把适度推到网络的尽头(即给最终用户更多的控制权)是更好的，但这也有一些复杂之处，因为这会给最终用户带来负担，他们既没有时间也没有意愿不断调整自己的设置。无论选择哪条道路，对于很大一部分人来说，最终都不会是理想的。

第二，节制本质上是一种主观的做法。尽管有些人希望内容审核更科学、更客观，但这是不可能的。根据定义，内容审核将始终依赖于评判电话，许多评判电话将最终落入灰色地带，在那里，许多人的意见可能会有很大不同。事实上，我们多年来一直强调的内容审核问题之一是，要做出好的决定，往往需要大量的背景信息，而没有办法以一种实际有效的方式，在规模上充分提供这一点。也就是说，当进行大规模的内容审核时，您需要设置规则，但是规则几乎没有给理解上下文和适当地应用它留下任何空间。因此，你得到了很多疯狂的边缘案例，最终看起来很糟糕。

我们已经直接看到了这一点。去年，当我们把一整场由内容审核专家组成的会议变成了一小时的内容主持人时，我们发现，在我们提出的8个案例中，完全没有一个案例能让所有与会者就应该做什么达成一致。

第三，人们确实低估了规模对这个等式的影响。当你每天要处理1000个内容审核决定时，99.9%的内容审核决策处于可接受的水平可能没什么问题，但大型平台要处理的远不止这些。如果你假设每天有100万个决定，即使准确率达到99.9%(记住，考虑到以上几点，根本没有这回事)，你仍然会错过1000个电话。但是一百万不算什么。最近的一份报告指出，仅在Facebook上，每天就有3.5亿张照片上传。和

因此，虽然我完全支持探索内容审核的不同方法，并不认为人们在(经常)发生失败时大声疾呼没有问题，但重要的是要认识到，内容审核没有完美的解决方案，任何公司，无论多么深思熟虑、深思熟虑和谨慎，都会犯错误。因为这就是马斯尼克的不可能定理--除非你能反驳它，否则我们将假定它是真的。