Facebook，Kaggle在取消“深伪侦测”获奖者资格后面临强烈反对

Facebook和Kaggle在深伪检测挑战赛(DFDC)的明显获胜者被取消资格后，正面临在线反弹。Facebook去年发起了这项比赛，以鼓励开发新技术来检测深度假货和被操纵的媒体，共有2000多份参赛作品提交。数据科学和机器学习社区网站Kaggle主办了DFDC挑战赛和排行榜。

两天前，Facebook公布了100万美元挑战赛的获奖队伍如下：1：Selim Seferbekov(平均精确度为65.18%)2：\Wm/3：NtechLab 4：18岁5：医务人员Facebook在他们的公告中指出：“你可能会注意到排名已经改变了。不幸的是，预赛排名前两名的球队在他们的获奖申请中使用了本次比赛规则所不允许的外部数据来源。“。比赛规则确实允许参赛队使用官方比赛数据以外的数据来开发和测试模型和提交。然而，参赛队必须“(I)确保外部数据可供所有参赛者用于比赛目的，而其他参赛者不收取任何费用；(Ii)在参赛截止日期之前，将参赛者获得外部数据的权限张贴到官方竞赛论坛。”之前排名第一的团队All Faces Are Real从YouTube视频手动创建了一个人脸图像数据集和Flickr-Faces-HQ数据集，该数据集具有CC-by许可证(明确允许商业使用)。他们对被取消资格并不情愿：“Facebook觉得我们的一些外部数据‘显然侵犯了第三方权利’，尽管我们被贴上了CC-by的标签(不清楚他们具体指的是什么数据)。”该团队争辩说，他们“并没有故意试图破坏任何规则”，并问“为什么Kaggle从来没有抓住机会澄清外部数据必须另外遵循更严格的规则才能赢得提交文档”。

所有的面孔都是真实的，“在我们与Facebook和Kaggle的讨论中，我们被告知，尽管我们满足了这一点(前面提到的关于外部数据的规则)，但我们违反了赢得提交文件的规则。”作为对Facebook取消他们资格的决定的回应，团队表达了异议和失望，“具体地说，我们被要求提供出现在[我们的]外部数据集中的个人的额外权限或许可证。不幸的是，由于数据来自公共数据集，我们没有从出现在其中的每个人那里获得具体的书面许可，也没有任何方法来识别这些人。“。比赛要求参赛者提交他们的代码，并根据黑盒数据集进行测试，其中包含具有挑战性的和未共享的真实世界示例。Facebook通过对照黑盒数据集评估参与者模型，使用日志损失分数来对照Kaggle平台外的私人测试集来确定获胜者，该测试集“包含与培训和公共验证/测试集类似的格式和性质的视频，但都是真实的、有机的视频，有没有深度伪造。”Facebook解释说，这里的挑战是从未知的例子推广到不熟悉的例子。由于单独的黑匣子数据集包含10,000个参赛者无法获得的视频，参与者“必须设计即使在不可预见的情况下也能有效的模型。”许多与会者指出有关使用外部数据的规则含糊不清。“由于外部数据可能非常有助于在公共/私人排行榜上获得更好的分数，您将如何验证解决方案对规则的遵从性？”DFDC冠军塞利姆·塞费尔别科夫(Selim Seferbekov)问。Seferbekov提出的另一个关于使用YouTube视频的问题三个月来一直没有回答。

对于许多机器学习从业者来说，Facebook取消获奖投稿资格似乎并不公平。“这真是太可怕了。@Facebook欺负@Kaggle，让他们‘半取消’价值100万美元的“深度假货”竞赛的合法获胜者的资格。“。NVIDIA数据科学家Bojan Tunguz在推特上写道。卡格尔大师加博尔·福多(白鲸)在卡格尔讨论帖子中评论说，“半取消资格是可疑的…。我对这一决定感到非常失望，从竞争对手的角度来看，这破坏了信任。“。

这真是太可怕了。@Facebook胁迫@Kaggle取消了价值100万美元的“深度假货”竞赛的合法获胜者资格。https://t.co/fwmBAhWC5s。

-Bojan Tunguz(@tunguz)2020年6月12日。

Kaggle上发布的竞赛规则详细说明了争议解决系统：“在任何此类争议中，任何参赛者在任何情况下都不允许或有权获得奖励，因此放弃要求惩罚性、偶然性或后果性损害赔偿或任何其他损害赔偿的所有权利，Inc.