机器学习社区有一个毒性问题。

2020-07-02 03:06:14

首先,同行评议程序被打破了。每四个NeurIPS提交就会放在arxiv上。有DeepMind的研究人员公开追查那些批评他们提交的ICLR的审查者。最重要的是,被放在arxiv上的知名机构的论文在顶级会议上被接受,尽管审查者同意拒绝。相反,一些获得大多数人接受的文件却被咨询委员会否决了。(我不想指名道姓,只是看看今年ICRL的公开评论页面)。

其次,存在可再生性危机。在测试集上调优超参数似乎是当今的标准做法。没有击败当前最先进的方法的论文在一个好的会议上被接受的机会为零。结果,调整了超参数并实施了一些微妙的技巧,以观察在没有任何改进的情况下性能的提高。

第三,有一个崇拜问题。每一篇与斯坦福大学或DeepMind有关联的论文都被称赞为一项突破。例如,伯特被引用的次数是ULMfit的7倍。谷歌的加入使一篇论文具有如此高的可信度和知名度。每一次ICML大会上,无论作品内容如何,每一张DeepMind海报前都有一大群人。同样的故事也发生在虚拟ICLR 2020上的Zoom会议上。此外,NeurIPS 2020的提交数量是ICML的两倍,尽管两者都是顶级的ML会议。为什么?为什么“神经”这个名字受到如此多的赞誉?其次,本吉奥、辛顿和勒昆是真正的深度学习先驱,但称他们为人工智能的教父是疯狂的。它已经到了邪教的地步。

第四,严乐村谈论偏见和公平话题的方式是麻木不仁的。然而,他受到的毒性和反弹超出了任何合理的数量。除掉乐村,让人们保持沉默并不能解决任何问题。

第五,机器学习和一般的计算机科学都存在巨大的多样性问题。在我们的CS教师中,只有30%的本科生和15%的教授是女性。在攻读博士或博士后期间休产假通常意味着学术生涯的结束。然而,这种多样性的缺乏经常被滥用为借口,以保护某些人免受任何形式的批评。把科学讨论中的每一个负面评论都归结为种族和性别,会造成有毒的环境。人们正变得害怕被称为种族主义者或性别歧视者,这反过来又加剧了多样性问题。

第六,道德伦理设置的随意性。美国国内政治主导着每一场讨论。此时此刻,数以千计的维吾尔族人被关进了基于这个社区发明的计算机视觉算法的集中营,似乎根本没有人在意。在每个人的末尾增加一个更广泛的影响部分不会阻止这一点。因为在一篇文章中没有提到一名研究人员,所以引起了巨大的骚动。与此同时,拥有10亿多人口的非洲大陆几乎被排除在任何有意义的ML讨论之外(除了几个印达巴研讨会)。

第七,有一种你死我活的心态。如果你每年不发表5篇以上的NeurIPS/ICML论文,你就是个失败者。研究小组变得如此庞大,以至于PI甚至不再知道每个博士生的名字。有些人每年向NeurIPS提交50多篇论文。写论文的唯一目的已经变成了在你的简历中多写一篇NeurIPS论文。质量是次要的;通过同行预览阶段已成为首要目标。

最后,讨论变得不尊重了。施密德胡伯说辛顿是小偷,格布鲁说勒昆是白人至上主义者,阿南德库马尔说马库斯是性别歧视者,每个人都受到攻击,但没有任何改善。

阿尔伯特·爱因斯坦反对量子力学理论。我们可不可以停止妖魔化那些与我们意见不同的人。我们被允许在不直截了当的情况下持不同意见。

我们开始因为人们的观点而让他们保持沉默的那一刻,就是科学和社会进步消亡的那一刻。