在天气好的时候,布莱克作为Pinterest版主的工作意味着点击无休止的恋物癖素材、成人裸体和“性感女士”杂物。隐藏、删除、罢工还是禁止?这些决定只用了几秒钟。事实上,色情标签被认为是如此直截了当,据报道,新员工都接受了这方面的培训。
但2017年的一天,布莱克发现了一些可怕的事情。在一个性儿童图片网络中,坐着一个天真无邪的名字叫Pinterest的版块。布莱克告诉OneZero:“类似于‘我的Pics’或‘我的电脑’之类的东西。”这块板被设置为秘密,只有它的所有者才能看到。它包含了一名婴儿和一个蹒跚学步的孩子的照片,“没有任何意义上的违规行为,但如果你是保姆,你就会拍下这些照片,”布莱克说。但由于委员会在其他发布虐待儿童内容的账户上进行了跟踪,布莱克怀疑这些儿童面临着性剥削的风险。他们将问题上报给一名经理,询问Pinterest是否应该调查用户的IP或将照片报告给执法部门。
但令他们沮丧的是,布莱克说,他们被告知“没有迫在眉睫的威胁”。“我记得当时的感觉是,‘他妈的怎么回事。’”该账户最终因为违反了Pinterest针对未成年人不当图片的政策而被禁止,但“没有采取任何外部甚至进一步的内部行动”。
OneZero采访了三名前Pinterest版主,即信任和安全专家,他们在2016年至2019年期间在该公司工作。这些人担任一线工作人员,将有害内容挡在门外。根据他们的证词,他们的资源不足,精神健康支持也很少。他们作为Pinterest信托和安全团队的全职承包商工作,每小时收入在25美元到32美元之间。这三家公司都与Pinterest签署了保密协议(NDA),正因为如此,OneZero使用化名来指代它们。
色情标签被认为是如此直截了当,据报道,新员工都接受了这方面的培训。
在给OneZero的一封电子邮件中,Pinterest的一位发言人拒绝就其目前的审核团队的规模发表评论。这位发言人说:“我们的大多数版主都是在内部工作的Pinterest员工。”“我们还与外包团队合作。”
据“纽约时报”(New York Times)报道,自2009年成立以来,Pinterest一直将自己宣传为硅谷最好的平台,一个将中西部女性、剪贴簿用户和家居设计师归功于早期采用者的平台。Pinterest首席执行官本·西尔伯曼在接受“纽约时报”采访时表示,Pinterest不仅拒绝“社交网络”的标签,而且积极寻求成为一个“提供灵感、自我提升和咸味焦糖饼干食谱的安全和快乐的地方”。当华盛顿邮报(Washington Post)报道该平台上出现的政治虚假信息时,该公司指责Facebook是起源点。Facebook、Twitter和谷歌后来在国会就俄罗斯的干预作证,但Pinterest被排除在传票之外。
Pinterest从包括OneZero在内的科技机构那里获得了基本上积极的评价,其进步的价值观支撑了一系列旨在打击虚假信息的大胆政策举措。据《华尔街日报》报道,2018年,该公司启动了对癌症治疗等虚假医疗建议的搜索禁令。据英国“卫报”报道,去年,它删除了数百个传播健康错误信息的域名和群组,并开始为与疫苗相关的搜索提供经过验证的医学事实。BuzzFeed新闻写道,当公民自由倡导者批评该公司美化“种植园婚礼”时,Pinterest开始警告用户,这样的照片可能会有争议。为了保护平台的健康,这些深思熟虑的选择,有时是以快速增长为代价,帮助该公司将自己塑造成“反Facebook”的形象。
然而,该公司的温和战略也有其缺陷。本月,OneZero报道了该平台上的有害内容。这包括标有儿童色情代号的年轻女孩的性别化图像、种族主义图像、医疗恶作剧、阴谋论和超党派宣传。因为Pinterest可能会隐藏有问题的内容,而不是完全删除它,所以这些PIN在网站和谷歌(Google)等搜索引擎上持续存在,使OneZero能够看到哪些内容从缝隙中溜走。Pinterest告诉OneZero,它依赖用户报告攻击性内容,并使用“主动工具”(如自动跟踪技术)保持网站的清洁,以获取虐待儿童的图像。
但Pinterest的节制努力并不完全由一套指导方针和算法来定义。人类版主也会做这项工作:确定违反个人识别码的行动方案,调查可疑用户及其网络,围绕“灰色区域”内容做出艰难决定,以及保护Pinterest作为一家通常能做好这些事情的公司的声誉。节制往往是令人精疲力竭、吃力不讨好的劳动,会给员工带来创伤。直到最近几年,像Facebook这样的公司才被迫承认花几天时间审查描绘极端暴力、虐待和骚扰的内容会产生情感影响。“我在处理不能自动化的事情,”前Pinterest主持人乔丹(Jordan)说。
在幕后,Pinterest版主摄取了大量内容。根据OneZero采访到的消息来源,截至2018年,一名员工每天可以查看多达8000张图片,具体取决于主题。消息人士说,Pinterest最早的版主可以选择温和的领域进行工作,其中包括色情、仇恨言论或图形暴力。版主使用了一个工具,该工具显示了Pinterest用户报告的日常内容和检测算法。使用这个工具,图片出现在一系列热键旁边的队列中,允许版主采取各种行动:隐藏或删除内容和账户,发布“罢工”或处罚,将内容升级到另一个Pinterest团队,以及完全禁止用户。元数据还显示了图片的来源或重新固定的人,这有助于版主更广泛地了解用户的活动。
Pinterest的发言人表示:“我们已经对工具进行了修改,让代理商可以更好地控制他们的体验:允许代理商默认关闭音频,将图像从彩色转换为黑白(这会降低真实感),允许代理商关闭自动播放视频,对图像进行重复数据删除以减少向代理商暴露违规内容,等等。”“我们正在改进和扩展我们的机器学习模型,以便在可能的情况下减轻代理的负担。”
主持人告诉OneZero,内部检测工具有时存在缺陷,使他们的工作变得更加困难。有时,算法无法推断上下文,古典艺术委员会会因裸体而被举报。无害的图片偶尔会被误认为儿童色情作品。乔丹说:“在内部有一个可以接受的假阳性率,自动化从来都不是完美的。”
“我在处理不能自动化的事情,”前Pinterest主持人乔丹(Jordan)说。
与Facebook和Twitter一样,Pinterest也使用图像散列技术为虐童照片创建数字指纹。这些字符串可以与国家失踪和被剥削儿童中心运行的违反散列的数据库进行交叉检查。比赛立即被删除,他们的相关账户也被暂停,但版主告诉OneZero,儿童色情在该平台上非常普遍。“我每隔几个小时就会碰到一次,”乔丹说。
版主告诉OneZero,未成年人的性爱图片特别令人精神创伤。这些图片并不总是清晰的--有时它们看起来像目录照片,需要版主在用户的整体行为中将它们联系起来。布莱克说:“我们有这么多的广告牌,人们认为他们把它们称为‘夏季’是很聪明的,但却包含了数百张穿着比基尼的小女孩的图片。”“我们知道如何判断是妈妈们为她们的孩子看这些,还是他妈的性变态。”
当发现虐待儿童时,版主会将图片升级给敬业的工作人员,他们会向执法部门报告。据报道,信托和安全小组一度保存了一张地图,上面有别针,显示因他们的工作而被捕和定罪的地点。
然而,更频繁的是,版主们表示,他们很难解决根据Pinterest的规则可以合理隐藏或删除的“边缘案例”。虽然该平台的指导方针清楚地说明了它可以“移除、限制或阻止分发”的内容,但版主告诉OneZero,执行这些操作在很大程度上是武断的。
像骚扰和政治内容这样的话题是出了名的具有挑战性,因为它们可能会沉浸在需要拆开的上下文中。可以说,一块二战照片板存在的原因是多方面的、相互冲突的。因此,为了评估与纳粹有关的形象,据报道,主持人被要求询问是否有什么东西肯定了仇恨的意识形态或发出了行动呼吁。其他案例要求主持人考虑人们的非传统利益。其中一个案例涉及一块名为“天使”(Angels)的牌子,里面有死去儿童的照片。当有人联系Pinterest时,董事会变成了一个缓和问题,因为他们自己的孩子也在图片中,他们希望删除这些图片。
布莱克回忆说:“在某些日子里,我会走进去说,‘我现在他妈的没心情--删掉,删除,’”布莱克回忆道。“我会问主管,我们是如何就删除或隐藏董事会做出决定的,他们会说,‘我不知道,进入董事会,向下滚动两次,如果你数到10张违规图片,那就把它删除。’它是如此的模糊,所以由我自己来判断。“。
Pinterest的政策团队与版主密切合作,围绕有问题的内容创建和完善规则。这种关系包括一些练习,目的是澄清什么时候应该隐藏或移除一些东西。其中一个与血腥有关的练习使用了医科学生在准备考试时制作图形板、血淋淋的图像板的例子。版主将允许这些用户保留他们的版块,但会对平台上的搜索和推荐结果隐藏它们。
主持人告诉OneZero,Pinterest严重依赖隐藏选项。“他们会把HIDE作为一种解决方案,”乔丹说。“我不知道这是不是故意的险恶。一切似乎都像是一条钢丝,完美的决定似乎遥不可及。“。
Pinterest告诉OneZero,目前,版主们完成了7到10周的培训过程,以熟悉公司的内容政策。根据Pinterest的说法,主持人还会接受例行的一致性检查,与经理进行一对一的检查,以及每周一次的政策会议,以确保他们做出的“一致和正确的决定”。
在公司内部,版主告诉OneZero,他们感觉自己就像“二等公民”,占据着一个至关重要但故意隐形的角色。有时,这表现在物理上:据OneZero采访的消息人士透露,截至2019年,版主被藏在公司旧金山总部的一个角落里,他们的电脑对着墙,这样他们看到的图像就不会被其他员工看到。虽然平台孤立他们的版主团队并不少见(例如,Facebook就在场外承包这项工作,并有自己的“作战室”供现场版主使用),但Pinterest的版主明显感觉看不见,也看不见。
“我会看到一些可怕的东西,从我的办公桌上站起来,走着去拿一杯浓缩咖啡和一些免费的奶酪。然后我会走到垃圾箱附近的巷子里抽烟。“。
乔丹说:“这种(座位安排)造成了意识真空,导致了我们的资源不足。”
Pinterest令人愉悦的品牌与其平台上令人发指的内容之间的鸿沟从未让一些版主感到满意。像许多科技公司一样,Pinterest员工享受着丰厚的福利,比如餐饮、免费酒水、舒适安静的房间和免费的街机游戏。
“这是超现实的,”布莱克说。“我会看到一些可怕的东西,从我的办公桌上站起来,走着去拿一杯浓缩咖啡和一些免费的奶酪。然后我会走到垃圾箱附近的巷子里抽烟。“。
OneZero采访的主持人在2016年至2019年期间被聘为一至两年合同的承包商,并在信任与安全团队工作。乔丹说,有限的时间框架被解释为“对我们来说是一种好处”。比如,任何人都不应该长时间从事这项工作。“。
Pinterest的发言人告诉OneZero:“我们过去曾聘请固定期限的员工来处理报告量的暂时增加,对定期审查项目做出回应,以帮助改进我们的机器学习模型,并缩短某些高优先级报告类别的响应时间。”
消息人士告诉OneZero,早期的内容审核团队主要由来自科技行业的白人女性组成;后来的招聘人员包括具有非科技背景的应届大学毕业生。一些主持人告诉OneZero,Pinterest在面试过程中对主持人的角色不负责任地含糊其辞,没有提到他们必须看到的可怕材料。一位主持人说,他们只看到了一块纳粹党徽,并要求他们识别哪些图片违反了Pinterest的政策。
Pinterest的发言人表示:“在招聘前和招聘过程中,我们对特工可能接触到的内容是透明的,并设定了现实的预期,即他们的角色可能会接触到多少和什么类型的接触。”“我们确保版主不会被分配给单一类型的内容进行审查,”注意到版主每周都会在不同的队列中循环。
第三位主持人回忆起他们的团队在去年Pinterest首次公开募股(IPO)时的感觉,当时Pinterest的估值为100亿美元。“IPO的百万富翁来了!”“华尔街日报”撰文说。事实上,Pinterest的许多员工在那一天变得更加富有,包括首席执行官西尔伯曼,他的净资产估计达到16亿美元。根据这位消息人士的说法,合同主持人没有得到任何股份,只能眼睁睁地看着同事们庆祝他们新获得的财富。“股票不是我们一揽子计划的一部分,”前Pinterest主持人亚历克斯说。“所以它就像是,‘对每个拥有股权的人来说都很棒!’”
Pinterest的发言人告诉OneZero:“我们目前所有的版主都是员工,他们都获得了股权。”“我们不向承包商或固定期限员工提供股权。”
主持人告诉OneZero,Pinterest确实为他们提供了全部福利。但是,他们指出,考虑到他们令人不安的工作性质,心理健康支持是不够的。从去年开始,主持人说他们可以与一位每六周访问一次Pinterest总部的治疗师进行30分钟的会谈。据报道,他们还通过按需按摩初创公司Zeel每月获得按摩费用。
Pinterest告诉OneZero,自2014年以来,版主一直可以参加一个专门的健康计划,而且它还在继续发展其服务。这些好处目前包括“现场和远程咨询,就业后咨询的选项,关于正念、自我护理资源、弹性和其他健康主题的培训和演讲。”
Pinterest的发言人说:“在Pinterest,我们的内容版主接受了一系列专门的培训,因为我们不希望人们走上街头,立即认出编码的自我伤害语言或历史上的仇恨符号。”“如果版主发现他们在某个特定的主题上苦苦挣扎,我们就不会问任何问题就把他们从工作流程中带走,如果他们认为这份工作不再适合他们,我们就会和他们合作做非内容导向的项目,让他们有时间在Pinterest内外找到一个新的职位。”
社交平台尚未充分考虑其版主受到的心理伤害,但潮流正在慢慢改变。据The Verge报道,今年早些时候,Facebook同意向在工作中患上创伤后应激障碍和其他心理健康问题的主持人支付5200万美元。
Pinterest的信任和安全团队一直很小-据“大西洋月刊”(The Atlantic)报道,2018年只有11人-他们共同的创伤培养了一种亲密感。布莱克说,主持人描述了通过绞刑架幽默来寻求宣泄-使用松弛频道发布“有趣的黑暗令人发指的事情”。他们会吃午饭,看成人涂色书,偶尔还会烤些点心来分享。一群主持人经常去办公室附近的花市散步。其中一些友谊持续的时间超过了Pinterest的雇佣合同。
OneZero的主持人没有一个人对Pinterest怀有敌意,但他们希望公司能更多地听取他们的意见。“技术方面和内容方面需要减少分歧,”亚历克斯说。他们都认为,Pinterest的温和派团队在不同程度上被低估了。这种长期的忽视--或者说是“浮士德式的忽视,以换取激进的增长,”布莱克说--可以说已经降低了Pinterest平台的健康状况。问题还在于,社交平台是否真的能健康发展,与算法相比,人类应该承担多大比例的节制。
“对我来说,我认为这真的归结于规模和产品本身的实际DNA,”乔丹说。“随着事情的发展,如果您作为产品的目标是让任何人和任何人加入并将…货币化。探索平台将是一场永久的噩梦。“