哨兵从秘密行动中脱颖而出,推出了一个人工智能平台来解决在线滥用问题

2020-06-12 02:00:50

Sentropy背后的想法既是哲学的,也是技术的:首席执行官约翰·雷德格雷夫(John Redgrave)与米歇尔·班科(Michele Banko)、泰勒·莱恩(Taylor Rhyne)和伊桑·布雷德(Ethan Breder)共同创立了这家初创公司,他表示,这是关于如何利用他和他的联合创始人所知道的如何操纵和“读取”非结构化数据,将其应用于在线滥用,这最终真的需要认真对待。

他在一次采访中说:“每周我都在观察在线对话对现实世界的影响。”“他们正在创造持久的影响。URL和IRL之间存在链接。对于年轻一代来说,他们的数字自我和物理自我之间的区别将是难以区分的。这是强大的,但也是有问题的。“。

这家初创公司即将走出隐形模式,从相当显赫的支持者名单中获得1300万美元的资金-其中包括Reddit的联合创始人亚历克西斯·奥哈尼安(Alexis Ohanian),他的风险投资公司Initialized Capital、King River Capital、Horizons Ventures和Playround Global,Riot Games、Nextdoor、OpenAI、Twitch、Twitter的创始人和高管,以及一名“前政府首脑”(姓名未披露)。

虽然Sentropy今天开始公开,但实际上它已经活跃了一段时间,自6月份以来,它与多家科技公司合作,其第一款产品是基于API的滥用检测引擎,名为Defend,当时它还在进行私人测试版。这是一个普遍可用的产品,还有一个名为Detect的开箱即用版本。雷德格雷夫不愿透露到目前为止它与哪些科技公司合作,但值得注意的是,直到本周,奥哈尼安还是Reddit的董事会成员,与该公司合作将是一个明显的战略联系,当然,Reddit是面临Sentropy正在处理的那种滥用行为的平台的典型例子。

奥哈尼安在一份声明中说:“我亲眼目睹了手动调整在线社区的难度。”“这个问题的广度和深度需要认真的资源和机器学习印章。Sentropy已经建立了社交媒体社区非常需要的技术。对于那些愿意反对滥用的人来说,用户安全已经成为一个具有竞争力的差异化因素。“。

Sentropy可能很早就对其产品产生了浓厚兴趣的另一个原因是因为创始人的过往记录。他们之前的公司Lattice Data是一家专家,专门研究更广泛的非结构化、黑暗数据领域,尽管目的不同。它于2017年被苹果公司收购,目前团队中的几名成员在出售后继续在那里工作。雷德格雷夫说,将网络滥用作为非结构化数据问题来处理的想法,实际上是他们在Lattice还是一家初创公司时就开始认识到的,尽管这不是他们在那里发展出来的。

Sentropy既可以作为开发者实现和定制的基于API的产品出售,也可以作为开箱即用的在线社区管理产品出售,品牌分别为检测和防御。今天的这两种实现都是基于向人类提供工具,最终为他们各自的平台做出适度决策,尽管随着时间的推移,可能会添加一项服务,使更多的工作自动化。

雷德格雷夫指出,今天在处理网络滥用以及试图阻止和缓和它的任务时,存在一些问题。热门网站上的大量评论使得人类分类任务变得非常复杂,这实际上是一项无法克服的任务(而且本身就具有潜在的危害性)。与此同时,目前许多用于自动标记关键字和短语的系统往往不够复杂,无法捕捉到正确的东西。该公司援引皮尤研究公司(Pew Research)的话说,这导致问题略有减少,但事实上,约有75%的在线骚扰没有上报。

Rhyne说,支撑这项服务的“大脑”是通过吸收来自开放网络、灰色网络和黑暗网络的许多页面的对话而构建的。正如您对人工智能系统的期望一样,Sentropy还会“学习”特定客户如何使用它来适应他们。反过来,这些知识也被输入到更大的大脑中,继续教授它。(Sentropy解析所有这些数据的方式使它自己对数据的读取更加“智能”,这当然是这里的秘诀。)。

随着时间的推移,有很多问题和未开发的领域可能需要解决,即使它在这里取得了进展。首先,Sentropy是从专注于文本开始的。目前,还没有解析音频或视频内容的产品,这些内容今天需要通过转录器运行,才能被Sentropy的算法“读取”。随着时间的推移,考虑到视频应用的流行,以及YouTube等网站和Facebook等其他平台上视频的流行,这是一个它必须认真对待的领域。

同样,对于一个网站可能想要对某些术语进行多少定制,以及在某些时候如何以及是否会被滥用,仍然存在问号。Rhyne指出,就目前而言,哨兵决定术语,因此它本身不能被滥用,并被用作政治审查的工具,举个例子。当然,它提出了一些有趣的问题,即什么是普遍的“对”和“错”。

“我们确实可以选择我们的客户是谁,”雷德雷夫说。“这不是开源技术,他们必须与我们互动,我们将学习具体的使用案例。”