Robust Intelligence帮助开发人员以安全的方式部署AI模型，凭借由红杉(Sequoia)牵头的1400万美元种子和首轮融资走出了隐形状态

雅伦·辛格(Yaron Singer)在对抗性机器学习方面的工作推动了他在哈佛大学(Harvard)在七年内爬上终身教职阶梯，成为正式教授。对抗性机器学习是一种使用误导性数据愚弄人工智能模型的方法。现在，辛格与一名前博士导师和两名前学生共同创立的初创公司Robust Intelligence正在悄悄走出困境，将他的研究推向市场。

今年，人工智能将占到500亿美元的企业支出，尽管企业仍在研究如何将这项技术应用到他们的业务流程中。各公司也仍在研究如何保护他们的好人工智能免受坏人工智能的影响，比如通过算法生成的语音深度假，它可以欺骗语音身份验证系统。

“在互联网的早期，它被设计成每个人都是好演员。然后，人们开始建造防火墙，因为他们发现并不是每个人都是这样的，“谷歌前工程高级副总裁比尔·考夫兰(Bill Coughran)说。“我们看到同样的迹象发生在这些机器学习系统上。哪里有钱，哪里就有坏演员。“。

进入Robust Intelligence，这是一家由首席执行官辛格领导的新创业公司，该公司表示，该公司的平台经过培训，可以检测100多种对抗性攻击。尽管其创始人和团队中的大多数人都有剑桥血统，但这家初创公司已经在旧金山设立了总部，并于周三宣布，它在由红杉(Sequoia)牵头的种子和首轮融资中筹集了1400万美元。Coughran现在是这家风险投资公司的合伙人，他是此次融资的主要投资者，工程资本(Engineering Capital)和鱼叉风险投资公司(Harpoon Ventures)也参与了此次融资。

辛格在加州大学伯克利分校(University Of California At Berkeley)获得计算机科学博士学位后，于2011年加入谷歌担任博士后研究员。他花了两年时间研究算法和机器学习模型，以使这家科技巨头的产品运行得更快，并看到人工智能在坏数据的情况下是多么容易脱轨。

他说：“一旦你开始看到这些漏洞，就会变得非常非常可怕，特别是当我们考虑到我们多么想使用人工智能来自动化我们的决策时。”

欺诈者和其他不良行为者可以利用人工智能模型在处理陌生数据方面的相对僵化。例如，辛格说，401美元的支票可以通过添加几个人眼看不见的像素来操纵，但会导致人工智能模型将支票错误地读取为701美元。辛格说：“如果诈骗者拿到支票，他们就可以侵入这些应用程序，并开始大规模地这样做。”对数据输入的类似修改可能导致欺诈性金融交易，以及欺诈性语音或面部识别。

2013年，辛格在哈佛大学担任助理教授后，决定将研究重点放在设计保护人工智能模型的机制上。Robust Intelligence来自辛格近十年的实验室工作，在此期间，他与三名哈佛学生合作，他们后来成为辛格的联合创始人：辛格指导的博士生埃里克·巴尔坎斯基(Eric Balkanski)；研究生亚历山大·莱利(Alexander Rilee)；以及与辛格共同撰写学术论文的本科生大叶幸津(Kojin Oshiba)。在25篇论文中，辛格的团队在设计算法以检测误导性或欺诈性数据方面取得了突破性进展，并帮助使这个问题引起了政府的关注，甚至获得了Darpa的早期拨款来进行研究。Rilee和Oshiba仍在参与Robust的日常活动，前者涉及政府和市场，后者涉及安全、技术和产品开发。

鲁棒智能将推出两种产品，一种是人工智能防火墙，另一种是“红色团队”产品，在这些产品中，强大的功能就像敌对的攻击者。防火墙的工作原理是围绕组织现有的人工智能模型，通过Robust的算法扫描受污染的数据。另一款产品名为Rime(或“Robust Intelligence Machine Engine”)，它通过输入基本错误并故意对模型发起对抗性攻击，对客户的AI模型进行压力测试，看看它是如何站稳脚跟的。

辛格说，这家初创公司目前正在与大约10个客户合作，其中包括一家大型金融机构和一家领先的支付处理商，但由于保密，Robust不愿透露任何名字。辛格秘密推出，希望获得更多客户，并将团队规模扩大一倍，目前团队有15名员工。正从哈佛大学休假的辛格对自己在学术界的未来感到羞怯，但他表示，目前他专注于自己在旧金山的首席执行官职位。

“对我来说，我已经攀登了哈佛大学的终身教职这座山，但现在我认为我们找到了一座更高的山，那座山正在确保人工智能的安全，”他说。