欧盟法院质疑“奥威尔式”人工智能测谎仪项目

负责监督欧盟资助计划的欧盟研究执行机构（REA）的透明诉讼于2019年3月由德国海盗党欧洲议会议员和公民自由活动家Patrick Breyer提起，后者已成功起诉欧盟委员会，拒绝透露文件。

他正在寻求发布有关道德评估，法律可接纳性，市场营销和项目结果的文件。并希望设定一项原则，即由公共资助的研究必须符合欧盟的基本权利，并避免在此过程中将公共资金浪费在AI“蛇油”上。

“欧盟一直在发展危险的监视和控制技术，甚至将来会资助武器研究，我希望这项划时代的裁决将允许公众审查和辩论为私人利益利益服务的不道德的公共资助研究”，布雷耶在今天的聆讯后发表声明。 “通过我的透明诉讼，我希望法院一劳永逸地裁定纳税人，科学家，媒体和国会议员有权获得有关公共资助研究的信息，尤其是在使用伪科学和奥威尔技术的情况下，例如'iBorderCtrl视频测谎仪。”

法院尚未确定此案的裁决日期，但布雷耶表示，法官“在一个多小时内严密而严密地”质疑了该机构，并透露与所涉及的人工智能技术有关的文件尚未公开披露，但已经被公开。经法官审查后，包含诸如“种族特征”之类的信息，引发了很多问题。

主持人接着问布雷利，通过发布有关有争议的iBorderCtrl项目的更多信息来证明它没有什么藏身之处，这是否符合欧盟研究机构的利益。

有争议的研究是有争议的，因为精确的测谎仪的概念仍然是科幻小说，并且有充分的理由：没有证据表明欺骗会产生“普遍的心理信号”。

然而，这项由人工智能推动的商业研发“实验”构建了一个视频测谎仪-当网络摄像头扫描他们的面部表情时，测试人员被要求对虚拟边防警官向他们提出的问题做出回应，而系统试图检测出什么EC对该项目的官方摘要描述为“欺骗性生物标志物”，旨在对面部表情的真实性进行评分（是的，真的🤦‍♀️）-在欧盟的“地平线”下获得了超过450万欧元/ 540万美元的欧盟研究资金2020年计划。

iBorderCtrl项目运行于2016年9月至2019年8月之间，资金分布在多个成员国（包括英国，波兰，希腊和匈牙利）的13个私营或营利性实体之间。

欧盟委员会的公共研究报告称，根据布雷耶（Breyer）质疑缺乏透明度的问题的书面答复，该出版物将于去年出版，但似乎还没有出现。

早在2019年，Intercept就能够自行测试iBorderCtrl系统。视频测谎仪错误地指责其记者撒谎-判断她在16个回答中给出了四个错误答案，并给了她总分48分。据报道，对结果进行评估的一名警察触发了该系统的建议，她应该需进行进一步检查（尽管并非如此，因为在边界测试期间该系统从未真正运行过）。

Intercept表示，必须提交数据访问请求（欧盟法律规定的一项权利），以获取报告者结果的副本。该报告引用了德比大学（Derby University）刑事调查教授雷布尔（Ray Bull）的话，他将iBorderCtrl项目描述为“不可信”，因为缺乏证据表明监测人的脸上的微手势是测量说谎的准确方法。

“他们自欺欺人地认为它将永远有效，并且浪费了大量金钱。该技术基于人们对真实和欺骗性行为的基本误解。” Bull还说。

如果仅输入足够的数据，人工智能就可以自动预测人的特质的想法令人痛苦，这很普遍-看看最近通过应用机器学习从面部形状中收集“人格特质”来复兴颅相学的尝试。因此，人脸扫描AI“测谎仪”处于漫长而无知的反科学“传统”中。

在21世纪，令人难以置信的是，数百万欧元的公共资金被用于重新整理可怕的旧想法-在您甚至考虑到欧盟资助研究固有的道德和法律盲点之前，这与欧盟章程所规定的基本权利背道而驰。当您考虑让这种飞行涉及的所有错误决定时，它看起来令人垂涎三尺。

为如此可疑的AI应用提供资金似乎也忽略了所有已完成的（良好）研究，这些研究表明数据驱动技术如何冒着规模偏见和歧视的风险。

不过，我们无法确定，因为关于iBorderCtrl背后的财团如何在实验性应用中评估道德考量的信息很少，这是法律投诉的核心部分。

卢森堡的欧洲法院面临的挑战为委员会提出了一些非常尴尬的问题：欧盟是否应将纳税人的现金投入伪科学的“研究”中？它不应该尝试资助实际的科学吗？为何其旗舰研究计划（欧盟皇冠上的明珠）却很少受到公众监督？

同时，视频测谎仪通过欧盟的“道德自我评估”程序，这一事实表明，声称的“道德检查”不值得再看一眼。

“是否接受[R＆amp; D]申请的决定是由REA在成员国代表做出决定后做出的。因此，没有公开审查，也没有议会或非政府组织的参与。没有[独立]道德机构会筛选所有这些项目。整个系统设置非常糟糕。”布雷耶说。

“他们的论点基本上是，该研发活动的目的不是为科学做出贡献或为公共利益做任何事情，也不是为欧盟政策做出贡献，但这些计划的目的实际上是为行业提供支持-开发可出售的产品。因此，它的设计方法确实应该是一种经济计划。我认为我们真的需要就是否正确，是否应该如此进行讨论。”

他补充说：“欧盟即将对人工智能进行监管，而这实际上是在资助不道德和非法的技术。”

批评者认为，对欧盟来说，资助敌对权利的研究不仅虚伪，而且浪费在公共资金上，而这些钱本可以用于真正有用的研究（无论是出于安全目的，还是更广泛地来说，是为了公众欧盟立法者喜欢提及的那些“欧洲价值观”。

“我们需要知道和理解的是，永远不会因为不起作用，不道德或不合法的研究而被使用，而这实际上是在浪费那些真正重要和有用的程序的钱，”布雷耶认为。

“例如，在安全计划中，您可能会在警察防护装备方面做得很好。或者，从预防犯罪的角度告诉民众。因此，如果正确地使用了这些方法，那么您会做很多事情—而不是使用这种可疑的技术，希望永远不会使用它。”

欧盟旗舰研究与创新计划的最新化身（接替《地平线2020年》）在2021-2027年期间的预算约为955亿欧元。推动人工智能的数字化转型和发展是欧盟规定的研究经费优先事项之一。因此，可用于“实验性” AI的资金看起来很大。

但是谁能确保不会浪费金钱在算法蛇油上，而在研发活动与欧盟自己的基本人权宪章如此明显相反的情况下，危险的算法蛇油却不会浪费呢？

欧盟委员会拒绝了要求发言人讨论这些问题的多次请求，但确实发送了一些记录点（如下），以及一些有关获取文件的背景信息，这是法律投诉的关键部分。

在委员会关于“研究中的伦理学”的记录声明中，它首先宣称“在欧盟资助的研究中，伦理学被赋予最高优先级”。

它还对我们说：“在“地平线2020年”下开展的所有研究和创新活动必须遵守道德原则以及相关的国家，欧盟和国际法，包括《基本权利宪章》和《欧洲人权公约》。接受特定的道德评估，以验证并按照合同规定，研究项目必须符合道德规则和标准。”

它没有详细说明“视频测谎仪”如何可能符合欧盟的基本权利，例如尊严权，隐私权，平等权和不歧视权。

值得注意的是，欧洲数据保护主管（EDPS）对欧盟资助的科学研究与数据保护法之间的不一致提出了担忧，他在去年的初步意见中写道：“我们建议加强数据保护机构与道德审查委员会之间的对话为了使人们对哪些活动才算是真正的研究有共同的了解，欧盟的科学研究行为守则，欧盟的研究框架计划与数据保护标准之间的更加紧密的联系以及关于研究人员在何种情况下可以访问由研究人员持有的数据的辩论开始私人公司可以基于公共利益”。

在iBorderCtrl项目中，委员会特别告诉我们，该项目任命了一位道德顾问，以“符合最初的道德要求”来监督研究的道德方面的实施。它声称，“顾问以确保自治和独立于财团的方式工作”，但没有透露该项目的（自我任命的）道德顾问是谁。

“在项目执行过程中，通过修订相关可交付成果，委员会/ REA不断监督道德方面，并在与报告期末相关的技术审查会议期间与外部独立专家合作对道德方面进行认真分析”， ，并补充说：“在2019年3月进行了令人满意的道德检查”。

它没有提供有关这种自我监管的“道德检查”的更多详细信息。

布雷耶在讨论欧盟研究计划的结构时说：“到目前为止，它的运作方式基本上是委员会设立的一个专家小组，进行招标/招标。” “它由行业专家主导，那里没有议会议员，我认为其中只有一位公民社会代表，所以从一开始就构成错误。然后交给研究执行机构，实际的决定由成员国代表做出。

“如果您查询一下，[研究建议]的呼声听起来并不那么糟糕-它非常笼统-因此问题出在他们提出的具体建议中。据我了解，这些没有经过独立专家的筛选。道德问题是通过自我评估来解决的。因此，基本上应该由申请人指出项目中是否存在很高的道德风险。而且只有在他们指出的情况下，才会由REA选择的专家进行道德评估。

“我们不知道被选中的人，我们也不知道他们的意见-它也一直处于保密状态-如果以后发现某个项目不道德，就不可能撤消资助。”

伪善指控在这里急剧增加，因为委员会正在为AI的应用制定基于风险的规则。多年来，欧盟立法者一直在说人工智能技术需要“护栏”，以确保其应用符合区域价值和权利。

例如，委员会执行副总裁Margrethe Vestager谈到了规则的必要性，以确保人工智能“合乎道德地使用”，并且可以“支持人类的决定而不是破坏人类的决定”。

然而，欧盟机构正在同时将公共资金投入到AI研究上，如果在该地区实施AI研究显然将是非法的，鉴于缺乏“谎言侦查”基础的科学依据，民间社会批评者认为这显然是不道德的。

在iBorderCtrl网站的“常见问题解答”部分中，该项目背后的商业财团承认，现有欧盟法律框架不会涵盖在其中涉及某些技术的实际部署-并补充说，“如果没有一个完整的解决方案，它们将无法实施。建立法律基础的民主政治决定”。

或者换种说法，这种系统在不修改法律的情况下在欧洲实际用于边境检查是非法的。然而，欧洲纳税人的资金却投入了。

EDP​​S的发言人拒绝就布雷耶的案子发表评论，但他确认，布雷耶对科学研究和数据保护的初步意见仍然有意义。

他还指出了进一步的相关工作，涉及委员会最近为鼓励泛欧健康数据共享而进行研究的努力– EDPS建议应“从一开始”就定义数据保护保障措施，并建议“通过”法律在进行研究之前应建立基础。

欧盟首席数据主管写道：“ EDPS建议特别注意[卫生数据共享]框架内数据的道德使用，为此，他建议考虑现有的道德委员会及其在国家立法中的作用”，他补充说，“坚信[卫生数据共享计划]的成功将取决于建立强大的数据治理机制，该机制可为基于欧盟价值观的合法，负责任，道德的管理提供充分保证，包括尊重基本权利”。

tl;博士：数据的合法和合乎道德的使用必须是研究工作的DNA —而不是事后的复选框。

除了缺乏对获得欧盟资助的研究项目的独立道德监督之外，目前（令人担忧的是，据认为具有商业头脑的研究）没有任何局外人可以独立验证（或伪造）所涉及的技术。

对于iBorderCtrl技术，没有公开有关项目成果的有意义的数据，并且出于商业利益的考虑，也禁止了根据信息自由法寻求数据的要求。

自从项目于2019年完成以来，布雷耶一直在努力获得有关项目结果的信息。《卫报》详细报道了他在12月进行的反击。

他说，在包裹欧盟研究的法律框架下，发布项目成果信息的要求非常有限-事后才发布。因此，他的希望是，法院将同意“商业利益”不能被用来过分否认公共利益信息的披露。

他告诉TechCrunch：“他们基本上认为没有义务检查项目是否真正有效，因此他们有权资助无效的研究。” “他们还争辩说，如果任何信息的发布会损害销售技术的能力，那么基本上排除访问就足够了。这是对商业敏感信息的一种极其广泛的解释。

“我所接受的是排除真正包含商业秘密的信息，例如软件程序的源代码或内部计算等。但这当然不应该涵盖，例如，如果一个项目被标记为不道德。这不是商业秘密，但显然会损害他们的销售能力，但显然解释范围太广了。”

“我希望这项[法律诉讼]将成为先例，以澄清关于这种不道德的信息，并且如果该信息实际上被使用或部署，也是非法的，公众知情权优先于出售商业利益的信息。他补充说。 “他们说我们不会发布信息，因为这样做会减少销售该技术的机会。因此，当我看到此内容时，我说的很好，因为他们将一视同仁地对待所有请求，绝对值得向法院提起诉讼。”

公民社会组织也一直在努力获取有关iBorderCtrl项目的详细信息。 《拦截》（Intercept）在2019年报道说，总部位于米兰的爱马仕透明与数字人权中心的研究人员使用信息自由法来获取有关iBorderCtrl系统的内部文件，例如，但他们拿回的数百页被大量编辑-与许多人完全被遮住了。

“我从[新闻工作者]那里听到了消息，他们徒劳无功地寻找其他他们大量隐瞒信息的可疑研究项目。布雷耶继续说，即使是诸如道德报告或法律评估之类的东西，这些东西也不包含任何商业秘密。 “它不包含任何源代码，也不包含任何敏感信息-他们甚至都没有部分发布这些内容。

“我发现欧盟当局[REA]实际上说我们不在乎这有什么利益是令人发指的，因为一旦它会减少销售量，我们就会隐瞒信息。我不认为这是可以接受的，无论是从纳税人了解他们的钱被用于什么目的的利益，还是在能够测试/验证所谓“欺骗检测”的实验的科学利益方面而言，都是不可接受的。 '-如果确实可行，这将引起很大争议。为了验证或伪造它，科学家当然需要获得有关这些试验的细节。

“从民主的角度来讲，如果立法者想要决定采用这种系统，甚至决定这些研究计划的框架，我们基本上就需要知道细节，例如，误报的数量是多少？实际效果如何？它是否具有歧视性效果，因为它在某些人群（例如面部识别技术）上效果较差。这就是我们真正迫切需要知道的东西”。

关于获取与欧盟资助的研究有关的文件的问题，委员会将我们引荐给了第No. 1049/2001（它说“确定了一般原则和限制”），但它补充说，“每个案例都经过仔细和个别地分析”。

但是，委员会对Horizo​​n计划法规的解释似乎完全排除了信息自由的适用范围-至少在iBorderCtrl项目案例中如此。

根据布雷耶（Per Breyer）的说法，他们将公开披露仅限于研究结果的摘要，该摘要可以在项目完成后三到四年发布。

他说：“您会在某本科学杂志上看到有关该项目的五到六页文章，当然您不能使用它来验证或伪造该技术。” “您看不到他们一直在做什么-他们一直在和谁聊天。因此，此摘要在科学上，对公众和民主上都是毫无用处的，并且需要花费很多时间。因此，我希望未来我们将获得更多的见识，并希望进行公开辩论。”

欧盟研究计划的传统

......