如果机器人是有意识的，可以把它关掉吗？

在“星际迷航：下一代”(Star Trek：The Next Generation)剧集“人的尺度”(The Measure Of A Man)中，企业号(Enterprise)的一名Android机组人员Data将被拆解，用于研究目的，除非皮卡德船长能辩称，数据应该享有与人类同等的权利。自然会出现这样的问题：某物拥有权利的基础是什么？是什么赋予了一个实体道德地位？

哲学家彼得·辛格(Peter Singer)认为，能够感觉到痛苦或痛苦的生物有权享有道德地位。他认为，非人类动物有道德地位，因为它们能感觉到痛苦和痛苦。将其限制在人身上将是一种物种歧视，类似于种族主义和性别歧视。

如果不支持辛格的推理，我们可能会想，它是否可以进一步扩展到像Data这样的Android机器人。这将要求数据要么能感觉到痛苦，要么能遭受痛苦。你如何回答这个问题取决于你如何理解意识和智力。

随着真正的人工智能技术向好莱坞想象的版本迈进，道德地位的问题变得更加重要。如果人工智能有道德立场，像我这样的哲学家有道理，那么他们就有生命权。这意味着你不能简单地拆卸它们，也可能意味着人们不应该干涉他们追求自己的目标。

IBM的深蓝国际象棋机器被成功训练，击败了特级大师加里·卡斯帕罗夫。但它不能做其他任何事情。这台计算机拥有所谓的领域特定智能。

另一方面，有一种智力可以让你有能力把各种事情做好。这就是所谓的“领域通用智能”。这是让人们做饭、滑雪和抚养孩子的东西-这些任务是相关的，但也有很大的不同。

人工通用智能，AGI，是具有领域通用智能的机器的术语。可以说，目前还没有一台机器显示出这种智能。今年夏天，一家名为OpenAI的初创公司发布了新版本的生成性预培训语言模型。GPT-3是一个自然语言处理系统，经过读写训练，便于人们理解。

它立即引起了人们的注意，不仅是因为它有令人印象深刻的模仿文体华丽和整合看似合理的内容的能力，还因为它与以前的版本有很大的不同。尽管GPT-3的表现令人印象深刻，但实际上，除了如何以各种方式将单词串在一起之外，GPT-3并不知道其他任何事情。AGI仍然遥遥无期。

图灵测试以人工智能先驱研究人员艾伦·图灵的名字命名，有助于确定人工智能何时是智能的。与隐藏的人工智能对话的人能分辨出它是人工智能还是人类吗？如果他不能，那么在所有的实际目的中，人工智能都是智能的。但这项测试并没有说明人工智能是否可能是有意识的。

意识有两个部分。首先，这是一种体验对我来说是什么样的方面，也就是意识的感官部分。哲学家们称之为现象意识。它是关于你如何体验一种现象，比如闻到玫瑰花或感觉到疼痛。

相比之下，还有接近意识。这是一种根据目标对刺激做出协调和反应的报告、推理、行为和行动的能力。例如，当我把足球传给我的朋友在球门上玩耍时，我是在对视觉刺激做出反应，根据之前的训练采取行动，并追求游戏规则确定的目标。在比赛的过程中，我自动传球，没有经过深思熟虑。

失明很好地说明了这两种意识之间的区别。例如，患有这种神经疾病的人可能会报告说，他们在视野的左侧看不到任何东西。但如果要求他们从视野左侧的一组物体中拿起一支笔，他们可以可靠地这样做。他们看不见钢笔，但他们可以在得到提示时拿起它-这是一个没有现象意识的访问意识的例子。

Android的数据表明，他是有自我意识的，因为他可以监控，例如，他是否充电最好，或者他的机械臂是否有内部损伤。

数据在一般意义上也是智能的。他在很高的掌握水平上做了很多截然不同的事情。他可以驾驶进取号，听从皮卡德上尉的命令，和他商量最好的路线。

他还可以和他的船友打牌，做饭，和密友讨论热点问题，与外星人作战，从事各种形式的体力劳动。数据具有访问意识。他显然会通过图灵测试。

然而，数据很可能缺乏非凡的意识-例如，他不喜欢玫瑰花的香味，也不经历痛苦。他体现了一种超大版本的盲目。他有自我意识，有接近意识-可以抓住笔-但在他所有的感官中，他缺乏非凡的意识。

现在，如果数据没有感觉到痛苦，那么辛格提出的给予生物道德地位的至少一个原因是没有实现的。但数据可能满足另一个条件，即即使没有感觉到痛苦，也能够忍受痛苦。痛苦可能不像痛苦本质上那样需要非凡的意识。

例如，如果痛苦也被定义为在不对他人造成伤害的情况下追求正义事业受挫的想法，那会怎么样？假设Data的目标是拯救他的船员，但由于他的一条四肢受伤，他无法联系到她。数据功能的下降使他无法拯救他的船员，这是一种不同寻常的痛苦。他宁愿救那名船员，如果他救了他会过得更好。

在这一集中，问题最终不在于数据是否具有自我意识-这是毋庸置疑的。他是否聪明也是毋庸置疑的--他很容易证明他是一般意义上的。目前尚不清楚的是，他是否具有非凡的意识。数据没有被拆解，因为最终，他的人类评判者不能就意识对道德立场的重要性达成一致。

数据是善意的-他的行动是为了支持他的船员和他在外星人星球上遇到的那些人的福祉。他服从人们的命令，似乎不太可能伤害他们，他似乎是在保护自己的存在。由于这些原因，他看起来很平和，更容易接受有道德立场的事物的领域。

但是“终结者”电影中的天网呢？或者埃隆·马斯克(Elon Musk)最近表达的对人工智能比核武器更危险的担忧，以及斯蒂芬·霍金(Stephen Hawking)对人工智能终结人类的担忧？

人类不会因为违背另一个人的利益而丧失他们的道德地位。同样，你不能仅仅因为一个人工智能的行为违背了人类的利益或另一个人工智能的利益，就自动说它没有道德地位。你可能有理由反击像天网这样的人工智能，但这并不能夺走它的道德地位。如果道德地位是由于能够遭受非同寻常的痛苦而赋予的，那么天网和数据都会得到道德地位，即使只有数据想要帮助人类。

目前还没有人工通用智能机器。但现在是考虑如何才能赋予他们道德地位的时候了。人类如何选择回答非生物生物的道德地位问题，将对我们如何处理未来的人工智能产生重大影响-无论是像数据一样善良和有帮助的人工智能，还是像天网一样开始毁灭的人工智能。