奥布里·德格雷（Aubrey de Grey）：老年医学专家；SENS研究基金会首席科学家；著有《终结衰老》（Ending Aging）
如果被问到如何按照严重程度给人类的问题排序，我会把银牌颁给它，它要花费人们很多时间却依然不能圆满完成——一言以蔽之，它就是“工作”。我想人工智能最终的目的就是把这个负担交给机器人，机器人将以最小的监管力度、足够的常识去执行这些任务。
有些人工智能研究者对未来的机器却有着很高的期望。他们预测计算机能在任何一个认知领域超过人类。这些机器不仅可以做我们不愿做的工作，还能探知怎么去做没人能胜任的工作。原则上讲，这个过程能够迭代：机器能做得越多，它们能探知得就越多。
那又会怎样呢？我并不将制造有常识的机器（我称之为“仆人”）作为最高的研究目标，为什么呢？
首先，有一种担忧已经引起了人们广泛的关注，即这种机器可能失控，特别是当一台机器的技能集（它的“自我提升能力”）不是迭代，而是递归的时候。这些研究员的意思是，不仅要完善机器能做事情的数据库，还要完善它们决定做什么事情的算法。有些人指出，这种递归式的自由提升或许会是指数级的（或者更快），从而发展出我们还没来得及理解并终止这个进程的功能。到目前为止，如果没有这种悲观想法的话，一切都将非常壮观，比如认为机器改善的轨迹将超出人类的控制，也就是说超级智能机器会被我们所不喜欢的“目标”（这是它们决策时的度量标准）所吸引。已有很多工作在研究阻止这种“目标蠕变”的方式，并且创造出一个可信赖的、永远“友好的”、递归式的自我提升系统——但这只取得了有限的宝贵成果。
我相信递归式的自我改善并非人工智能研究的最终目标。我的理由并不是不友好的人工智能有风险，而是我强烈怀疑，递归式的自我提升在数学上是不可能的。打个比方，决定是否终止一个程序的所谓“停机问题”，我怀疑是否存在一种尚未发现的对复杂性的衡量，这种复杂性在于没有哪个程序可以写出改进后的程序（包括复制自身的版本）。
在精确量化的意义上，被编写的程序要比写它自身的程序更简单，程序可以在外部世界写下改进自身的信息。但是我认为，第一，这个实现程序更多地是递归的而非迭代的自我改善；第二，不管怎样它本质上都是自我限制的，因为如果机器变得和人一样聪明，它们就没有什么需要学习的新信息了。我知道，我这样说并非没有问题，据我所知，没有人在研究寻找这样深层的测量，或者证明这种测量不存在。但这是一个开始。
相反，我很担忧把制造仆人作为人工智能目标的另一个原因是：任何有创造力的机器（不管是技术上、还是艺术上的创造力），都在颠覆人与机器之间的差异。人类一直没能确定“非人类物种”所具有的权利。因为客观的道德判断是建立在一致同意的规范之上的，而这些规范又从我们对自身需求的思考中得来，但是要在原则上形成完全不同于我们人类实体之间的道德判断，似乎是不可能的。所以我说，我们不能把自己放在必须尝试的处境上。比如，尽管资源有限，我们依然有权利生产商品。以经济激励为基础的妥协好像一直都运转得不错，但是我们如何确定对于这种几乎有无限生产潜力的“物种”的妥协？
我认为，拥有常识就不会导致这些问题。我把“常识”定义为，对于当前的各种目的，处理高度不完整信息的能力，这种能力可以从参数化的既定可选方案中，选择出合理的、接近最优的方法，以实现特定的目标。这就明显排除了“思考”这一选项——寻找既定方案之外的新方法，有可能比既定方案表现得更好。
再举个例子，如果一个目标要理想化地快速实现，而且联合多个机器来完成要比一个机器快得多，那么无论这台机器是否“知道”去探索复制自身的方法会有多好，除非这个选项预先被设定为是可采纳的，否则单个机器也不会这么做。由于可采纳是基于包容的，而非排除所定义的，所以我认为“方法蠕变”的风险可以被安全地消除。完全可以阻止递归式的自我提升（即使这种可能性最终被证明是可能的）。
以可采纳的方式去带来一种开放性结局的前景，从而实现一个人的目标，这种可能性构成了对这些目标“意识”的可操作定义。“意识”意味着对目标及其可选方案进行反思的能力，也就相当于去思考是否存在未曾想到的可选方案。
我想用简单的一句“不要制造有意识的机器”来结尾，但是所有人都向往的技术最终都会被发展出来，所以事情没这么简单。因此我要说的是，让我们好好想一想会思考的机器的权利，在递归式自我提升的机器到来之前，我们可以用只具有很少意识的机器来检验我们的结论。如果像我预测的那样，这种伦理实验在一开始就失败了，那么或许这类工作就会被终止。
