托马斯·迪特里奇（Thomas G.Dietterich）：俄勒冈州立大学智能系统主任，计算机科学特聘教授
许多对人工智能（通常指的是超级智能）潜在威胁的描述，都采用了“智能爆炸”这一比喻。拿链式核反应作为类比，人工智能研究员正在以某种秘密的方式研究一种“智能离子”，当这些物质集中到一处时，就可能产生不堪设想的失控性大爆炸。实际上，这种类比是不确切的。仅仅是人工智能算法的交互运行，还不足以产生能控制世界的力量。智能爆炸的引爆绝非偶然也非易事。我们首先要构建能发现简化世界结构的人工智能系统，设计并制造出可以利用这些系统的器件，然后再给予机器以自主的权限和必要的资源，如此循环往复。
制造一场智能爆炸要求反复执行以下四个步骤。第一步，系统必须能够自主设计并完成实验，否则，它获取的知识就无法超越人类的知识边界（人工智能领域的最新进展是，通过机器学习，人工智能已经能够复制人类知识，但还无法延伸它）。大多数有关人工智能的哲学讨论都会不自觉地步入纯思辨之境，好像光靠这些便能扩展我们的知识。的确，在某些特殊的学科里，如数学和物理学的某些分支，我们也能通过纯粹的推理来获取新的知识。但综观科学活动，我们会发现，科学知识的扩展都是通过实验-假设-实验的反复尝试来实现的。这就是我们要建造大型强子对撞机（LHC）的原因，同时也说明了为什么所有工程学努力都少不了建造和测试原型的环节。这一步是切实可行的，而且目前已经有“自动化科学家”了。
第二步，这些实验必须发现并开发出新的简化结构，用以指导我们克服在推理中出现的棘手问题。几乎所有有趣的推理问题（例如，寻找游戏的最优解，寻找复杂约束条件下问题的最优解，证明数学定理，推测分子结构），都是非确定性的。在我们目前对计算复杂性的理解框架内，这意味着，随着一个具体问题难度的增加，解决该问题所需付出的代价是指数级增加的。算法设计的升级倒逼我们去发现一些能够帮助我们克服指数级增长困难的简化结构。如果不能重复发现这些简化结构，智能爆炸就不可能发生（除非我们现在对计算复杂性的理解有误）。
第三步，系统必须能自主设计新的计算机制和新的算法。这些机制和算法将会继续开发在第二步获得的科学发现。的确，有人可能认为这在本质上还是在走第一、第二步的程序，区别只在于这一步强调了计算。基于硅基半导体技术，计算机硬件的自动化设计是完全可行的，而且在各种新技术，如合成生物学、组合化学、3D打印技术的助力下，该目标的实现更加指日可待了。自动算法设计已经演示了许多次，所以也是可行的。
第四步，该系统必须将自主权和资源获取权授权给这些新的计算机制，这样，它们才能顺利地递归地进行实验、发现世界的新结构、开发新算法、“繁衍”出更为强大的“后代”。但我知道目前还没有一个系统能做到这一步。
走完前三步还不能触发链式反应的危险开关。最后一步，即如果系统能自主“繁衍”后代，才是触发爆炸的关键一步。当然，几乎第四步产生的所有后代都会失败，正如所有的软硬件在初次开发出来时都无法正常工作那般。但是一旦经过了足够多次的迭代，或者说，经过多次繁衍和变异，我们就不能排除智能爆炸发生的可能性了。
我们如何做才能防止智能爆炸发生？我们预期第二步可能走不通，因为目前我们只是简单地认为各种结构性缺陷对算法的正常运行是不会构成威胁的，并假设我们已经发现了所有可能的算法。但实际上并没有电子工程师和计算机专家宣称自己的研究已经完成。
第三步为我们提供了一个控制节点。因为现实中还没有用来设计新的计算设备和算法的人工智能系统。它们被更多地用在了物流、决策制定、机器人控制、医疗诊断和面部识别等方面。这些活动不会引发链式反应。我们要慎重考虑步骤三的研究规范性问题。类似的研究规范在合成生物学领域已经被提出。可惜规范并没有被采纳，落实起来更是困难重重。
我认为我们必须把重心放在第四步。我们必须限制自动化设计过程中给予系统的资源。一些人可能会争论说这是困难的，因为“有缺陷”的系统总是能从人类那里得到更多的资源。但我想这只是科幻小说的情景，在现实中，我们总是能轻易地对新系统的资源需求进行必要的限制。其实，每当测试新设备和新算法时，这样的限制性做法对于工程师来说是再平常不过的事了。
前三步都有推动科学知识和计算推理能力大步向前发展的潜能，与此同时，还能给人类社会的发展带来巨大福利。但我们必须牢记：在为此投入大量资源之前，我们首先应当理解相关的知识和能力，绝不能在我们不理解和无法控制的情况下给予系统自主权。
