迪伦·埃文斯（Dylan Evans）：风险研究专家；投影点公司（Projection Point）创始人；著有《风险思维》（Risk Intelligence）
认知错误总是困扰着那些天资愚钝的人，聪明人往往会设法避免它。但是有某些种类的愚蠢似乎只折磨聪明人。担心来自不友好的人工智能的危险就是一个典型的例子。专注于超级智能的风险是聪明人的迷魂汤。
这并不是说超级智能对人类没有危险。很显然，21世纪我们会面临很多更紧迫、更可能发生的危险。担忧不友好的人工智能的人们倾向于认定那些风险已经是老生常谈的主题了。此外，即便被超级智能消灭的概率很低，但是鉴于威胁是客观存在的，分配一些脑力来防止这样的事件发生无疑是明智的。
绝非巧合的是，这个有争议的问题最先被它的一些最响亮的支持者提出。它涉及一个谬误，即“帕斯卡的抢劫”（Pascal’s mugging），并与著名的“帕斯卡的赌注”（Pascal’s Wager）进行类比。
一名劫匪遇到了帕斯卡，提出了一个交易：为交换帕斯卡的钱包，劫匪会在次日还给他两倍的钱。帕斯卡表示异议。然后劫匪提出了更多的报酬，指出：对于任何偿还很多钱（或纯实物）的低概率事件，都存在一个有限的数额，使人理性地下注。一个理性的人必须承认至少有一些渺茫的机会使这样的交易成功。帕斯卡最终被说服，把钱包给了劫匪。
这一思想实验揭示了经典决策理论的弱点。如果简单地以古典方式计算效益，我们似乎没有办法解决这个问题，理性的帕斯卡必须交出他的钱包。以此类推，即使我们只有极小的概率遇到不友好的人工智能，或只有极小的概率能够阻止它，至少投资一些资源来应对这个威胁也是理性的。
正确地计算出结果很容易，尤其是假如你虚构了数十亿的未来人类（也许只是存在于软件中一个很小的细节），他们生活了数十亿年，比今天生活在地球上的可怜的血肉之躯更有能力拥有更高程度的幸福生活。当这些海量财富处于危险之中时，谁能舍不得花几百万美元来维护它，即便成功的概率很低。
为什么有些聪明人会陷入这个骗局？我认为是因为这迎合了他们的自我陶醉心理。当一个人把自己当作潜在的人类救世主、为数不多的有远见的思想家之一时，这必定会回报颇丰。但这一论点也有物质回报：它为发展它的人提供给了可观的收入来源。因此，在过去的几年里，他们试图说服一些富有的捐助者，游说的理由之一是，来自不友好的人工智能的风险是真实的；理由之二是，他们是平息这一风险的最合适的人选。结果是一系列新组织的出现，它们不再做更值得做的慈善事业。这是值得关注的，例如，GiveWell是一个非营利性组织，负责评估依靠捐赠的组织的成本效益，该组织拒绝批准任何这类自称为银河守护者的人。
每当一个论点变得流行时，总有一个值得一问的重要问题——谁是受益者？从本质上说，谁将从这种流行的思想中获益？人们不必特别疑心地去了解这种生死攸关的经济利益。换句话说，人们不必过于担心会思考的机器，而是要担心那些自封为机器之主的人。
