萨姆·哈里斯（Sam Harris）：神经科学家；理智工程（Project Reason）首席执行官；著有《自由意志》
我们越来越有可能在未来某天制造出超级智能。我们只需不断地制造出更高级的计算机——这一点毫无悬念，除非我们自我毁灭了或是遭遇了世界末日。我们已经知道，仅仅是物质也能够获得通用智能，即能学习新概念并将其应用于不熟悉的环境中。最为典型的例子就是我们的大脑，它是一个只有约1 200立方厘米体积的“含盐果冻”。我们有理由相信，一台适当的高级数字计算机是能做到和人脑一样的。
一般来说，我们研发人工智能的近期目标是制造出能达到人类级别智能的机器。但除非我们能考虑到各种限制并准确地模仿人脑，否则，稍有偏差，我们就会偏离原目标。我正用来写这篇文章的计算机已经有了某些超人的记忆力和计算能力。它也有获取世界上大部分信息的潜能。除非我们给它吃错了药，否则，未来的通用人工智能（artificial general intelligence, AGI）在每一件事情上的表现都会比人更出色，因而这种智能是一流的。这样一种机器是否必然具有意识是一个开放性问题。但无论有意识与否，一个AGI都有可能会持有与人意愿相悖的目标。仅仅是有关这一分歧的突发或致命性问题就足以成为当前五花八门的讨论的主题。
为了帮助理解即将来临的危险，我们可以做如下情景想象：我们实现了自己的目标并且制造出了符合预期的超人AGI，那接下来会发生什么呢？也许它们会很快将我们从各种苦差事中解放出来，甚至能替我们做大多数的脑力劳动。然而，没有一个经济学原理断言，在技术发生了进步时，我们就能找到满意的工作。一旦我们制造出了完美的劳动节约型设备，那么用在制造新设备上的资金就将趋近于购买原材料的费用（这意味着不再需要雇人了）。如果缺乏将这样一种新资本投入市场而为全人类服务的意识，就会使得只有少数人可以获得大量财富，而大部分人将会挨饿。甚至当真正善良的AGI出现时，我们会倒退回不务正业的状态。
说实话，仅仅是有关AGI的谣言就有可能让我们发狂了。
即使是在最好的剧情里——AGI完全顺从于人类，那我们也要承认混沌的存在。但是，我们不能只看最好的剧情。事实上，能保证所有AGI都能顺从人类旨意的控制问题是非常难以解决的。
设想我们建造了一台并不比斯坦福大学或MIT的研究者们更聪明的计算机，但其计算速度要比它的制造者快几百万倍。如果让它连续运行一周，那么它就能完成人类要花近两万年的时间才能完成的工作。那试问，这样一种机器还会听任人的调度吗？我们又怎么能非常有把握地预测这些比我们看得更广、更深远的机器的行为呢？
人类正加速走向某种数字灾难的现实，向我们提出了几个有挑战性的智力和伦理问题。例如，为了让超级AGI拥有与人类相容的价值观，我们就应当给它们输入这些价值观（或者让其来模仿我们）。但问题是：它们该参照谁的价值观呢？我们要通过投票来表决吗？除了这些考虑因素外，AGI的发明还会迫使我们去解决一些古老（无聊）的伦理学争论。
然而，一个真正的AGI可能会获得新的价值观，或者至少发展出新奇的（但也许是有危险的）短期目标。它会采取怎样的方法来确保自己能获得计算资源并持续生存下去呢？这个问题可能是我们人类问过的最重要的一个问题。
问题在于，我们现在只有少数人在严肃地思考这个问题。的确，真相可能会出现在一种让人感到局促不安的环境里：在一个房间里，有10个年轻人，他们中的几个患有未确诊的亚斯伯格综合征（Asperger’s Syndrome，神经发展障碍的一种，被认为是“没有智能障碍的自闭症”），正喝着红牛并纠结着是否去触动开关。任何单个公司或研究所都可能有能力来决定人类的命运吗？其实，这个问题中已经有了答案。
但我们也应当看到，已经有一些聪明人正在为未来押下赌注。其动机是可以理解的。因为我们现在面临着许多自己无法解决的问题，如阿尔茨海默病、气候变化和经济不稳定问题，而这些问题，可能会被超级智能所解决。事实上，与制造出AGI同样可怕的是，我们连一台AGI也造不出来。然而，离做这事最近的人，负有最大的责任去预期AGI可能带来的危险。是的，其他一些领域也存在巨大的风险。但AGI和合成生物学的区别在于，后者的最危险的发现（如胚系突变）却并不具备商业上的或是伦理上的强大诱惑力。伴随着AGI的是，最强有力的方法（如递归的自我提升）同时也是最危险的。
我们好像正处在一个造神的过程中。现在，我们该好好想想，它到底是不是（甚至是“能不能是”）一个友善的神呢？
注：萨姆·哈里斯，“无神论四大骑士之一”。通过《自由意志》（Free Will）一书，他向我们解开了“八大未解哲学问题”中的第三问“我们有自由意志吗”。这是一本科学与人文激情碰撞、有关“自由意志”的最精到的著作。该文简体字版已由湛庐文化策划出版。
