尼古拉斯·卡尔（Nicholas G.Carr）：数字思想家；著有《浅薄》（The Shallow）
会思考的机器依然会按照机器的方式去思考。这可能会让那些期望未来会发生机器叛乱的人感到失望，不管他们是带着恐惧还是幸灾乐祸的心理。对我们大部分人而言，这才是令人心安的。我们发明出来的智能机器不可能在智能上超越我们，更不必说把我们变成它们的仆人或宠物。它们会继续按照人类程序员的命令来行动。
人工智能的强大正是源于它的无意识，因为不受意识中各种变化因素和偏见的影响，计算机才能以闪电般的速度执行计算任务，才不会分心、疲劳、怀疑、情绪化。正是它们冷静的思考，与我们的狂热形成了互补。
但当我们不再将它们视作助手，而是视作替身时，事情就变得棘手起来。这正是当前正在发生的情况，而且势头凶猛。由于人工智能技术的进步，现有的智能机器已经能够感知周围的环境，并从经验中学习，实现自主决策，而且其速度和精准度让人类望尘莫及。但是，如果允许它们在这个复杂的世界中自主行动的话，不管它们是体现为机器人的形式还是仅仅根据算法推导作出决策，这些能力强大的无意识机器都可能带来巨大的风险。它们无法质疑自己的行为，无法理解程序运行的后果，无法理解它们执行的内容，因此它们可能会造成巨大的破坏——不是程序的缺陷，就是程序员蓄意为之。
让我们回顾一下自治软件带来的危险事件。2012年8月1日早晨，华尔街最大的交易机构骑士资本集团（Knight Capital）更换了一套能够自主买卖股票的交易软件。但它的代码中藏有一处错误，致使其立刻完成了不计其数的荒谬交易。45分钟后，程序员才诊断出问题并将其修复。对于我们人类来说，45分钟也许不算什么，但这在计算机世界中简直有一辈子那么长。由于一个大意的错误，这套软件在偏离命令的方向上完成了400万笔交易，损失金额达到70亿美元，几乎让整个公司破产。没错，我们确实知道如何能让机器思考，但却不知道怎样让其深思熟虑。
在骑士资本集团的案例中，损失的仅仅是金钱，但随着软件越来越多地掌控经济、社会、军事以及个人事务，各种小毛病、故障以及未知的影响所带来的成本只会变得越来越高。带来危险的正是这些无形的软件代码。无论是个人还是社会，我们都越来越依赖这些我们所不理解的人工智能算法，至于它们的工作原理以及背后的动机和目的，我们就更不清楚了。这带来了权力的不平衡，让我们暴露在它们的秘密监控和操纵下。我们发现，某些社交网络通过对信息源的操控，对其用户进行了秘密心理测试。随着计算机越来越多地监控我们，塑造我们的所见所为，像这样的滥用行为还会增加。
19世纪，人类社会遭遇了已故历史学家詹姆斯·贝尼格（James Beniger）所描述的“控制危机”（Crisis of Control）。当时，人类对物质的处理技术超过了对信息的处理技术，人们监控和管理工业以及相关进程的能力面临崩溃。这场控制危机的表现包括火车事故、经济供需失衡以及政府服务传输的中断等。后来，自动化数据处理系统的发明才使危机得到解决，例如统计学家赫尔曼·霍尔瑞斯（Herman Hollerith）为美国人口普查局制作的穿孔卡片制表系统。信息技术跟上工业技术的脚步，才让人们把注意力重新转移到了已经模糊的世界上。
今天，我们面临着另一场控制危机，尽管它跟上一次很像。如今我们努力要掌控的，正是在20世纪初帮我们重新获得控制权的信息技术。而现在，我们收集和处理数据的能力，以及按照各种形式处理信息的能力，已经超过了按照个人和社会的实际需求来监控和管理数据的能力。解决这场危机将是未来几年的最大挑战。应对这一挑战的第一步就是要承认，人工智能的危机并不存在于某个反乌托邦的未来，它们就在当下。
