布鲁斯·施奈尔（Bruce Schneier）：顶尖安全技术专家，信息安全界巨擘；知名科技作家；著有《数据与巨人》（Data and Goliath）
2014年，两位瑞士艺术家设计了“僵尸网络随机血拼者”（Random Botnot Shopper）程序。该程序每周会花费价值100美元的比特币，随机购买某个匿名网络黑市上的商品——这一切都是为了他们在瑞士展示的一个艺术项目准备的。这原本是个聪明的点子，但其中有个谁也想不到的问题。机器人购买的大部分东西都无关痛痒，比如知名品牌牛仔裤的山寨货、暗藏摄像头的棒球帽、一个存钱罐、一双耐克运动鞋等——但它同时还买了10颗摇头丸和一本伪造的匈牙利护照。
当机器触犯法律时，我们该怎么办？按照惯例，机器背后的人应该负全部责任。只有人类才具备犯罪的动机——枪支、开锁器械，乃至计算机病毒不过是他们的工具而已。然而，随着机器的自主化程度变得越来越高，控制者对它们的支配权也越来越微弱。
军用自主无人机意外杀死了一群无辜平民，谁该为此负责？是指挥任务的军官、编写有瑕疵探敌软件的程序员，还是编写确认攻击指令的程序员？如果这些程序员甚至不知道自己写的软件将用于军事用途呢？如果这些无人机能够通过整个机群的历史任务进行学习，不断改进自身算法呢？
或许我们的法院还能裁决出谁该负责，但那只是因为眼下的自主无人机还不够聪明而已。随着无人机的智能化，它们与人类制造者之间的联系也越来越割裂。
假如没有程序员，无人机也能够自我编程呢？假如它们已经足够智能、自主，甚至能针对目标制定战术和战略决策了呢？假如其中的一架无人机评估了自己的能力之后，认为没必要再效忠创造它的国家，要另起炉灶呢？
人类社会有着各种各样的方法（非正式的如社会规范、正式的如法律）来对付那些不守规矩的人。较小的社会结构中我们有非正式的监督机制，较大的结构则由复杂的法律系统约束。如果你在我的宴会上找麻烦，我就不会再邀请你了；要是你恶习难改，最终只会令自己蒙羞，遭到集体的疏远；如果你偷我的东西，我可能会报警；你要是从银行偷窃，漫长的牢狱之苦基本就是板上钉钉了。这些例子看起来似乎都过于特殊，但人类与这些问题早已打了数千年交道。“安全”不仅存在于政治与社会范畴，它还有心理学上的意义。举个例子，并不安全的门锁之所以“安全”，其实是社会和法律对偷窃行为的否定让绝大多数人遵纪守法的缘故。这种人与人之间的默契，也正是我们能以其他物种无法想象的规模在这颗星球上和平共处的原因。
但当犯罪者是一部拥有纯粹自由意志的机器时，上述约束还能成立吗？也许机器完全无法感知到任何羞耻或褒扬的概念。它们不会因为别的机器会怎么想它们而在某件事上退缩；它们不会仅仅因为“理应如此”就遵守法律，对权威人士也不会有本能的顺从。当它们因偷窃被捕时，又该如何惩治呢？“对机器罚款”有用吗？判处它监禁又有何意义？除非设计者最初就特意为机器写下一条“自我保护”的函数，否则即便是死刑，对它们也不会有任何威慑力。
人们已经在设法将道德编进机器人程序了，可以想象人类其他的行为习惯同样有被编程的可能，但我们注定要功亏一篑。无论我们付出多少努力，机器犯罪事件都是不可避免的。
这反过来还将威胁人类的法律系统。从根本上来说，我们的法律系统并不能阻止犯罪的发生。法律的功能，建立在犯罪既已发生后的逮捕和判决基础之上，也依赖对犯罪者的惩罚给其他人带来的警戒作用。如果缺乏有效的惩罚，法律也就无从谈起。
“9·11”事件就是一个刻骨铭心的实例，那次惨剧之后，许多人才意识到：对于自杀式恐怖袭击者来说，“事后惩罚”根本无关紧要。仅仅是恐怖分子动机上的一次改变，其结果就足以改变我们看待安全的方式。当人类的法律系统遭遇思维机器时，不仅同样的问题将再次浮出水面，还会带来我们尚且无法揣测的相关难题。在思维机器的面前，对付人类犯法者绰绰有余的社会与法律系统将以我们无法预料的方式败下阵来。
会思考的机器不可能总是以我们希望的方式去思考，我们还未准备好应对其可能发生的后果。
