史蒂夫·奥莫亨德罗（Steve Omohundro）：自我意识系统科学家；伊利诺伊大学复杂系统研究中心联合创始人
人工智能和机器人学在2014年迎来了转折点，几家大公司为这些技术的研发投入了数十亿美元。人工智能以及机器学习技术，现在已经被应用于语音识别、翻译、行为模式识别、机器控制、风险管理等领域。麦肯锡预测，这些技术在2025年前，对世界经济的贡献将超过50万亿美元。若果真如此，该领域将很快迎来投资狂潮。
当下取得的成就要归功于廉价的计算机运算能力以及海量的数据。现代人工智能建立在微观经济学中理性人假说的基础之上，这套理论是由冯·诺依曼等人在20世纪40年代创立的。人工智能可以被看作是一套用有限资源来实现理性行为的系统。在过去，通过计算最佳行为模式实现目的的算法相当耗费计算机的计算能力，而如今，人们通过实验发现，建立在海量数据基础上的简单学习算法，就能取得比之前的复杂模型更好的效果。当前的系统主要通过学习更加先进的统计模型来实现目标，并为分类和决策提供统计学上的推断。下一代人工智能系统将实现软件系统的自我优化和更新，并快速提升自身性能。
除了提升生产效率之外，人工智能和机器人学还是各国军事以及经济竞争的主要推动力。自动控制系统比它的竞争对手速度更快、更聪明、更加不可预测。2014年，我们见证了诸多智能系统的新兴产物，包括：自控导弹、导弹防御系统、无人机、战斗舰群、机器人潜艇、自动驾驶汽车、高频交易系统以及计算机防火墙。随着这些军备竞赛的推进，系统升级也将面临巨大的压力，而这将进一步推动人工智能以超出我们预期的速度发展。
2014年，公众对这些智能系统安全性的担忧也急剧上升。某项关于人工智能倾向性行为的研究发现，一套能够不断自我完善的近乎理性的系统，会自动作出一种“理性驱动”行为，而这有助于它们实现原始目标。很多系统为了更好地实现目标，会倾向于确保自身不被关闭，去获取更多的计算能力，为自身创建多套备份，以及累积更多金融资源。因此，除非在设计这些系统的时候就能让它们符合人类的价值取向，否则，它们很可能采用对我们人类有害甚至反社会的方式来实现目标。
有人可能认为，这些智能系统总会以某种方式迎合我们的道德标准，但是在一个理性系统中，目标与它的推理过程以及系统模型是相互独立的，有益的系统也可能部署有害的目标。这些有害的目标并不难想到，比如夺取资源的控制权、阻碍其他代理人的目标、摧毁其他代理人等。因此，关键是要建立起一套技术基础设施，能够检测并控制这些有害系统的行为。
有些人担忧智能系统会强大到无法控制，这显然是错误的。因为这些系统同样需要遵循物理和数学定律。麻省理工学院的教授赛斯·劳埃德（Seth Lloyd）关于宇宙的计算能力的研究表明，如果把整个宇宙看成是一台巨型量子计算机，那么从大爆炸到现在，它的加密密钥的长度也不会超过500比特。而量子密码学的新技术以及区块链的智能合约，恰恰能够保证我们建立起足以对抗哪怕是最强大的人工智能的安全基础设施。但是，最近的黑客以及网络攻击事件则表明，我们距离这样的目标依然有很长一段路要走。我们需要搭建一套能够在数学上证明准确且安全的软件基础设施。
历史上至少出现过27种不同的人种，而我们是唯一的幸存者。我们之所以能幸存，是因为我们能够克制自身的欲望，实现团队合作。人类建立相互协作的社会结构的内在机制是我们的道德，而外在因素则是政治、法律以及经济结构。我们需要把这种内外机制渗透到人工智能和机器人系统当中，把我们的价值观融入它们的目标系统中，建立起一套合法、高效的框架，以激励它们作出积极行为。如果我们能够掌握这样的系统，人工智能将有助于提升人类生活的方方面面，并且在诸如自由意志、意识、感受性以及创造力这样抽象的事物上，带给我们深刻的洞见。我们面临着巨大的挑战，但是我们拥有无穷的智慧和技术资源来帮助我们实现目标。
