那么，假设人工智能机器人已经可以在感情表达和运动方面做到和人类一模一样，融入了社会。接下来，摆在人们面前的另一个大问题就是伦理了。
当机器人可以自主学习、自主判断的时候，要如何培养他们拥有如常人般的，或是比常人更严格的伦理观呢？
这个问题绝不只在科幻作品中的幻想世界里存在。如果机器人无法判断什么时候要保护人类或自己，那么它在实际社会中可以排上用场的领域就很狭窄了。人类并没有一步一步下指令的工夫，甚至机器人也有可能会一板一眼地执行人类的错误指令，这会造成严重的后果。
在美国马萨诸塞州的塔夫斯大学（Tufts University）进行人工智能机器人研究开发的马提亚·休茨（Mattia Hughes）先生这样告诉我：“机器有时候必须做出比人更正确的行动。”
设想一个机器人在帮忙做家务的场景。机器人拿着装橄榄油的瓶子，人想要将橄榄油倒进沙拉里，就对机器人说：“帮我倒油。”可是，当时机器人正站在点燃的炉灶旁。这样一来，倒油时就有起火的危险。即使下命令的人并没有恶意，机器人自身也必须要意识到潜在的危险才行。
塔夫斯大学曾经进行过这样一个实验。实验人员故意对搭载了人工智能的机器人下达不合理的命令——把机器人放在狭小的桌子上，命令它前进。这时，机器人并没有前进，而是回答说：“抱歉，我无法前进。前进会掉下去。”机器人通过自身的判断拒绝了指令。然而，如果加上“你走到桌子尽头的时候，我会接住你”这样的条件，状况就改变了。机器人回答“OK”，然后就开始动了。
这个实验特意让机器人自己判断是否信赖人类并把自己的安全交给人类，我也参加这个实验。当机器人走到尽头时，由我负责在它跌落之前接住它。顺便提一句，据说这种机器人每个价值100万日元以上，所以我当时真的是全神贯注地参与了实验。
