Sendhil Mullainathan--赛德希尔·穆来纳森：哈佛大学终身教授，哈佛大学行为经济学领域重要领头人：合著有《稀缺》；Jon Kleinberg--乔恩·克莱因伯格：康奈尔大学计算机科学系教授：合著有《网络、群体与市场》
由于算法的更新换代，机器变得越来越聪明，但同时也变得更难以理解。但是当面对会思考的机器时，我们又必须理解它们是如何思考的。因此，或许我们有史以来第一次创造出了自己无法理解的机器。
我们给机器编程，以能理解每个单独的步骤。但是一台机器采用了数以亿计的这类步骤并产生了行为，例如下象棋、推荐电影、像个熟练的司机在蜿蜒的道路上驾驶汽车等，这些行为在我们编写的程序架构中无法被明显地体现出来。
然而，我们已经让这些不可理解变得习以为常。我们设计机器去按照我们的方式行动：它们帮我们开车、驾驶飞机、送包裹、审批贷款、搜索信息、推荐娱乐活动、推荐潜在的情侣以及帮助医生诊断病情。正因为机器的行为与我们类似，因此我们很容易认为它们的思维方式也与我们相似。但事实上，它们的思维方式与我们完全不同，从更深层次的角度看，我们甚至并不能真正理解它们是如何产生这些行为的。这就是它们不可理解的本质。
这重要吗？我们正在搭建的日益精准的决策系统，其基础却是我们不可理解的。这应该让我们担忧吗？答案显然是肯定的。
还有更深层次的麻烦。我们需要了解它们的算法原理，才能与他人进行讨论。机器算法经过了大量的数据训练，善于从这些数据中提取其内在结构模式。例如，我们知道如何搭建一套系统，使其能阅读数百万份相同结构的贷款申请表，并找出合格的申请者。同样的事情如果让人类来做，是相当困难的，即便做也未必能够像算法做得那么好。
这是很了不起的成就，但也很脆弱。这些算法的有效区域通常都很有限，想要描述有效区域的特征很困难，跳出来却很容易。例如，刚才那个能成功地把数百万份小型消费贷款进行归类的机器，如果你给它另一套有几千份复杂的商业贷款的历史数据时，它就未必能胜任了，因为这超出了它的功能区域。它的有效性来源于从海量数据点中，从不断重复的历史案例中，寻找其模式和结构。如果突然急剧降低数据量或者把数据结构变得更加复杂，那么这套算法就会失效。换句话说，它们的成功只是在适当条件下的表现，就像是惊叹于一个天才的表演，他那令人瞠目结舌的成功和专心致志掩盖了其他方面的局限性。
但即便在这些机器的有效区域的中心，这种不可理解的原因也会导致麻烦。还是以这数百万份小型消费贷款申请为例，当这台机器的用户、管理人员或者助理开始问它几个简单问题的时候，麻烦就来了。
被拒绝的贷款申请者不仅会问原因，还会提出诸如“我要如何修改申请表才能成功”这样的问题。由于我们对算法决策无法理解，自然也就无法给出令人满意的答案。也许只能用“试试参照那些成功贷款的表格的形式去填写”敷衍了事。
行政部门会问：“这套算法在英国很有效，但如果换在巴西呢？”我们同样无法给出令人满意的答案。我们无法评估一个高度优化的规律转移到新领域后，效果会如何。
数据科学家会问：“我们已经清楚这套算法对已有数据的运行情况。如果有更多数据，肯定就能提高它的表现水平，问题是我们要收集哪些新数据呢？”人类的知识领域会提出很多可能性，但是在无法理解那套算法的情况下，我们不知道哪种可能性才是有效的。具有讽刺意味的是，我们能够找出那些自认为有效的变量，但因为机器跟我们的思维方式不同，而且已经胜过了我们，我们又如何知道什么对它是有效的呢？
这不是故事的结局。我们还发现，算法的创造者们热衷于创造那些不仅强大而且连他们自己都无法理解的算法。按照这样的趋势，我们需要重新定义什么是“可理解性”。也许最终，我们再也无法理解这些自动化的系统。不过也没关系，我们只要能够像和其他人交流那样与它们进行交流互动就足够了，然后慢慢地形成一种坚定的观念：什么时候可以信任它们，把它们用在什么地方最有效，怎样帮它们取得我们自身无法实现的目标。
然而，到那时这种不可理解就会带来风险。我们如何知道这些机器正在它自己算法的有效区域内运行，而不是跑到它不擅长的领域去了呢？这种风险的蔓延是不容易量化的，也是我们在这些系统的发展过程中需要面对的。也许有一天，所有强大的机器智能都会让我们感到畏惧，不过在此之前，我们要担忧的是如何让机器具备那样的智能。
注：《稀缺》（Scarcity），穆来纳森和埃尔德·沙菲尔（Eldar Shafir）强强联合之作，继诺贝尔经济学奖获得者丹尼尔·卡尼曼《思考，快与慢》之后的又一部行为经济学重磅力作，《金融时报》2013年必读十佳商业图书。该文简体字版已由湛庐文化策划出版。
