隐藏层的概念来源于神经网络的研究

时间:2023-11-20 06:29:02

弗兰克·维尔切克(Frank Wilczek):

物理学家、麻省理工学院物理学教授,2004年诺贝尔物理学奖获得者,著有《存在之轻》。

隐藏层的概念来源于神经网络的研究

当我第一次弹钢琴时,每一个音符都需要我全神贯注。但经过不断地练习,我就可以弹奏出分句与和弦,甚至随手就可以弹出优美的旋律了。

我的大脑里一定有某种力量存在。

当然,这样的经验随处可见。当我们学习一种新语言时,新游戏通关时,以及适应新环境时,也会出现类似的情境,看来这样的经验有着共通的机制。我认为可以从广义上来定义这样的机制:我们正在创造隐藏层。

隐藏层的概念来源于神经网络的研究。

信息是自上而下传递的。感觉神经细胞(最顶层的眼睛)从外部世界接收信息并编码(也就是生物神经元的电脉冲,就像人工神经网络“神经元”的数据信息),然后将这些编码后的信息传递到其他的神经元,到达下一层。冷效应神经元(最底层)将信息发送到输出装置(也就是生物神经元联结的肌肉,或是人工神经网络的计算机终端)。在最顶层和最底层之间的神经元既不能接收外部世界的信息,也不能直接对外部世界起作用。这一类的神经元只和其他层级的神经元发生联系,它们就是所谓的隐藏层。

最早的人工神经网络缺乏隐藏层,因此,它们的输出结果会简化接收到的信息。这种“输入-输出”的双层“感知系统”有着明显的缺陷。比如,如果在一张白纸上有许多黑色圆圈图案,这种双层系统就没法计算圆圈。直到20世纪80年代,也就是这种先锋科技发展了几十年之后,人们开始意识到哪怕只加入一两层隐藏层,都能大大提升神经网络的性能。在当代,这样多层的网络已经被应用于计算大型强子对撞机中微粒撞击爆炸产生能量的基本模式,计算的速度和准确度都达到了空前程度。

戴维·休伯尔(David Hubel)和托斯坦·维厄瑟尔(Torsten Wiesel)因为发现了大脑中的视觉区域加工机制而荣获1981年的诺贝尔生理学或医学奖。他们发现,连续隐藏层首先提取出了有视觉意义的特征(如颜色或亮度的显著变化表明了物体的边界),然后将它们组合成有意义的整体,即基本物体。

在现实生活中的每时每刻,我们都要将投射在视网膜上的原始模式的光子转化为有序的三维视觉。因为这样的转化无需意识,导致我们对这样的生命奇迹熟视无睹。但是当工程师们试图将这样的转化复制到机器人的视觉中时,他们才明白这是人类专属的奇迹。以人类的标准来看,目前机器人的视觉系统还是非常原始的。戴维·休伯尔和托斯坦·维厄瑟尔的研究展现了自然的构造,也就是隐藏层的构造。

潜藏在具体物理对象中的隐藏层,形成了一种流行却抽象模糊的存在观念。每一个隐藏层的神经细胞都有模板,当它们从上一层接收的信息模式能和自己的模板匹配时(可有一定范围的差异),它们就会被激活并将信息传输到网络的下一层。用更精确的术语来说,这样的结果只能说明:神经细胞创造并定义了一个新的存在概念。

但我们思考隐藏层的时候一定要注意:网络建立之后的常规效力和性能与起初建立网络的难度不是一回事。这两者的不同就像你学会钢琴之后和刚开始学习时,弹奏钢琴的难度差别。新的隐藏层在神经系统中是如何铺设的,对这一点的精确理解还是重大的科学未知课题之一,而我要讨论的就是这一重要的未知课题。

从神经网络中跳脱出来,隐藏层已经是一个具有超强解释力的万能概念。在我的物理研究中,我常常强调命名的重要性。当默里·盖尔曼(Murray Gell-Mann)将基本粒子命名为“夸克”时,他采用了一种诡辩式的命名方式。一旦这种方式被认可,物理学家就很难将它精炼成具有精确一致的数学性的东西。但是,发现问题是解决问题的关键步骤!同样,在我将理论上的二维粒子命名为“任意子”(anyons)时,我知道我已经触及了最核心的概念,但是我并不期待这样的概念能发扬光大并变成现实。在这样的情况下,名字在隐藏的思维层次中创造了新的节点。

我认为隐藏层的广义概念抓住了思维方式的核心和精髓,无论是人类、动物,还是过去、现在和未来,都是如此。思维通过特别的方式创造了有用的概念,也就是隐藏的那些功能。因此,隐藏层本身就是最有用的概念,值得将其置于我们的隐藏层中。