复杂性中的思维-第17章

按键盘上方向键 ← 或 → 可快速上下翻页，按键盘上的 Enter 键可回到本书目录页，按键盘上方向键 ↑ 可回到本页顶部！
————未阅读完？加入书签已便下次继续阅读！


组织的退火过程相比较。在此物理学例子中，终态是自旋玻璃体、磁化的铁磁体或冻结的晶体的有序结构。　
　　　
　　一般地说，霍普菲尔德网络仅仅收敛到低能态的局域最小值。在某些应用中，局域最小值是与特定的贮存项目相联系的，也许是不必要到达某种全局最小值的。不过，在许多情况下是需要全局最小值的。这种问题的一个解，是由个体单元的随机运动而不是确定论运动来提供的。　
　　　
　　图4．11a中，通过一个沿着能量地形曲线运动的小球很可能最终是落入最深的最小值，从而显示了问题的求解。从一定的起始状态出发，小球将向能量最小值或曲线的底部运动。如果能量地形是由多个靠得很近的极小值标志的，结果就取决于最初的起始条件。如何来阻止网络粘在某个局域极小值上呢？这种想法是以一定的能量增量来动摇能量地形，该增量是逃离局域极小值B（低谷）而进入全局极小值A所需要的。　
　　于是，在力学上，小球从B进入A比从A进入B的可能性要大。平均来看，小球应该终止于低谷A。在热力学语言中，动摇地形的动能相应于系统温度的增加。在适当高的温度情况下，在低谷之间的转移几率不再是可忽略的。在热平衡态，占有不同凹地的几率仅仅取决于它们的深度。　
　　实际上，模拟退火的方法是人们所熟悉的，并用于全局优化上。正如我们已经提到的，退火是加热一种材料（例如金属或玻璃）到高温、然后逐步地减低温度的过程。但是，该材料将仅仅终止于其全局能量最低点，如果退火过程进行得足够慢的话。例如，金属的突然冷却将留下仅仅有局域极小值的材料，处于易脆状态。模拟退火使得有可能逃离局域极小值，跳跃到较高的能量状态。　
　　在气体热力学中，气体由其相转移的几率来描述。波耳兹曼对处在均匀温度分布的气体，推导出来气体状态的几率分布。欣顿、西杰诺夫斯基等人认为，这种分布可以运用于描述神经相互作用。在这种模型的情形，加进系统中的低温项被解释为小噪声项。它是神经与气体中分子的随机热运动的类似物。　
　　这种形式上的等价，是上述网络被称为“波耳兹曼机”的原因。但是，这里并非是物理主义，并非打算把神经相互作用还原为气体分子相互作用。在波耳兹曼的形式表达式中，可以证明，冷却得充分慢时波耳兹曼机可保证找到所希望的全局极小值。显然，具有模拟退火动力学的神经网络，是能够通过搜索模式的态空间给出全局最小值的。　
　　一种按照这种动力学的可能的学习规则，是与网络及其环境之间的几率相匹配的。该网络的所有可能状态在热平衡时都是可能的，具有波耳兹曼分布的相对几率。如网络中状态的几率与环境状态的几率相同，那么网络便得到一个适当的环境模型。因此，学习规则必须能够调整波耳兹曼机中的权重，以便减少网络模型与环境之间的差距。　
　　最初，学习规则让系统自由地运行。每一单元的状态几率可以估计出来。然后，输入和输出单元就被强制或被迫取得适当的值。其次，单元的几率值是估计出来的。局域的权重变化正比于与该权重耦合的单元的几率的差。　
　　形式上，权重的变化规则要求　
　　△Wij＝E（＜ssuisussujsu＞强制…＜ssuisussujsu＞自由）　
　　式中E是比例常数（“学习速率”），Si是第i个单元的二进制单元，sisj在网络达到平衡后的时间的平均值是＜sisj＞。在强制的条件下，输入和输出单元都固定在其正确值上。在自由条件下，这些单元都不是固定不变的。于是，学习规则并未受到指示。如果输入在自由的条件下是固定不变的，学习规则就是受指导的。　
　　在图4．11b中，波耳兹曼机的网络中的单元采取了二进制值，它们之间的联结是相互的。连接的权重可以进行训练，也就是把模式提供给存在着和不存在输出模式的输入单元，并应用波耳兹曼学习现则。在学习过程中，网络中的所有的权重都发生了变化。并不直接接受外界信息的隐含单元，可以使得该网络产生出在输入模式和输出模式之间的复杂的联想。因此，在其中间层有隐含单元的波耳兹曼机具有内部的对于环境的表示，而这对于仅仅具有可见（输入和输出）单元的网络则是不可能的。　
　　从神经生理学的观点看，由“教师”指导的学习在自然界看来是颇为不现实的。动物对感觉输入分析中进行的特征提取或范畴划分必定是自组织的。在输入矢量中出现得越是频繁的特征，就越是可能归属于一定的范畴。网络的输出必须学会使相应的原型矢量收敛为吸引子。　
　　如何设计一个网络使得在没有外部教师指导的情况下产生出分类标准呢？一些作者提出，这种自组织取决于多层系统中的非线性相互作用和有选择地强化联结。这种学习程序是在选择和竞争的达尔文过程中组织起来的。　
　　　
　　图4．12中，所设计的竞争学习系统的多层构造，可产生出诸如分类和范畴划分这样的突出的认知任务。活性单元由实心点来代表，而惰性单元则由空心点来代表。输入层与第2层的每一元素的联结是激发的。第2层可以划分为若干组，每组中每一元素都抑制所有的其他元素。同一组中的元素处于相互竞争之中，以对输入模式作出反响。按照拉梅尔哈德和奇普塞的法则，在同一组中，一个单元只有在它能够赢得与其他单元的竞争时才是能够学习的。学习就意味着活性联结的增加和惰性联结的减少。　
　　一个简单的分类任务是小孩的词汇认知。显然，两个字母的词AA，AB，BA和BB可以划分成几个范畴，例如，以A开头的词汇集合＇AA，AB＇或以B开头的集合＇BA，BB＇，抑或是结束于A的＇AA，BA＇或结束于B的＇AB，BB＇。在一个计算机辅助的实验中，双字词代表一个多层的网络，其中一层的竞争单元以两单元一组组织起来。该系统能够检测出字母的位置。其中的一个单元自发地作为起始字母A的检测器而起作用，而另一个则检验B作为起始字母。　
　　　
　　在进一步的实验中，增加了字母数，改变了网络结构。尽管这些实验看来仅仅是说明了有限的能力，它们至少是原则上体现了无指导的神经系统中的认知行为的形成。它们已经开始了某种有趣的研究，在复杂系统的框架中把神经生理学与认知科学联系起来，4。4节中将更详细地对此加以讨论。另一种通过竞争学习进行的自组织认知系统的研究方式，是托伊沃·科亨仑提出的。他是一位物理学家，也对于联想记忆进行了生理学的研究。他的神经系统的数学建模在人工智能的工程应用中已显示出重要性（参见第5章）。科亨仑的思想是通过自组织特征的映射来给大脑建模，这种想法源于自动化和生理学上已经确立了的事实。大脑中的大多数神经网络是二维的层状处理单元，它们可以是细胞或细胞组。这些单元是通过侧面的反馈而相互联结的。例如，在新皮质中，每一个主要细胞大约有1　个相互联结。　
　　对于神经元与其近邻的突触耦合，只要神经元之间的距离小于一定的临界值，这种耦合就是激活的。神经元之间的距离大于此临界值则是抑制的。而距离更大一些时，耦合又是微弱激活的。侧面相互作用的程度在数学建模时使用的曲线，其形状类似于墨西哥帽子（图4．13a）。　
　　　
　　显然，侧面耦合的互相影响倾向于在空间结合成群。图4．13b示意了一个二维成群的例子，它是由一个21×21个处理单元的方格来模拟的。这种成群现象（“活性泡”）取决于正反馈或负反馈的程度，它们可能受到神经网络中的化学效应的影响。在神经的实在中，“活性泡”并不具备计算机辅助模拟的规则形式。图4．13c示意了浣熊的脑皮层中活性的分布，它并非是一个形状规则的形象，而是相当混乱的图像。　
　　然而，成群现象在大脑的自组织过程中可以是有用的。虽然起初神经网络的活性是均匀分布的，但根据自组织学习过程我们可以观察到神经区域的逐步的专业化。在提供了输入模式以后，具有最大活性的神经元及其邻居被选用来进行学习。神　
　　经权重的变化，落在以最大活性神经元为中心的一定半径中的环状邻域中。这种学习规则可以用来检测和划分输人的图形或说话模式数据的相似性。　
　　在形式上，科亨仑考虑了从输入信号u的空间V到二维映射A上的非线性投影P。图4．14说明了学习的步骤：输入值u选定一个中心s。在s的邻域中，所有的神经元都在u的方向上转移其权重Ws。转移的程度随着与中心s的距离的增加而减少，这里用不同的灰度来表示。　
　　映射通过自组织收敛于某个具有不同活性区域的平衡态。投影应该将输入信号的规则性映射到神经映射上。因此，P在数学上被称为拓扑不变映射。实际上，由感觉输入信号规则性所表示的大脑环境的结构，应该被投影到大脑的神经映射上：大脑应该获得适当的关于世界的模型。　
　　　
　　大脑通过自组织映射进行建模的现实性如何？神经区域的数值的变化，取决于物种生存所感受到的感觉刺激的重要性。在神经区域中，有一些中心，它们能够以比环境更大的精确性对刺激进行分析并将其再现出来。例如，在哺乳动物的眼睛中，对于视觉信息的精细分析是由“小凹”进行的，小凹是一个沿视网膜光轴的非常小的区域，其中有非常高密度的光敏接受子。因此，信号的分解主要在神经区域的这种中心进行，要比在周围的区域强得多。类似的不成比例的表象，也可以在体感系统和原动皮层中观察到。手对于人的生存的重要性表现在体感和原动皮层占有相当大的区域，比代表体表的区域要大。　
　　与这些结果相反，猫、狗和猿的听觉皮层并不将外部世界的频率投影到特定的中心。蝙蝠具有特殊的定向系统，这对于它的生存是必要的，这是一个例外。蝙蝠能够发出许多种不同的超声频率，并通过这些信号的反射来测定物体的距离和大小。蝙蝠相对于其他物体的速度可以用超声波反射中的多普勒效应来测定。甚至是细微的昆虫也能够被这种灵敏的系统检测出来。　
　　蝙蝠的特性，能够用其听觉皮层上的自组织映射在实验上确证。图4．15a中将蝙蝠脑中的听觉皮层示意在矩形图中。图4．15b中把该矩形图放大了，示意出听觉皮层中最佳频率分布。一维频率谱不断地单调地从听觉皮层的后区提供给前区。引起神经元最大激活的频率称作那个神经元的最佳频率。划线区域是初级听觉皮层。图4．15c显示了图4．15a中斜线区域中的最佳频率分布。绝大多数测量点都集中在超声回波频率的周围。前一后区中一半以上用来分析超声回波的多普勒效应。十分显著的是，用自组织映射进行的计算机辅助模拟中，产生出如图4．15c所示的听觉皮层的实际表象。　
　　灵长目动物的脑由许多区域构成，其中有若干神经网络拓扑。例如，视网膜在个体发生的早期已经发育起来。它的神经拓扑有5个独立层：光感受器，水平细胞，极性细胞，无长突神经细胞，视网神经节细胞。人的光感受层大约有120×105个感受细胞。视网输出，由所有的神经节细胞的脉冲速率的空…时模式来代表，沿着光神经传向丘脑。对于人，大约有1．2×106个神经节。因此，视网膜的确是一个复杂系统。然而，人们还没有完全理解大于200×106个视网神经元的复杂性。大脑皮层是系统发育上最年青的大脑区域。大脑皮层在大脑中的百分数在进化中不断地增加。鱼那样的低等脊椎动物并没有进化起来大脑皮层。大脑皮层在爬行动物和鸟类中只占小部分，到狗、猫，直到猿和人，它就越来越多。在灵长目动物中，大脑皮层分化成了不同的多层神经网络拓扑的区域，例如视觉、感觉、原动和联想皮层。小脑由小脑皮层构成，其中有许多具有特定感觉原动功能的多层亚区域。　
　　　
　　大脑系统的多样性被描述为一个密集的神经元集合，其中具有特殊的网络拓扑，通过许多神经而相互通信，神经由以千计的轴突构成。与数字计算机有独立的中心处理、记忆和贮存单元不同，大脑和中枢神经系统可以作为一个多目标平行处理网络的集合体来建模。每一网络都能够独立进行感觉、原动和联想功能的信息处理和信息贮存。　
　　显然，人们熟悉的程控中心化数字计算机原理并不适用于生物脑。神经网络的自组织过程对于大脑的结构是十分重要的。在非常长的系统发育过程中，复杂的结构形式产生出来。我们往往并不完全清楚它们的目的。在宏观尺度上，特定的神经区域联系着特定信号，具有不同的感觉功能，也可以是不同水平的信息处理操作，还可以是对于人以及对于有机体的动物性和植物性功能。尽管它们分布在大脑的不同区域，它们却可以理解为自组织的复杂性或集体效应。　
　　自组织作为一种学习程序，揭示了有机体并非完全由基因所决定，基因中包含了详细描述有机体的蓝本。大脑组织化的每一阶段都涉及某种自组织。基困难以存贮大脑的复杂结构。大脑皮层有大约10＇14＇个突触，个体发育难以从所有可能性中选择出正确的联结图式，如果这些可能性都是类似的。因此，个体发育必须运用神经系统的自组织去处理其复杂性。但是，不认识个体发育的原理，就不能理解其大脑皮层的结构。　
　　在前面的章节中，我们已经研究了物理学、化学、生物学、地质学和天文学的复杂系统中有序模式的形成。整体有序是在其中有大量局部相互作用元素的复杂系统中形成的。在液体或晶体中有相互作用着的原子或分子，在进化的恒星系统中有相互作用着的子系统，在如同大脑这样的复杂神经系统中有相互作用着的神经元和突触。我们还向读者提示了贝纳德涡旋（“滚动柱”），它们是在液体的热涨落中出现的。　
　　整体的有序是如何由局部的相互作用来安排的？例如，分子之间的相互作用力在液体中发生着非常短距离的相互作用，而由分子相互作用引起的涡旋运动的模式却可以是大尺度上的有序。这种有序在物理学、化学和生物学进化中出现的原理，对于大脑极其重要，其中相邻细胞元素之间的局部相互作用，创造出来整体有序的状态，导致有机体中的相干行为。此种有序模式是由复杂系统中的元素之间的作用力和起始条件、边界条件所安排的。在贝纳德涡旋的例子中，作用力是流体相互作用、热传导、膨胀和引力。例如，边界条件是液体的温度。在大脑中，联结的模式是由细胞单元相互作用的若干种规则安排的。因为神经元往往是由非常长的轴突联结起来的，两个神经元的局部的相互作用并不意味着它们在脑解剖学上的空间接近，而是它们由轴突的紧密联结。　
　　尽管这种一般结构对于所有类型的神经元和突触都是普遍的，但是也有许多质的和量的差异。例如，无脊椎动物的神经系统是确定论的，个体神经元的特定部位具有高度编码的信息。而哺乳动物的新皮层中的联想系统，对于特定输入模式的特定反应，却是由促进着对于外部信息进行反馈的学习规则实现的。　
　　复杂系统模型对