辛顿与人工智能的第一次寒冬

辛顿与人工智能的第一次寒冬

前言

人工智能经历过多次寒冬，因利用神经网络进行机器学习而获2024年诺贝尔物理学奖的杰夫·辛顿就是从人工智能的寒冬中走过来的。

辛顿研究神经网络，一开始是为了研究人的大脑，他想要研究大脑的工作方式，更好地了解大脑。在辛顿开始研究时，神经网络已经被人工智能的奠基人之一马文·明斯基（1969年第四届图灵奖得主）证明是行不通的，研究神经网络是一条死胡同。所以，大多数的人工智能研究员已经放弃了这个研究方向。而且，在这次寒冬中，人工智能的研究经费不断被缩减，神经网络作为不被认可的研究方向，经费更是少得可怜。

不过，辛顿认为，明斯基是一名“失落的神经网络追随者”，不是神经网络方向不对，而是没有找到突破的方法。经过多年的研究，在反向传播算法的帮助下，神经网络取得了突破，并被卡内基梅隆大学研究自动驾驶的团队成功应用，证明神经网络是人工智能的关键技术。

本文继续分享AI普及书籍《深度学习革命》中关于辛顿与人工智能的第一次寒冬相关的故事，内容如下。

辛顿与人工智能的第一次寒冬

20世纪80年代中期的一个下午，大约20名学者聚集在波士顿郊外的一个古老的法国庄园式建筑里，这里是麻省理工学院教授和学生的静修所，马文·明斯基在这所大学仍然统治着国际人工智能研究员群体。这些学者坐在房间中央的一张大木桌旁，杰夫·辛顿绕着桌子踱步，递给现场每个人一份长长的、夸张的、满是数学公式的学术论文，其中描述了一个他称之为“玻尔兹曼机”的东西。这个以奥地利著名物理学家和哲学家名字命名的东西是一种新的神经网络，它克服了明斯基15年前指出的感知机的缺陷。明斯基取掉订书钉，在面前的桌子上把论文打印件一页一页依次展开，低头看着这一长串的论文页。辛顿走到房间的前面，发表了一场简短的演讲，解释他最新的数学创造。明斯基没有说话，只是看了看。然后，当演讲结束时，他站起身来走出房间，留下那些论文页整齐地排列在桌子上。

尽管神经网络的概念在明斯基的《感知机》一书中失宠，但在匹兹堡卡内基-梅隆大学担任计算机科学教授的辛顿仍坚持这一信念，他与巴尔的摩约翰斯·霍普金斯大学的神经科学家特里·谢诺夫斯基( Terry Sejnowski) 合作, 开发出了玻尔兹曼机。他们是后来被当代人称为“地下神经网络”的一部分。人工智能运动的其余部分都集中在符号方法上，包括在得克萨斯州奥斯汀正在进行的 Cyc项目。相比之下，辛顿和谢诺夫斯基认为，人工智能的未来仍然在于能够自主学习的系统。这场波士顿会议让他们有机会与更广泛的学术界分享他们的最新研究。

对辛顿来说，明斯基的反应是他的典型风格。辛顿第一次见到这位麻省理工学院的教授是在5年前，在他看来，这位教授非常好奇且富有创造力，但同时也有着奇怪的童真，而且有点儿不负责任。辛顿经常讲述明斯基教他如何制作“完美的黑色”——一种完全没有颜色的颜色。明斯基解释说，用颜料不可能做出完美的黑色，因为颜料总是会反射光线。但是，你可以用排列成V形的几层剃须刀片来实现，这样光线就会进入 V形结构，在刀片之间无休止地反射，永远不会逃脱出来。明斯基实际上并没有演示过这个技巧，辛顿也从未尝试过。这就是经典的明斯基的风格——引人入胜，发人深省，但看似随意，且未经验证。这表明，他并非一直说那些自己相信的事情。当然，当谈到神经网络时，明斯基可能会抨击其严重不足之处，并且写了一本书，很多人认为这本书证明了神经网络是一条死胡同，但他的真实立场不一定如此明确。辛顿认为，明斯基是一名“失落的神经网络追随者”，这种人曾经认同机器的行为像大脑中的神经元网络，但当这个想法没有达到他的期望时，他的幻想破灭了，但他仍然至少会对它实现预期抱有一些希望。在明斯基离开波士顿的那场演讲后，辛顿将他放置在桌子上的论文页收了起来，并把它们邮寄到明斯基的办公室，辛顿还留下了一个简短的便条，上面写着：“你可能是不小心把这些东西落下的。”

杰夫·辛顿出生于第二次世界大战刚结束时的英国温布尔登。他是19世纪英国数学家和哲学家乔治·布尔( George Boole)和19世纪书写美国历史的外科医生詹姆斯·辛顿( James Hinton)的玄孙，前者提出的“布尔逻辑”为每一台现代计算机提供了数学基础。他的曾祖父是数学家兼奇幻作家查尔斯·霍华德·辛顿( Charles Howard Hinton), 他提出的“第四维度”的概念,包括他所谓的“宇宙魔方”，贯穿了随后130年的流行科幻小说，并在21世纪的第一个十年的漫威超级英雄电影中达到了流行文化的顶峰。他的叔祖父塞巴斯蒂安·辛顿( Sebastian Hinton)发明了攀爬架。他的堂姐、核物理学家琼安·辛顿( Joan Hinton)是曼哈顿计划中为数不多的女性成员之一。在伦敦和后来的布里斯托，伴随他一起长大的是三个兄弟姐妹、一只猫鼬、十几只中国龟，还有生活在车库后面土坑里的两条毒蛇。他的父亲是英国皇家学会会员、昆虫学家霍华德·埃佛勒斯·辛顿( Howard Everest Hinton), 他对野生动物的兴趣超越了昆虫的范畴。和他的父亲一样，他的中间名也源于另一位亲戚乔治·埃佛勒斯爵士( Sir George Everest), 一位印度的测绘总长, 其名字取自世界最高的山峰。大家都期望有一天，杰夫·辛顿会跟随父亲的脚步进入学术界，尽管不太清楚他将来会研究什么。

他想研究大脑。他经常说，他的兴趣是在十几岁的时候被激发出来的，当时一位朋友告诉他，大脑像全息图一样工作，通过神经元网络存储记忆的片段，就像全息图在一段胶片上存储三维图像的片段一样。这是一个简单的类比，但这个想法吸引了他。作为剑桥大学国王学院的本科生，他想要更好地了解大脑。他很快就意识到，问题在于没有人对大脑的了解比他多多少。科学家了解大脑的某些部分，但他们对所有这些部分如何结合在一起，并最终提供视觉、听觉、记忆、学习和思考的能力知之甚少。辛顿尝试去研究生理学和化学、物理学和心理学，但没有人能提供他想要的答案。他攻读了物理学学位，但辍学了，因为他认为自己的数学能力不够强，于是他转而去攻读哲学。之后他放弃了哲学，选择了实验心理学。最终，尽管承担着继续学业的压力，或者可能是来自父亲的压力，但辛顿完全离开了学术界。当他还是个孩子的时候，他就认为自己的父亲是一位不妥协的知识分子，也是一个力量巨大的人——一位英国皇家学会的会员，能用一只胳膊做引体向上。“只要工作得足够努力，也许当你的年纪是我现在年龄的两倍时，你就能实现我一半的成就了。”他的父亲经常对他这么说，但没有讽刺的意味。从剑桥大学毕业后，辛顿心中总是萦绕着父亲的看法，于是他搬到了伦敦，成了一名木匠。他说：“我不是做一些花哨的木工活儿，而是以木工为生。”

那一年，他读了加拿大心理学家唐纳德·赫布( Donald Hebb)的《行为组织》( The Organization of Behavior)一书,这本书解释了让大脑进行学习的基本生物过程。赫布认为，学习是沿着一系列神经元发射微小电信号的结果，这些电信号引起了物理变化，以一种新的方式将这些神经元连接在一起。正如他的追随者所说的那样：“神经元一起发射，并连接在一起。”这一理论被称为“赫布定律”，它激发了弗兰克·罗森布拉特等科学家在20世纪50年代开发出了人工神经网络，也激发了杰夫·辛顿。每周六，辛顿都会带着一个笔记本去伦敦北部伊斯灵顿的公共图书馆，用一上午的时间在赫布提出的想法的基础上，将自己关于大脑应该如何工作的想法写在笔记本上。他在周六上午记录下来的这些潦草的内容，除了对他自己有意义之外，对谁都没有意义，但它们最终将他带回了学术界。这些内容恰好与英国政府对人工智能的第一波大投资和爱丁堡大学研究生项目的兴起相吻合。

在这些年里，一个冰冷的现实是，神经科学家和心理学家对大脑的工作原理知之甚少，而计算机科学家根本无法模仿大脑的行为。但就像辛顿之前的弗兰克·罗森布拉特一样，辛顿开始相信，生物和人工双方都可以帮助对方前进。他将人工智能视为测试他所提出的关于大脑如何工作的理论的一种方式，并希望最终理解其奥秘。他如果能理解这些奥秘，就能反过来打造更为强大的人工智能。在伦敦做了一年木匠之后，他在父亲任教的布里斯托大学接受了一份心理学方面的短期工作，并以此为跳板进入爱丁堡大学的人工智能项目。几年后，一位同事在一次学术会议上介绍他时，说他物理不及格，还从心理学专业退学，然后进入了一个完全没有标准的领域：人工智能。这是辛顿常常重复讲述的一个故事，但有一个附加说明。他会说：“我并非物理不及格，也不是从心理学专业退学。我是心理学不及格，从物理专业退学——这样讲更有利于维护声誉。”

在爱丁堡大学，他在一间实验室里赢得了一个学习机会，这间实验室由研究员克里斯托弗·朗吉特-希金斯( Christopher Longuet-Higgins)负责。朗吉特-希金斯曾是剑桥大学的理论化学家，也是该领域的后起之秀，但在20世纪60年代末，他被人工智能的理念吸引了。因此，他离开剑桥前往爱丁堡，并接受了一种与支撑感知机的方法相同的人工智能。他提出的连接主义方法与辛顿在伊斯灵顿图书馆记录在笔记本中的理论相吻合。但这种智识上的和谐转瞬即逝，在辛顿接受实验室的职位但还未到岗时，朗吉特-希金斯又改变了主意。在阅读了明斯基和佩珀特关于感知机的书，以及明斯基在麻省理工学院的一名学生关于自然语言系统的一篇论文之后，他放弃了类似大脑的架构，并转向了符号人工智能——这也是整个领域发生转变的体现。这意味着，辛顿在研究生期间的研究领域不仅被他的同事忽视，也被他自己的导师忽视。辛顿说：“我们每周见一次面，有时会以一场大喊大叫的争论结束。”

辛顿在计算机科学方面几乎没有经验，他对数学也不感兴趣，包括驱动神经网络的线性代数。他有时会实践自己所谓的“基于信仰的差异化”。他会想出一个创意，包括支撑的微分方程，并直接假设数学相关的部分是正确的，而让其他人去辛苦完成所需的计算，以确保它确实是正确的，或者在绝对必要的时候自己来求解方程。但是，对于大脑如何工作以及机器如何模仿大脑，他有着明确的信念。当他告诉这个领域的任何人他正在研究神经网络时，他们不可避免地会提到明斯基和佩珀特。“神经网络已经被证明是错误的，”他们会说，“你应该做点儿别的研究。”但是，尽管明斯基和佩珀特的书将大多数研究人员推离了连接主义，但它拉近了连接主义与辛顿的距离。他在爱丁堡大学的第一年就读了那本书。他觉得明斯基和佩珀特描述的感知机几乎是对罗森布拉特工作的讽刺漫画。他们从未完全认识到，罗森布拉特在技术中也看到了他们所看到的缺陷，而他们描述这些不足的诀窍，是罗森布拉特所缺少的，也许正因为如此，他才不知道如何解决这些问题。他不会因为无法证明自己的理论而放慢脚步。辛顿认为，对于具有超越罗森布拉特的复杂性的神经网络，通过精确定位其局限性，明斯基和佩珀特最终使解决这些问题变得更加容易。但这还需要10年的时间。

辛顿进入爱丁堡大学的那一年，即1971年，英国政府进行了一项关于人工智能进展的研究。事实证明，这非常糟糕。“大多数人工智能研究和相关领域的工作人员承认，他们对过去25年取得的成就感到非常失望，”报告称，“迄今为止，在该领域的任何地方取得的成果，都没有实现它当初承诺的重大影响。”因此，政府对该领域的资金投入被削减，该领域迎来了研究人员后来所说的“人工智能的寒冬”。此时，建立在高姿态人工智能概念背后的大肆宣传与该领域有限的技术进步之间产生了冲突，这导致相关政府官员开始缩减额外投资，进一步放缓了研究的进展。可以与此类比的是核冬天，即核战之后，烟尘覆盖天空，连续多年阻挡阳光。到辛顿完成其论文时，他的研究已经处于一个不断缩小的领域的边缘。后来他的父亲去世了。“这个老家伙在我取得成功之前就死了，”辛顿说，“不仅如此，他还得了一种具有高度遗传性的癌症。他做的最后一件事情，就是增加我的死亡概率。”

完成论文之后，随着人工智能的寒冬越来越冷，辛顿艰难地寻找工作。只有一所大学给他提供了面试机会。他别无选择，只能放眼国外，包括美国。美国的人工智能研究也在减少，因为美国的政府机构也得出了与英国相同的结论，减少了对大型大学的资助。但是，在加利福尼亚州的南部，令他非常惊讶的是，他发现了一小群与他相信同样想法的人。

他们被称为PDP 小组。PDP 是“并行分布式处理”( parallel distributed processing)的缩写, 是“感知机”、“神经网络”或“连接主义”的另一种说法。这也算是一个双关语。在20世纪70年代末的那些年，PDP是一种计算机芯片，被用在一些产业上最强大的机器上。但是，PDP 小组的学者不是计算机科学家，他们甚至不认为自己是人工智能研究人员。这个小组里有加州大学圣迭戈分校心理学系的几位学者，以及至少一位神经科学家——来自街对面的生物研究中心索尔克研究所的弗朗西斯·克里克( Francis Crick)。在将注意力转向大脑之前，克里克因为发现了 DNA(脱氧核糖核酸)分子结构而获得了诺贝尔奖。1979年秋天，他在《科学美国人》杂志上发表了一篇呼吁文章，竭力建议更大范围的科学界至少应该尝试理解大脑是如何工作的。辛顿当时正在大学从事博士后研究，他经历了一种学术文化冲击。在英国，学术界秉持一种知识上的单一文化； 在美国，学术界的格局足够丰富，可以容纳一些不同意见。“这里的学术界可能会有不同的观点，”辛顿说，“但这些观点都可以存在。”在这里，如果他告诉其他研究人员他正在研究神经网络，他们会听。

从弗兰克·罗森布拉特到南加州正在进行的研究，这两者之间有一条直线。20世纪60年代，罗森布拉特和其他科学家希望开发一种新的神经网络，一个跨越多层神经元的系统。在20世纪80年代初，这也是加州大学圣迭戈分校的希望。感知机是一个单层网络，这意味着在网络接收的东西(印在纸板上方格内的大写字母的图像)和输出的东西(它在图像中找到的A)之间只有一层神经元。但是罗森布拉特认为，如果研究人员能够建立一个多层的网络，每一层都向下一层提供信息，这个系统就可以学习感知机无法学习的复杂图形。换句话说，一个更像大脑的系统就会出现。当感知机分析印有字母A的卡片时，每个神经元检查卡片上的一个点，并判断这个特定的点是否属于定义字母A 的三条黑线的典型组成部分。但是对多层网络来说，这只是一个起点。给这个更复杂的系统一张照片，比如一只小狗的照片，随后它会开启一个更为复杂的分析过程。第一层神经元会检查每个像素：它是黑色还是白色，棕色还是黄色? 然后，第一层会把学到的东西输入第二层，这一层的另一组神经元将在这些像素中寻找图形，比如一小条直线或一小条弧线。第三层将在图形中寻找图像。它可能会把几条线拼在一起，找到一只耳朵或一颗牙齿的图像，或者把这些微小的弧线组合起来，找到一只眼睛或一个鼻孔的图像。最终，这个多层的网络可以拼出一只小狗的图像。这至少是个想法，实际上，当时还没有人实现。他们在圣迭戈正在为此努力。

加州大学圣迭戈分校的一位名叫戴维·鲁梅尔哈特( David Rumelhart) 的教授是 PDP 小组的主要人物之一， 他拥有心理学和数学学位。当被问及鲁梅尔哈特时，辛顿常常回忆他们被迫听双方都毫无兴趣的一场讲座的时光。讲座结束时，辛顿抱怨说他刚刚浪费了一个小时的生命，鲁梅尔哈特说他并不介意。鲁梅尔哈特说，如果可以忽略台上的讲座，他就有60分钟不间断的时间来思考自己的研究了。对辛顿来说，这就是他长期合作者的缩影。

鲁梅尔哈特给自己设定了一个非常特殊但又核心的挑战。要打造一个多层的神经网络，其中的一个大问题是，你很难确定每个神经元对整体计算的相对重要性(权重)。对于感知机这样的单层网络，这至少是可行的：系统可以自动设置其单层神经元的权重。但是对于多层网络，这种方法根本行不通。神经元之间的关系过于广泛和复杂。改变一个神经元的权重，就意味着要改变其他所有依赖于其行为的神经元。人们需要一种更强大的数学方法，将每个权重的设定与其他所有权重结合起来。鲁梅尔哈特认为, 答案是一个叫“反向传播”( backpropation)的过程。这本质上是一种基于微分的算法，当神经元能够分析更多数据并更好地理解每个权重是什么的时候，它就会发送一种数学反馈，沿着神经元的层次结构向下传递。

辛顿刚拿到博士学位并到达圣迭戈时，他们讨论了这个想法，他告诉鲁梅尔哈特，这个数学把戏永远不会成功。他说，毕竟，设计感知机的弗兰克·罗森布拉特已经证明了它永远不会有效。如果你打造了一个神经网络，并将所有的权重设置为零，系统就可以学会自己调整权重，将变动往下串联多层。但最终，每一个权重都会和其他权重一样落在同一个地方。无论你如何努力地让系统采用相对权重，它的自然趋势都是不断校平。正如弗兰克·罗森布拉特所展示的，这只是数学的运行方式。用数学术语来说，这个系统无法“打破对称性”。一个神经元永远不会比其他任何神经元更重要，这是一个问题。这意味着这个神经网络并不比感知机好多少。

鲁梅尔哈特听取了辛顿的反对意见，然后提了一个建议。“如果没有将权重设置为零呢? ”他问道，“如果数字是随机的呢? ”他建议，如果在开始时将所有的权重设置为不同的数值，那么数学的运行情况会有差异，不会将所有的权重校平。它会找到对应的权重，让系统真正识别出复杂的图形，比如一张小狗的照片。

辛顿常常说“旧的想法也是新的”，他认为科学家永远不应该放弃一个想法，除非有人证明了它行不通。20年前，罗森布拉特已经证明了反向传播是行不通的，所以辛顿放弃了。然后，鲁梅尔哈特提出了这个小建议。在接下来的几个星期里，他们两人开始着手打造一个从随机权重开始的系统，这个系统可能会打破对称性。它给每个神经元分配不同的权重，通过设置这些权重，系统实际上可以识别图像中的图形。这些都是简单的图像，该系统无法识别狗、猫或汽车，但由于反向传播，它现在可以处理被称为“异或”的事情了，这弥补了10多年前马文·明斯基所指出的神经网络的缺陷。系统可以检查一张纸板上的两个点，并回答那个难懂的问题：“它们是两种不同的颜色吗? ”但他们的系统也仅限于此，他们再次将这个想法搁置一边。然而，他们找到了绕过罗森布拉特的证明的方法。

在随后的几年里，辛顿与特里·谢诺夫斯基建立了单独的合作关系，后者当时是普林斯顿大学生物系的博士后。他们通过第二个(未命名的)连接主义者小组会面，这个小组每年在全美各地召开一次会议，讨论的很多话题与在圣迭戈讨论的相同，反向传播就是其中之一，玻尔兹曼机也是。多年之后，当有人让辛顿给那些对数学或科学知之甚少的普通人解释玻尔兹曼机时，他拒绝了。他说，这就像让诺贝尔奖得主、物理学家理查德·费曼( Richard Feynman) 解释他在量子电动力学方面的工作。当任何人要求费曼用外行人能理解的语言解释他赢得诺贝尔奖的工作时，他都会拒绝。他会说：“如果我能向普通人解释，那它就不值得赢得诺贝尔奖了。”玻尔兹曼机当然也很难解释，部分原因在于，它是一个数学系统，基于奥地利物理学家路德维希·玻尔兹曼( Ludwig Boltzmann)的一条百年理论, 涉及一个似乎与人工智能完全无关的现象(加热气体中粒子的平衡)。但其目标很简单，它是一种打造更好的神经网络的方式。

和感知机一样，玻尔兹曼机通过分析数据，包括声音和图像数据来学习。但它增加了一个新的变化，就是会创造自己的声音和图像，然后通过对比自己创造的数据与分析的数据，来进行学习。这有点儿像人类的思维方式，因为人类可以想象图像、声音和文字。人们会做梦，夜晚和白天都会，然后在现实世界中运用这些想法和幻象。借助玻尔兹曼机，辛顿和谢诺夫斯基希望用数字技术重新创造这一人类现象。“这是我一生之中最激动人心的时刻，”谢诺夫斯基说，“我们确信我们已经弄清楚了大脑是如何工作的。”但是，与反向传播一样，玻尔兹曼机也是一项正在进行中的研究，它没有做任何有用的事情。多年来，它也徘徊在学术界的边缘。

辛顿对各种不受欢迎的想法都抱有宗教般的信仰，这可能让他脱离了主流，但也确实给他带来了一份新工作。一位名叫斯科特·法尔曼( Scott Fahlman)的卡内基-梅隆大学教授与辛顿和谢诺夫斯基一起参加了年度连接主义者大会，法尔曼开始认识到，招募辛顿可以成为该大学对冲其在人工智能领域押注的一种方式。与麻省理工学院、斯坦福大学和世界上大多数其他实验室一样，卡内基-梅隆大学专注于符号人工智能研究。法尔曼认为，神经网络是一个“疯狂的想法”，但他也承认大学里正在开发的其他想法可能同样疯狂。1981年，在法尔曼的保荐下，辛顿去卡内基-梅隆大学面试了，他做了两场讲座：一场在心理学系，一场在计算机科学系。他的讲座就像一条信息的消防水带，信息极度密集，他根本没有给不熟悉该领域的人多少停顿的时间，因为他在讲每句话时都挥动手臂，将双手分开，然后在表明自己的观点时又将双手合在一起。他在讲座中并没有强调数学或计算机科学，仅仅是因为他对数学或计算机科学没那么感兴趣。他更多的是强调想法，那些有兴趣并且能够跟上他思路的人感到莫名地兴奋。那一天，他的讲座引起了人工智能运动的开创者之一艾伦·纽厄尔的注意，纽厄尔是数十年来推动符号方法的领军人物，是卡内基-梅隆大学计算机科学系主任。第二天下午，纽厄尔给了辛顿一份该系的工作，但辛顿在接受之前推辞了一下。

“有些事你应该知道。”辛顿说。

“什么事?”纽厄尔问。

“实际上，我对计算机科学一无所知。”

“没事。我们这里有人懂这个。”

“既然如此，我接受这份工作。”

“工资呢? ”纽厄尔问。

“哦，我不在乎，”辛顿说，“我做这些不是为了钱。”

后来，辛顿发现他的工资仅仅是同事工资的大约3/4(2.6万美元对3.5万美元)，但他为自己的非正统研究找到了归宿。他继续研究玻尔兹曼机，还经常在周末开车去巴尔的摩，这样他就可以与约翰斯·霍普金斯大学实验室里的谢诺夫斯基合作了。在此过程中，他还开始完善反向传播的研究，认为它会产生有用的比较。他觉得自己需要一些可以与玻尔兹曼机做对比的东西，而反向传播就是不错的选择。在卡内基-梅隆大学，他不仅有机会探索这两个项目，还能使用更好、更快的计算机硬件。这推动了研究工作向前发展，使这些数学系统能够从更多的数据中学到更多的东西。1985年，也就是他在波士顿向明斯基演讲的一年之后，突破性工作出现了。但产生突破的不是玻尔兹曼机，而是反向传播。

在加州大学圣迭戈分校，辛顿和鲁梅尔哈特证明了多层神经网络可以调整自身的权重。然后，在卡内基-梅隆大学，辛顿证明了这个神经网络实际上可以做的事情不仅仅是给数学家留下深刻的印象。当他输入家谱的碎片信息时，它可以学会识别家庭成员之间的各种关系，这项小技能表明它能够做到更多。如果他告诉这个神经网络，约翰的母亲是维多利亚，维多利亚的丈夫是比尔，它就可以推断出比尔是约翰的父亲。辛顿不知道的是，在完全独立的领域，其他人已经设计出了类似于反向传播的数学技术。但与之前的人不同的是，辛顿展示出的这种数学想法具有前景，它不仅可以用于图像，还可以用于文字。它也比其他人工智能技术更有潜力，因为它可以自己学习。

第二年, 辛顿与一位名叫罗莎琳德·扎林( Rosalind Zalin)的英国学者结婚了，这是他在英国萨塞克斯大学做博士后研究时认识的一位分子生物学家。她相信顺势疗法，这将成为他们两人关系紧张的根源。“对一位分子生物学家来说，相信顺势疗法是不光彩的。所以，生活很艰难，”辛顿说，“我们不得不达成一致，不谈论这个。”她是一名坚定的社会主义者，不喜欢匹兹堡或罗纳德·里根的美国政治。但对辛顿来说，在这段时期，他自己的研究富有成果。婚礼当天早上，他消失了半个小时，给世界领先的科学期刊《自然》的编辑寄去了一个包裹。包裹里有一篇描述反向传播的研究论文，作者是鲁梅尔哈特和一位名叫罗纳德·威廉姆斯( Ronald Williams)的美国东北大学教授。这篇论文在当年年底发表了。

这是被整个世界忽视的那种学术时刻，但在这篇论文发表之后，神经网络进入了一个乐观和进步的新时代。随着该领域走出第一个漫长的寒冬，并乘着更大的人工智能投资的浪潮前进，研究人员所说的反向传播不再仅仅是一个想法了。

第一次实际应用发生在1987年。卡内基-梅隆人工智能实验室的研究人员正试图制造一种可以自动驾驶的卡车。他们以一辆形似救护车的宝蓝色雪佛兰汽车为基础，在车顶安装了一个手提箱大小的摄像机，并在后备厢里装上了当时被称为“超级计算机”的东西——这种机器处理数据的速度比当时典型的商用计算机快100倍。整体的思路是，这台包括几块电路板、一些电线和硅芯片的机器，将读取车顶摄像头传来的图像，并决定卡车在前方道路上应该如何行驶。但这需要一些努力。几名研究生正在为所有的驾驶行为人工编写代码，一次一行软件代码，为卡车在道路上遇到的各种情况编写详细的指令。这是一项徒劳的工作。到了那年秋天，也就是该项目启动几年之后，这辆车的速度只有每秒几英寸。

然后, 在1987年, 一位名叫迪安·波默洛( Dean Pomerleau)的一年级博士生将所有的代码丢到一边，用鲁梅尔哈特和辛顿提出的想法重建了软件。

他称自己的系统为ALVINN。两个N代表“神经网络”。在他完成后，卡车能以一种全新的方式运行了，它可以通过观察人类如何在道路上行进来学习行驶。当波默洛和他的同事驾驶卡车穿过匹兹堡的申利公园，沿着沥青自行车道蜿蜒前行时，卡车利用车顶摄像头拍摄的图像来跟踪司机们在做什么。正如弗兰克·罗森布拉特的感知机可以通过分析纸板上的方格来学习识别字母一样，这辆卡车可以通过分析人类如何处理道路上的每个转弯来学习行驶。很快，它就独自在申利公园行驶了。起初，这辆加大马力的宝蓝色雪佛兰汽车载着几百斤的计算机硬件和电气设备，以每小时9~10英里或更慢的速度行驶。但随着它继续与波默洛和其他研究人员一起学习，在更高的速度下分析更多道路上的更多图像，它继续得到改进。美国中产阶级家庭往往在他们的车窗上贴着“车上有婴儿”或“车上有奶奶”的标志，于是波默洛和他的研究伙伴给ALVINN贴上了一个写着“车上没有人”的标志。这是真的，至少在精神上如此。1991年一个星期天的清晨，ALVINN 以接近60英里的时速从匹兹堡开到宾夕法尼亚州的伊利市。在明斯基和佩珀特的《感知机》一书出版20多年后，ALVINN做到了他们说神经网络做不到的事情。

辛顿没有去现场见证。1987年，也就是波默洛来到卡内基-梅隆大学的那一年，辛顿和妻子离开美国，前往加拿大。他愿意说的理由是罗纳德·里根。在美国，人工智能研究的大部分经费来自军事和情报组织，其中最著名的是美国国防部高级研究计划局(DARPA)，这是美国国防部中专门研究新兴技术的部门。它创建于1958年，是为了回应苏联发射人造卫星而设立的，从人工智能最早的时候起，它就一直资助该领域的研究。这是在《感知机》一书出版后，明斯基从罗森布拉特和其他连接主义者那里撤出的赞助资金的主要来源，它也资助了波默洛对ALVINN的研究。但在当时的美国政治环境中，围绕着伊朗门事件的争议频发，里根政府官员秘密向伊朗出售武器，以资助反对尼加拉瓜社会主义政府的行动。辛顿逐渐对依赖美国国防部高级研究计划局的资金感到不满，同时他的妻子怂恿他搬到加拿大，她说自己不能继续在美国生活了。在神经网络研究复兴的高峰时期，辛顿离开了卡内基-梅隆大学，到多伦多大学担任教授。

在这次搬家几年之后，当辛顿大费周章地为自己的研究寻找新的资金时，他怀疑自己是否做出了正确的决定。

“我本应该去伯克利的。”他对妻子说。

“伯克利? ”他的妻子说，“我愿意去伯克利。”

“但你说过你不会住在美国。”

“那不是美国，是加州。”

但是，他们已经做出了决定，他到了多伦多。这次搬家改变了人工智能的未来，更不用说地缘政治的格局了。

如果需要《深度学习革命》电子书，V联系我，我发给你。

参考文档：
[1] 《深度学习革命：从历史到未来》，[美]凯德·梅茨。

相关阅读：

杰夫·辛顿：无法坐下的人