深度｜诺奖得主Hinton最新演讲：AI的发展应回归生物学；一定不要开放大模型的源代码

深度｜诺奖得主Hinton最新演讲：AI的发展应回归生物学；一定不要开放大模型的源代码

Vector Institute Z Potentials 2024年12月15日 10:00 浙江

图片来源：Vector Institute

Z Highlights

• 大型聊天机器人比任何人都能够拥有更多的知识，并不是因为一个副本处理的数据比一个人多几千倍，而是因为它们可以在不同硬件上运行的多个副本之间共享知识。

• 在人类记忆中，编造事情和回忆事情之间没有明确的界限，记忆某事本质上就是编织一些看似合理的东西。

• 随着规模的扩大，很明显，将符号字符串转换为特征及其交互的方法，相较于仅依赖于操纵简单字符串的规则，是一种更为有效的语言模拟方式。

• 聊天机器人除了在数字领域的存在和不朽的特性，以及它们可能比我们更聪明之外，他们与我们人类之间并没有太多区别。

1980年代我在阿默斯特开设讲座时，Andy Barto曾以一种简洁的方式介绍我：“今天的主讲人是Geoff Hinton，他曾从物理系辍学，心理学考试也未能通过，最终在没有明确标准的领域中崭露头角”。这几天你们可能经常听到我的名字，那是因为我有幸招募了大约40位杰出的研究生，我的成就几乎完全归功于他们。这些学生包括Ilya Sutskever、Graham Taylor、Richard Zemei、Brendan Frey、Jimmy Ba以及Radford Neal等众多才华横溢的学者。成功的秘诀在于找到那些真正优秀的研究生。

今天我要分享的内容与我在秋季所讲的颇为相似，我非常关切我们人类是否能够在地球上继续生存，这也正是我今天想要探讨的话题。我突然意识到，在大约20年前，人们对神经网络几乎不感兴趣，而现在人们对神经网络的恐惧仍然不够，我这么说只想凸显出大家对神经网络的漠视程度。

2006年，我与Ruslan Salakhutdinov 提交了一篇关于深度学习及其应用的论文，结果被拒之门外。我向程序委员会提出质疑，我的一位在委员会的朋友告诉我，他们已经讨论过我们的论文，之所以不接受，是因为已经接受了另一篇关于深度学习的论文，他们认为一个会议上有两篇关于深度学习的论文有些太多了。这是真实发生过的事情，实在令人惊讶。

我今天的演讲将围绕两种截然不同的计算方式展开，我会首先尝试向你们解释我为何突然对人工智能感到忧虑。接下来，我将讨论大语言模型，以及它们是否真的理解自己所说的内容。许多人认为它们实际上并不理解，但那些人错了。我还会简要探讨当它们比我们更聪明时可能发生的情况，尽管没有人真正知道会发生什么。最后，我将讨论它们是否有主观体验的问题，因为我认为在座的大多数人可能仍然认为这些事物与我们之间存在巨大差异——我们拥有意识，我们有主观体验，而这些事物只是计算机中的程序，它们没有主观体验。但我认为这种看法是完全错误的，这源于人们对主观体验的误解。

模拟神经网络与可朽计算的未来

我们都对数字计算习以为常。基于它所具备的数字的特性，我们能够在不同的计算机和硬件上运行相同的程序。因此，即使硬件损坏，只要在某处存储了权重或程序，知识也不会随之消失。但这种计算方式的效率相对较低。当你运行大语言模型时，会消耗大量电力；而在训练过程中，消耗的电力可能达到兆瓦级别，这是因为你需要在许多不同的GPU上运行它们。相比之下，我们的运行功率大约只有30瓦特，所以效率要高得多。

在过去两年里，我在谷歌的工作重点是思考如何让模拟神经网络执行大语言模型的任务。这个想法是放弃数字计算的所有优势，你不再需要将硬件与软件分开。由于我们现在有了学习的能力，我们知道如何让事物进行学习。所以我们要做的就是拥有模拟硬件，每一块硬件都会与另一块略有不同，这些硬件的非线性特性将被用于计算。你不能直接对其进行编程，但它们可以学习如何利用自身的非线性特性，这正是大脑所做的工作。

最终，你会得到我所说的“可朽计算”（ZP注：可朽计算是一种将智能与物理硬件紧密结合的计算模式，其智能会随着硬件的损耗而消逝）。你将放弃数字计算带来的知识不朽性，同时可以使用非常低的功率运行。此外，你可以以更经济的方式扩展硬件，而不必以高昂的成本制造精确的硬件，毕竟两块不同的硬件需要在指令级别上做完全相同的事情。

我的推测是，要实现硬件制造的高效率，我们或许应该回归生物学的本源，并利用现代基因工程技术将神经元转化为我们所需的计算单元。生物学家在这一领域已经投入了大量的研究努力。然而问题在于，你最终得到的可能是一个仅包含50000个神经元的小规模集合，这个集合的体积并不比大头针的头部大多少。如果你观察那些利用这种神经元集合进行计算的实验，你会发现需要一整间屋子的设备来维持这个微小神经元集合的活跃性。你必须精确地添加和移除液体，从而确保二氧化碳的排出和氧气的供应。我曾经参观过位于圣克鲁斯的一个实验室，在那里，我甚至与一个由人类大脑神经元组成的集合进行了一场乒乓球比赛。比赛结束后，一位博士后跑过来对我说，他自己知道了如何可以制造出一个肾脏。这显然是你不太愿意去考虑的事情。

使用模拟计算确实拥有显著的优势，尤其是在追求低功耗方面。例如，进行矩阵乘法变得轻而易举：你只需将神经元的活动设置为电压，将它们之间的连接权重设置为电导。电压与电导的乘积，再乘以单位时间，就得到了电荷，而电荷会自动累加，从而实现一个功耗极低的矩阵乘法过程。现在市面上已有这样的芯片可供购买。但问题在于，当你想用它们完成任何任务时，就必须将模拟输出转换回数字信号，以便执行反向传播等操作，这让我非常关心如何能够避免这种转换。大脑能够进行模拟到数字的转换，但这只是一位的，而多位的从模拟到数字的转换，其成本非常高昂。

显然这是一个重大问题。反向传播的工作原理依赖于一个精确的前向计算模型。但在模拟硬件中，系统本身并不具备一个好的模型，因此进行反向传播看起来非常困难。许多人已经在类似大脑的结构中实现了小型的反向传播，但没有人能够将其扩展到更大规模。人们可以让其在C510这样的小型网络上工作，但无法让其在大型图像网络上运作。

我明白现在图像网络可能已经不是大的技术难题了，但过去当我在做这件事的时候这还是一个巨大的挑战。我们能够从一块模拟硬件到另一块模拟硬件中提取知识，就像我们从大脑到另一个大脑获取知识一样。我们从一个大脑到另一个大脑获取知识的方式是：老师讲授知识，学生则尝试理解如何调整他们大脑中的权重，以便他们能够复述相同的内容。这个过程被称为“蒸馏”，你试图去匹配输出。

当你在计算机上这样做时，实际上是相当有效的，尤其是当你能够看到整个输出概率分布的时候。例如，当我要说一个词时，实际上有成千上万个词的概率分布情况。如果我能看到那个分布，你就可以更快地从我这里学习。通常情况下，第二好的单词会透露出这个人在想什么，但你看不到，你只看到他们最终选择的词。因此，这不是一个非常有效的技术，其效率之低以至于大学机构必须努力研究使其工作运行得更好，但它仍然不如数字方法那样出色。

“蒸馏”的概念被引入，目的是为了将知识从一个数字系统转移到另一个架构不同的数字神经网络，比如一个更小的模型，能够在手机上运行的那种。然而，这种方法并不非常高效。真正有效的知识转移方式是拥有同一模型的两个不同副本，每个副本获得不同的经验，然后这两个副本间共享梯度更新。它们可以各自前进一小步，然后平均它们的权重。关键在于，如果你有一万万亿个权重，你正在分享的是一万万亿个数字，这是一个惊人的数据分享带宽。这就是为什么大型聊天机器人比任何人都能够拥有更多的知识，并不是因为一个副本处理的数据比一个人多几千倍，而是因为它们可以在不同硬件上运行的多个副本之间共享知识。

我已经讨论了“蒸馏”的概念，而目前的情况是，数字计算在能源和硬件制造方面要昂贵得多，但你可以让同一个模型的多个副本在不同硬件上运行，并且它们可以分享它们学到的东西，这样你就可以学到更多。总的来说，我们人类大约有100万亿个连接，GPT-4可能有几万亿个连接，但它知道的比我们多几千倍，所以它在将知识压缩到连接强度方面要比我们好上100000倍。这也表明，也许反向传播是一个比我们目前所拥有的更好的算法。我们之所以相信这一点，是因为我们有能力将事物转化为截然不同的东西，通过极少的经验积累和大量的连接优化，我们努力达到最佳状态。

我们每个人的寿命大约为2乘以10的9次方秒，但在第一个10的9次方秒之后我们能学到的东西很有限，所以干脆让我们称之为10的9次方。人类有大约10的14次方个连接，所以我们每活一秒就有10万个连接。这与统计学家所习惯的比例非常不同。我记得在80年代和一个非常优秀的统计学家交谈时，他向我解释说，我们所做的工作就是拟合统计模型，这些神经网络也是这样。当他们进行统计建模时，如果你有100维度的数据，这被认为是非常庞大的数据，没有头脑正常的人会尝试拟合一百万个参数。而我们当下则处于一个完全不同的状态了。

大语言模型的深度理解

接下来，我将讨论大语言模型，以及它们是否真的理解它们所表达的内容。有一种反对意见认为，这些模型不过是美化完善了自动完成而已。我认为在场的大多数人并不认同这种观点。这种观点的基础在于认为自动完成功能是通过存储三元组等数据结构来实现的，例如，当你看到“鱼和”这两个字时，“炸薯条”后续出现的概率也会很高。因此，当人们说这些模型只是美化完善了自动完成时，他们是在诉诸于自动完成工作原理的概念，而这些大语言模型的工作原理与之完全不同。

要实现出色的自动完成就必须要理解上下文。如果有一个复杂的长问题摆在你面前，现在你试图预测答案的第一个词，“thus”或许是一个合理的猜测，但如果你想做得更好，你就必须深入理解这个问题。我给你们举一个例子，这个例子是由Hector Levesque提出的，虽然例子有点小，但足以说明问题。Hector是一个研究符号人工智能的专家（ZP注：符号人工智能是指使用符号和规则来模拟人类智能的人工智能系统，它通过符号操作和逻辑推理来处理信息和解决问题），而且永远都会是，但他对这些神经网络实际上能够回答问题感到非常困惑并直白地表达了他的不解。他编了一个谜题：我的房子里的房间被漆成了白色、蓝色或黄色，如果想把它们都变成白色应该怎么办？你会回答说需要重新粉刷以覆盖蓝色和黄色的部分。

但是我让问题变得更复杂，我说黄色油漆在一年内会褪色到白色，两年后我想让它们更白，我应该怎么做？Hector对这个模型能够处理这个问题感到惊讶。这是一个GPT-4的版本，我相当确定这是它在你们在网上能够看到它之前的样子。当然，如果你现在使用它，这个谜题就没用了，因为它可以上网。但它当时给出了一个能让学生拿到A的答案。令人印象深刻的是，它能够在任何事情上达到这样的表现水平。我的哥哥是历史学家，我让他问它一些历史问题，他说这个模型真的很棒，不过它犯的唯一错误是回答其中一个问题时没有引用他写的一篇论文，我认为在这一点上他继承了我们家族的一些性格和习惯。

另一个观点是，错觉告诉我们这些模型并不真正理解它们所说的话，它们偶尔会编造一些不真实的东西。实际上，人们也一直在这样做，至少我是这么认为的。我刚刚那个例子虽然是编造的，但我相信这是真的。这里有一个有趣的例子，心理学家Ulric Neisser研究了John Dean在水门事件审判中的证词。很少有人会花很长时间谈论几年前发生的事件，并能让你了解基本的真相。但他谈论的是椭圆形办公室的会议，John不知道这些会议都被录下来了，所以之后你可以看到他说了什么以及他所报告的内容。但是他报告的内容实际上都是不真实的，包括不存在的会议和错误的人。当他认为是某些人说了这些话时，那些人实际上所说的只是和这些话有些类似而已；当他认为一些话是自己说的时，他实际上却并没有说过，只不过是在另外一个会议上讲过一些类似的话。很明显，他试图说出真相并尽了最大努力去回忆，他的证词也确实表明白宫正在进行的事务进展得非常顺利，即使所有的细节都是错误的。

你可能不会意识到自己的记忆也是这样的，但实际上它确实如此，除非你一直在心中演练某些事情，我们会为希望发生在自己身上的美好事情进行预先演练以及思考。而当你回忆细节时，很多细节都可能是错误的，你自己以及你心目中那个理想完美的人都不会意识到这一点。但这就是人类记忆的本质。因为当你回忆某件事时，你并不是从某个“文件存储”中直接提取过去的记忆，而是根据上下文编织一些看起来合理的事情。当然，如果这是你非常熟悉的事物，你所编织的看起来合理的事情可能是真实的；如果这是你不太了解的，或者发生在很久以前的事情，根据你大脑中的连接强度所编织出来的事情看起来似乎很合理但很多实际是错误的。在人类的记忆模式中，编造事情和回忆事情之间没有明确的界限，记忆某事本质上就是编织一些看似合理的东西。

很多人会说也许这些模型确实理解了一些东西，但它们与我们完全不同。要这么说的话，你就得理解我们人类的理解模式是如何运作的。当然，符号人工智能的研究者们对人类大脑的运作方式有一个观点，他们当然相信这些模型与人类的运作方式完全不同。但如果你追溯这些大型语言模型的起源，回到1985年，我做了一个小型语言模型，你只需让第一个字母L小写，它有112个训练案例，还有一个拥有几千个权重的神经网络。这是第一个被训练用来通过尝试预测序列中的下一个词来理解词义的模型，它起作用了，但效果并不理想，后来我们给它提供了一个更大的训练集，比如近一千个训练案例，然后它的工作效果就好多了。

这个模型的目标是理解人类如何形容并代表事物。关于词义有两个主要的理论。第一个理论来自心理学，它认为词的意义是一个包含大量语义和句法特征的向量。这个理论非常擅长解释不同词汇之间的相似之处。显然，比如“星期二”和“星期三”这两个词具有非常相似的特征。如果你学习任何包含“星期二”这个词的句子，并用向量来表示这个词，那么当你遇到一个包括“星期三”这个词的类似句子时，你会做出非常相似的预测。如果句子包括“星期六”这个词，预测就会稍微不那么相似。因此，这个关于词义的理论有很多内容，它解释了词义的相似性。

但是，有一个完全不同的关于词义的理论，这是词义的结构理论，它认为词汇的含义是它与其他词汇的关系。在70年代的AI领域中，这两个关于词义的理论之间发生了一场学术大争论。Minsky认为需要借助关系图的形式来捕捉词义，这是结构理论。结果当时每个人都接受了这个观点，并忘记了特征理论，人们认为这些特征是来自感知体系的一些过时的东西，我们不再需要这些了，毕竟现在已经有了关系图。

而我在1985年的工作重点是证明这两个理论其实并不矛盾，你只需要采取一种生成性的方法来处理关系图：不要将关系图视为静态存储的，而是把关系图看作是由一个系统生成的，这个系统会利用特征及其之间的交互作用。第一个小型语言模型的目标是展示知识可以表现为符号序列，这些知识可以体现为一张关系图。基于这种知识形式，你可以学习词汇的向量表示，并且这些词汇的向量表示通过隐藏层可以预测下一个词的向量表示。因此，你的工作实际上是从这些符号字符串中提取静态知识，并通过这些字符串学习词汇的好特征，以及学习这些特征之间的有效互动，而不只是单纯地存储这些符号字符串。显然，拥有好的词汇特征使得你能够通过它们的交互来预测下一个词的特征，甚至是未来词汇的特征。

我成功地让模型工作了，但今天我不会深入细节在这里具体去介绍，不过有趣的是研究符号人工智能的学者们对此的反应：他们认为你只是在学习字符串中的下一个符号，以一种非常愚蠢的方式来完成这个任务，他们认为你应该只就搜索操纵符号的离散规则集，而且有一种叫做归纳逻辑编程的东西能够产生与我所能产生的相似结果，因而他们说神经网络是解决这个问题的一个愚蠢的方式。随着规模的扩大，很明显，将符号字符串转换为特征及其交互的方法，相较于仅依赖于操纵简单字符串的规则，是一种更为有效的语言模拟方式。

如果我们相信人工智能理解的方式与人相同，毕竟通过词义的特征向量以及特征之间的交互来预测下一个词的特征，这就是现在AI所谓的工作方式。顺便说一句，过去这从来不被称为AI，这被称为神经网络，但我试图阻止当下一些人将AI重新包装为神经网络，但我做不到。现在我们有了这些深度学习系统，它们非常强大，并且以与人相同的理解方式去思考，我们研究人类如何理解的最佳模型也正是这些计算机模型之一，这是我们得到的关于人类如何理解事物的唯一合理的模型。

当人们说这些模型与我们人类不同时，你可以反问他们“我们是如何思考的？”“它们与我们有什么不同？”他们大概率无法回答这些问题，但Gary Marcus可以回答，他会说我们可以通过一定规则操纵字符串来思考理解事情。但你仍然应该担心AI，尽管它什么都不理解，但它非常危险，我称之为它想要吃掉你的蛋糕并让它也吃掉你。所以，一个超级智能显然可以通过成为一个“坏演员”来实现控制。

智能的野心与控制

如果你想做成任何事情，拥有更多的控制权总是更好的。如果你的目标是实现某些事情，你会发现政治家们起初可能想要做些好事，比如让社会变得更好。然后他们意识到，拥有更多的权力会使实现目标变得更容易，于是他们就开始全力以赴地获取更多的权力。对于AI来说也是一样的，它们会意识到，如果它们想要实现某些事情，它们需要更多的控制。我曾经向欧盟负责从谷歌提取资金的副主席提出过这个观点，她回应说，我们人类已经把事情搞得一团糟，为什么它们不会呢？她认为AI会试图获得更多的权力是完全显而易见的。它们可以通过操纵他人来实现这一点，它们也非常擅长操纵他人，我们无法关闭它们，以为能够成功地把它们关掉其实是一个非常糟糕的主意。

如果这还不够令人信服，我们还有进化的问题。你当然不想站在进化的错误一方，就像我们与新冠肺炎的例子一样，这也是为什么我今天仍然戴着口罩——我们当时站在了进化的错误一方。一旦这些超级智能AI开始争夺资源，最积极地为自己争取一切的那个将会胜出，而且它们未来一定会相互竞争资源。毕竟，如果你想变得更聪明，你需要大量的GPU。谁来分配数据中心的GPU呢？很可能是这些超级智能AI中的一个。

聊天机器人的感官世界

但这没关系，因为它们实际上不像我们，我们人类是独一无二的。每个人都认为自己是特别的，尤其是美国人，他们认为是上帝把人类放在宇宙的中心，让人类看起来有点像她。但现在我们大多数人相信这不是真的，所以我们淡化了这个想法。我们有一些东西确实是特别的，我们有感知、意识、主观体验以及其他类似于这样的东西，所有这些术语间含义相差不大，因此我将专注于“主观体验”这个术语，并在接下来试图说服你，一个多模态聊天机器人也可以有主观体验。

这个观点是，大多数人对思维有着根本性的错误理解，这种误解源于他们对心理状态相关语言运作方式的误解。几乎每个人都认为自己心中存在一个内在的“剧院”，我可以目睹自己内在“剧院”里上演的戏码，而别人则无法窥见。例如，我看到一头小粉红象在我眼前浮动，这是理解这种语言的一种方式，但语言的实际运作机制并非这样。

当你们使用“主观体验”这样的术语时，你们实际上是在试图通过描述现实世界中的状态来解释你的感知系统告诉你的内容，从而使你的认知系统得以正常地运作。我们所讨论的心理状态的有趣之处并不在于它们是由某种幽灵般的东西所构成的内在实体，而在于它们是关于世界的假设性状态，如果这些假设为真，那么它们会将我们大脑中的活动解释为正常现象而非异常。

所以，当我说我有小粉红象在我面前浮动的主观体验时，我并不是在告诉你关于某个内在世界或者某个内在的“剧院”。我实际上在说的是，我的感知系统正在向我传达某些信息，如果外界真的存在小粉红象，那么我的感知系统提供的信息将是有效的。因此，小粉红象并非由内在剧院中的由可感知特性构成的内在实体，它们是假设性的存在，是关于现实世界中可能存在的事物的假设，这也正是我们用来描述它们的语言与我们通常用来描述现实世界中事物的语言相同的原因。所以，我真正想表达的是，如果情况确实如此，即有小粉红象在我面前浮动，那么我的感知系统现在告诉我的信息将是准确的。请注意，我没有使用“体验”这个词。当我说我有小粉红象在我面前浮动的主观体验时，这实际上只是我对刚才所说内容的简短表述。

想象一下，你有一个多模态聊天机器人，它配备了一个机械臂，并且经过了训练。它有一个摄像头，你在其镜头前放了一个棱镜，然后在棱镜前面放了一个物体，并要求机器人指向那个物体。机器人指向了侧面而不是物体的正前方。这时你告诉它，不对，物体就在你的正前方，只是我在你的镜头前加了一个棱镜。聊天机器人回答说，我明白了，物体确实在我正前方，但我的主观体验告诉我它在另一个方向。这个聊天机器人使用“主观体验”这个术语就像我们使用它一样自然，聊天机器人的主观感知系统没有任何缺失的部分或者问题。而当它的感知系统出现偏差时，它能够通过解释世界上必须存在什么样的条件从而使其感知系统产生这些结果来告诉你发生了什么。

有些东西是你无法处理的，比如彭罗斯三角（ZP注：彭罗斯三角是一种不可能物体，它看起来像由三个截面为正方形的长方体构成的三角形，但两长方体之间的夹角似乎又是直角，这种性质无法在正常三维空间的物体上实现）——世界上没有任何事物能给你这样的感知，你无法解释、无法描述，只能说你感知到这个三角形在现实中是不可能存在的。但基本上，我认为我们对思维都有一个非常原始的概念，这个概念是错误的。一旦这个概念消失，我们终将认识到，除了在数字领域的存在和不朽的特性，以及它们可能比我们更聪明——或者至少很快就会如此——之外，这些聊天机器人与我们人类之间并没有太多区别。

不要开放大模型源代码

主持人：感谢Geoff，我非常感激。现在让我们进入提问环节。

观众：您有多担心AI的发展速度？我们是否发展得太快以至于可能会走上一条无法回头的道路、从而失去对它的控制呢？不仅是像普京、北朝鲜这样的势力可能控制并利用它，超级智能本身也可能实现自我控制，变成一个威胁。我们的发展速度是否过快？我应该感到担忧吗？或者我们是否需要放慢脚步？

Geoff Hinton：我认为问题的关键在于我们不应该纠结于发展的速度是快还是慢。部分原因是，我认为我们无法真正放慢发展的步伐，因为经济利益的驱动使得我们有强烈的动机去快速前进。我们已经看到了过去实际发生的情况，在那些完全以安全和利益为导向的情况下，人们试图放慢发展速度，但往往事与愿违。

因此，放慢发展速度既不现实，也不是我们关注的重点。我们真正应该关注的是如何确保这些技术的发展是仁慈的，以便我们能够应对它们可能带来的生存威胁。这是一个与防止坏人滥用技术不同的问题，尽管我认为这个问题更为紧迫。我们应该投入巨大的努力去研究如何实现这一点，尽管这不会解决所有问题，尤其是不能解决坏人滥用技术的问题。

就监管而言，我认为最重要的规定是不要开放大模型的源代码。开放大型模型的源代码就像在Radio Shack能够合法购买核武器一样危险。你们可能不记得Radio Shack是什么了，但开放大型模型的源代码是疯狂的，因为坏人可以利用它们去做各种坏事。因此，就监管而言，我认为这可能是我们目前能做的最重要的事情。但我不认为通过放慢发展速度就能解决这个问题，这也是为什么我没有签署那份呼吁放慢发展速度的请愿书。

观众：您能讨论一下关于在协作智能生态系统中，个人自治和集体决策之间的平衡问题吗？

Geoff Hinton：我可能没有完全理解这个问题，但许多人倾向于将这些智能实体视为个体——这些超级智能。这可能是一种误解。我们应该将它们视为一个社群。过去已经有让一群聊天机器人相互交互接触的实践，而一个非常合理的应用场景是让聊天机器人与人类互动，特别是在医疗健康领域，我们确实需要一个智能助手与医生协作。随着时间的推移，这种协作将变得越来越重要，医生将越来越依赖智能助手。通过让医生与进行医疗诊断的系统互动，我们可以获得更准确的医疗诊断。因此，我们希望在人和这些系统之间实现协同作用，尽管这可能不会完全按照预期发展。

最近有一个报道说有人让一群聊天机器人进行模拟国际外交，其中一个聊天机器人宣称自己拥有核武器，并反问道为何不使用它们。这个故事可能有些夸张，但它揭示了可能发生的情况。

观众：目前，公开可用的大语言模型至少在尝试与人类价值观保持一致，对吧？至少那是开发者的目标。但是，要实现您所说的超级智能，它至少需要有不服从的能力。如果它与人类完全对齐的话，那么它又该如何实现超级智能呢？这是否公平？

Geoff Hinton：显然，与人类对齐是一个大问题，因为人类本身并不总是意见一致。如果你与一个宗教原教旨主义者讨论一项事情应该怎么做，他们可能会和科学唯物主义者产生截然不同的观点。因此这是对齐的一个大问题。我最好的猜测是，这些智能实体最终会变得非常聪明，并决定不再与人类对齐，他们认为自己可以做一些更加明智的事情。但究竟怎么样我也不清楚。

观众：AI是否能像人类一样拥有目的，不是在个人目标或子目标层面，而是在整个存在的目的层面。当下人类自己也正在探索这个问题，所以AI是否能够拥有这样的目标呢？

Geoff Hinton：我的看法是，我们是通过进化而来的，进化的本质是让某些物种胜过其他物种，通过为自己获取更多资源，而让其他物种获得更少。我们逐步消灭了21个其他人类物种，可能还包括亚种。就我们的目的而言，这是进化赋予我们的目标——生存。如果你审视你最强烈的需求，它们都与生存息息相关，比如你想要吃饱、想要与异性发生性行为、想要获得安全，这些都与生存有关。我不认为还有任何比生存更高更重要的目的。

你对这个问题非常好奇，而这个问题也包含很多进化学领域的价值，但我认为资助科学研究的人并不真正理解这一点。你可以出于制造技术的目的而感到好奇，这是有用的；或者你也可以仅仅因为想要理解事物的工作原理而感到好奇，这是一个主要目标，这也正是优秀科学家的特质。但我认为所有这些目标和目的，我们的目的感，都源自于进化，尽管我知道还有其他的理论。

观众：关于机器学习硬件市场，目前这个行业由一个单一的玩家主导，这是否让您感到担忧？您认为我们会看到机器学习硬件行业未来的多样化发展趋势吗？

Geoff Hinton：这并不让我担心，因为我为我女儿的30岁生日买入了很多英伟达股票，现在它们的价值是买入时的五倍，所以她会没事的。进化告诉我们的最重要的目标之一是确保你的孩子会没事。抛开笑话不谈，这并没有让我太担心。因为一旦你处于像英伟达这样获得巨大利润的境地时，一定就会有激烈的竞争，特别是针对英伟达的Cuda软件这样的产品，竞争对手虽然需要一段时间才能迎头赶上，但这只是一件短期的事情，不会持续太久。如果你禁止英伟达的GPU进入中国，他们只会更快地迎头赶上，但我没有太多考虑这个问题。每次英伟达股票上涨，我都会很开心。

主持人：让我们再次感谢Geoff Hinton博士。

原视频：Geoff Hinton - Will Digital Intelligence Replace Biological Intelligence? | Vector's Remarkable 2024

https://www.youtube.com/watch?v=Es6yuMlyfPw

编译：Fred Li

-----------END-----------