为什么常识知识不（也不能）学习

常识（背景）知识，至少是我们在语言理解过程中获取和传递的知识：（i）不能通过处理大量文本来学习，因为这些知识从未在文本中明确说明——而你找不到不存在的东西； （ii）背景知识不能从观察中感知地学习，因为大量的关键背景知识是普遍的，既不是概率的也不是近似的，因此它不会受到个体观察的增量过程的影响。语言理解过程中所需要的共享背景知识是一种服从和尊重自然规律的知识，因此必须进行编码。事实上，这些知识必须被编码在一个符号系统中，该系统对特定本体类型的变量进行量化。

常识知识不是学来的 1——不在课文中

研究人类语言交流的神经、心理和进化方面的研究人员达成了共识，即语言是根据信息论进化的 最少努力原则 .具体来说，已经确定交互的交流主体倾向于产生话语，从而最大限度地减少（由说话者）编码思想的复杂性，以及最大限度地减少听者将语言话语解码回预期思想的过程 [1] 和该过程找到了说话者和听众的努力最小的最佳点。

在最小化说话者和听者努力的过程中，一个优化过程已经发展，通过向语言引入歧义来产生某种形式的语言压缩，其中说话者不必详细说明所有内容，但会遗漏说话者的信息可以安全地假设对侦听器可用。在这个框架中，当说话者和听者之间共享的背景知识很大时，就会发生有效的语言交流[2]。这意味着“共享的背景知识”几乎没有——如果有的话——在语言交流中陈述，如果没有别的原因，只是因为它可供说话者和听者使用（并由他们共享），传输任何信息是白费力气。但是，虽然在自然语言中普遍存在的歧义已被证明是有效压缩所必需的，但事实证明它很难被机器处理，而正是因为机器不知道“共享背景知识”是什么。由于文本中没有共享的背景知识，因此令人困惑的是，发现一些高度可见的研究工作表明他们正试图 提炼 这种背景（常识）知识来自文本（参见例如，[3]）。

为了说明为什么这种类型的背景（常识）知识不是文本，请考虑（1）和（2）中的句子：

(1) _乔恩在他家的每个房间里都有一座希腊雕像
_ (2) 当家人在多伦多附近发生车祸时，乔恩摔断了腿。

一个 4 岁的孩子知道（1）中的“希腊雕像”不是指一个，而是指许多雕像，因为一个人不能在多个位置拥有一座希腊雕像（一件物理制品）——用 NLU 术语来说，挑战(1) 通常用于解决 量词范围歧义 .同样，一个 4 岁的孩子在听到 (2) 时知道 Jon 在哪里摔断了腿，因为子事件的位置始终是主要/更大事件的位置。这可以如下图 1 所示表示——（2）中的挑战在于了解事件的常识逻辑，这种逻辑永远不会在文本中明确说明。

Figure 1. (a) Background knowledge needed to properly understand the sentence in (1); and (b) background knowledge needed to properly understand the sentence in (2). Note that a symbolic logic that quantifies over variables of specific ontological type is needed to express and represent this background knowledge since these facts and rules can be slightly different with objects of different ontological categories.

总而言之：试图通过摄取大量文本来捕捉这种类型的共享背景知识就像寻找甚至不存在的东西——为了有效的交流——这种总是隐含假设的背景知识从未明确说明过在语言交际中。

常识知识不是学来的 2 — 它是不可感知的

还有其他人认为，我们的大部分知识可以通过感知世界并逐步建立模型来“学习”。假设是我们所谓的共享“背景知识”也是通过观察在统计上和感知上学习的（例如，这是 [4] 中建议的选项）。不幸的是，这也是一个错误的论点，因为在需要高级推理（例如，计划和语言理解）的任务中隐含假设的大量“背景知识”不能是近似的，并且不能由不同的个人以不同的方式学习，因此它不会受到个人观察的影响。

在语言交流中，为了有效压缩以最大限度地减少说话者和听者所付出的努力，被遗漏且未包含在说话者编码的消息中的信息量必须与说话者可以假设听者所拥有的背景知识相同。为了解码并在此过程中成功消除消息的歧义。这是通过依赖相当多的共享背景知识来完成的，因此如果共享的背景知识不一样，整个过程就会失败。

由于背景知识（例如上面图 1 中所示的那些）不是“近似的”并且不能不同，因此它们不能单独和感知地学习——可学习性理论本身排除了学习这些普遍有效的认知模板——当然

最后一句话

现在一个重要的问题（假设读者已经接受了上述论点）是：这种“共享背景知识”的本质是什么，它有多大，以及如何编码。我将在以后的帖子中回到这个问题。

参考

1. Fortuny, J., Corominas-Murtra, B. (2013)，关于高效沟通中歧义的起源， 逻辑、语言和信息杂志 第 22 卷，第 249-267 页。 （可在 arxiv 上找到 这里 )
2. 鲍，J.，等。人。 (2011)，迈向语义交流理论，2011 年 IEEE 网络科学研讨会 .
3. 一个人将人工智能与常识相结合的梦想， 纽约时报 , 2022 年 8 月 28 日 ( 这里 )
4. Browning，Jacob 和 LeCun，Yann (2022)，人工智能与语言的限制， 十一月 ，2022 年 8 月 23 日。

__
https://medium.com/ontologik

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明

本文链接：https://www.qanswer.top/1598/41233006