语言模型
一段自然语言文本可以看作是一个离散时间序列,给定一个长度为
的词的序列
,语言模型的目标就是评估该序列是否合理,即计算该序列的概率:
本节我们介绍基于统计的语言模型,主要是
元语法(
-gram)。在后续内容中,我们将会介绍基于神经网络的语言模型。
语言模型
假设序列
中的每个词是依次生成的,我们有
一段自然语言文本可以看作是一个离散时间序列,给定一个长度为
的词的序列
,语言模型的目标就是评估该序列是否合理,即计算该序列的概率:
本节我们介绍基于统计的语言模型,主要是
元语法(
-gram)。在后续内容中,我们将会介绍基于神经网络的语言模型。
假设序列
中的每个词是依次生成的,我们有