自然语言处理预训练——全局向量的词嵌入

带全局语料统计的跳元模型

GloVe模型

从条件概率比值理解GloVe模型

总结

• 诸如词-词共现计数的全局语料库统计可以来解释跳元模型。

• 交叉熵损失可能不是衡量两种概率分布差异的好选择，特别是对于大型语料库。GloVe使用平方损失来拟合预先计算的全局语料库统计数据。

• 对于GloVe中的任意词，中心词向量和上下文词向量在数学上是等价的。

• GloVe可以从词-词共现概率的比率来解释。