NLP：14.1 词嵌入（Word2vec）李沐

标签：NLP 14.1 模型 独热 词袋 跳元 李沐 向量

李沐 动手学深度学习 学习笔记

---

 

词向量是⽤于表⽰单词意义的向量，并且还可以被认为是单词的特征向量或表⽰。 将单词映射到实向量的技术称为词嵌⼊。近年来，词嵌⼊逐渐成为⾃然语⾔处理的基础知识。   虽然独热向量很容易构建，但它们通常不是⼀个好的选择。 ⼀个主要原因是独热向量不能准确表达不同词之间的相似度，⽐如我们经常使⽤的“余弦相似度”。 任意两个不同词的独热向量之间的余弦相似度为0，所以独热向量不能编码词之间的相似性。   word2vec⼯具是为了解决上述问题⽽提出的。 它将每个词映射到⼀个固定⻓度的向量，这些向量能更好地表达不同词之间的相似性和类⽐关系。   word2vec⼯具包含两个模型，即跳元模型（skip-gram）[Mikolov et al., 2013b]和连续词袋（CBOW）[Mikolov et al., 2013a]。 对于在语义上有意义的表⽰，它们的训练依赖于条件概率，条件概率可以被看作是使⽤语料库中⼀些词来预测另⼀些单词。 由于是不带标签的数据，因此跳元模型和连续词袋都是⾃监督模型。  

14.1.3 跳元模型（Skip-Gram）

跳元模型 假设 ⼀个词 可以⽤来 在 ⽂本序列 中 ⽣成 其 周围的单词。

14.1.4 连续词袋（CBOW）模型

连续词袋（CBOW）模型类似于跳元模型。 与跳元模型的主要区别在于，连续词袋模型 假设 中⼼词 是 基于其 在 ⽂本序列 中 的 周围上下⽂词 ⽣成的。   负采样和分层softmax

标签：NLP,14.1,模型,独热,词袋,跳元,李沐,向量
From： https://www.cnblogs.com/hbuwyg/p/16983921.html