嵌入(Embedding)是用向量表示一个物体,这里所说的物体可以是人,是实体,是虚拟物品,比如:一个单词、一条语句、一个序列、一件商品、一个动作、一本书、一部电影、一个人等等。
可以说嵌入涉及机器学习、深度学习的绝大部分对象,这些对象是机器学习和深度学习中最基本、最常用、最重要的对象,正因如此,如何有效表示、学习这些对象就显得非常重要。
“嵌入”这个词不太好理解,更好理解的翻译是“向量映射”,简单来说就是用向量来表示物体。“嵌入”是从向量空间的角度来说的,比如下图,我们可以认为影子兔子是嵌入到墙壁这个空间的。
Word Embedding
文本是非结构化的,不可计算的信息。在机器学习相关领域,要做翻译、对话,就需要把文本变成可计算的数字。
索引化、独热、向量表示文字
下图给出了“越努力就越幸运”这段文字的索引、独热、向量表示的数字情况。
可以看到,这三种文本数字化方案的特点如下:
- 索引化:用一种数字来代表一个词,
- 优点:直观。
- 缺点:无法表达词语之间的关系;大语料下,数据庞大。
- 独热编码:二进制的每一个位,都代表一个词。
- 优点:计算方便快捷;表达能力强;一组句子可以用一个整合后的数字表示。
- 缺点:无法表达词语之间的关系;大语料下,过于稀疏,空间占用更庞大,计算和存储的效率都不高。独热编码是稀疏、高维的硬编码,如果一个语料有一万个不同的词,那么每个词就需要用一万维的独热编码表示。
词嵌入 / Word Embedding 的特点
词嵌入的优势:
- 它可以将文本通过一个低维向量来表达,不像 one-hot 那么长。
- 能体现出距离的远近,语意相似的词在向量空间上也会比较相近。
- 通用性很强,可以用在不同的任务中。
Embedding 本质是“压缩”
Embedding 的本质是“压缩”,用较低维度的 k 维特征去描述有冗余信息的较高维度的 n 维特征,也可以叫用较低维度的 k 维空间去描述较高维度的 n 维空间。
例子:用向量方式从智力层面描述小明。
已知:小明的语文成绩88,数学成绩3,英语成绩18,身高149,体重35公斤,父亲是大学教授,母亲是音乐家,立定跳远2.1米,50米自由泳个人记录93秒。
根据已有信息(特征),小明的完整向量表示为:[88, 3, 18, 149, 35, 大学教授, 音乐家, 2.1, 93]。
根据先验知识,身高、体重、立定跳远、游泳成绩、家世和智力无明显关系,摒弃掉,仅保留[语文成绩,数学成绩,英语成绩] 三个维度的特征。
得小明的智力向量: [88, 3, 18]。这就是 Embedding 方法。
上面这个例子揭示了Embedding的特征:
-
本质是用技术压缩数据。从9维数据压缩到3维。
-
通常是丢失信息的。
信息的丢失包括冗余信息的丢失和部分有用信息的丢失。如例子中,身高体重等个人信息和智力无关,在“表达智力”这个任务上被认为是冗余信息量,会被舍弃掉。
而个人家世和智力水平可能相关,一个大学教授的的孩子智力水平高的可能性也大,但因为没有足够证据表明相关,在该例中亦被丢掉。
语意相似的词在向量空间上也会比较相近
“Embedding”能在向量空间保持原样本在语义空间的关系,如语义接近的两个词汇在向量空间中的位置也比较接近。
如果用“巴黎”做取词嵌入,减去嵌入的“法国”,再添加嵌入“英格兰”,所产生的“嵌入”将接近嵌入“伦敦”,即:
巴黎 - 法国 + 英格兰 = 伦敦
这里的向量(巴黎 - 法国)似乎代表了“首都” 的概念
其它例子如上图:
男女关系跟国王王后的向量关系是近似的。
queen(皇后)= king(国王)- man(男人)+ woman(女人)
即:“皇后啊,就是女性的国王呗!”
不同单词的时态的向量关系是近似的。
“walked,就是walking的过去式啦!”
通过训练,我们可以找到这种语义关系,如下图:
上图为在某语料库上训练得到的一个简单词嵌入矩阵,从中我们可以看出,男、女、国王、王后、苹果等词嵌入已从语料库中学习到性别、王室、年龄、食物等相关信息的权重。
总结
Embedding作为一种思想,其意义大致包含以下几个方面:
- 把自然语言转化为一串数字,从此自然语言可以计算;
- 替代独热编码,极大地降低了特征的维度;
- 替代协同矩阵,极大地降低了计算复杂度;
- 在训练过程中不断学习,从而获得各种信息;
最后推荐本系统化讲解Embedding的书《深入浅出Embedding:原理解析与应用实践》
标签:嵌入,机器,独热,学习,Embedding,维度,向量 From: https://www.cnblogs.com/ghj1976/p/ru-he-li-jie-ji-qi-xue-xi-zhong-de-qian-ru-embeddi.html