简介及导入转自:torch.nn.Embedding使用
在RNN模型的训练过程中,需要用到词嵌入,使用torch.nn.Embedding
可以快速的完成:只需要初始化torch.nn.Embedding(n,m)
即可(n是单词总数,m是词向量的维度)(n是嵌入字典的大小,m是嵌入向量的维度。)。
注意: embedding开始是随机的,在训练的时候会自动更新。
简单使用
举个简单的例子:
- 输入:word1和word2是两个长度为3的句子,保存的是单词所对应的词向量的索引号。
- 输出:随机生成(4,5)维度大小的embedding,可以通过embedding.weight查看embedding的内容。
- 过程:输入word1时,embedding会输出第0、1、2行词向量的内容; word2同理。
import torch
word1 = torch.LongTensor([0, 1, 2])
word2 = torch.LongTensor([3, 1, 2])
embedding = torch.nn.Embedding(4, 5)
print(embedding.weight)
print('word1:')
print(embedding(word1))
print('word2:')
print(embedding(word2))
导出
创建一个嵌入层并将其导出为numpy数组。
import torch
import numpy as np
# 创建嵌入层
embedding = torch.nn.Embedding(10, 5)
# 将权重转换为numpy数组
embedding_weights = embedding.weight.data.numpy()
# 保存权重到文件
np.savetxt("embedding_weights.txt", embedding_weights)
导入
导入已经训练好的词向量,需要设置训练过程中不更新(固定embedding)。
如下所示,emb是已经训练得到的词向量,先初始化等同大小的embedding,然后将emb的数据复制过来,最后一定要设置weight.requires_grad为False。
self.embedding = torch.nn.Embedding(emb.size(0), emb.size(1))
self.embedding.weight = torch.nn.Parameter(emb)
# 固定embedding
self.embedding.weight.requires_grad = False
标签:nn,weight,torch,Embedding,word1,embedding
From: https://www.cnblogs.com/kingwz/p/18411016