首页 > 其他分享 >torch.nn.Embedding使用详解

torch.nn.Embedding使用详解

时间:2023-03-04 09:13:19浏览次数:28  
标签:nn torch 向量 Embedding 范数 norm

torch.nn.Embedding: 随机初始化词向量,词向量值在正态分布N(0,1)中随机取值。

输入:
torch.nn.Embedding(
num_embeddings, – 词典的大小尺寸,比如总共出现5000个词,那就输入5000。此时index为(0-4999)
embedding_dim,– 嵌入向量的维度,即用多少维来表示一个符号。
padding_idx=None,– 填充id,比如,输入长度为100,但是每次的句子长度并不一样,后面就需要用统一的数字填充,而这里就是指定这个数字,这样,网络在遇到填充id时,就不会计算其与其它符号的相关性。(初始化为0)
max_norm=None, – 最大范数,如果嵌入向量的范数超过了这个界限,就要进行再归一化。
norm_type=2.0, – 指定利用什么范数计算,并用于对比max_norm,默认为2范数。
scale_grad_by_freq=False, 根据单词在mini-batch中出现的频率,对梯度进行放缩。默认为False.
sparse=False, – 若为True,则与权重矩阵相关的梯度转变为稀疏张量。
_weight=None)
输出:
[规整后的句子长度,样本个数(batch_size),词向量维度]

举例:

博客推荐:

https://www.cnblogs.com/duye/p/10590146.html

标签:nn,torch,向量,Embedding,范数,norm
From: https://www.cnblogs.com/lusiqi/p/17177553.html

相关文章

  • nn.MarginRankingLoss使用详解
    importtorchcriterion=torch.nn.MarginRankingLoss(margin=0.3,reduction='mean')x1=torch.Tensor([3,2])x2=torch.Tensor([1,4])y=torch.Tensor([1,2])......
  • Scanner对象
    java.util(工具包).Scanner  ;可以通过Scanner类来获取用户输入。  基本语法:newScanner(java.util)//导入Java工具包类Scanners=newScanner(System.in);  ......
  • 在Windows上安装torch遇到的部分问题
    1、版本问题老师新买的这台机器是RTX3060,没动显卡驱动,直接安装的CUDA,装的11.4,完全按照这篇blog来的,非常舒服:https://blog.csdn.net/qq_45041871/article/details/1279500......
  • 链接mysql数据库报错:2003-cant connect to Mysql server on ‘localhost’(10038)
    今天用navicat连mysql时候突然报错了 我百度了一下,知道了是mysql服务没开,但是我打开了服务,发现服务里面没有mysql,于是就去cmd以管理员身份打开命令提示符,切换到......
  • [已解决]openai.error.APIConnectionError
    在app.py里加上os.environ["http_proxy"]="http://<代理ip>:<代理端口>"os.environ["https_proxy"]="http://<代理ip>:<代理端口>"......
  • 安装pytorch报错 ERROR: Could not install packages due to an OSError: [Errno 28]
    windos安装,报错如下  看了不少回答,大概是缓存和内存满了我的C盘只给了70G,然后意外发现只剩下3G多了,先用系统自带的清理工具清理了一下,然后腾讯电脑管家“工具箱”中......
  • 解决cannot start chromeheadless
    jenkins里面是一台linuxagent机器然后我web部署,执行npmruntest:no-browser报错:cannotstartchromeheadlessjenkins解决方法:sudoyuminstallgtk3......
  • 易优cms的开发接口apiChannel 获取栏目列表标签使用方法
    [基础用法]名称:apiChannel功能:通常用于网站导航以获取站点栏目信息,方便网站会员分类浏览整站信息语法: 参数:channelid='频道id',在文档列表页使用时可以此参数可以不用拼接u......
  • 用户交互Scanner
    用户交互ScannerpublicclassDemo{publicstaticvoidmain(String[]args){//从键盘接收数据Scannerscanner=newScanner(System.in);......
  • mysql inndb
    执行一个表的脚本时提示:导入mysql数据表时出现错误:error"Rowsizetoolarge(>8126).ChangingsomecolumnstoTEXTorBLOBorusingROW_FORMAT=DYNAMICorROW_......