首页 > 其他分享 >Pytorch模型结构修改

Pytorch模型结构修改

时间:2023-12-21 17:23:52浏览次数:21  
标签:模型 torch print 修改 Pytorch tlist var input

1. Var方差在pytorch中的差别:

tlist = input.tolist()
print(input)
print(np.mean(tlist), np.var(tlist))
print(torch.mean(input), torch.var(input))


可以看到numpytorch求出来的 **Var **与 **Mean **有差别
原因:如下图为 torch.var 官网描述,其中存在一个矫正 correction【version2加入,默认为1】

refer: https://pytorch.org/docs/stable/generated/torch.var.html

2. 模型修改中使用到 nn.Parameter,但参数并未更新

self.Intra_paras = nn.Parameter(torch.tensor( [ float('-100') for i in range(num_blocks) ]), requires_grad=True)
xs = self.Intra_paras.item() * xs

原因:模型训练流程中,使用的时item(),传入更新图的是实际值
解决:unsqueeze维度之后,直接 *
其它相关确认方法:

  1. 查看 require_grad 是否为 true
  2. 查看 optim 优化器是否把 model 参数添加

标签:模型,torch,print,修改,Pytorch,tlist,var,input
From: https://www.cnblogs.com/lhx9527/p/17919484.html

相关文章

  • HydroOJ 从入门到入土(9)源码简易修改记录——卍解!
    随着OJ的使用越来越深入,本强迫症总会觉得一些细节有时候不那么符合自己的习惯,但是想改又无处下手,最终还是走上了修改源码的邪路.目录0.重要1.超级管理员查看自测代码2.超级管理员隐身查看比赛/作业题目3.超级管理员隐身查看比赛题目列表4.关掉客观题的多选题部......
  • OSI七层模型如何帮助网络通信?
    OSI(开放系统互联)七层模型是计算机网络体系结构的一种描述方式,它为不同系统之间的通信提供了统一的标准。这个模型从低到高分别是:物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。以下是每个层次的主要功能和它们如何帮助网络通信:物理层(PhysicalLayer):这一层主要负......
  • OSI七层模型如何帮助网络通信?
    OSI(开放系统互联)七层模型是计算机网络体系结构的一种描述方式,它为不同系统之间的通信提供了统一的标准。这个模型从低到高分别是:物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。以下是每个层次的主要功能和它们如何帮助网络通信:物理层(PhysicalLayer):这一层主要负责......
  • 3D模型如何制作透明玻璃材质
    在线工具推荐:3D数字孪生场景编辑器 - GLTF/GLB材质纹理编辑器 - 3D模型在线转换 - Three.jsAI自动纹理开发包 - YOLO虚幻合成数据生成器 - 三维模型预览图生成器 - 3D模型语义搜索引擎1、什么是玻璃材质在3D建模和渲染中,玻璃是一种非常常见的材质。它的特点是可以......
  • 大模型微调方法总结:LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning
    随着深度学习技术的不断发展,大型预训练模型已成为许多任务的重要工具。然而,微调(finetuning)这些大模型以适应特定任务是一个复杂且计算密集型的过程。本文将重点介绍五种不同的微调方法:LoRA、Adapter、Prefix-tuning、P-tuning和Prompt-tuning,并对它们进行总结。LoRA(LearnedRepre......
  • 「大模型摇摇乐」狂欢落幕!盘点那些让你意想不到的应用集锦
    大模型开发不只是枯燥的、墨守成规的,还可以是新鲜刺激的、充满创意火花的!两百多位开发者加入「大模型摇摇乐」,共同享受大模型带来的乐趣!活动详情「大模型摇摇乐」百度飞桨&文心大模型主办,该活动是面向全球AI爱好者的趣味活动,旨在激发开发者的创新意识,提升开发者人工智能创新实践应......
  • 大模型高效微调技术
    随着深度学习技术的不断发展,大模型在各种任务中取得了显著的成功。然而,大模型的训练和微调成本较高,因此,如何高效地微调大模型成为了一个重要的研究问题。近年来,研究者们提出了一系列高效微调技术,包括AdapterTuning、AdaMix、PET、Prefix-Tuning、PromptTuning、P-tuning和P-tunin......
  • Fine-tuning: 深度解析P-tuning v2在大模型上的应用
    随着深度学习技术的不断发展,大模型在自然语言处理(NLU)领域的应用越来越广泛。然而,大模型的训练和微调往往需要大量的计算资源和时间,这给实际应用带来了很大的挑战。P-tuningv2作为一种有效的微调方法,对于大模型也表现出了良好的性能。本文将深入解析P-tuningv2为什么对大模型有效......
  • 鸿蒙原生应用/元服务开发-Stage模型能力接口(九)上
    @ohos.app.ability.UIAbility(UIAbility)一、说明UIAbility是包含UI界面的应用组件,提供组件创建、销毁、前后台切换等生命周期回调,同时也具备组件协同的能力,组件协同主要提供如下常用功能。Caller,由startAbilityByCall接口返回,CallerAbility(调用者)可使用Caller与CalleeAbility(......
  • 大模型:高质量对话数据生成,Enhancing Chat Language Models by Scaling High-quality I
    EnhancingChatLanguageModelsbyScalingHigh-qualityInstructionalConversations论文地址1.导读不少工作已经意识到ChatGPT的秘密在于将指令微调和对其微调做到了极致,是继GPT-3后的又一次大力出奇迹。这篇文章来自清华大学5月份的工作,目的在于生成高质量的指令微调......