首页 > 其他分享 >模型超参数基本都没改,测试时加载模型报模型结构不匹配,设置模糊加载模型即:model.load_state_dict(torch.load(model_path), strict=Fasle),但效果

模型超参数基本都没改,测试时加载模型报模型结构不匹配,设置模糊加载模型即:model.load_state_dict(torch.load(model_path), strict=Fasle),但效果

时间:2023-08-15 17:47:43浏览次数:45  
标签:load 模型 state dict model 加载

原因

多卡训练;单卡模糊加载进行测试。
训练时,通过torch.nn.DataParallel(self.model)进行多卡并行训练;测试时,用单卡模糊加载保存的模型权重,很多模型参数都没有加载成功,自然会导致测试效果很差。

解决方法

测试时,使用多卡加载模型时,删掉'module.'前缀;或者用单卡加载模型进行测试。

# 删掉'module.'前缀
loaded_dict = torch.load(weight_c1)
new_state_dict = OrderedDict()
for k, v in loaded_dict.items():
    name = k[7:] # module字段在最前面,从第7个字符开始就可以去掉module
    new_state_dict[name] = v #新字典的key值对应的value一一对应
model_cascade1.load_state_dict(new_state_dict, strict=True)

解决效果

改动前:

改动后:

收获

我之前一直以为strict=Fasle对模型效果影响不大,这次总算知道影响有多大了。

标签:load,模型,state,dict,model,加载
From: https://www.cnblogs.com/curie/p/17631948.html

相关文章

  • langchain接入星火大模型(其他模型也可以参考)
    首先来说LangChain是什么?不了解的可以点击下面的链接来查看下。LangChain入门指南_故里_的博客-CSDN博客然后在介绍一下星火认知大模型相关:讯飞星火认知大模型感兴趣的小伙伴可以了解一下,国内比较成熟的类GPT(我自己定义的,也不知道对不对)模型。说一下大概需求,首先我是要用到功......
  • 大模型材料收集
    大模型材料收集360安全大模型推动大模型B端落地,360想怎么做?企业安全智控系统安全问答安全运营通用大模型数据安全问问题专业知识缺乏成本控制难专业大模型垂直专业性安全合规性使用成本知识确权B端:面向消费者C端:面向商家小米大模型雷军:小米......
  • 小米宣布科技战略升级,新一代折叠屏、仿生机器人、端侧大模型等重磅亮相
    8月14日晚,小米新品发布会在北京国家会议中心举行,小米集团创始人、董事长兼CEO雷军第四次做年度公开演讲,分享了他在过去36年中,几次关键成长的经历和感悟。在发布会上,雷军正式宣布小米科技战略升级,并公布了小米的科技理念:选择对人类文明有长期价值的技术领域,坚持长期持续投入。本次......
  • 大火的扩散模型终于杀到了NLP领域
    从2020年的初出茅庐,到2021年的日趋火热,再到2022年的大放异彩,扩散模型(DiffusionModels)如果还不是特别了解扩散模型的朋友,可以阅读卖萌屋的几篇历史推文《扩散模型在图像生成领域大火,风头超过GAN?》,《年末回顾:2021年AI领域十大研究趋势及必读论文》。扩散模型最早在图像生成领......
  • CLIP: Learning Transferable Visual Models From Natural Language Supervision
    CLIP:LearningTransferableVisualModelsFromNaturalLanguageSupervision论文链接:https://arxiv.org/pdf/2103.00020.pdf代码链接:https://github.com/openai/CLIPblog链接:https://openai.com/research/clipCLIP的英文全称是ContrastiveLanguage-ImagePre-trainin......
  • [UUCTF 2022 新生赛]ez_upload
    [UUCTF2022新生赛]ez_upload题目来源:nssctf题目类型:web涉及考点:文件上传1.题目给了一个上传入口,直接传muma.php试试一句话木马为<scriptlanguage="php">eval($_POST['r00ts']);</script>回显如下:换成muma.jpg试试:上传成功,再上传.htaccess文件进行解析,但是上传失......
  • WAVE SUMMIT2023六大分会场同步开启,飞桨+文心大模型加速区域产业智能化!
    由深度学习技术及应用国家工程研究中心主办、百度飞桨和文心大模型承办的WAVESUMMIT深度学习开发者大会2023将于8月16日重磅来袭!届时上海、广州、深圳、成都、南昌和宁波六大分会场将同步开启!分会汇聚区域产业大咖、科研机构专家、知名学者和技术大牛,通过主题演讲和深度交流等形式......
  • 马尔可夫转换模型研究交通伤亡人数事故时间序列预测|附代码数据
    原文链接:http://tecdat.cn/?p=12227最近我们被客户要求撰写关于马尔可夫转换模型的研究报告,包括一些图形和统计输出。本文描述了R语言中马尔克夫转换模型的分析过程首先,对模拟数据集进行详细建模。接下来,将马尔可夫转换模型拟合到具有离散响应变量的真实数据集。用于验证对这些......
  • 一文详解Apipost数据模型功能
    在Apipost数据模型中用户可以预先创建多个数据模型,并在API设计过程中重复利用这些模型来构建API创建数据模型在左侧导航点击「数据模型」-「新建数据模型」在右侧工作台配置数据模型参数 引入数据模型在API设计预定义响应期望下点击引用数据模型,并选择需要导入的数据模型......
  • 【产品人卫朋】专栏及配套资料更新:华为流程体系、产品经理、IPD与BLM模型
    目录前言01华为流程体系专栏02产品经理进阶专栏03华为战略方法论专栏04IPD进阶100例专栏作者介绍前言截止目前,本号已上线四大干货专栏,内容涉及:01华为流程体系(图文+视频);02硬件产品经理(图文+视频);03BLM战略方法论(图文+视频);04集成产品开发IPD体系(图文)。四大专栏具体内容......