首页 > 其他分享 >使用混合精度导致GNN相关模型训练时出现损失无法下降

使用混合精度导致GNN相关模型训练时出现损失无法下降

时间:2023-09-14 18:23:25浏览次数:43  
标签:dtype 模型 torch 混合 num GNN 精度

使用混合精度导致GNN相关模型训练时出现损失无法下降:

在一次GNN相关的项目中,由于模型训练速度过慢,楼主为了加速开启混合精度。第一天使用时并未出现异常;第二天再次使用,出现了损失函数不下降的问题。经检测,一段包含稀疏矩阵转换而且矩阵计算密集的函数与混合精度发生未知作用,导致该问题。博主关掉混合精度,问题解决了。有没有大佬解释一下。这段代码如下,用于计算图的拉普拉斯矩阵:

A = torch.tensor(coo_matrix(
    (numpy.ones(num_edges), (edge_index[0].detach().cpu().numpy(), edge_index[1].detach().cpu().numpy())),
    shape=(num_nodes, num_nodes)).toarray(), dtype=torch.float32)  # (N, N)

A += torch.eye(len(A), dtype=torch.float32)

degree_v = torch.norm(A, dim=1)

L = torch.eye(len(A), dtype=torch.float32) - torch.pow(torch.unsqueeze(degree_v, dim=1), -1) * A  # (N, N)

Lx = L @ x # (N, D)

 

标签:dtype,模型,torch,混合,num,GNN,精度
From: https://www.cnblogs.com/CEUIFS/p/17703137.html

相关文章

  • huggingface.co,模型文件下载不下来的解决办法
    原来是文件名用错了。记住:必须用下面这个......
  • nacos服务多级存储模型
       ......
  • SQL基础总结(一):关系模型
    本系列blog源自前年写的SQL学习笔记,汇总一下发上来。--------------------------------------------------------------- 规范化父子表图示:由父表画出主键画出箭头指向子表外键。满足第一范式的表:列包含原子值,没有重复的组。 当满足下列条件时第一范式的表自动满足第二范式的表:1.......
  • 常见数据分析模型有哪些?
    常见的数据分析模型有很多,每个模型都有不同的应用领域和具体方法。以下是一些常见的数据分析模型及其详细说明:1.回归模型(RegressionModel):回归模型用于探索自变量与因变量之间的关系,并预测或解释因变量的数值。常见的回归模型包括线性回归、逻辑回归、多元回归等。它们通过对数......
  • opencv SVM 训练ocr模型
    实现0-6字符分类数据准备:训练数据:train_data.txt 查看代码 D:/ocr/svm/train/imgs/0/0.png0D:/ocr/svm/train/imgs/0/0_1.jpg0D:/ocr/svm/train/imgs/1/1.png1D:/ocr/svm/train/imgs/1/1_1.jpg1D:/ocr/svm/train/imgs/1/1_2.jpg1D:/ocr/svm/train/imgs/1/1_3.j......
  • LLM大模型微调:应用、策略与未来发展
    随着人工智能技术的快速发展,大型语言模型(LargeLanguageModels)已经成为了自然语言处理(NLP)领域的研究热点。这些大模型具备强大的语言生成和推理能力,为各种实际应用提供了强大的支持。近年来,许多开源的LLM大模型被发布,使得广大开发者可以自由地使用和调整这些模型。本文将对这些......
  • 进阶训练技巧提升模型性能
    在深度学习的世界中,训练技巧的重要性不言而喻。进阶训练技巧,包括损失函数、学习率、模型微调和半精度训练,更是对提升模型性能和准确率有着关键作用。下面我们将对这些技巧进行详细的探讨。一、损失函数(LossFunction)损失函数,或者叫作目标函数,是用来衡量模型预测输出和真实输出之间......
  • 华为云盘古大模型加码生物医药,为行业插上“数字翅膀”
    在21世纪科技浪潮中,人工智能与生物医药的交汇点日益显现。它能够以前所未有的方式解析、预测和改善生命健康。从基因编辑到智能诊断,从药物研发到个性化治疗,AI与生物医药的结合正开启一个全新的智慧医药时代。9月10日,“AI+生物医药创新发展高峰论坛暨华为开发者大赛深圳赛区颁奖典礼......
  • 推模型和拉模型
    推模型(PushModel)和拉模型(PullModel)是两种不同的数据传输和通信模型,它们在数据传递和信息交流方面有一些重要区别:推模型(PushModel):在推模型中,数据或信息由数据生产者直接推送给数据消费者。数据的推送是基于事件或时间触发的,当新数据可用时,数据生产者将数据主动发送给消费......
  • 三维模型3DTile格式轻量化压缩的遇到常见问题与处理方法分析
    三维模型3DTile格式轻量化压缩的遇到常见问题与处理方法分析 三维模型的轻量化压缩是一项技术挑战,特别是在处理复杂的3DTile格式时。下面列举了一些处理过程中可能遇到的常见问题以及相应的处理方法:模型精度损失:在进行压缩处理时,由于顶点减少或数据精度降低,可能导致模型的精......