首页 > 其他分享 >17-神经网络-延迟初始化

17-神经网络-延迟初始化

时间:2024-08-25 11:14:55浏览次数:11  
标签:初始化 nn 17 fc1 self torch 神经网络 128

使用torch.nn.LazyLinear(output)实现延迟初始化

import torch
import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc1 = nn.LazyLinear(128)  # 输入维度设置为 None,表示延迟初始化
        self.fc2 = nn.Linear(128, 64)
        self.fc3 = nn.Linear(64, 10)  # 输出维度为 10

    def forward(self, x):
        x = torch.relu(self.fc1(x))  # 第一次调用 fc1 时才会初始化
        x = torch.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# 实例化模型
model = MyModel()

# 打印模型参数,可以看到参数还没有初始化
print(model.fc1.weight)  # 输出:Parameter containing:
                         # [torch.FloatTensor of size (None, 128)]

# 准备一个输入数据,输入维度为 20
input_data = torch.randn(10, 20)

# 通过模型传递输入数据,触发参数初始化
output = model(input_data)

# 打印模型参数,可以看到参数已经初始化了
print(model.fc1.weight)  # 输出:Parameter containing:
                         # [torch.FloatTensor of size (20, 128)]

标签:初始化,nn,17,fc1,self,torch,神经网络,128
From: https://www.cnblogs.com/morehair/p/18378747

相关文章

  • 14-神经网络-参数管理
    torch.rand和torch.randn的区别:......
  • rocketmq 是参考了 kafka架构, 为什么rocketmq吞吐量是10万/秒, kafka吞吐量是17万/秒
    我们都知道,为了防止消息在服务器丢失,一般都是进行持久化(保存在磁盘),在发送消失时那就涉及到从磁盘拷贝到内核空间,从内核空间到用户态,再从用户态到socket缓存区,从socket缓存区到网卡四次拷贝。kafka使用的是零拷贝-sendfile,把内核态数据发送到网卡,减少两次拷......
  • 《探秘神经网络:人工智能的强大引擎》
    在当今科技飞速发展的时代,人工智能已经成为了热门话题,而神经网络作为人工智能的重要组成部分,正发挥着越来越关键的作用。那么,什么是神经网络呢?它在人工智能中又有哪些令人瞩目的应用呢?一、什么是神经网络神经网络,也被称为人工神经网络,是一种模仿生物神经网络结构和功能的......
  • GNN的理解难点:一种不同于传统神经网络的复杂性
    图神经网络(GNN)已经成为深度学习领域的一颗新星,它在处理图形数据方面显示出了巨大的潜力和优势。然而,许多研究者和开发者发现GNN比传统的神经网络更难以理解和掌握。本文将探讨GNN的理解难点,以及它与传统神经网络在概念和实现上的主要差异。一、图数据的复杂性首先,GNN之......
  • 图神经网络GNN的前世今生
    GNN图神经网络(GraphNeuralNetwork,简称GNN)已经成为处理图形结构数据的一种强大工具,广泛应用于社交网络分析、知识图谱、推荐系统等领域。在本文中,我们将深入探讨图神经网络的历史背景、关键的发展阶段以及未来可能的发展方向。一、背景介绍图(Graph)是一种数据结构,......
  • 017、二级Java知识点之Java Applet与图像处理:从基础到应用
    JavaApplet与图像处理:从基础到应用1.题目解析先来详细解析题目中给出的代码示例:importjava.____.*;importjava.awt.*;importjava.net.*;publicclassImageDemoextendsApplet{privateImageimage;publicvoid______(){Stringimage......
  • [Ynoi2011] 初始化
    题目链接:[Ynoi2011]初始化神仙trick+卡常题,前缀后缀和根本没听过。根号分治+分块。对于修改操作,发现是跳着修改,考虑根号分治。若\(x\ge\sqrt{n}\),直接暴力更改,复杂度\(O(\sqrt{n})\)。反之,可以将序列抽象成一堆大小为\(x\)的段,如图,\(l,r\)是查询的区间。发现\(......
  • YSP_refs_cn_2017_其他关节炎及PsO
    rhTNFR-Fc中文文献-2017-其他炎性关节炎及PsO 银屑病关节炎 随机对照试验[1][1] 桂银莉,史丽璞,郇稳,等.益赛普联合甲氨蝶呤治疗银屑病关节炎34例临床效果观察.北方药学,2017,14(9):143-144.浏览文摘 银屑病病例对照[2][2] 张杰,李江涛,邓文郁,等.......
  • YSP_refs_cn_2017_适应症外及基础研究
    rhTNFR-Fc中文文献-2017-适应症外和基础研究 探索适应症外 案例报道[1-10][1] 杨丽颖,马俊兵.重组人Ⅱ型肿瘤坏死因子受体-抗体融合蛋白治疗红皮病性银屑病的疗效观察.中国医疗美容,2017,7:33-35.浏览文摘[2] 李赛燕.益赛普治疗白塞病的临床分析.现代养生(下半月......
  • YSP_refs_cn_2017_RA
    rhTNFR-Fc中文文献-2017-RA 类风湿关节炎 随机对照试验[1-8][1] 黄达奇.甲氨蝶呤联合益赛普对类风湿关节炎的治疗价值探析.中国保健营养,2017,27:320.浏览文摘[2] 黄源.益赛普联合甲氨蝶呤治疗中重度活动性类风湿关节炎的疗效和安全性评价.医学临床研究,2017,......