pytorch中nn.Parameter()使用方法

对于​​nn.Parameter()​​​是pytorch中定义​​可学习参数​​的一种方法，因为我们在搭建网络时，网络中会存在一些矩阵，这些矩阵内部的参数是可学习的，也就是可梯度求导的。

对于一些常用的网络层，例如​​nn.Conv2d()卷积层​​​、​​nn.LInear()线性层​​​、​​nn.LSTM()循环网络层​​等，这些网络层在pytorch中的nn模块中已经定义好，所以我们搭建模型时可以直接使用，但是有些自定义网络在pytorch中是没有实现的，我们就需要自定义可学习参数，那就用到了nn.Parameter()这个函数。

该函数会为我们创建一个矩阵，该矩阵是默认可​​梯度求导​​的，之后我们就可以利用这个矩阵进行计算，该函数需要传入的参数是一个tensor，一般我们会传入一个初始化好的tensor。

下面我们将使用一个简单的线性层作为实例，来理解如何使用nn.Parameter()。

一、nn.Linear()定义参数

在类中我们定义了一个线性层，输入维度是10，输出维度是3，对于nn.Linear()层内部已经封装好了nn.Parameter()，所以不需要我们自定义，直接使用即可。

class Net1(nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = nn.Linear(10, 3)
    
    def forward(self, x):
        return F.sigmoid(self.linear(x))

二、nn.Parameter()定义参数

对于一个线性层，我们会需要两个矩阵，分别是权重W和偏置b，所以我们要用nn.Parameter()定义两个可学习参数，然后传入对应维度的tensor作为参数，之后就可以在forward中定义计算过程。

class Net2(nn.Module):
    def __init__(self):
        super().__init__()
        self.W = nn.Parameter(torch.randn(10, 3))
        self.b = nn.Parameter(torch.randn(3))
    
    def forward(self, x):
        return F.sigmoid(self.W @ x + self.b)

三、查看可学习参数

利用下面代码就可以看定义好的模型中的参数

model1 = Net1()
model2 = Net2()

for name, parameters in model1.named_parameters():
    print(name, ':', parameters.size())
    
for name, parameters in model2.named_parameters():
    print(name, ':', parameters.size())

linear.weight : torch.Size([3, 10])
linear.bias : torch.Size([3])
W : torch.Size([10, 3])
b : torch.Size([3])