向量的范数是表示一个向量有多大。 这里考虑的大小(size)概念不涉及维度,而是分量的大小。
定义了向量空间里的距离,它的出现使得向量之间的比较成为了可能。
范数是一个函数
对于向量来说常用的是L1、L2范数,对于矩阵来说常用的是
反向传播(backpropagate)意味着跟踪整个计算图,填充关于每个参数的偏导数。
回归问题中最常用的损失函数是平方误差函数。
正态分布(normal distribution),也称为高斯分布(Gaussian distribution)
极大似然估计是求总体未知参数的另一种常用的点估计方法。
softmax回归适用于分类问题,它使用了softmax运算中输出类别的概率分布。
nn.CrossEntropyLoss