https://blog.csdn.net/qq_45724216/article/details/127645900
凡是requrie_grad=True的，loss.backward() 的时候都会计算grad，但是大部分人用不到中间产物（如果非要保存的话用retain_grad()），所以只保存了W的grad
标签：总结,梯度,知识,保存,Pytorch,grad From： https://www.cnblogs.com/chentianyu/p/16976507.html