在更新学习率的部分有这样一个函数get_lr()有很大的bug：
get_last_lr()才表示当前的学习率，使用get_lr()会衰减两次！！
红色部分是get_last_lr()打印的；
白色部分是get_lr()打印的：
可以看到错误的写法确实会在节点处衰减两次
这是由于step()时会调一次get_lr()，为了得到lr又掉用一次get_lr()，这样就会衰减两次。
因此get_last_lr()才是当前的lr
标签：last,错误,get,学习,lr,衰减 From： https://www.cnblogs.com/qdulixing/p/17299378.html