ppo算法使用gpu加速

因为论文需要使用ppo算法。现在算法能跑通了，图看着有点像收敛，所以就想着使用GPU加速，好方便调参，谁知道一搜深度强化学习如何使用GPU加速，居然一条帖子都没有。
所以在此记录下如何使用GPU给PPO算法加速。

我的环境是基于pytorch的，已经安装好支持GPU版本pytorch了，如果还不了解支持GPU的pytorch版本可以进入这里了解：https://blog.csdn.net/qlkaicx/article/details/134577555
如何操作呢？
直接在main中添加：
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
然后，由于PPO算法具有两个网络，且都是nn模型，所以在训练开始之前，把actor和critic的模型和数据移动到GPU上：
需要在训练前写下：
actor = policy().to(device)
critic = value().to(device)
运行代码后，查看GPU是否被利用到即可：