各算法在不同环境中的表现:
来自天寿基准测试 https://tianshou.org/en/stable/01_tutorials/06_benchmark.html
1. HalfCheetah-v3 SAC > DDPG > TD3 > PPO > TRPO > NPG > ACKTR > A2C > REINFORCE
2. 蚂蚁v3 SAC > TD3 > A2C > PPO > TRPO > NPG > ACKTR > REINFORCE > DDPG
3. Hopper v3 SAC > TD3 > PPO > DDPG > NPG > ACKTR > REINFORCE
4. Humanoid v3 SAC > TD3 > A2C
5. 倒立双摆v2 DDPG > SAC > PPO > TRPO
6. Reacher v2 SAC > TD3 > DDPG > PPO > TRPO > A2C > NPG > REINFORCE
7. Swimmer v3 DDPG > ACKTR > TD3 > PPO > TRPO > NPG
8. Walker2d-v3 SAC > PPO > TD3 > TRPO > NPG > DDPG > ACKTR