RILIR 复现 & 一些 idea

伪代码：

在 if done 的时候，在环境中已经跑了一个 trajectory 了，利用当前的 trajectory 和专家的 demo 求一下 reward（文章中用的是 optimal transport 的几种方法）
否则，就继续在 observation 的基础上利用 actor 学到的策略 sample 出 action，并用 list 记录下当前的 \((o_t, a_t, r_t)\) 作为 trajectory 的一部分。

整体来看：
首先整体的强化学习框架是 actor-critic，其中 actor 输出 action（的分布），更新使用 critic，而 critic 作为 actor 的评估函数，更新使用时序残差的 MSE，即
这一项。actor 如何更新的 （待填）。

IL 中的重要问题，如何根据专家数据和 actor 生成之间的差距来获取 reward？在 RILIR 中，采用的是 trajectory 级别的模仿学习，即将当前的 trajectory 和 expert demo trajectory 拿出来做一个 OT（理解成相似程度），得到 reward