用 Gaussian Process 建模 state-action 空间相关性，加速 Multi-Fidelity RL

• 全文快读
• 1 intro
• 3 背景
• 4 method
  • 4.1 model-based 算法：GP-VI-MFRL
  • 4.2 model-free 算法：GPQ-MFRL
• 5 experiment
• 6 讨论与展望

全文快读

• 题目：Multi-fidelity Reinforcement Learning With Gaussian Processes: Model-Based and Model-Free Algorithms
• 链接：https://ieeexplore.ieee.org/abstract/document/9069479
• IEEE Robotics & Automation Magazine 是 robotics 顶刊。
• main idea：
  • 基于 14 年的最初的那篇 MFRL 论文（本站博客），
  • 利用相邻 state-action 的空间相关性来加速学习，用 gaussian processes 建模 env dynamics（model-based）/ Q function（model-free），从而得到 model-based model-free 两种 MFRL 算法。
  • 算法结构跟 14 年的 MFRL 基本一致。
• 全文没有数学证明。

1 intro

• 利用相邻 state-action 的空间相关性来加速学习：通过 Gaussian Process（GP）作为函数逼近器。
• 主要贡献：两个算法。
  • model-based MFRL 算法 GP-VI-MFRL，估计转换函数，然后使用 value iteration 计算最优策略。
  • model-free MFRL 算法 GPQ-MFRL，直接估计最优 Q 值以及随后的最优策略。

3 背景

• 高斯过程：https://www.zhihu.com/question/46631426
• GP 被证明是 RL 中具有收敛保证的一致函数逼近器。

4 method

4.1 model-based 算法：GP-VI-MFRL

• 结构：包括 1 model learner、2 planner。
  • model learner 使用 GP regression 学 env transition： s_{t+1} = f(s_t,a_t)，使用高斯分布的形式。
  • 使用 value iteration 作为 planner，用学到的 env transition 计算出最优策略。
• 算法：
  • 在执行一个 action 前，agent 检查（第 8 行）它是否对当前 state-action pair 在前一个模拟器 Σi-1 中的 transition function 有足够准确的估计（方差小于 σ_th）。
    • 如果不是，并且如果当前环境中的 transition model 发生了变化，它就会切换到 Σi-1，并在 Σi-1 中执行 action 。
  • 跟踪当前模拟器中，最近访问的 L 个 state-action 对的方差。若方差和低于阈值 σ_th^sum（第 15 行），表明 agent 对当前模拟器很有信心，可以推进到下一个模拟器。
    • 在最初的工作中 [2]，agent 遇到一定数量的已知 state-action 对后，就会切换到更高保真度的模拟器。
  • （第 7 行）如果一个 state-action pair 的后验方差下降到阈值 σ_th 以下（即 agent 对该 transition 有足够准确的估计），当前环境的模型就会改变，即 change = TRUE。
  • 第 10 - 13 行描述了算法的主体， agent 执行贪婪地选择的 action（第 6 行），并在 Di 中记录观察到的 transition （第 11 行）。 transition function 的 GP 模型在每一步之后被更新（第 12 行）。每次更新 transition function 后，都会计算新的 Q 值估计（第 13 行）。
    • 对每个模拟器，使用一个单独的 GP 来估计它的 transition function 。
  • 终止条件（第 5 行）：步数限制、价值函数的变化、最大的 env 切换次数…
  • planner 利用上级（第 26 - 28 行）和下级模拟器（第 25 行）的转换知识，鼓励当前模拟器的探索。
    • 对于每一个 state-action pair (s,a)，planner 寻找最大保真度的模拟器（第 26 行遍历所有模拟器），这个模拟器对 (s,a) 的 transition 有一个已知的估计（第 28 行），使用这个估计在当前模拟器中进行规划（第 28 行）。
      • 如果方差低于一个阈值，那么一个估计值就被称为“已知”。
    • 如果没有这样的模拟器，那么它就使用在前一个模拟器中学到的 Q 值，再加上一个保真度参数 β（第 25 行），这个参数是连续的模拟器中最佳 Q 值之间的最大可能差异。
  • 必须进行状态空间离散化，以规划 action 。然而，学到的 transition function 是连续的。

4.2 model-free 算法：GPQ-MFRL

• 直接使用 GPs 学习最佳 Q 值，而非学习 env model。
  • 基本假设：附近的 state-action pair 产生类似的 Q 值。
  • GPs 使用 squared-exponential kernel。
  • 同样，每个模拟器使用单独的 GP。
• 算法：
  • 使用类似的阈值（σ_th 和 σ_th^sum）来确定何时切换到低保真或高保真模拟器。
  • GPQ-MFRL 检查 agent 在前一个模拟器中是否对最佳 Q 值有足够准确的估计（第 8 行），如果没有，切换到前一个模拟器。
  • 第 10 - 15 行描述了算法的主体，agent 将 transition 存入 Di（第 11 行），然后为每个 Di 中的 transition 更新目标值（第 14 行）（batch training）。GP 模型在每一步后被更新（第 16 行）。
  • agent 利用在上级模拟器中收集的经验（第 25 - 27 行）来选择当前模拟器中的最佳行动（第 6 行），利用最高已知 Q 值（(s,a) 的后验方差小于阈值 σ_th）的模拟器（第 27 行），来选择当前模拟器的下一个动作。
    • 如果不存在这样的高保真模拟器，则使用低一层模拟器的 Q 值（第 24 行），使用保真度参数 β。
  • 每当 agent 在模拟器中收集到新的样本时，GPQ-MFRL 就会进行一次 batch re-training（第 13 - 15 行），使用新样本的知识，更新以前训练数据的 y 值。
  • 然后，用这些更新的 y 值，来训练 GPs 形式的 Q 值（第 16 行）。
    • 更新 GP 的计算成本是数据量的三次方；然而，我们可以使用稀疏 GP 技术 [6] 对数据集进行修剪，即，只用一小部分数据来 fit GP。
  • 不容易选择置信度界限的值。在目前的实验中，我们选择 σ_th^sum 为可能的最大 Q 值的 10%，σ_th 为 σ_th^sum 的 1/5。

5 experiment

• 写的蛮清楚的。
• GP-MFRL 比 14 年最初的 MFRL 效果更好（用的 high-fidelity 样本更少）。
• GP-VI-MFRL（model-based）在训练最开始时比 GPQ-MFRL（model-free）表现更好，与传统 RL 经验一致，即 model-based＞model-free。

6 讨论与展望

• 未来可以将 MFRL 技术与 sim2real 方法进行比较 [1]。
  • 与 sim2real 不同的是，MFRL 技术明确决定何时在模拟器之间切换，并使用两层以上的模拟器。
  • 或许可以将这两个想法结合起来：使用 MFRL 来利用一些更便宜 / 更快的模拟器；使用参数化的模拟器，来引入领域适应 / 随机化（domain adaptation/randomization），以获得更好的 generalization。
• 可改进的地方：在目前的方法中，进行 GP 回归时，来自不同模拟器的数据没有结合起来。
  • 1 使用多任务 GPs，它可以同时产生多个输出，分别对应于每个保真度模拟器。
  • 2 使用 deep GP ，将不同保真度的数据 拿来训同一个 NN。
  • 对以上两种情况，我们希望直接学习不同环境下的数值之间的相关性。