强化学习入门
方法分类
Policy-based(Acotr)
深度强化学习怎么做的（和普通监督学习类似）：
1、Neural network as actor （定义模型）
2、goodness of function （定义目标函数）
3、pick the best function （选出最优模型 / 训练模型）
定义模型
$\theta $ 是神经网络参数
$\pi_{\theta} (s) $ 是智能体 Actor （注意，Actor具有随机性，即action根据概率得出的，所以每次游戏过程不一样）
\(R_{\theta} = \sum_{t=1}^{T} r_t\) 是所有奖励之和
\(\bar{R_{\theta}}\) 是所有 \(R_{\theta}\) 的期望 （因为每次游戏不一样，奖励也不一样）
$\tau = { s_1, a_1, r_1, s_2, a_2, r_2, ... } $ 是游戏轨迹 trajectory
\(P(\tau | \theta)\) 是trajectory发生的概率
\(\bar{R_{\theta}} = \mathop{\sum}\limits_{\tau} R(\tau) P(\tau | \theta)\) 其中，\(\tau\) 是多次游戏的采样
如何Gradient Ascent
1、有目标函数 \(\bar{R_{\theta}} = \mathop{\sum }\limits_{\tau} R(\tau) P(\tau | \theta)\)
2、求参数 \(\theta^{\star} = \mathop{\arg\max}\limits_{\theta} \bar{R_{\theta}}\)
3、梯度下降 \(\theta^{n+1} = \theta^{n} + \eta \nabla \bar{R_{\theta}}^{n}\)
4、
其中 $\nabla \bar{R_{\theta}} = \mathop{\sum}\limits_{\tau} R(\tau) \nabla P(\tau | \theta) = \mathop{\sum}\limits_{\tau} R(\tau) P(\tau | \theta) \frac{\nabla P(\tau | \theta)}{P(\tau | \theta)} \approx \frac{1}{n} \sum_{n=1}^{N} R(\tau) \nabla log P(\tau^n | \theta) $
其中 \(P(\tau | \theta) = p(s_1) \prod_{t=1}^{n} p(a_t | s_t, \theta)\)
把常数项去掉，得 $\nabla \bar{R_{\theta}} = \frac{1}{n} \sum_{n=1}^{N} \sum_{t=1}^{T_n} R(\tau^{n}) \nabla log p(a_t^n | s_t^n, \theta) $
其中，N是N次采样，T是一次完整的游戏序列
两个Tip
1、实际上，游戏的奖励函数大多是正数，而我们想要既有正数又有负数（梯度上升或梯度下降），所以需要在公式中加一个偏置项
2、\(R(\tau^n)\) 不应该是整个序列的累加奖励，有以下优化：
- 应该是从当前时刻的状态\(s_t\)算起，\(s_t\)之前的奖励不算
- 每个时刻的奖励权重不应该一样
- 这些奖励可以提前算出来，用\(A^{\theta}\)表示
Value-based(Critic)
什么是Critic？
1、Critic不用做出action
2、假如有一个Actor \(\pi\) , 如何评估Acotr的好坏？
3、用state value function状态价值函数 \(V^{\pi}(s)\) 评价当前状态的好坏。 \(V^{\pi}(s)\) 是当前状态开始的累加奖励的期望。深度学习中，\(V^{\pi}(s)\) 就是一个神经网络。
如何计算V函数，有两种方法
方法一，Monte-Carlo：给定任意当前状态\(s_a\)，一直到游戏结束，得到真实值 \(G_a\) ，用\(G_a\) 优化网络。
方法二，Temporal-difference：用两个相邻状态的价值函数之差 \(V^{\pi}(s_t) - V^{\pi}(s_{t+1}) \rightarrow r_t\) 逼近奖励，奖励\(r_t\)是真实值。
- 优点：不用完成整个游戏序列
- 缺点：损失小，收敛满
另一个Critic：计算动作
1、state-action value function \(Q^{\pi}(s,a)\) ：通过状态s和动作a评估Actor好坏。
2、如果动作有限，可以通过Q函数计算出每个动作的分数。
Q-Learning
通过TD算法计算损失，把Q函数当成回归任务，不断更新参数。
算法：
Actor + Critic
Advantage Actor-Critic (A2C)方法：讲的不详细，后面有详细的，这里 略。
Asynchronous Advantage Actor-Critic-Agents (A3C)方法：用多个分身学习，然后汇总，更新...
Inverse Reinforcement Learning
现实中Reward函数不知道，怎么解决？
1、专家Expert演示怎么玩
2、IRL反推出Reward函数
3、根据Reward函数就可以找到最优的actor
实现原理：
1、专家演示一系列游戏记录；
2、Actor随机初始化，也玩一系列游戏记录；
3、定义专家的Reward 一定要高于 Actor的Reward，得到一个Reward函数；
4、基于新的Reward，Actor再玩一系列游戏记录，不断优化Reward函数
PPO
Proximal Policy Optimization 是 OpenAI默认的强化学习算法
PPO算法的学习过程：
On-policy：智能体学习、交互的环境都是同一个。通过“自己玩”完成学习，如象棋对弈。
Off-policy：智能体学习、交互的环境不是同一个。通过“看别人玩”完成学习。
Policy Gradient
入门章节讲了，这里略。
On-policy to Off-policy
问题引入
Policy-based方法的梯度这样计算：
问题：从\(\pi_{\theta}\) 中采样数据，当\(\theta\) 更新时，需要重新采样
解决：从另一个Acotr \(\pi_{\theta'}\) 中采样数据，\(\theta\) 更新时，对 \(\theta'\) 无影响，无需重新采样。
Importance Sampling （上面式子的推导过程）
重要性采样：
从梯度更新，推出损失函数
Add constraint
上面损失函数已经有了，但是还需要加入约束，保证\(\theta\) 和\(\theta'\) 不要差太多。
Proximal Policy Optimization (PPO):
笔记：这里的KL散度不是计算参数的距离，而是在计算action的距离。
PPO算法：
笔记：发现这里每轮也需要采样，但是特别指出，在每一步可以update多次。
KL算法计算很复杂，因此提出了PPO2算法：
笔记：
1、clip函数约束第一个参数，介于第二个和第三个参数之间。蓝色线表示目标函数中第二项的取值。
2、这个算是函数两种情况讨论，当A>0 或A<0时。如下图，绿色线表示第一项取值，蓝色线表示第二项取值，红色线表示最终损失函数的取值。
Q-Learning
Introduction of Q-Learning
入门章节讲了，这里略。
Tips of Q-Learning
问题：Q-Learning训练时损失越来越小，但是Q函数越来越大，导致经常被高估。
Double DQN 解决方案：用两个Q函数
1、Q-Learning本身就需要两个网络，所以现在的计算量没有增加。
2、Q变大，并不影响\(Q'\) 值；\(Q'\) 变大，不影响Q选择的动作。
Dueling DQN 解决方案：修改网络架构。
将Q改成V+A，并对A做Normalization，控制Q不要变大。
Prioritized Reply 解决方案：优先采样TD error大的样本。
Q-Learning是从Buffer中采样，导致出现action多的采样概率高。这里优先采样TD error大的样本。
Multi-Step 解决方案：平衡TD和MC算法。
TD算法只需要一步，MC算法需要完整序列，这里用N步。
Noisy Net 解决方案：添加噪声。
第一种：在选择action时，用概率去选，而不是永远取最大action；
第二种：在每轮开始前，参数中注入噪声。
区别：第一种方式每次动作比较随机，第二种方式每次动作比较固定，实际效果是第二种方法好。
Distributional Q-funtion 解决方案：用多个Q函数。
Q是一个分布函数，一个可能不靠谱，用多个取平均或取最大。
Rainbow ：将上面7个方法全部组合起来用，达到了最强！
Q-Learning for Continuous Actions
如何解决连续动作？
第一种：采样多个动作，离散代替连续；
第二种：使用梯度计算动作；
第三种：用神经网络，比较简单，如下图，其中动作action是一个向量。
Actor-Critic
Advantage Actor-Critic-Agents
1、G用Q代替，b用V代替，将Policy-based和Value-based结合起来。
2、Q的值可以用V的值计算
3、算法流程图
4、Tips：actor和critic可以共用一部分参数
Asynchronous Advantage Actor-Critic-Agents
原理：用多个“分身”去计算梯度，但是在梯度更新时在同一个网络上，这样加速了计算和最终效果。
Pathwise Derivative Policy Gradient
一种基于Q-Learning改进的方法，其网络结构如下
算法步骤如下（相比Q-Learning算法，只多了几步）：
Sparse Reward
如果Reward非常稀疏，智能体可能什么也学不到，怎么解决这个问题呢？
Reward Shaping
重新设计Reward，可以和真实Reward不完全相同。
如，ICM模型的Reward的设计：
1、鼓励Agent好奇心： \(\hat{s}_{t+1}\) 和 \(s_{t+1}\) 差距越大Reward 越高。
2、不能一味鼓励好奇心，还要过滤不重要状态（略，这里不讲了）
Curriculum Learning
规划学习课程，从简单到困难学习。
如，Reverse Curriculum Learning 逆向课程学习步骤如下：
1、给一个目标状态 \(s_g\)
2、根据\(s_g\)采样，并学习得到多条学习路径及Reward，删除极端路径；
3、从第二步的采样中采样，学习路径及Reward，不断重复。
Imitation Learning
多数情况下，没有Reward。如果没有Reward，智能体怎么学习？
答案：需要有专家expert来演示demonstration
这里介绍两种：
1、Behavior Cloning
2、Inverse Reinforcement Learning (inverse optimal control)
Behavior Cloning
方法：用专家数据（s, a），训练网络。
问题：智能体对特殊情况无法处理。
解决：数据要多样性，智能体自己选择动作，但是Expert要指示出当前S正确的动作。
Inverse Reinforcement Learnin (IRL)
用expert数据反推reward；有了reward就可以训练智能体。
