之前有实现Q-Learning走迷宫，本篇实现SARSA走迷宫。Q-Learning是一种off-policy算法，当前步采取的决策action不直接作用于环境生成下一次state，而是选择最优的奖励来更新Q表。更新公式：SARSA是一种on-policy算法，当前步采取的策略action既直接作用于环境生成新的state，也用来更新Q表

无模型的强化学习算法学习「强化学习」（基于这本教材，强烈推荐）时的一些总结，在此记录一下。动态规划算法需要马尔可夫决策过程是已知的（状态转移函数、奖励函数已知），智能体不用真正地与环境互动也能在「理性」世界里求得最优策略。现实通常并非如此，环境已知恰恰是很少见的。所以这里

第5章时序差分算法5.1简介第4章介绍的动态规划算法要求马尔可夫决策过程是已知的，即要求与智能体交互的环境是完全已知的（例如迷宫或者给定规则的网格世界）。在此条件下，智能体其实并不需要和环境真正交互来采样数据，直接用动态规划算法就可以解出最优价值或策略。这就好比对于

 这个是Q-learing的一个算法，根据代码，它就是，先设定训练100次，然后，给它一个随机的状态，这里我们假设状态6就是终点，那么走迷宫的时候，如果没走到6，就要一直走下去，，所以里面还要用到一个while循环，然后在每个状态的时候，找一个非负的动作，存储在数组里，（算是合理动作的集合吧），下一个状态的指针

题目：OfflineReinforcementLearningwithImplicitQ-Learning，SergeyLevine组，2022ICLR，568。pdf版本：https://arxiv.org/pdf/2110.06169.pdfhtml版本：https://ar5iv.labs.arxiv.org/html/2110.06169openreview：https://openreview.net/forum?id=68n2s9ZJWF8github：h

研究意义现行的MEC定价机制为静态定价，费用高的同时难以实现资源的有效利用。提出一种基于Stackelberg博奔的边缘云资源定价机制。通过改进辅助机制，构建定价机制模型，利用强化学习SARSA算法得到的最优策略为MEC实现在资源利用和价格的最优定价方案。在定价方面，提出了四种价格导向

时态差分法（TemporalDifference,TD）是一类在强化学习中广泛应用的算法，用于学习价值函数或策略。Sarsa和Q-learning都是基于时态差分法的重要算法，用于解决马尔可夫决策过程（MarkovDecisionProcess,MDP）中的强化学习问题。下面是最简单的TD方法更新：它只使用当前行动之后的奖励值

强化学习从基础到进阶-常见问题和面试必知必答[3]：表格型方法：Sarsa、Qlearning；蒙特卡洛策略、时序差分等以及Qlearning项目实战1.核心词汇概率函数和奖励函数：概率函数定量地表达状态转移的概率，其可以表现环境的随机性。但是实际上，我们经常处于一个未知的环境中，即概率函数和奖励

强化学习从基础到进阶-案例与实践[3]：表格型方法：Sarsa、Qlearning；蒙特卡洛策略、时序差分等以及Qlearning项目实战策略最简单的表示是查找表（look-uptable），即表格型策略（tabularpolicy）。使用查找表的强化学习方法称为表格型方法（tabularmethod），如蒙特卡洛、Q学习和Sarsa。本章通过最

强化学习从基础到进阶-常见问题和面试必知必答[3]：表格型方法：Sarsa、Qlearning；蒙特卡洛策略、时序差分等以及Qlearning项目实战1.核心词汇概率函数和奖励函数：概率函数定量地表达状态转移的概率，其可以表现环境的随机性。但是实际上，我们经常处于一个未知的环境中，即概率函数和奖励

强化学习基础篇[2]：SARSA、Q-learning算法简介、应用举例、优缺点分析1.SARSASARSA（State-Action-Reward-State-Action）是一个学习马尔可夫决策过程策略的算法，通常应用于机器学习和强化学习学习领域中。它由Rummery和Niranjan在技术论文“ModifiedConnectionistQ-Learning（MCQL）

二者都是基于Qtable的算法，其中Qlearning属于off-policy，Sarsa属于on-policy。算法伪代码：   二者主要区别是更新Qtable的方式不同：    

上篇文章​​强化学习——时序差分(TD)控制算法Sarsa和Q-Learning​​我们主要介绍了Sarsa和Q-Learning两种时序差分控制算法，在这两种算法内部都要维护一张Q表格

强化学习4——ModelFreeTD在上篇文章​​强化学习3——蒙特卡洛(MC)采样法的预测与控制​​中我们讨论了ModelFree情况下的策略评估问题，主要介绍了蒙特卡洛（MC）采

AI|强化学习|Sarsa首先感谢莫烦大佬的公开教程。https://github.com/MorvanZhou/Reinforcement-learning-with-tensorflowsarsa是强化学习中的一种，属于在线学习。【

强化学习（六）：时序差分方法  时序差分（TD）方法结合了动态规划与蒙特卡洛的思想，其可以像蒙特卡洛方法一样直接从智能体与环境互动的经验中学习，而不需要知道环境的模型，其又可以像

主要是强化学习的课程，作业中涉及到了QLearning和Sarsa算法，特此记录。宝藏博主的强化学习专栏中包含了这两个算法的讲解，极为清晰，非常推荐。链接：机器学习+深度学习+强化学

importnumpyasnpimportrandom#获取一个格子的状态defget_state(row,col):ifrow!=3:return'ground'ifrow==3andcol==11: