1. MDP的最佳策略是确定性和无记忆的，一错会再错，以前发生的状态也不记得。Memory模块是正解吗？
图源 https://zhuanlan.zhihu.com/p/430221668
2. 毫末 吕迪 对于RL现存问题的看法
每个观点都很insight
强化学习领域目前遇到的瓶颈是什么? - 毫末智行的回答 - 知乎 https://www.zhihu.com/question/449478247/answer/2000015265
首先是reward设计不合理导致无法兼顾安全性和稳定性，碰撞的极大惩罚在增强安全的同时会导致策略不稳定。
这让人想起什么？
是不是想起在优化算法里外罚函数法的特点，梯度病态
实际上我一直认为reward帮助形成的Q值就是把约束条件做成外罚函数的一种目标函数。
补充，关于外罚函数的缺点：形象理解外罚函数法+内罚函数法 - Cat food的文章 - 知乎 https://zhuanlan.zhihu.com/p/368010901
其次是关于模糊的策略映射导致训练confusing，这一段理解不深，以后常读常新吧
最后是多目标需要动态调整。这个我自己目前认为不是最主要的。
3. 偏好强化学习
https://zhuanlan.zhihu.com/p/622056740
还需要再读
标签：罚函数法,zhuanlan,https,收获,RL,zhihu,com,观点 From： https://www.cnblogs.com/Zer0-Chambers/p/17697547.html