奖励奖励
强化学习中奖励函数设置不好，agent也得不到好的解。
确定奖励函数的注意事项
-
明确任务目标：一定要确保奖励函数和任务目标是一致的，否则可能会出现奖励函数引导 agent 在任务上取得不良的表现。
注意：因为算法目标是最大化奖励，所以需要看奖励和目标之间的关系。当我的奖励最大的时候，是否达到了我的目标。 -
平衡奖励和惩罚：奖励函数需要平衡奖励和惩罚的权重，以便指导 agent 取得最优的行为。如果一个奖励项过于重要，可能会导致 agent 忽略其他重要的因素，或者导致 agent 采取不合理的行为。
-
确定奖励函数的量化方法：在确定奖励函数之前，需要考虑如何量化每个奖励项。例如，时间奖励可以通过到达目的地的时间来量化，能源效率可以通过能源消耗来量化，平滑行驶可以通过列车的加速度和减速度来量化。确保奖励函数的量化方法能够准确反映出 agent 在任务上的表现。
-
避免奖励函数出现不可解决的问题：一些奖励可能会导致 agent 陷入一些不良的行为，例如无限循环或者训练不稳定等。因此，需要在确定奖励函数时，避免出现这些问题，例如添加惩罚项或者限制奖励函数的取值范围。
-
迭代调整：确定奖励函数是一个迭代的过程，需要不断观察代理的行为并根据需要进行调整。在调整奖励函数时，需要避免对奖励函数进行大规模调整，而应该逐步调整，并仔细观察 agent 在任务上的表现。