使用 PPO 算法进行 RLHF 的 N 步实现细节

当下，RLHF/ChatGPT 已经变成了一个非常流行的话题。我们正在致力于更多有关 RLHF 的研究，这篇博客尝试复现 OpenAI 在 2019 年开源的原始 RLHF 代码库，其仓库位置位于 openai/lm-human-preferences。尽管它具有 “tensorflow-1.x” 的特性，但 OpenAI 的原始代码库评估和基准测试非常完善，使其成为研究 RLHF 实现工程细节的好地方。

我们的目标是:

1. 复现 OAI 在风格化任务中的结果，并匹配 openai/lm-human-preferences 的学习曲线。
2. 提供一个实现细节的清单，类似于 近端优化策略的 37 个实施细节 (The 37 Implementation Details of Proximal Policy Optimization) 和 没有痛苦折磨的调试 RL (Debugging RL, Without the Agonizing Pain) 的风格;
3. 提供一个易于阅读且简洁的 RLHF 参考实现;

这项工作仅适用于以教育/学习为目的的。对于需要更多功能的高级用户，例如使用 PEFT 运行更大的模型， huggingface/trl 将是一个不错的选择。

• 在 匹配学习曲线 中，我们展示了我们的主要贡献: 创建一个代码库，能够在风格化任务中复现 OAI 的结果，并且与 openai/lm-human-preferences 的学习曲线非常接近地匹配。

• 然后我们深入探讨了与复现 OAI 的工作相关的实现细节。在 总体实现细节 中，我们讨论了基本细节，像如何生成奖励/值和如何生成响应。在 奖励模型实现细节 中，我们讨论了诸如奖励标准化之类的细节。在 策略训练实现细节 中，我们讨论了拒绝采样和奖励“白化”等细节。

  • 在 PyTorch Adam 优化器在处理 RLHF 时的数值问题 中，我们强调了 TensorFlow 和 PyTorch 之间 Adam 的一个非常有趣的实现区别，其导致了模型训练中的激进更新。

• 接下来，我们检查了在奖励标签由 gpt2-large 生成的情况下，训练不同基础模型 (例如 gpt2-xl, falcon-1b) 的效果。

• 最后，我们通过讨论一些限制来总结我们的研究工作。

以下是一些重要链接:

• 标签：py,preferences,lm,PPO,token,batch,RLHF,算法,human
  From： https://www.cnblogs.com/huggingface/p/17836295.html