Hugging Face 复现 OpenAI RLHF 代码库并梳理 PPO 实现细节

Hugging Face 发布博客，复现 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在 sentiment 和 descriptiveness 等风格任务上得到与原版几乎一致的学习曲线，并整理出一份实现细节清单。