Hugging Face 教你用 DPO 微调 Llama 2

Hugging Face 官方博客介绍如何用 TRL 库中的 DPO 方法微调 Llama 2 7B 模型，DPO 绕过奖励模型和 RL 优化步骤，直接在偏好数据上用交叉熵损失优化语言模型。