Hugging Face 实测对比 DPO、IPO、KTO 三种偏好对齐方法

Hugging Face Blog 发布对 DPO、IPO、KTO 三种无强化学习偏好对齐方法的实证评测，在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上扫描 β 从 0.01 到 0.9 的超参数并用 MT-Bench 评测。