Hugging Face 官方发布 TRL 与 PEFT 集成，24GB 消费级 GPU 可用 RLHF 微调 20B 模型

Hugging Face 官方正式发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调在消费级硬件上更易实现。文中给出三步流程：用 8-bit 精度加载活跃模型、通过 peft 添加可训练的低秩适配器、利用 disable_adapters 复用同一模型同时得到参考与活跃 logits，从而省去两份模型副本。