DharmaOCR 论文：用模型自身退化输出做 DPO 拒绝对，五个模型族文本退化率平均降 59.4%

Dharma AI 在 Hugging Face 博客介绍其 DharmaOCR 论文中的方法：在 SFT 之后加一阶段 Direct Preference Optimization (DPO)，把 SFT 模型自己产生的退化重复循环输出作为 rejected 样本、正确转录作为 chosen 样本，在 23,726 份训练文档上用自动 LLM judge 打分构建偏好对。