Hugging Face 与 Dottxt 研究结构化生成如何提升 prompt 一致性

Hugging Face Leaderboards and Evals 团队与 Dottxt 合作研究发现，MMLU 上仅改变 prompt 格式就能让模型分数波动约 10 个点，Qwen1.5-7B 在不同格式下准确率从 51.2% 跌至 22.9%，few-shot 顺序变化也可带来最多 3 分差异，且模型排名会随之改变。