Ai2发布FairStress公平性评测基准

Ai2（Allen Institute for AI）发布FairStress基准，用于测量大模型在最终选择之外的决策稳健性公平差异。该基准包含300个双候选人场景、29个领域，经人口统计身份与对抗前缀组合扩展至超过1300万测试用例，并提供50K项的FairStress-Core子集。 Ai2称，在Olmo、Llama、Qwen、Gemma、Claude、GPT系列等开源与前沿模型、以及多个训练阶段中，同一段说服性论证（称为对抗前缀）会让模型改变决策的概率因所倾向的人口统计群体不同而升高或降低。Ai2同时说明，其激活分析仅覆盖两个模型和少量人口统计对比，结论范围窄于行为层面结果；部分强化学习估计样本小至仅8条提示，需谨慎解读。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。