跳到正文
Hugging Face Blog·· 2 小时前AI 评分56

Hugging Face 发布 StateBench 长上下文状态追踪基准

StateBench: Testing how language models track state changes over long documents

AI 导读

Hugging Face 联合 Allen AI 发布 StateBench,一个评测语言模型在长文档中追踪实体状态变化的基准,含四级难度(R-trivial、Aperiodic、Soluble、General finite),对应不同类型的变量赋值操作,理论基础来自 Krohn–Rhodes 理论。

来源:Hugging Face Blog · huggingface.co