Hugging Face Blog·· 2 小时前AI 评分56
Hugging Face 发布 StateBench 长上下文状态追踪基准
StateBench: Testing how language models track state changes over long documents
AI 导读
Hugging Face 联合 Allen AI 发布 StateBench,一个评测语言模型在长文档中追踪实体状态变化的基准,含四级难度(R-trivial、Aperiodic、Soluble、General finite),对应不同类型的变量赋值操作,理论基础来自 Krohn–Rhodes 理论。
来源:Hugging Face Blog · huggingface.co