Hugging Face 复现 Infini-attention 长上下文实验的失败与教训

Hugging Face 团队复现 Google 的 Infini-attention 论文，尝试把 Llama 3 8B 的 8k 上下文扩展到 100 万 token，最终发现该方法表现随压缩次数增加而变差，认为 Ring Attention、YaRN 和 rope scaling 仍是更好的长上下文扩展方案。