Hugging Face 详解 Ulysses 序列并行在百万 token 上下文训练中的应用

Hugging Face 官方博客介绍 Ulysses Sequence Parallelism（来自 Snowflake AI Research 的 Arctic Long Sequence Training 协议）如何通过注意力头并行把长序列训练分布到多 GPU。