Ulysses 序列并行：用百万 token 上下文训练大模型

Hugging Face 发布教程，介绍源自 Snowflake AI Research 的 Ulysses 序列并行如何通过注意力头切分把长序列训练分布到多张 GPU，并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。