Hugging Face Blog·· 2024-08-21AI 评分58
Hugging Face 推出 DataCollatorWithFlattening，让无 padding 打包训练兼容 Flash Attention 2
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2
AI 导读
Hugging Face Transformers 新增 DataCollatorWithFlattening，使无 padding 的打包式指令微调训练兼容 Flash Attention 2，通过 flash_attn_varlen_func 计算 cu_seqlens 并保留序列边界，避免跨样本注意力影响收敛。
来源：Hugging Face Blog · huggingface.co