Hugging Face Blog·· 2026-01-20AI 评分49
Differential Transformer V2 发布
Differential Transformer V2
AI 导读
微软发布 Differential Transformer V2(DIFF V2),在保持 KV head 数量不变的前提下将 query head 翻倍,解码速度与标准 Transformer 持平且无需自定义 attention kernel。
来源:Hugging Face Blog · huggingface.co