Hugging Face Blog·· 2024-10-08AI 评分55
Hugging Face Transformers 4.45.0 默认启用动态推测解码加速辅助生成
Faster Assisted Generation with Dynamic Speculation
AI 导读
Hugging Face 与 Intel labs 合作开发的动态推测解码已集成进 Transformers 4.45.0，成为 assisted generation 的默认模式，最高可带来 2.7x 加速。
来源：Hugging Face Blog · huggingface.co