Hugging Face Blog·· 2023-05-11精选AI 评分64
Hugging Face Transformers 推出 assisted generation 低延迟解码方法
Assisted Generation: a new direction toward low-latency text generation
AI 导读
Hugging Face 在 🤗 Transformers 的 .generate() 中推出新解码方法 assisted generation，用小模型生成候选 token、再由目标模型一次前向验证，在普通硬件上最高可将延迟降低 10x。
推荐理由
原文拆解了延迟瓶颈并给出可复现的加速数字，读者可据此判断该方法是否适配自己的部署场景。
来源：Hugging Face Blog · huggingface.co