跳到正文
Hugging Face Blog·· 2024-10-29AI 评分57

Hugging Face 与 Intel Labs 推出 Universal Assisted Generation,跨模型族加速推理 1.5x-2.0x

Universal Assisted Generation: Faster Decoding with Any Assistant Model

AI 导读

Hugging Face 与 Intel Labs 联合推出 Universal Assisted Generation(UAG),让 assisted generation(投机解码)不再要求目标模型与助手模型来自同一模型族、共享同一 tokenizer,可为任意 decoder 或 MoE 模型带来 1.5x-2.0x 推理加速且几乎零开销。

来源:Hugging Face Blog · huggingface.co