Hugging Face Blog·· 2023-03-28AI 评分44
BLOOMZ 在 Habana Gaudi2 加速器上的大语言模型快速推理
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
AI 导读
Hugging Face 测评显示，BLOOMZ 176B 在 8 卡 Habana Gaudi2 上推理延迟 3.103 秒，比 A100 80GB 快 1.42x；BLOOMZ-7B 更是快 2.89x。
来源：Hugging Face Blog · huggingface.co