Hugging Face Blog·· 2022-09-16AI 评分55
Hugging Face 实测 BLOOM 176B 推理：DeepSpeed-Inference 达亚毫秒级吞吐
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
AI 导读
Hugging Face Blog 在 8x80GB A100 节点上对比了 Accelerate、DeepSpeed-Inference 和 DeepSpeed ZeRO 三套 BLOOM 176B 推理方案的加载时间与逐 token 吞吐。
来源：Hugging Face Blog · huggingface.co