Hugging Face 解锁 continuous batching 的异步化：GPU 活跃率提升至 99.4%

Hugging Face 博客讲解如何通过分离 CPU 与 GPU 工作负载来提升 LLM 推理性能。同步批处理下 CPU 与 GPU 交替等待，8K tokens、batch size 32、8B 模型的测试中 GPU 空闲占 24.0%，总耗时 300.6 秒。