Hugging Face Infinity 案例研究：用现代 CPU 实现毫秒级延迟

Hugging Face Infinity 在 Amazon EC2 C6i（第 3 代 Intel Xeon）上运行 DistilBERT 序列分类任务，相比 cascade-lake 实例延迟与吞吐最高提升 34%，相比 ice-lake 上的 vanilla transformers 最高提升 800%。