Hugging Face Blog·· 2024-05-29AI 评分44
Hugging Face TGI Benchmarking 工具：如何剖析 Text Generation Inference 的吞吐与延迟权衡
Benchmarking Text Generation Inference
AI 导读
Hugging Face 推出 TGI Benchmarking 工具，用于剖析 Text Generation Inference（TGI）部署的吞吐与延迟权衡，帮助用户按需调优。
来源：Hugging Face Blog · huggingface.co