NVIDIA NIM 支持在 Hugging Face 上部署超 10 万个 LLM

NVIDIA 宣布 NIM 推理微服务现可在 Hugging Face 上快速部署超过 100,000 个 LLM。单个 NIM docker 容器支持 NVIDIA TensorRT-LLM、vLLM 和 SGLang 等推理框架，会自动完成模型格式识别、架构与量化格式检测、后端选择和性能配置，无需手动调优。