跳到正文
AWS Machine Learning Blog· Vinay Arora·· 1 小时前AI 评分55

Amazon SageMaker HyperPod Inference 支持 NVIDIA Dynamo 托管部署

Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference

AI 导读

Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的托管支持,把 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合,支持多节点部署、prefill 与 decode 分离以及 KV-aware 路由,推理引擎可选 vLLM、SGLang 或 TensorRT-LLM,默认 vLLM。

来源:AWS Machine Learning Blog · aws.amazon.com