AWS Machine Learning Blog· Shantanu Tripathi·· 2 小时前精选AI 评分62
Amazon SageMaker Inference 支持 GPU 分区以提升端点 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现支持基于 NVIDIA MIG 的 GPU 分区，可将一张物理 GPU 切成多个硬件隔离的分区，让一个端点容纳多于 GPU 数量的模型，并可选择较新型号 GPU 的一部分而非整卡。
推荐理由
原文给出分区配置方法与实测对比数据，读者可据此判断如何为自己的负载选择合适分区规格。
来源：AWS Machine Learning Blog · aws.amazon.com