AWS Machine Learning Blog· Hazim Qudah·· 31 分钟前AI 评分56
Amazon SageMaker AI 推理端点新增延迟漂移与闲置 GPU 检测
Amazon SageMaker AI now detects latency drift, idle GPUs, and missed optimizations on your inference endpoints
AI 导读
Amazon SageMaker AI 现可自动监控生成式 AI 推理端点,通过 Generative AI 优化推理建议与 Amazon SageMaker Studio 中的智能体体验,提示性能或成本改进机会。
来源:AWS Machine Learning Blog · aws.amazon.com