跳到正文
AWS Machine Learning Blog· Joseph Cottingham·· 2 小时前AI 评分44

Amazon SageMaker AI 上 TTS 自动扩缩容目标的实测方法

Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

AI 导读

AWS 博客介绍在 Amazon SageMaker AI 实时端点上部署 Kokoro-82M(82M 参数 TTS 模型)自定义容器,用两个实测值替代猜测的自动扩缩容目标:Q_max(单实例在 SLO 内可承载的最大并发)和 T_total(扩容端到端耗时),并据此推导扩缩容阈值与冷却时间。

来源:AWS Machine Learning Blog · aws.amazon.com