AWS Machine Learning Blog· Joseph Cottingham·· 2 小时前AI 评分44
Amazon SageMaker AI 上 TTS 自动扩缩容目标的实测方法
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
AI 导读
AWS 博客介绍在 Amazon SageMaker AI 实时端点上部署 Kokoro-82M(82M 参数 TTS 模型)自定义容器,用两个实测值替代猜测的自动扩缩容目标:Q_max(单实例在 SLO 内可承载的最大并发)和 T_total(扩容端到端耗时),并据此推导扩缩容阈值与冷却时间。
来源:AWS Machine Learning Blog · aws.amazon.com