AWS Machine Learning Blog· Dmitry Soldatkin·· 2 小时前精选AI 评分63
Amazon SageMaker AI 实时端点新增 KV cache 感知路由
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
AI 导读
Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV_AWARE),依据模型容器上报的缓存状态把请求发给已缓存最长匹配且负载较低的实例,需在模型中加 SM_VLLM_KV_EVENTS_CONFIG 环境变量并把 RoutingStrategy 设为 KV_AWARE。
推荐理由
原文对比了两种路由策略的适用场景与实测数据,读者可据此判断自己的负载该选哪种路由。
来源:AWS Machine Learning Blog · aws.amazon.com