跳到正文
AWS Machine Learning Blog· Alex Nails·· 17 小时前AI 评分58

SGLang-Neuron 公开可用,可在 AWS Trainium 上部署模型

Deploy frontier AI models on AWS Trainium with SGLang-Neuron

AI 导读

Amazon 宣布 SGLang-Neuron 公开可用,可通过 RadixArk 与 Annapurna Labs 合作发布的 AWS Deep Learning Container 获取,用与现有相同的 SGLang 接口在 AWS Trainium 上服务模型并生成强化学习 rollout。

来源:AWS Machine Learning Blog · aws.amazon.com