AWS Machine Learning Blog· Kevin Shabahang·· 3 小时前AI 评分56
i14 在 AWS Trainium2 上用原生 PyTorch 训练与部署 Laplace 3B 线性注意力模型
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
AWS 与 i14 合作，用 TorchNeuron Native 原生 PyTorch 在一台 trn2.48xlarge 实例上训练并部署 i14 的 Laplace 3B 线性注意力模型，训练吞吐约 120,000 tokens per second，推理在 1,280 并发序列下达到 11,544 output tokens per second。
来源：AWS Machine Learning Blog · aws.amazon.com