i14在Trainium2上训练部署Laplace 3B模型
热点事件持续更新
i14在Trainium2上训练部署Laplace 3B模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
AWS 与 i14 合作，用 TorchNeuron Native 的原生 PyTorch 支持，在一台 trn2.48xlarge 实例上训练并部署 i14 的 Laplace 3B 线性注意力模型，训练吞吐约 120,000 tokens per second，推理在 1,280 并发序列下达到 11,544 output tokens per second。 该模型保留了 Gated Linear Attention（GLA）设计与 Muon 优化器。上述结果截至第 84,210 步（约 440 亿 tokens），完整训练方案为 190,735 步（1000 亿 FineWeb-Edu tokens）；i14 称 BF16 重结合会使编译输出与 eager 略有差异，需要精确复现时应使用 eager decode。
AI 根据报道生成 · 1 小时前更新
最新进展10月21日 05:14
i14 在 AWS Trainium2 上用原生 PyTorch 训练与部署 Laplace 3B 线性注意力模型报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- AWS Machine Learning Blogi14 在 AWS Trainium2 上用原生 PyTorch 训练与部署 Laplace 3B 线性注意力模型
AWS 与 i14 合作，用 TorchNeuron Native 原生 PyTorch 在一台 trn2.48xlarge 实例上训练并部署 i14 的 Laplace 3B 线性注意力模型，训练吞吐约 120,000 tokens per second，推理在 1,280 并发序列下达到 11,544 output tokens per second。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。