Deepgram 将 Nova-3 移植至 Trainium2 提升批量推理性价比

Deepgram 将 Nova-3 语音转文字模型移植到 AWS Trainium2，用于离线批量工作负载，在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，每美元处理的音频量比原有计算方案多 11–70%。Deepgram 的 Pierre Lienhart 介绍了移植、内核调优与 Rust 运行时的实践过程。 该收益按评估时的实例定价测算；Deepgram 称，这些收益也可延伸到在 Amazon SageMaker AI 上自托管 Deepgram 模型于自有 VPC 的客户。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。