AWS Machine Learning Blog· Summer Devlin·· 4 小时前AI 评分45
Exa 借助 AWS AI 芯片将 embedding 吞吐量提升 50%,索引数十亿文档
Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips
AI 导读
Exa 在 AWS Inferentia2 和 Trainium2 上优化 embedding 推理基础设施,通过权重布局优化、autocast、NKI 内核(含自定义融合 SwiGLU MLP 内核)和针对模型形状重写 attention 内核削减 FLOPS,最终将吞吐量提升约 1.5 倍(50%)。
来源:AWS Machine Learning Blog · aws.amazon.com