跳到正文
AWS Machine Learning Blog· Summer Devlin·· 4 小时前AI 评分45

Exa 借助 AWS AI 芯片将 embedding 吞吐量提升 50%,索引数十亿文档

Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

AI 导读

Exa 在 AWS Inferentia2 和 Trainium2 上优化 embedding 推理基础设施,通过权重布局优化、autocast、NKI 内核(含自定义融合 SwiGLU MLP 内核)和针对模型形状重写 attention 内核削减 FLOPS,最终将吞吐量提升约 1.5 倍(50%)。

来源:AWS Machine Learning Blog · aws.amazon.com