AWS Machine Learning Blog· Shubham Gupta·· 4 小时前AI 评分56
ArisGlobal 如何在 Amazon Bedrock 上优化生成式 AI 推理成本
How ArisGlobal scaled generative AI inference on Amazon Bedrock
AI 导读
ArisGlobal 在 Amazon Bedrock 上为生命科学 AI 引擎 NavaX 优化提示词缓存策略,将共享提示词前缀放在缓存检查点之前、把每案例文档移到其后,使 65% 输入 token 从缓存读取。
来源:AWS Machine Learning Blog · aws.amazon.com