AWS Machine Learning Blog· Dustin Liu·· 10 小时前AI 评分43
Amazon Bedrock 为开源权重模型新增显式 prompt caching 支持
Use prompt caching with open-weight models on Amazon Bedrock
AI 导读
Amazon Bedrock 的开源权重模型现已支持显式 prompt caching,与原有的隐式缓存并行可用。两种模式均通过 Chat Completions API 调用:隐式缓存自动复用匹配前缀,显式缓存需用 prompt_cache_options 设置 mode 为 explicit 并添加 prompt_cache_breakpoint 标记。
来源:AWS Machine Learning Blog · aws.amazon.com