OpenAI News·· 2024-10-01精选AI 评分62
OpenAI API 推出 Prompt Caching 自动折扣
Prompt Caching in the API
AI 导读
OpenAI 在 API 中推出 Prompt Caching，对模型近期已处理过的输入自动提供折扣，降低重复输入的调用成本。
推荐理由
说明了缓存如何自动降低近期已见输入的成本，读者可据此判断调用开销的变化。
来源：OpenAI News · openai.com
Prompt Caching in the API
OpenAI 在 API 中推出 Prompt Caching，对模型近期已处理过的输入自动提供折扣，降低重复输入的调用成本。
说明了缓存如何自动降低近期已见输入的成本，读者可据此判断调用开销的变化。
来源：OpenAI News · openai.com