The Decoder· Matthias Bastian·· 3 小时前AI 评分62
Anthropic 为 Claude 平台推出 Message Threads 公测，长对话首 token 延迟降低约 35%
Anthropic's Message Threads cut time to first token by 35 percent for long conversations
AI 导读
Anthropic 在 Claude 平台发布 Message Threads 公测功能，此前每次 API 请求都要重发完整对话历史，现在只传输自上一条消息以来的变化内容，据 Anthropic 称可让 500,000 到 one million tokens 的请求首 token 时间缩短约 35%。
来源：The Decoder · the-decoder.com