OpenAI News·· 2024-10-01精选AI 评分60
OpenAI 在 API 中推出 Prompt Caching
Prompt Caching in the API
AI 导读
OpenAI 在 API 中推出 Prompt Caching，对模型近期已见过的输入自动提供折扣。官方说明该机制面向重复出现的输入内容，具体折扣幅度与适用条件未在摘要中给出。
推荐理由
OpenAI 在 API 层面对近期出现过的输入自动打折，读者可据此判断长提示词与重复上下文的成本变化。
来源：OpenAI News · openai.com