提示缓存（Prompt Caching）
一句话定义：服务商复用后续请求中符合条件的提示词前缀计算结果。
科普速读
- 它是什么： 提示缓存会在多个请求间复用匹配的提示词前缀。
- 适合什么场景： 重复使用较长且稳定的指令或共享上下文。
- 主要边界： 缓存门槛、时长、价格和行为因服务提供方而异。
概览
提示缓存让服务商复用先前处理过的、符合条件的提示词前缀。这可以减少处理时间或输入费用。具体规则取决于服务商。
核心定义
模型 API 可以缓存请求中一部分内容的计算结果，常见形式是重复出现的提示词前缀。后续请求包含符合条件且匹配的前缀时，服务商可以复用缓存，减少重复处理。
提示缓存不是记忆功能。它不会让模型记住无关请求。各服务商会分别规定匹配方式、最小长度、缓存时长和价格。
背景与发展
系统指令、工具定义和共享资料可能在多个请求中重复出现。服务商因此提供提示缓存，减少重复输入带来的处理工作。
部分 API 会自动缓存，另一些 API 允许调用方设置缓存位置或选项。这些是具体实现方式，不是提示缓存的通用要求。
工作机制（How It Works）
- 应用发送包含提示词的请求。
- 服务商检查是否存在符合缓存条件的匹配前缀。
- 如果找到，服务商就复用该部分的缓存计算结果。
- 模型继续处理新增或变化的内容，并生成响应。
请求太短或不符合匹配规则时，服务商可能不会缓存。缓存也可能过期。
在软件测试与开发中的应用
- 重复评测： 在多组测试提示词中复用稳定的指令。
- 代码库问答： 在服务商和应用支持的情况下复用项目指引。
- 工具工作流： 在多个请求中复用稳定的工具定义。
应在实际环境中测量缓存命中和响应时间。不要假设每段重复对话都符合缓存条件。
优势与局限
优势
- 符合条件的重复输入可能减少处理量。
- 服务商可能降低缓存输入的价格。
- 多个请求可以复用稳定的共享指令。
局限与风险
- 请求必须符合服务商的缓存规则。
- 修改前缀可能降低命中率或导致无法复用。
- 缓存时长、隐私条款和价格因服务商而异。
- 缓存不会提高模型回答的事实准确性。
与相近术语对比
| 术语 | 作用 |
|---|---|
| 提示缓存 | 复用符合条件的重复输入计算 |
| 上下文压缩 | 用较短摘要替换部分旧上下文 |
| 对话记忆 | 保存选定信息，供后续交互使用 |
提示缓存可以减少重复处理，但不会保存摘要或用户偏好。
实施建议（Best Practices）
- 如果服务商按前缀匹配缓存，应把稳定指令放在任务专属内容之前。
- 没有必要时，不要修改稳定内容。
- 查看服务商规定的缓存门槛、时长和价格。
- 测量命中率和总成本；缓存可能产生写入或配置成本。
- 发送敏感代码前，先查看服务商的数据处理条款。
常见误区（Pitfalls）
不要假设提示词会一直留在缓存中。缓存键、有效期、适用内容和价格都取决于服务提供方。
FAQ
提示缓存会让模型拥有长期记忆吗？
不会。它只复用符合条件的提示词计算，不会为无关请求建立通用记忆。
每次重复发送提示词都会获得缓存折扣吗？
不会。提示词必须符合服务商当前的缓存规则。价格和缓存时长也因服务商而异。