批处理（Batch Processing）
一句话定义：把多个非紧急的 AI 请求作为一个异步任务提交。价格和完成时间取决于服务商。
科普速读
- 它是什么： 批处理会异步运行大量彼此独立的请求。
- 适合什么场景： 离线评测、数据标注等不要求即时返回的大批量任务。
- 主要边界： 延迟、限额和折扣取决于服务提供方和具体服务。
概览
批处理会把相互独立的请求组成一个异步任务。服务商稍后返回结果，因此调用方不需要实时等待每个响应。完成时间和价格取决于具体服务商。
核心定义
批处理 API 接收一组独立的模型请求，并把它们作为一个任务处理。服务商异步处理各项请求，之后为每项返回结果。调用方查询任务状态、收集结果，并处理单项错误。
部分服务商会为批处理提供更低价格或完成时限。这些条件只适用于对应服务商。例如，OpenAI 当前说明其 Batch API 可享受 50% 折扣，并承诺在最长 24 小时的窗口内完成。
背景与发展
当团队可以接受延迟返回时，批处理适合大规模处理任务。常见用途包括模型评测、分类和数据补充。
批处理接口不同于调用方并发发送许多实时请求。它通常还需要管理任务状态、结果下载和单项错误。
工作机制（How It Works）
- 按服务商要求准备一组独立请求。
- 提交文件或请求集合，并保存返回的任务 ID。
- 轮询任务状态；如果服务商支持，也可以接收完成通知。
- 下载成功结果和错误文件。
- 将每项结果与输入对应起来，只重试允许重试的失败项。
任务限额、过期规则和完成时限由服务商规定。
在软件测试与开发中的应用
- 离线评测： 对大量提示词运行模型评测。
- 日志分类： 为历史测试失败记录添加分类，方便排查。
- 测试数据准备： 生成待审核的测试样例。
- 文档分析： 概括或标记一批文档。
模型生成的代码仍需经过评审和测试，不能直接合并到代码库。
优势与局限
优势
- 一个任务可以处理大量独立请求。
- 交互式应用不必等待每项结果。
- 部分服务商的批处理价格低于实时接口。
局限与风险
- 结果不会立即返回。
- 任务可能失败、过期，也可能只返回部分结果。
- 不同服务商的限额和价格不同。
- 任务运行期间源数据发生变化时，结果可能过时。
与相近术语对比
| 方式 | 运行方式 | 适用场景 |
|---|---|---|
| 批处理 | 多个请求组成一个异步任务 | 大批量、非紧急工作 |
| Flex processing | 单个受支持的 API 请求使用低优先级档位 | 可以接受延迟的单次请求 |
| 并发请求 | 调用方分别发送多个实时请求 | 需要逐项及时获取结果的工作 |
估算成本前，应先查看服务商的任务限额和当前条款。
实施建议（Best Practices）
- 先用少量样本检查请求格式。
- 保存任务 ID，并为每项输入设置稳定 ID。
- 分别记录成功项和失败项。
- 只重试失败项，并确保重试不会重复产生副作用。
- 应用结果前，确认源数据仍然有效。
常见误区（Pitfalls）
不要把整批任务当成全部失败后直接重跑。应记录每项状态，并确保重试不会造成重复操作。
FAQ
团队适合在什么场景使用批处理？
适合稍后返回结果也能接受的独立请求，例如离线评测或日志分类。
所有批处理 API 都提供相同折扣和完成时限吗？
不是。价格、限额和完成窗口取决于服务商。使用前应查看当前 API 文档。