推理时计算扩展（Test-Time Compute）
科普速读
- 它是什么： 推理时计算是在解决任务时投入更多处理资源。
- 适合什么场景： 需要更多候选、搜索或检查的难题。
- 主要边界： 计算增加会提高延迟和成本，不保证成功。
概览
代码助手可以生成补丁、运行测试，再根据失败结果修改。这样可能提高成功率，也可能因反复尝试浪费时间。
核心定义
推理时计算是模型推理期间用于探索、搜索或验证答案的额外计算。
背景与发展
模型训练和模型推理是不同阶段。推理时计算增加回答阶段的工作量，不会更新模型权重。
工作机制（How It Works）
系统可以并行采样多个答案、搜索候选解、扩展推理过程，或调用代码执行等工具。之后由选择器或验证器筛选结果。
在软件测试与开发中的应用
遇到复杂代码改动时，可以增加尝试次数、运行针对性测试或比较多个修复方案。要限制重试次数，并保留用于选择补丁的测试结果。
优势与局限
当搜索或验证能发现错误时，增加计算可能有帮助。它也会提高成本和延迟，且收益可能逐渐减少。
与相近术语对比
训练会在部署前改变模型参数；推理时计算为当前请求增加资源；Agent 评测则衡量模型在一组任务上的表现。
实施建议（Best Practices）
在固定任务集上比较不同计算预算，记录成功率、错误类型、耗时和成本，不要只看模型解释。
常见误区（Pitfalls）
回答更长，不代表推理更可靠。生成的解释也未必真实描述系统内部过程。
FAQ
推理时计算越多，回答就一定越好吗？
不一定。收益取决于方法、任务、验证效果、延迟和成本。