回归时间变短,不等于回归变好了。删掉慢检查可能让反馈更快,却同时删掉了支付、权限或迁移风险唯一的覆盖。
为什么需要这个 Skill
回归优化 Skill 把选择、排序、并行、缓存和风险保留作为一组取舍来复核,帮助团队在证据允许的范围内得到更快且安全的反馈回路。
Skill 用来做什么
本文的判断标准是:只有在反馈更快的同时没有让重要风险消失,优化才算成功。
当测试套件太慢、CI 成本上升,或者团队准备根据变更文件和历史通过率跳过测试时,使用这个 Skill。它会把风险依据和验证方案保留下来。
好的优化方案要说明为什么选择某组测试、什么时候运行、保护了什么风险、并行或缓存为何可信,以及如何验证改变。
当重做 CI、加速发布列车、清理 flaky 套件,或者一次回归逃逸暴露选择模型漏掉变更依赖时,使用这个 Skill。
它不做什么
回归优化 Skill 可以组织选择依据的材料、证据和下一步动作,但它不能替代:
- 业务或领域负责人对规则、范围和风险的确认。
- 真实环境、账号、数据、日志或运行结果;静态分析不会自动升级为运行证据。
- 发布、合规、生产操作和残余风险接受等授权决定。
- 在输入相互冲突时替团队选择一个未经确认的事实。
它主要检查哪些内容
这个 Skill 的价值不在于把关键词再列一遍,而在于把每个关注点接到可观察的输入、判断和收口动作。先用源 Skill 已定义的输出字段整理一张小矩阵:
| 检查关注点 | 开始前要问 | 结果应留下什么 |
|---|---|---|
| 选择依据 | 为什么某组测试被纳入或跳过 | 变更面与风险关联 |
| 执行方案 | 顺序、并行组、隔离和缓存条件 | 可复现规则 |
| 风险保留 | 关键覆盖和全量回退条件 | 明确逃逸边界 |
| 验证结果 | 实验实际观察到什么 | 时长、失败与证据状态 |
如果某一行只有经验判断、没有来源或验证方法,就把它留在待确认项里,不要提前写成通过。
开始之前先审计输入
围绕“选择依据”开始分析时,先把输入分成六种状态。缺口不会自动变成失败,但也不能被隐藏在结论里。
| 状态 | 含义 | 本 Skill 的处理方式 |
|---|---|---|
| known | 材料直接证明的事实 | 标出来源、版本和时间,允许进入判断 |
| missing | 本轮需要但尚未提供的材料 | 列出最小补证动作,结论保持受限 |
| conflicting | 来源之间互相矛盾 | 并列来源和冲突点,交给负责人裁决 |
| stale | 材料存在但版本或时间已经过期 | 标出新鲜度,不把旧结论当当前事实 |
| out_of_scope | 有关但不在本轮范围内 | 明确排除,避免分析悄悄扩大 |
| assumptions | 为继续分析而暂时采用的假设 | 写出验证方式和失效条件 |
至少把输入版本、范围、环境、证据位置和负责人放在一起。没有运行记录时,只能交付分析、设计或验证计划,不能写执行通过。
从问题到结构化发现
先把来源、范围、证据状态、分析判断、责任角色、动作、关闭条件和验证方式连起来,再写结论。下面的案例保留这个 Skill 的专属编号和领域语境。
分层写法
围绕选择依据,不要把四种语气揉成一句“建议通过”:
| 层次 | 写法 | 本文应用 |
|---|---|---|
| 事实 | 材料直接显示了什么 | 引用来源中的重点、版本、输入或运行记录 |
| 基于证据的推断 | 多个事实共同支持的判断 | 说明推断链,并保留不确定性 |
| 建议 | 下一步最小动作是什么 | 指定补证、复核、执行或回归路径 |
| 人工决策 | 谁需要决定什么 | 由负责人确认范围、风险接受、资源和发布含义 |
一个完整案例
本节按输入、分析、发现、决策和验证展开;材料不足时保留 missing、conflicting 或 assumptions,不把它们改写成通过。
输入
| 材料 | 这次提供什么 | 缺失时的处理 |
|---|---|---|
| 变更面 | 受影响的提交、依赖、接口结构、配置和功能开关 | 影响未知时保留更宽范围 |
| 套件证据 | 历史运行、时长、失败、flaky、负责人和覆盖理由 | 不要只根据通过率推断安全 |
| 执行设计 | 选择规则、排序、工作进程、缓存键、环境和隔离 | 未经验证的缓存复用标为 pending |
| 风险边界 | 关键流程、发布限制和全量回退条件 | 风险接受由负责人决定 |
可以这样调用:
请使用 regression-optimization Skill。
任务:为同时修改税费计算和共享定价代码的结账变更缩短发布前反馈时间。
输入材料:[diff、依赖图、套件清单、运行历史、耗时、缓存键和关键流程]
范围:[合并前与发布流水线]
限制:[两个 CI Worker、不能丢失支付与税费覆盖]
评估选择依据、排序、并行、缓存和风险保留。给出隔离验证实验,没有证据支持的速度或安全结论保持 pending。
分析
先根据输入、检查矩阵和证据状态整理判断,再进入发现;缺失材料保留为缺口。
发现
聚焦例子:加速税费回归,不要藏住共享代码影响
基于文件的选择器因为只改了定价文件,就排除了支付测试。但共享定价代码也参与税费和支付总额,这个边界需要被质疑;下一步可以使用依赖感知的测试组并行执行。只有缓存键包含影响结果的代码、环境、数据和配置时,缓存复用才有验证基础。
这个 Skill 可以把优化规则与套件和风险证据对照,不能在验证运行完成前声称风险降低或缓存复用安全。
示例发现:把一次问题写成可交接动作
下面的字段示例只展示记录方式,不代表真实环境已经执行。
假设当前材料无法证明“选择依据”已经满足要求,发现可以这样写。它既不替团队补写规则,也不把缺失证据伪装成失败。
| 字段 | 示例写法 |
|---|---|
| 来源与范围 | 记录本轮使用的需求、版本、环境和选择依据的具体对象 |
| 发现 | 选择依据的判断条件或结果仍缺少可追溯依据 |
| 证据状态 | missing / assumptions;如果来源相互矛盾则改为 conflicting |
| 影响与优先级 | 说明会影响哪个用户、链路或交付决定,不凭感觉扩大等级 |
| 负责人和人工决策 | 由业务、开发、安全或测试负责人确认规则和风险取舍 |
| 动作与关闭条件 | 补齐最小证据;关闭条件是来源、判断和责任人都能复核 |
| 验证 | 指定一次可重复的检查、查询或运行,并保存原始产物 |
这类记录的重点是让下一位同事能从发现回到来源,再执行一项能改变结论的动作。
决策
责任角色和待决策问题应由对应负责人确认;Skill 不替他们做风险取舍。
验证
关闭前按发现中的验证方式执行,并保留原始产物;没有执行记录时,状态仍然保持未验证。
发现如何进入下一阶段
交接产物
| 产物 | 要回答的问题 | 示例状态 |
|---|---|---|
| 选择依据 | 为什么某组测试被纳入或跳过 | 变更面与风险关联 |
| 执行方案 | 顺序、并行组、隔离和缓存条件 | 可复现规则 |
| 风险保留 | 关键覆盖和全量回退条件 | 明确逃逸边界 |
| 验证结果 | 实验实际观察到什么 | 时长、失败与证据状态 |
每条结论都应该能回到来源、证据状态和下一步动作。材料不足时使用 pending、blocked、未评估或 NOT_SCORED,不要用自信填空。
下一步路由
至少交付来源、证据状态、负责人、关闭条件和验证动作;下一阶段的结论仍受证据状态约束。
怎样准备更好的输入
提供变更面、依赖信息、套件清单、历史运行记录、当前缓存键、关键流程和全量回退条件。影响不确定时明确写出,不要凭惯例缩小范围。
交接时至少保留输入版本、范围、时间窗口、证据索引、假设、人工决策边界和最小验证动作。
和其他 Skill 怎么配合
容易踩的坑
- 只选择变更文件对应的测试,漏掉共享库、接口结构或配置的影响。
- 只测到时长变短,却没有记录关键流程是否移出选择集。
- 在代码、环境、数据或功能开关不同的情况下复用缓存结果。
安装与调用
npx skills add https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/regression-optimization -g
请使用 regression-optimization Skill。
提供目标、范围、版本、证据路径、限制和决策边界。
先审计输入,保留证据状态,最后给出负责人、关闭条件和验证方式。
常见问题
历史通过率可以作为跳过测试的理由吗?
不可以。还需要变更影响、被保护的风险、环境和验证实验。
什么时候应该跑全量套件?
根据风险定义,例如高影响共享改动、选择器不确定、缓存失效、发布门禁,或优化证据已经过期。
参考
源 Skill 与执行契约
完整执行规则在 回归优化 提示词。源目录 中还可能包含评测用例和补充材料。
静态计划、文件存在和试运行仍保留原有证据状态,不能变成运行时证明、全部通过结论或发布批准。
参考链接
- 回归优化 提示词:https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/regression-optimization/prompts/regression-optimization.md
- 回归优化 Skill 源文件:https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/regression-optimization
- 回归优化 详情页:https://inaodeng.com/zh-cn/qaskills/regression-optimization/
- Awesome QA Skills 项目:https://github.com/naodeng/awesome-qa-skills