测试套件很大、结果全绿，仍然可能漏掉最重要的缺陷。测试有效性要问：产生了什么信号，覆盖什么风险，无法发现什么，以及如何验证缺口。

为什么需要这个 Skill

Test Effectiveness 分析 Skill 把测试信号与缺陷、风险、漏检限制、错误信号和验证计划连接起来，把指标或结果变成有证据边界的改进讨论。

Skill 用来做什么

本文关注的是信号与风险的关系，而不是测试数量。

当你要复核测试计划、结果或指标是否真的支持目标风险时，使用这个 Skill。它不替代风险接受，也不会把通过率变成产品质量结论。

好的分析需要写清测试信号、风险覆盖、漏检限制、错误信号、证据状态、验证方式、负责人、关闭条件和残余风险。

当团队质疑增加测试是否真的提升发现能力、缺陷在全绿之后逃逸，或 flaky 信号正在影响质量决策时，使用这个 Skill。

它不做什么

测试有效性分析 Skill 可以组织信号判断的材料、证据和下一步动作，但它不能替代：

  • 业务或领域负责人对规则、范围和风险的确认。
  • 真实环境、账号、数据、日志或运行结果；静态分析不会自动升级为运行证据。
  • 发布、合规、生产操作和残余风险接受等授权决定。
  • 在输入相互冲突时替团队选择一个未经确认的事实。

它主要检查哪些内容

这个 Skill 的价值不在于把关键词再列一遍，而在于把每个关注点接到可观察的输入、判断和收口动作。先用源 Skill 已定义的输出字段整理一张小矩阵：

检查关注点开始前要问结果应留下什么
信号判断测试结果实际说明什么来源与证据状态
风险覆盖哪些故障模式被保护或没有被保护依据与限制
漏检或错误信号全绿或全红可能隐藏什么不确定性
验证计划能改变结论的最小检查负责人和关闭条件

如果某一行只有经验判断、没有来源或验证方法，就把它留在待确认项里，不要提前写成通过。

开始之前先审计输入

围绕“信号判断”开始分析时，先把输入分成六种状态。缺口不会自动变成失败，但也不能被隐藏在结论里。

状态含义本 Skill 的处理方式
known材料直接证明的事实标出来源、版本和时间，允许进入判断
missing本轮需要但尚未提供的材料列出最小补证动作，结论保持受限
conflicting来源之间互相矛盾并列来源和冲突点，交给负责人裁决
stale材料存在但版本或时间已经过期标出新鲜度，不把旧结论当当前事实
out_of_scope有关但不在本轮范围内明确排除，避免分析悄悄扩大
assumptions为继续分析而暂时采用的假设写出验证方式和失效条件

至少把输入版本、范围、环境、证据位置和负责人放在一起。没有运行记录时，只能交付分析、设计或验证计划，不能写执行通过。

从问题到结构化发现

先把来源、范围、证据状态、分析判断、责任角色、动作、关闭条件和验证方式连起来，再写结论。下面的案例保留这个 Skill 的专属编号和领域语境。

分层写法

围绕信号判断，不要把四种语气揉成一句“建议通过”：

层次写法本文应用
事实材料直接显示了什么引用来源中的重点、版本、输入或运行记录
基于证据的推断多个事实共同支持的判断说明推断链，并保留不确定性
建议下一步最小动作是什么指定补证、复核、执行或回归路径
人工决策谁需要决定什么由负责人确认范围、风险接受、资源和发布含义

一个完整案例

本节按输入、分析、发现、决策和验证展开；材料不足时保留 missing、conflicting 或 assumptions，不把它们改写成通过。

输入

材料这次提供什么缺失时的处理
测试信号套件结果、变异结果、缺陷发现、告警或指标定义明确说明信号含义
风险与缺陷证据故障模式、逃逸缺陷、受影响流程和预期行为不要从名称推断覆盖
窗口与环境版本、数据、执行时间、环境和对比队列上下文缺失要标出
验证计划最小实验、证据来源、负责人和停止条件建议与执行分开

可以这样调用：

请使用 test-effectiveness-analysis Skill。

任务：分析结账契约测试是否发现了最近两个发布中的退款缺陷。
输入材料：[测试结果、缺陷记录、风险清单、变更范围、版本和环境]
范围：[退款 API 与下游账本]
限制：[不做无依据的通过或因果结论]

覆盖测试信号、风险覆盖、漏检限制、错误信号、验证计划、证据状态、负责人和残余风险。

分析

先根据输入、检查矩阵和证据状态整理判断，再进入发现；缺失材料保留为缺口。

发现

聚焦例子：解释退款逃逸后的全绿套件

契约测试验证了退款接口 schema，但逃逸缺陷发生在成功响应后的账本入账。这个 Skill 应区分 API 契约信号和端到端风险覆盖，指出漏检边界，并建议增加一条可追踪的账本断言或重放。不能因为一次逃逸就说整个套件无效。

分析可以把已有信号与风险关联，不能在没有合适时间窗口和证据前证明因果有效性、零漏检或发布就绪。

示例发现：把一次问题写成可交接动作

下面的字段示例只展示记录方式，不代表真实环境已经执行。

假设当前材料无法证明“信号判断”已经满足要求，发现可以这样写。它既不替团队补写规则，也不把缺失证据伪装成失败。

字段示例写法
来源与范围记录本轮使用的需求、版本、环境和信号判断的具体对象
发现信号判断的判断条件或结果仍缺少可追溯依据
证据状态missing / assumptions；如果来源相互矛盾则改为 conflicting
影响与优先级说明会影响哪个用户、链路或交付决定，不凭感觉扩大等级
负责人和人工决策由业务、开发、安全或测试负责人确认规则和风险取舍
动作与关闭条件补齐最小证据；关闭条件是来源、判断和责任人都能复核
验证指定一次可重复的检查、查询或运行，并保存原始产物

这类记录的重点是让下一位同事能从发现回到来源，再执行一项能改变结论的动作。

决策

责任角色和待决策问题应由对应负责人确认；Skill 不替他们做风险取舍。

验证

关闭前按发现中的验证方式执行，并保留原始产物；没有执行记录时，状态仍然保持未验证。

发现如何进入下一阶段

交接产物

产物要回答的问题示例状态
信号判断测试结果实际说明什么来源与证据状态
风险覆盖哪些故障模式被保护或没有被保护依据与限制
漏检或错误信号全绿或全红可能隐藏什么不确定性
验证计划能改变结论的最小检查负责人和关闭条件

每条结论都应该能回到来源、证据状态和下一步动作。材料不足时使用 pending、blocked、未评估或 NOT_SCORED，不要用自信填空。

下一步路由

至少交付来源、证据状态、负责人、关闭条件和验证动作；下一阶段的结论仍受证据状态约束。

怎样准备更好的输入

提供风险和缺陷记录、测试意图、带版本和环境的结果、变更面、误报数据以及分析要支持的决定。没有可比窗口时，因果结论保持未评估。

交接时至少保留输入版本、范围、时间窗口、证据索引、假设、人工决策边界和最小验证动作。

和其他 Skill 怎么配合

容易踩的坑

  1. 把通过率或测试数量当作有效性分数。
  2. 一次逃逸就推断所有相关测试没有价值。
  3. 忽略误报，导致注意力被消耗并掩盖真正信号。

安装与调用

npx skills add https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/test-effectiveness-analysis -g
请使用 test-effectiveness-analysis Skill。
提供目标、范围、版本、证据路径、限制和决策边界。
先审计输入，保留证据状态，最后给出负责人、关闭条件和验证方式。

常见问题

一次发布能算出有效性吗？

通常不能做广泛因果结论。可以把它作为受限观察，并写清缺少的对比或验证。

变异分数能证明真实缺陷发现能力吗？

不能。它只是一个信号，仍需复核变异设计、映射关系和限制。

参考

源 Skill 与执行契约

完整执行规则在 测试有效性分析 提示词。源目录 中还可能包含评测用例和补充材料。

静态计划、文件存在和 dry-run 保留原有证据状态，不能变成运行时证明、全部通过结论或发布批准。

参考链接

安全测试白盒测试背靠背测试本地化测试边界测试
分享