有些系统太复杂或太不确定,无法为每个输入给出唯一正确答案。但你仍然可以问:受控改变输入后,某个关系是否应该保持或发生变化。

为什么需要这个 Skill

蜕变测试设计通过输入变换和多次执行之间的关系,测试那些精确预言机昂贵、不完整或不可用的系统。

Skill 用来做什么

当团队需要围绕“输入变换、预期关系、不变量、预言机限制、随机覆盖和关系违规证据”工作时,使用蜕变测试设计 Skill。

Awesome QA Skills 按语言和测试阶段组织 Skill。系列总览 解释通用安装方式,本文只聚焦蜕变测试设计。

好的蜕变设计会在生成用例前先写清关系。“结果应该相似”不是预言机,除非相似被定义为集合重叠、分数单调或不变量保持。

它适合这些场景:团队需要重复检查输入变换、预期关系、不变量、预言机限制、随机覆盖和关系违规证据;多个证据来源互相矛盾;交接时必须说明哪些内容仍未验证。

它不做什么

蜕变测试设计 Skill 可以组织蜕变关系的材料、证据和下一步动作,但它不能替代:

  • 业务或领域负责人对规则、范围和风险的确认。
  • 真实环境、账号、数据、日志或运行结果;静态分析不会自动升级为运行证据。
  • 发布、合规、生产操作和残余风险接受等授权决定。
  • 在输入相互冲突时替团队选择一个未经确认的事实。

它主要检查哪些内容

这个 Skill 的价值不在于把关键词再列一遍,而在于把每个关注点接到可观察的输入、判断和收口动作。先用源 Skill 已定义的输出字段整理一张小矩阵:

检查关注点开始前要问结果应留下什么
蜕变关系输入变换与预期关系来源与置信度
关系违规哪些变化超出了预期关系输入对与产物
后续动作预言机、模型、数据或实现检查负责人和下一轮运行

如果某一行只有经验判断、没有来源或验证方法,就把它留在待确认项里,不要提前写成通过。

开始之前先审计输入

围绕“蜕变关系”开始分析时,先把输入分成六种状态。缺口不会自动变成失败,但也不能被隐藏在结论里。

状态含义本 Skill 的处理方式
known材料直接证明的事实标出来源、版本和时间,允许进入判断
missing本轮需要但尚未提供的材料列出最小补证动作,结论保持受限
conflicting来源之间互相矛盾并列来源和冲突点,交给负责人裁决
stale材料存在但版本或时间已经过期标出新鲜度,不把旧结论当当前事实
out_of_scope有关但不在本轮范围内明确排除,避免分析悄悄扩大
assumptions为继续分析而暂时采用的假设写出验证方式和失效条件

至少把输入版本、范围、环境、证据位置和负责人放在一起。没有运行记录时,只能交付分析、设计或验证计划,不能写执行通过。

从问题到结构化发现

先把来源、范围、证据状态、分析判断、责任角色、动作、关闭条件和验证方式连起来,再写结论。下面的案例保留这个 Skill 的专属编号和领域语境。

分层写法

围绕蜕变关系,不要把四种语气揉成一句“建议通过”:

层次写法本文应用
事实材料直接显示了什么引用来源中的重点、版本、输入或运行记录
基于证据的推断多个事实共同支持的判断说明推断链,并保留不确定性
建议下一步最小动作是什么指定补证、复核、执行或回归路径
人工决策谁需要决定什么由负责人确认范围、风险接受、资源和发布含义

一个完整案例

本节按输入、分析、发现、决策和验证展开;材料不足时保留 missing、conflicting 或 assumptions,不把它们改写成通过。

输入

材料这次提供什么缺失时怎么处理
系统行为输入、输出、已知不变量和可接受变化明确哪些内容无法精确断言
输入变换同义词、置换、缩放、重复或无关字段变化一次只隔离一种变换
证据原始与变换后输出、关系检查、模型版本和随机种子记录第一次违规

可以这样调用:

请使用 metamorphic-testing Skill。

任务:测试商品搜索排序器:加入同义词后,即使精确分数变化,相关商品集合仍应保持
输入材料:[需求、版本、链接、日志、报告或数据路径]
范围:[本次包含和排除的对象]
未知项:[缺失的环境、账号、数据或权限]
期望输出:[按风险排序的发现、证据状态和下一步动作]

先审计输入。分开写事实、假设和待确认问题。没有运行记录时不要声称已经执行。

分析

先从一个边界清楚的小回合开始:测试商品搜索排序器:加入同义词后,即使精确分数变化,相关商品集合仍应保持。给搜索查询增加一个同义词,再比较前 20 个商品 ID。允许排序变化,但要求相关集合达到最低重叠,并且不能出现被类别过滤排除的商品。

交接产物要保留输入版本、时间窗口、证据索引、负责人和下一次验证动作。Skill 可以整理不确定性,不能制造缺失的产物。

发现

示例发现:把一次问题写成可交接动作

下面的字段示例只展示记录方式,不代表真实环境已经执行。

假设当前材料无法证明“蜕变关系”已经满足要求,发现可以这样写。它既不替团队补写规则,也不把缺失证据伪装成失败。

字段示例写法
来源与范围记录本轮使用的需求、版本、环境和蜕变关系的具体对象
发现蜕变关系的判断条件或结果仍缺少可追溯依据
证据状态missing / assumptions;如果来源相互矛盾则改为 conflicting
影响与优先级说明会影响哪个用户、链路或交付决定,不凭感觉扩大等级
负责人和人工决策由业务、开发、安全或测试负责人确认规则和风险取舍
动作与关闭条件补齐最小证据;关闭条件是来源、判断和责任人都能复核
验证指定一次可重复的检查、查询或运行,并保存原始产物

这类记录的重点是让下一位同事能从发现回到来源,再执行一项能改变结论的动作。

决策

责任角色和待决策问题应由对应负责人确认;Skill 不替他们做风险取舍。

验证

关闭前按发现中的验证方式执行,并保留原始产物;没有执行记录时,状态仍然保持未验证。

发现如何进入下一阶段

交接产物

输出字段它要回答什么示例状态
蜕变关系输入变换与预期关系来源与置信度
关系违规哪些变化超出了预期关系输入对与产物
后续动作预言机、模型、数据或实现检查负责人和下一轮运行

没有运行记录、查询结果或原始产物时,不要写“已通过”。好的蜕变设计会在生成用例前先写清关系。“结果应该相似”不是预言机,除非相似被定义为集合重叠、分数单调或不变量保持。

下一步路由

至少交付来源、证据状态、负责人、关闭条件和验证动作;下一阶段的结论仍受证据状态约束。

怎样准备更好的输入

如果第一次调用只有一行目标,输出就应该保持受限。补充来源版本、受影响对象、环境、已知缺陷和决策负责人,才能从看起来完整的清单推进到可用评审。

这里补充信息会改变结果,因为输入变换、预期关系、不变量、预言机限制、随机覆盖和关系违规证据必须接回证据,不能只靠熟悉的测试套路推断。

和其他 Skill 怎么配合

容易踩的坑

  1. 没有领域关系就选择变换。
  2. 使用模糊的相似阈值。
  3. 没有先检查数据和模型漂移就把关系违规写成产品缺陷。

安装与调用

全局安装这个 Skill:

npx skills add https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/metamorphic-testing -g

安装后使用 metamorphic-testing Skill,并附上真实项目材料。

常见问题

蜕变测试只适合机器学习吗?

不适合。解析器、编译器、API、计算和工作流都可以有有用的关系。

关系本身不确定怎么办?

先标记为假设,验证领域预期后再把它用于失败预言机。

参考

源 Skill 与执行契约

完整执行契约位于 蜕变测试设计 提示词。调用 Skill 前先阅读它;提示词定义了详细流程和输出契约。源目录 中包含入口文件以及实际存在的配套资料。

入口文件重点约束输入变换、预期关系、不变量、预言机限制、随机覆盖和关系违规证据。要保留它的决策边界,不要把静态设计写成执行结论。

参考链接

分享