错误消息可以技术上准确,却不给用户任何安全的下一步。堆栈信息可以帮助运维,也可能同时泄露秘密。
为什么需要这个 Skill
错误处理设计评审在实现前检查每条失败路径是否有证据支持的行为定义:如何分类和传播、调用方看到什么、如何观察,以及如何恢复。
Skill 用来做什么
当团队需要跨失败模式评审“失败分类、调用方动作、可重试性、回退、可观察性、隐私、数据一致性和恢复”时,使用错误处理设计评审 Skill。它准备发现项与验证动作,不执行故障注入,也不证明运行行为正确。
Awesome QA Skills: https://github.com/naodeng/awesome-qa-skills 按语言和测试阶段组织 Skill。系列总览: https://inaodeng.com/zh-cn/blog/ai-testing/introduction_of_awesome_qa_skills/ 解释通用安装方式,本文只聚焦错误处理设计评审。
好的评审会沿着同一个失败检查三层契约:调用方得到安全且稳定的结果,运维拿到足以诊断问题且符合隐私要求的证据,系统则保持数据一致,或明确需要由谁决定恢复方式。
适用于校验拒绝、鉴权拒绝、超时、依赖故障、限流、重复请求、事务冲突、部分成功或数据损坏等失败路径。资料不完整或多个来源冲突、但仍需要受限评审,或交接时需要说明尚未验证的行为,也可以使用这个 Skill。
它不做什么
错误处理设计评审 Skill 可以组织失败模式的证据和下一步动作,但它不能替代:
- 业务或领域负责人对规则、范围和风险的确认。
- 真实环境、账号、数据、日志或运行结果;静态分析不会自动升级为运行证据。
- 发布、合规、生产操作和残余风险接受等授权决定。
- 在输入相互冲突时替团队选择一个未经确认的事实。
它主要检查哪些内容
沿着一次失败从触发条件追到调用方结果、系统状态和恢复证据;不同失败类型不能共用一个模糊结论:
| 失败路径 | 评审问题 | 发现证据 |
|---|---|---|
| 校验、鉴权和限流 | 什么条件触发、适用哪个边界、调用方可以做什么? | 契约规定的拒绝结果和调用方可见反馈 |
| 超时、依赖故障和事务冲突 | 重试是否安全?原操作是否可能已提交? | 重试/退避或人工接管规则、错误传播和数据一致性 |
| 重复请求、部分成功和数据损坏 | 已经有哪些状态可能发生变化? | 幂等、补偿、回退或安全停止决策 |
| 熔断、降级和交接 | 什么条件下停止、降级或转交运维? | 负责人、关闭条件和恢复证据 |
| 遥测与隐私 | 如何诊断失败,同时避免暴露秘密或载荷? | 必需的日志/指标/链路字段与隐私边界 |
如果某一行只有经验判断、没有来源或验证方法,就把它留在待确认项里,不要提前写成通过。
开始之前先审计输入
围绕一条失败路径分析时,先把输入分成六种状态。缺口不会自动变成失败,但也不能被隐藏在结论里。
| 状态 | 含义 | 本 Skill 的处理方式 |
|---|---|---|
| known | 材料直接证明的事实 | 标出来源、版本和时间,允许进入判断 |
| missing | 本轮需要但尚未提供的材料 | 列出最小补证动作,结论保持受限 |
| conflicting | 来源之间互相矛盾 | 并列来源和冲突点,交给负责人裁决 |
| stale | 材料存在但版本或时间已经过期 | 标出新鲜度,不把旧结论当当前事实 |
| out_of_scope | 有关但不在本轮范围内 | 明确排除,避免分析悄悄扩大 |
| assumptions | 为继续分析而暂时采用的假设 | 写出验证方式和失效条件 |
至少把输入版本、范围、环境、证据位置和负责人放在一起。没有运行记录时,只能交付分析、设计或验证计划,不能写执行通过。
从问题到结构化发现
先把来源、范围、证据状态、分析判断、责任角色、动作、关闭条件和验证方式连起来,再写结论。下面的案例保留这个 Skill 的专属编号和领域语境。
分层写法
针对每种失败模式,分开写事实、证据支持的推断、建议和人工决策:
| 层次 | 写法 | 本文应用 |
|---|---|---|
| 事实 | 材料直接显示了什么 | 引用来源中的重点、版本、输入或运行记录 |
| 基于证据的推断 | 多个事实共同支持的判断 | 说明推断链,并保留不确定性 |
| 建议 | 下一步最小动作是什么 | 指定补证、复核、执行或回归路径 |
| 人工决策 | 谁需要决定什么 | 由负责人确认范围、风险接受、资源和发布含义 |
一个完整案例
本节按输入、分析、发现、决策和验证展开;材料不足时保留 missing、conflicting 或 assumptions 状态,不把它们改写成通过。
输入
| 材料 | 这次提供什么 | 缺失时怎么处理 |
|---|---|---|
| 失败范围 | 校验、队列、工作进程、存储、下载和受影响的用户状态 | 列出纳入的阶段及负责人 |
| 行为契约 | 触发/边界、可重试性、传播、调用方结果和数据影响 | 未文档化的行为保留为问题 |
| 证据与恢复 | 遥测/隐私规则、重试/退避、回退、补偿和交接 | 找出最小补充来源或验证动作 |
可以这样调用:
请使用 error-handling-design-review Skill。
任务:在实现前评审一个可能在校验、入队、生成、存储或下载阶段失败的报表导出流程的设计路径
输入材料:[需求、版本、链接、日志、报告或数据路径]
范围:[本次包含和排除的对象]
未知项:[缺失的环境、账号、数据或权限]
期望输出:[按风险排序的发现、证据状态和下一步动作]
先审计输入。分开写事实、假设和待确认问题。没有运行记录时不要声称已经执行。
分析
先列出报表导出的阶段,并为每一种失败模式建立一行。生成后写入存储失败时,先确认触发条件与边界,再根据输入契约将预期行为归为可重试、不可重试、需要人工介入或安全拒绝。继续追踪报表任务是否可能已经存在、调用方会收到什么结果、适用何种回退或交接,以及需要哪些符合隐私要求的遥测字段。如果幂等性、提交状态、重试规则或调用方文案没有来源,就保留为待确认项;不要直接建议重试,也不要声称已复现故障。
交接产物要保留输入版本、时间窗口、证据索引、负责人和下一次验证动作。Skill 可以整理不确定性,不能制造缺失的产物。
发现
示例发现:把一次问题写成可交接动作
下面的字段示例只展示记录方式,不代表真实环境已经执行。
每个 EH-## 聚焦一个边界上的一种失败模式。下面的例子在来源契约缺失处保留未决状态;它是设计发现,不是事故记录或执行结果。
| EH-01 字段 | 报表生成后存储写入失败 |
|---|---|
| 触发条件与边界 | 生成完成后存储拒绝写入或超时;具体提交边界尚未提供 |
| 预期行为类型 | 契约确认前为 unknown:可重试、不可重试、人工介入或安全拒绝 |
| 错误传播与回退 | 调用方结果、回退和交接均为 missing;不自行推断可以重试 |
| 数据一致性 | 查明生成产物/任务是否已存在,以及重复操作会否造成重复工作 |
| 可观察证据 | 确认所需任务/关联 ID 和错误类别;按隐私契约排除文件内容和秘密 |
| 来源与证据状态 | 未提供需求/API 版本:missing;未执行故障注入 |
| 影响、优先级和负责人 | 依据证据描述用户/任务影响;由导出/API 负责人确认优先级和行为 |
| 验证与关闭条件 | 先复核来源契约,再制定获准且可重复的检查;预期行为、调用方结果、负责人和证据均可复核后,关闭设计缺口 |
这条记录应帮助接手者回到失败契约,并判断下一步是补证、修订设计还是准备受控验证。
决策
重试、降级、补偿或停止都取决于错误契约和数据状态,应由接口与业务负责人确认。
验证
关闭前按发现中的验证方式执行,并保留原始产物;没有执行记录时,状态仍然保持未验证。
发现如何进入下一阶段
交接产物
| 输出 | 每条 EH-## 必须保留的字段 | 示例状态 |
|---|---|---|
| 失败边界 | 模式、触发、边界、预期行为类型和来源 | 契约缺失时为 missing |
| 调用方/系统行为 | 传播、回退、重试规则、可见结果和数据一致性 | 来源复核前为 unassessed |
| 证据与责任 | 符合隐私的遥测、影响/优先级、负责人、验证和关闭条件 | 检查实际运行前为 unverified |
没有足以支持结论的证据时,不要写“已通过”。好的评审会要求同一个失败在三个层面都说得通:调用方看到稳定结果,运维看到可诊断且符合隐私要求的事件,系统则有证据支持的一致性或恢复路径。
下一步路由
至少交付来源、证据状态、负责人、关闭条件和验证动作;下一阶段的结论仍受证据状态约束。
怎样准备更好的输入
如果第一次调用只有一行目标,输出就应该保持受限。补充来源版本、受影响对象、环境、已知缺陷和决策负责人,才能从看起来完整的清单推进到可用评审。
这里补充信息会改变结果,因为失败分类、用户动作、可重试性、回退、可观察性、隐私和恢复必须接回证据,不能只靠熟悉的测试套路推断。
实践建议
- 一次先评审一种触发条件和边界,再沿着预期行为检查错误传播、重试或回退、状态变化和遥测。
- 来源没有说明原操作是否提交、重复执行是否安全时,不要直接建议重试。
- 优先处理高影响缺口,并请求足以解除疑问的最小证据或隔离检查。
和其他 Skill 怎么配合
- API 错误契约测试: https://inaodeng.com/zh-cn/qaskills/api-error-contract-testing/;检查机器可读的失败响应。
- 根因分析: https://inaodeng.com/zh-cn/qaskills/root-cause-analysis/;在设计评审后追踪失败根因。
- 恢复测试: https://inaodeng.com/zh-cn/qaskills/recovery-testing/;验证设计出的恢复路径。
容易踩的坑
- 所有失败都返回一个通用错误。
- 为了诊断把敏感载荷写进日志。
- 没有判断原操作是否提交就重试。
安装与调用
从中文语言目录单独安装这个 Skill:
npx skills add https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh --skill error-handling-design-review
安装后使用 error-handling-design-review Skill,并附上真实项目材料。
常见问题
用户应该看到技术错误码吗?
必要时可以提供安全的支持查询编号,但内部细节和秘密不能出现在消息里。
没有回退路径怎么办?
明确说明,定义停止或升级动作,不要假装错误可以恢复。
参考
源 Skill 与执行契约
完整执行契约见错误处理设计评审提示词: https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/error-handling-design-review/prompts/error-handling-design-review.md。调用 Skill 前先阅读它;提示词定义了详细流程和输出契约。源目录: https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/error-handling-design-review 中包含入口文件以及实际存在的配套资料。
入口文件重点约束失败分类、用户动作、可重试性、回退、可观察性、隐私和恢复。要保留它的决策边界,不要把静态设计写成执行结论。
延伸阅读
-
Awesome QA Skills 项目主页: https://github.com/naodeng/awesome-qa-skills
-
错误处理设计评审 详情页: https://inaodeng.com/zh-cn/qaskills/error-handling-design-review/
更多参考
- 个人网站链接:https://inaodeng.com/zh-cn/
- 微信公众号:软件测试同学
- AI 生成测试检测项目:https://github.com/AI-Native-QA-Lab/ai-test-auditor
- DeepSeek QA 工作台项目:https://github.com/naodeng/dsh-qa
- 更多 AI 测试技能:https://inaodeng.com/zh-cn/qaskills/
- 更多测试百科:https://inaodeng.com/zh-cn/wiki/
- 更多 AI 百科:https://inaodeng.com/zh-cn/AIWiki/