可靠性不是“服务通常能工作”这种印象;它要把可用性目标、真实故障模式、暴露窗口和可检查证据连起来。
为什么需要这个 Skill
可靠性测试 Skill 帮助团队整理故障模式和暴露范围,不把静态架构图或一周没有事故当作运行能力的证明。
Skill 用来做什么
复核结果应指出需要隔离哪种故障,以及哪些证据会改变可靠性判断。每个重要故障模式都要关联预期行为、受影响对象和暴露窗口、证据来源、验证方式、负责人及停止条件。
在评估可用性目标、依赖故障、降级模式、暴露窗口和证据就绪度时可以使用这个 Skill;计划韧性演练、依赖或流量发生变化,或 SLO 缺少明确验证路径时也适用。它不会自行注入故障或访问生产系统。
它不做什么
可靠性测试 Skill 可以组织可靠性目标的材料、证据和下一步动作,但它不能替代:
- 业务或领域负责人对规则、范围和风险的确认。
- 真实环境、账号、数据、日志或运行结果;静态分析不会自动升级为运行证据。
- 发布、合规、生产操作和残余风险接受等授权决定。
- 在输入相互冲突时替团队选择一个未经确认的事实。
它主要检查哪些内容
先用源 Skill 已定义的输出字段整理矩阵,把每项关注点连到可观察的输入、判断和后续动作:
| 检查关注点 | 开始前要问 | 结果应留下什么 |
|---|---|---|
| 可靠性目标 | 预期可用性或降级行为 | 来源与统计窗口 |
| 故障模式判断 | 某个故障下服务应该如何表现 | 场景与证据状态 |
| 暴露分析 | 谁或什么会受影响、影响多久 | 影响范围与未知项 |
| 证据计划 | 哪个指标、链路追踪或演练可以减少不确定性 | 负责人和停止条件 |
如果某一行只有经验判断、没有来源或验证方法,就把它留在待确认项里,不要提前写成通过。
先核对 SLI 口径与观测窗口
比较可用性目标前,先按项目定义记录 SLI 的事件口径、成功/失败条件、分母、排除规则、观测窗口和数据来源。请求成功率与时间可用性不是同一种指标,不能互换或直接合并。
| 指标类型 | 要保留的依据 | 复核重点 |
|---|---|---|
| 请求型 SLI | 成功请求、符合统计条件的总请求、明确排除项 | 按定义处理重试、重复事件和缺失记录;说明分子与分母 |
| 时间型 SLI | 应观测时段、可用时段、缺测区间 | 说明采样和缺测处理;不能用请求数量替代时间 |
| 故障时间线 | 起止时间、持续时长、重复故障、检测与恢复记录 | 说明观测是否覆盖目标负载;短窗口不能直接外推长期可靠性 |
统计口径、来源或窗口不兼容时,分别报告,不要拼成一个结论。
开始之前先审计输入
开始分析前,先用六种状态标注输入。缺口不自动等于失败,但不能从结论中省略。
| 状态 | 含义 | 本 Skill 的处理方式 |
|---|---|---|
| known | 材料直接证明的事实 | 标出来源、版本和时间,允许进入判断 |
| missing | 本轮需要但尚未提供的材料 | 列出最小补证动作,结论保持受限 |
| conflicting | 来源之间互相矛盾 | 并列来源和冲突点,交给负责人裁决 |
| stale | 材料存在但版本或时间已经过期 | 标出新鲜度,不把旧结论当当前事实 |
| out_of_scope | 有关但不在本轮范围内 | 明确排除,避免分析悄悄扩大 |
| assumptions | 为继续分析而暂时采用的假设 | 写出验证方式和失效条件 |
至少把输入版本、范围、环境、证据位置和负责人放在一起。没有运行记录时,只能交付分析、设计或验证计划,不能写执行通过。
从问题到结构化发现
先把来源、范围、证据状态、分析判断、责任角色、动作、关闭条件和验证方式连起来,再写结论。
分层写法
围绕可靠性目标,不要把四种语气揉成一句“建议通过”:
| 层次 | 写法 | 本文应用 |
|---|---|---|
| 事实 | 材料直接显示了什么 | 引用来源中的重点、版本、输入或运行记录 |
| 基于证据的推断 | 多个事实共同支持的判断 | 说明推断链,并保留不确定性 |
| 建议 | 下一步最小动作是什么 | 指定补证、复核、执行或回归路径 |
| 人工决策 | 谁需要决定什么 | 由负责人确认范围、风险接受、资源和发布含义 |
一个完整案例
材料不足时保留 missing、conflicting 或 assumptions 状态,不把它们改写成通过。
输入
| 材料 | 这次提供什么 | 缺失时的处理 |
|---|---|---|
| 可用性目标 | SLO 或业务目标、服务边界、SLI 定义和统计窗口 | 目标或口径没有依据时标为待确认 |
| 故障模式 | 队列延迟、供应商不可用、存储饱和或依赖超时 | 不要只写系统不可用 |
| 暴露窗口 | 每个模式影响的用户、操作、区域和持续时间 | 影响范围未知时标为未评估 |
| 证据就绪度 | 指标、日志、链路追踪、告警、运行手册和安全测试环境 | 设计证据与执行证据分开 |
可以这样调用:
请使用 reliability-testing Skill。
任务:为依赖队列和第三方邮件供应商的通知服务准备可靠性复核。
输入材料:[SLO、依赖图、故障模式、流量窗口、指标、告警和 runbook]
范围:[授权的 staging 设计复核,以及脱敏生产证据的只读复核]
限制:[不注入生产故障、供应商数据脱敏]
覆盖可用性目标、故障模式、暴露窗口和证据就绪度。明确标记待确认、blocked 或未评估项,并给出最小隔离验证方法。
分析
先用检查矩阵和证据状态形成判断,再记录发现;缺失材料继续保留为缺口。
发现
聚焦例子:复核供应商故障,不要凭空推导可用性
以下是说明性场景:假设邮件供应商协议提到请求可能超时,通知服务设计也写了重试,却没有说明队列背压或用户可见状态。复核应把超时和重试标为已有材料支持的事实,把背压和状态处理标为缺失,并要求补充队列、告警及暴露范围证据。一次预发布冒烟测试只覆盖其中一次运行,不能据此推导可用性百分比。
复核可以根据已有材料分类目标和证据就绪度,不能在授权验证产生运行时证据前证明真实可用性、故障隔离或恢复行为。
示例发现:把一次问题写成可交接动作
以下是说明性字段示例:若当前材料无法证明可靠性目标已满足,可以按下表记录;不要替团队补写规则,也不要把缺失证据写成失败。
| 字段 | 示例写法 |
|---|---|
| 来源与范围 | 记录本轮使用的需求、版本、环境和可靠性目标的具体对象 |
| 发现 | 可靠性目标的判断条件或结果仍缺少可追溯依据 |
| 证据状态 | missing / assumptions;如果来源相互矛盾则改为 conflicting |
| 影响与优先级 | 说明会影响哪个用户、链路或交付决定,不凭感觉扩大等级 |
| 负责人和人工决策 | 由业务、开发、安全或测试负责人确认规则和风险取舍 |
| 动作与关闭条件 | 补齐最小证据;关闭条件是来源、判断和责任人都能复核 |
| 验证 | 指定一次可重复的检查、查询或运行,并保存原始产物 |
记录应让下一位同事能追溯来源,并看清哪项动作可能改变判断。
决策
责任角色和待决策问题应由对应负责人确认;Skill 不替他们做风险取舍。
验证
关闭前按发现中的验证方式执行,并保留原始产物;没有执行记录时,状态仍然保持未验证。
发现如何进入下一阶段
交接产物
| 产物 | 要回答的问题 | 示例状态 |
|---|---|---|
| 可靠性目标 | 预期可用性或降级行为 | 来源与统计窗口 |
| 故障模式判断 | 某个故障下服务应该如何表现 | 场景与证据状态 |
| 暴露分析 | 谁或什么会受影响、影响多久 | 影响范围与未知项 |
| 证据计划 | 哪个指标、链路追踪或演练可以减少不确定性 | 负责人和停止条件 |
每条结论都应该能回到来源、证据状态和下一步动作。材料不足时保留待确认、BLOCKED、UNASSESSED 或 NOT_SCORED,不要用肯定语气填补证据空白。
下一步路由
下一阶段可据证据状态安排补证、验证或人工决策;不要把待确认结论直接提升为通过。
怎样准备更好的输入
提供目标来源、依赖和故障模式图、暴露窗口、SLI 定义与分母、统计窗口、告警与运行手册、环境和数据限制。没有批准的目标时写明证据缺口,不要自行发明 SLO。交接时保留输入版本、范围、时间窗口、证据索引、假设、人工决策边界和最小验证动作。
和其他 Skill 怎么配合
- 恢复测试: https://inaodeng.com/zh-cn/qaskills/recovery-testing/;检查服务或数据恢复之后的行为。
- 混沌测试: https://inaodeng.com/zh-cn/qaskills/chaos-testing/;设计受控的故障实验。
- 可观测性设计复核: https://inaodeng.com/zh-cn/qaskills/observability-design-review/;检查可靠性证据能否被观察到。
容易踩的坑
- 把历史在线率当作未观察过的依赖故障也能处理的证明。
- 只描述故障模式,不写用户暴露、预期降级行为或告警。
- 没有定义隔离场景和停止条件,就先做大范围故障注入。
安装与调用
npx skills add https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh --skill reliability-testing
请使用 reliability-testing Skill。
提供目标、范围、版本、证据路径、限制和决策边界。
先审计输入,保留证据状态,最后给出负责人、关闭条件和验证方式。
常见问题
这个 Skill 能替我们设定 SLO 吗?
不能。它可以暴露目标、统计窗口和验证路径缺失,但目标必须由服务和业务负责人决定。
一段时间没有事故算可靠性证据吗?
它只描述一个有限的观察窗口。还要看这段时间是否暴露于目标故障模式;没有相关暴露证据,就不能据此推断系统能处理未发生的故障。
请求成功率等于时间可用性吗?
不等于。按项目定义的事件和统计窗口分别计算;若两种指标的口径不同,就分别报告,不能互相替代。
参考
源 Skill 与执行契约
完整执行规则见可靠性测试提示词: https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/reliability-testing/prompts/reliability-testing.md。源目录: https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/reliability-testing 中还可能包含评测用例和补充材料。
静态计划、文件存在和空跑保留原有证据状态,不能变成运行时证明、全部通过结论或发布批准。