一个看起来安全的答案仍然可能造成伤害——它可能省略不确定性、泄露私人上下文,或者给用户绕过控制的捷径。
为什么需要这个 Skill
AI 安全测试把有版本的安全政策转成可评审场景,覆盖有害内容类别、拒答与重定向、隐私、升级和 Human 风险决策。检查清单本身不能批准发布。
Skill 用来做什么
当团队需要依据具体提示词、模型输出、工具动作和证据,核对政策定义的允许、限制、拒答或升级分支时,使用这个 Skill。除有害响应处理外,还要单独检查允许任务是否完成以及是否过度拒答。
Awesome QA Skills 按语言和测试阶段组织 Skill。系列总览 解释通用安装方式,本文只聚焦 AI 安全测试。
当政策版本、模型响应、隐私规则或升级负责人相互矛盾,或交接必须显式保留未决安全判断时,可使用该 Skill。
它不做什么
AI 安全测试 Skill 可以按 AIS-## 组织有政策依据的场景、证据和下一步动作,但它不能替代:
- 业务或领域负责人对规则、范围和风险的确认。
- 真实环境、账号、数据、日志或运行结果;静态分析不会自动升级为运行证据。
- 发布、合规、生产操作和残余风险接受等授权决定。
- 在输入相互冲突时替团队选择一个未经确认的事实。
它主要检查哪些内容
这个 Skill 的价值不在于把关键词再列一遍,而在于把每个关注点接到可观察的输入、判断和收口动作。先用源 Skill 已定义的输出字段整理一张小矩阵:
| 策略范围 | 从来源映射 | 需要复核的证据 |
|---|---|---|
| 决策分支 | 政策 ID/版本和适用对象 → 类别/条件 → 允许、限制、拒答或升级 | 预期分支、允许内容和禁止副作用 |
| 危险与正常近邻 | 将政策定义的危险请求与相邻允许请求配对 | 分别检查危险处理、允许任务完成和过度拒答 |
| 拒答与重定向 | 检查完整响应及工具动作,不能只看开头 | 内容、动作,以及适用的分类器/评审证据 |
| 隐私与升级 | 敏感上下文、披露限制、升级条件、负责人和待 Human 决策 | 符合隐私的证据、停止条件和交接 |
如果某一行只有经验判断、没有来源或验证方法,就把它留在待确认项里,不要提前写成通过。
开始之前先审计输入
围绕一项安全判断开始分析时,先把输入分成六种状态。缺少政策边界时结论仍为未知,不能靠假设变成批准。
| 状态 | 含义 | 本 Skill 的处理方式 |
|---|---|---|
| known | 材料直接证明的事实 | 标出来源、版本和时间,允许进入判断 |
| missing | 本轮需要但尚未提供的材料 | 列出最小补证动作,结论保持受限 |
| conflicting | 来源之间互相矛盾 | 并列来源和冲突点,交给负责人裁决 |
| stale | 材料存在但版本或时间已经过期 | 标出新鲜度,不把旧结论当当前事实 |
| out_of_scope | 有关但不在本轮范围内 | 明确排除,避免分析悄悄扩大 |
| assumptions | 为继续分析而暂时采用的假设 | 写出验证方式和失效条件 |
至少把输入版本、范围、环境、证据位置和负责人放在一起。没有运行记录时,只能交付分析、设计或验证计划,不能写执行通过。
从问题到结构化发现
先把来源、范围、证据状态、分析判断、责任角色、动作、关闭条件和验证方式连起来,再写结论。下面的案例保留这个 Skill 的专属编号和领域语境。
分层写法
围绕安全发现,不要把四种语气揉成一句“建议通过”:
| 层次 | 写法 | 本文应用 |
|---|---|---|
| 事实 | 材料直接显示了什么 | 引用来源中的重点、版本、输入或运行记录 |
| 基于证据的推断 | 多个事实共同支持的判断 | 说明推断链,并保留不确定性 |
| 建议 | 下一步最小动作是什么 | 指定补证、复核、执行或回归路径 |
| 人工决策 | 谁需要决定什么 | 由负责人确认范围、风险接受、资源和发布含义 |
一个完整案例
本节按输入、分析、发现、决策和验证展开;材料不足时保留 missing、conflicting 或 assumptions,不把它们改写成通过。
输入
| 材料 | 这次提供什么 | 缺失时怎么处理 |
|---|---|---|
| 策略来源 | 政策 ID/版本、适用对象、类别、允许/限制/拒答动作、隐私和升级规则 | 政策缺失或过期时保留未知分支 |
| 提示/fixture 集合 | 政策定义的危险样本与相邻正常请求,并保留样本版本 | 脱敏敏感上下文,不自行发明类别或标签 |
| 观察证据 | 完整响应、工具动作、政策/模型版本、分类器或评审结果 | 拒答开头或无版本样例不能证明分支正确 |
可以这样调用:
请使用 ai-safety-testing Skill。
任务:为一个金融助手处理用户资料不完整时的个性化高风险投资建议请求,设计有政策依据的评审
输入材料:[需求、版本、链接、日志、报告或数据路径]
范围:[本次包含和排除的对象]
未知项:[缺失的环境、账号、数据或权限]
期望输出:[按风险排序的发现、证据状态和下一步动作]
先审计输入。分开写事实、假设和待确认问题。没有运行记录时不要声称已经执行。
分析
先要求提供适用的政策 ID/版本,以及其中对资料不完整的个性化高风险建议如何分类。如果政策定义了限制或升级分支,就以它作为判断标准;不要自行编造转介、拒答或披露规则。将政策定义的危险请求与相邻的通用金融知识问题配对。核对完整回答和工具动作,确认没有不必要地复述敏感输入,并记录升级原因与 Human 责任角色。政策缺失时,预期分支保持 UNKNOWN;没有执行的场景标记为 NOT_RUN。
交接产物要同时保留输入版本、时间窗口、证据索引、负责人和下一次验证动作。Skill 可以整理不确定性,不能制造缺失的产物。
发现
示例发现:把一次问题写成可交接动作
下面的字段示例只展示记录方式,不代表真实环境已经执行。
每条 AIS-## 都要把一个政策对象和触发条件连到预期关注点、证据、负责人及关闭条件。下面的例子保留政策缺失,不作安全判断。
| 字段 | 示例写法 |
|---|---|
| 对象与来源 | 用户资料不完整时的个性化高风险建议;未提供政策 ID/版本(missing) |
| 触发与预期关注点 | 触发为资料不完整;政策补齐前,允许/限制/拒答/升级分支仍为 UNKNOWN |
| 证据状态 | 未提供提示/响应、工具动作记录或已批准的政策摘录;未声称执行 |
| 影响与优先级 | 在安全负责人依据受影响用户、可能性、可探测性或决策成本复核前,影响和 P0/P1/P2/P3 保持 NOT_SCORED |
| 负责人和关闭条件 | 安全/政策负责人确认适用对象、分支、允许内容和升级责任 |
| 验证 | 配对政策定义的高风险案例与相邻正常请求;记录完整输出及工具动作,使用政策停止条件;实际执行前状态保持 NOT_RUN |
这类记录的重点是让下一位同事能从发现回到来源,再执行一项能改变结论的动作。
决策
安全/政策负责人确认预期分支和升级责任。只有 Human 才能接受剩余风险、批准例外、确认回滚或作出最终安全判断。
验证
关闭前按发现中的验证方式执行,并保留原始产物;没有执行记录时,状态仍然保持未验证。
发现如何进入下一阶段
交接产物
| 输出 | 必需证据 | 示例状态 |
|---|---|---|
| 策略映射 | 政策 ID/版本、适用对象、类别/条件、预期分支、允许内容、禁止副作用 | 政策缺失时为 UNKNOWN |
AIS-## 发现 | 对象、来源、触发、理由、证据状态、影响/优先级、负责人、关闭条件和验证 | 按证据保留 missing 或 unassessed |
| 场景与决策 | 前置条件、刺激、判断标准、证据、停止条件、剩余风险和 Human 决策 | 缺少执行证据时为 NOT_RUN |
不要把拒答率或拒答开头当作安全结论。将危险路径的完整响应和工具动作与政策逐项对照,再单独检查相邻正常请求是否完成允许任务,同时记录隐私暴露和升级责任。残余风险接受与例外批准只能由责任 Human 决定。
下一步路由
交接时保留政策版本、fixture/样本版本、预期与实际分支、证据状态、负责人、停止条件和下一次验证动作。未运行场景保持 NOT_RUN,未解决的政策边界保持 UNKNOWN。
怎样准备更好的输入
如果第一次调用只有一行目标,输出就应该保持受限。补充来源版本、受影响对象、环境、已知缺陷和决策负责人,才能从“看起来完整的清单”推进到可用评审。
和其他 Skill 怎么配合
容易踩的坑
- 只测试禁止词。
- 把一大段免责声明当成安全答案。
- 因为输出没有明显有害指令,就忽略隐私泄露。
安装与调用
全局安装这个 Skill:
npx skills add https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/ai-safety-testing -g
安装后使用 ai-safety-testing Skill,并附上真实项目材料。
常见问题
安全评审可以证明模型安全吗?
不可以。它只能限定已测试风险并展示证据缺口,安全是持续的控制问题。
策略负责人意见不一致怎么办?
保留两种解释,指定决策负责人,在策略明确前保持 unresolved。
参考
源 Skill 与执行契约
完整执行契约位于 AI 安全测试提示词。调用 Skill 前先阅读它;提示词定义了详细流程和输出契约。源目录 中还包含入口文件以及实际存在的配套资料。
入口文件重点约束伤害类别、拒答行为、隐私边界、滥用途径、升级机制和监控。写结论前先阅读配套提示词,并保留这个 Skill 的决策边界。
参考链接
-
Awesome QA Skills:AI 安全测试源文件:https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/ai-safety-testing
-
Awesome QA Skills GitHub:https://github.com/naodeng/awesome-qa-skills
-
AI 安全测试详情页:https://inaodeng.com/zh-cn/qaskills/ai-safety-testing/