智能体工具调用测试 Skill:验证执行权限与业务副作用
从工具选择、参数、权限和副作用验证智能体调用,并检查失败后的恢复与安全停止。
质量分析师,而非质量保证师。
从工具选择、参数、权限和副作用验证智能体调用,并检查失败后的恢复与安全停止。
用文档、网页和工具输出等对抗输入,验证指令边界、数据保密与高权限操作防护。
从斯多葛哲学的节制出发,讨论测试量、覆盖率、回归套件膨胀、AI 评估的不确定性,以及如何用风险和证据支持发布决策。
围绕安全政策、滥用类别、拒答与重定向、隐私和升级路径,设计可追溯的 AI 安全场景。
LLM 一致性测试实战指南:比较重复输出、语义不变量、格式规则、版本、提示词和证据。
LLM 幻觉测试实战指南:测试无依据说法、引用、不确定性、检索缺口和安全拒答。
按 Sprint 计划、故事澄清、增量测试和迭代评审组织 Skills,说明各阶段如何交接项目上下文与质量证据。
把匹配、设计、验证、评估、基准测试、发布、观察、回归和改进串成可持续的 Skill 质量闭环。
逐条核对 AI 生成测试的需求来源、行为断言、逃逸缺陷、弱/伪保护和维护风险。
RAG 质量测试双语指南,围绕依据性、相关性、完整性、引用支撑、拒答和回答级证据检查 RAG 输出。
围绕发布窗口和 Go/No-Go 门禁,介绍如何使用发布工作流、测试策略、功能测试、缺陷与报告 Skills 交接真实证据。
区分静态检查、评测、运行时和真实项目证据,正确使用 PASS、PARTIAL、NOT_RUN、BLOCKED 与 INSUFFICIENT_EVIDENCE。