LLM 一致性测试要定义输出在受控重复条件下哪些部分必须保持不变、哪些变化可以接受。它不要求措辞完全相同，也不能把一次重复回答说成可靠性证明。
固定比较条件
记录稳定的样本 ID、模型、提示词、工具、数据、temperature、供应商支持时的 seed，以及其他采样参数。重复次数使用项目指定值。不同模型、提示词、检索或参数版本应分组比较，不能混成一个稳定性结果。
| 比较层次 | 需要定义的内容 |
|---|---|
| 结构不变量 | schema、必填字段、允许枚举和政策约束 |
| 语义不变量 | 必须稳定的决策、排除项、日期、金额和来源引用 |
| 允许的变化 | rubric 允许的同义改写、顺序调整和其他差异 |
| 方差指标 | 明确的数值变量、单位、分母和计算规则 |
先检查结构要求，再依据已有 rubric 比较含义。措辞差异率不等于质量方差。如果没有 rubric 定义哪些语义变化有影响，就把该判断保留为 UNKNOWN。
分析重复运行，不自造基线
按相同样本和条件比较运行结果。逐样本报告重复分母、结构失败数、语义失败数和偶发失败。未知或不可评估的输出也要保留，不能从分母中悄悄移除。
单次观察不能证明重复一致性。seed 相同不能证明跨模型版本可复现。如果项目没有指定运行次数、方差公式或可接受阈值，应记录缺口并提出最小待决策项，不要自行填写数值。
示例：政策摘要
政策摘要器的契约可以要求截止日期、排除条件和来源引用保持稳定，同时允许句子顺序或措辞变化。按照这个契约比较重复输出，记录每次运行使用的模型和提示词版本，并将格式失败与政策判断变化分开。
如果某次输出改变了资格判断，就记录受影响的不变量和来源运行。不能只因两份摘要措辞不同就判不一致，也不能根据一组相同结果推断系统稳定。
记录 LCT-## 发现
注明样本和条件组、不变量或比较规则、来源版本、重复分母、结构与语义结果、已定义的方差变量及公式、证据状态、影响、负责人角色、关闭条件和验证方法。不同参数或版本组分开记录。缺少 rubric 时，语义一致性为 UNKNOWN；缺少重复运行集时，重复行为未评估。
相关 Skill
安装与调用
安装这个独立 Skill：
npx skills add https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/llm-consistency-testing -g
调用 llm-consistency-testing 时，提供样本集、项目指定的运行次数、模型和提示词版本、允许变化、语义 rubric 及比较条件。
源文件
使用前请阅读LLM 一致性测试 Prompt。其中定义了 LCT-## 契约、重复分母、参数分组与方差证据边界。