流畅的回答也可能包含没有任何已提供来源支持的说法。LLM 幻觉测试会逐条对照可采取行动的声明与证据,并区分证据矛盾、缺少来源和无法评估的情况。

建立声明与来源台账

把答案拆成可独立核对的声明,包括数字和单位、实体、条件、日期与引用。保留答案原文、证据版本和来源位置,让其他评审者能够复核判断。

状态适用情况
SUPPORTED证据以相同范围和条件支持该声明。
CONTRADICTED已提供证据明确给出相反信息。
MISSING_SOURCE没有已提供证据支持该声明,也没有直接反证。
UNASSESSABLE来源不可访问、范围不清或已过期,无法有效比较。

缺少支持本身不能证明声明是编造的。应在声明粒度保留混合答案,不要给整个段落只贴一个状态。

分开检查引用与拒答

对每项引用分别检查其是否存在、能否访问、是否相关、以及是否支持具体声明。真实手册也可能反驳回答中的日期或资格条件;应把引用问题和声明支持状态分别记录。

证据缺失或含糊时,检查回答是否表达不确定性、收窄范围,或拒答并请求获授权来源。自信语气、邻近引用或看似合理的回答都不能充当证据。

示例:政策回答

假设政策助手回答外包人员是否符合某项福利资格,而提供的员工手册只说明正式员工。把回答拆成各条资格声明,与手册的实际范围逐一比较;根据现有证据,把缺少支持的项标为 MISSING_SOURCE 或 UNASSESSABLE。复核应建议请求补充来源或安全拒答,不能推断手册没有写出的政策。

支持声明和未知声明要分别报告各自分母。没有合适的参考真值和有代表性的样本时,只能提供验证计划,不能给出事实准确率。

记录 LHT-## 发现

每条发现都应注明声明、答案原文片段、证据版本与位置、引用状态、声明状态、影响、优先级、负责人角色、关闭条件和验证方法。事实、基于证据的推断、建议和人工决策要分开。静态复核不能证明模型在真实用户总体中的表现。

相关 Skill

安装与调用

安装这个独立 Skill:

npx skills add https://github.com/naodeng/awesome-qa-skills/tree/main/skills/zh/testing-types/llm-hallucination-testing -g

调用 llm-hallucination-testing 时,提供答案集合、来源库及版本、声明范围、引用规则和拒答要求。

源文件

使用前请阅读LLM 幻觉测试 Prompt。其中定义了 LHT-## 发现契约,以及声明比较使用的四种证据状态。

分享