模型隐私攻击（Model Privacy Attacks）
科普速读
- 它是什么： 隐私攻击试图从模型行为中推断或恢复信息。
- 适合什么场景： 评估训练数据或用户数据是否可能暴露。
- 主要边界： 结果取决于模型、数据、访问条件和威胁设置。
概览
成员推断攻击会判断某条记录是否出现在模型训练集中；数据抽取攻击则试图从输出中恢复模型记住的文字。
核心定义
模型隐私攻击利用模型访问或输出，推断训练样本、恢复记忆内容或暴露敏感信息。
背景与发展
模型可能保留训练数据中的模式。相关研究考察攻击者何时能推断数据成员身份或恢复内容；成功率受模型和防护影响。
工作机制（How It Works）
攻击者发送查询或分析模型输出，再根据响应模式检验隐私假设。所需访问权限可能从反复查询到模型内部信息不等。
在软件测试与开发中的应用
上线前可测试模型是否会在当前访问条件下泄露敏感测试记录或训练样本。测试结果应与产品的数据保留政策分开记录。
优势与局限
隐私测试能发现常规质量测试可能漏掉的信息暴露路径。在一种设置下攻击失败，不代表所有数据都受到保护。
与相近术语对比
隐私攻击测试能否从模型推断信息；产品隐私模式描述服务如何处理数据。开启该模式不会让模型自动免于泄露。
实施建议（Best Practices）
减少敏感训练数据，控制访问和查询频率，审查日志，并依据明确的威胁模型测试。合适时可评估隐私保护训练方法。
常见误区（Pitfalls）
不要把一种研究设置的成功率套用到所有产品，也不要把模型泄露风险与数据保留规则混为一谈。
FAQ
模型会泄露训练数据吗？
有可能，具体取决于训练、数据、访问和防护。应测试实际部署配置下的相关威胁。