过度代理权限(Excessive Agency)
科普速读
- 它是什么: 过度代理权限指 Agent 获得了超出任务需要的工具或权限。
- 适合什么场景: 评估模型小错误会怎样影响真实系统。
- 主要边界: 改进提示词不能撤销工具权限。
概览
邮件摘要 Agent 可能只需读取邮箱。如果它还能删除和转发邮件,一次错误操作就可能泄露或破坏数据。
核心定义
当 AI 应用赋予 Agent 超过任务所需的功能、权限或自主程度时,就构成过度代理权限。
背景与发展
能调用工具的 Agent 会把模型输出变成实际操作。安全指南将不必要的工具、过宽权限和过高自主性视为放大错误影响的因素。
工作机制(How It Works)
风险取决于模型能请求什么,以及系统会执行什么。提示注入或错误计划只有在工具和权限允许时,才可能造成实际影响。
在软件测试与开发中的应用
检查代码 Agent 可用的工具,并测试它能否读取无关文件、修改受保护分支、删除数据或绕过审批部署。
优势与局限
移除不必要的访问权限可以降低错误和攻击造成的影响。最小权限不能避免错误回答,也不能阻止所有获准操作被滥用。
与相近术语对比
提示注入会影响模型行为;过度代理权限则是权限和系统设计问题,会让这种影响造成实际后果。
实施建议(Best Practices)
从只读权限开始,提供任务专用工具;写入或外部操作单独审批,并记录每项操作。
常见误区(Pitfalls)
不要依赖系统提示词执行操作系统或 API 权限。访问限制必须由工具宿主强制执行。
FAQ
只加强系统提示,能解决过度代理权限吗?
不能。提示词可能影响模型选择,但必须单独收紧工具权限。