模型可选性（Model Optionality）
一句话定义：系统可以为任务选择多个受支持模型中的一个。切换模型时，可能需要调整提示词、工具和评测。
科普速读
- 它是什么： 模型可替换性让系统可以在兼容的模型之间切换。
- 适合什么场景： 降低对单一供应方的依赖，并用真实任务比较模型。
- 主要边界： 切换模型可能改变成本、行为、延迟和数据处理方式。
概览
模型可选性指系统支持多个模型，并允许用户或策略为任务选择模型。团队可以借此比较模型，或减少对单一服务商的依赖。
核心定义
模型可选性指系统可以在多个受支持的模型之间进行选择。系统可以提供手动选项、配置项或自动路由策略。它不要求存在一种通用协议；统一 API 也不会让模型变得完全可互换。
更换模型时，团队可能需要调整提示词、工具 Schema、输出处理方式和评测。
背景与发展
团队可以直接使用服务商 API，也可以通过网关或支持多个模型的应用来接入。它们可以降低切换成本，但不能消除模型能力、服务条款和输出行为之间的差异。
自动模型路由是可能具备的一项功能，但它不是模型可选性的定义。
工作机制（How It Works）
- 应用列出它能够调用的模型。
- 用户或策略为当前任务选择模型。
- 应用按该模型的 API 和能力调整请求。
- 团队评估响应，并记录费用、延迟和错误。
交接上下文时可能需要摘要或格式转换。没有系统能保证不同模型间的信息转换完全无损。
在软件测试与开发中的应用
- 模型对比： 用同一组代表性用例评测候选模型。
- 任务选型： 选择支持所需输入、工具或输出格式的模型。
- 供应方备援： 在服务商不可用时保留替代方案，同时确认 API 和数据政策兼容。
比较不同输出可以发现差异，但不能证明其中任何一个答案正确。
优势与局限
优势
- 团队可以根据自身要求评估不同模型。
- 兼容的替代方案可以降低部分供应方依赖。
- 不同任务可以使用不同的模型能力。
局限与风险
- 提示词和工具 Schema 可能需要调整。
- 模型行为、成本、延迟和数据条款可能不同。
- 管理多套凭证和集成会增加维护工作。
- 备用模型可能不支持所有功能。
与相近术语对比
| 术语 | 含义 |
|---|---|
| 模型可选性 | 系统支持选择多个模型 |
| 模型路由 | 策略为请求选择模型 |
| Flex processing | 服务商特定的请求档位，会改变优先级和价格 |
模型可选性描述有哪些选择；路由描述如何从中选择。
实施建议（Best Practices）
- 用代表性任务和统一评测集比较模型。
- 检查工具支持、输出格式、上下文限制、成本和数据条款。
- 在配置中明确记录每个模型的专属设置。
- 依赖备用方案前，先测试其回退行为。
- 对高影响任务，允许人员覆盖自动选择。
常见误区（Pitfalls）
切换模型前要检查工具、输出格式和评测是否兼容。名称相似不代表行为相同。
FAQ
有模型可选性就代表所有模型可以互换吗？
不是。模型在输入类型、工具支持、输出格式、质量、价格和数据处理上都可能不同。
同时使用两个模型会减少幻觉吗？
不一定。独立评测可以发现答案差异，但仍需由人员或可信检查来判断哪个结果正确。