模型选型、部署与替换策略
按任务比较模型效果、部署约束、总成本与可替换性。
方案与计划 / AI 与自动化定位整体框架 ↗
本页目录
选择对象是完整任务系统
模型分数不能单独决定方案。先定义输入、输出、允许证据、错误代价、延迟与数据边界，再比较规则、普通搜索、不同模型和部署方式。任务能用确定性方案解决时，不必增加生成环节。
选型约束表
| 维度 | 应提出的问题 | 验证证据 |
|---|---|---|
| 任务质量 | 是否遵守格式、证据和拒答规则 | 固定任务集与人工评分 |
| 服务表现 | 首字、总等待、并发与限流如何 | 相同任务长度与负载记录 |
| 数据处理 | 输入、日志和缓存流向哪里 | 当前服务政策与配置核对 |
| 经济性 | 一项成功任务共消耗多少 | 调用、重试、运维与审核成本 |
| 生命周期 | 如何锁定标识、升级和替换 | 版本清单、适配器与回归 |
供应商能力、区域、条款和价格可能变化，接入时应检查选定服务的当前官方资料，不能把本指南当作具体供应商承诺。
设计可比较的实验
固定任务、资料、评分人和输出限制；按难度分层比较，记录失败而不仅展示最佳回答。分别观察检索与生成，避免把错误知识归因给模型。小样本阶段只用于筛掉明显不适合方案，不能代表生产任务分布。
部署方式的选择
云服务减少自行运行模型的工作，但仍需确认数据处理与依赖故障。自建模型需要承担算力、服务、补丁、容量与运行责任。混合方案需解释哪些资料能离开边界、哪些任务使用本地能力以及两条路径如何共同评测。
让替换可验证
业务服务调用稳定的内部模型适配接口，把供应商参数转换留在适配层。版本包包含模型标识、提示词、输出契约、检索配置和评测集。新模型先离线回归，再影子运行和受控试点；旧版本仍能使用与否需要实际确认，不能把“可回退”写成无条件保证。
工单助手更换模型时，重点复测拒答、引用、结构化草稿、超时与人工复核时间。若新模型更快但错误修改更多，任务总成本可能更高。
练习与完成标准
比较两种模型方案和一个确定性基线，列出质量、数据、延迟、成本、升级与退出依据。未实际调用的方案标为待实验。参考AI 评测与性能成本。
参考阅读
NIST AI RMF提供 AI 风险管理背景；本站选型表是针对 FDE 任务的工程实践设计。