AI 应用交付

需求澄清

先确定用户是谁、输入是什么、期望动作是什么、错误的代价是什么。把“回答更智能”转化为可测试的任务、样例和阈值。

交付设计

1. 建立基线测试集和现状指标。
2. 选择 Prompt、RAG、工作流或 Agent 路径。
3. 确认模型能力、延迟、成本、区域和数据政策。
4. 设计正常、异常、拒答和人工接管路径。
5. 定义日志、追踪、评测和版本信息。

上线门禁

• 关键测试集达到约定指标。
• 答案引用能够追溯到原始材料。
• 越权、注入和敏感信息测试通过。
• 超时、限流、模型故障有降级方案。
• Token、并发和成本预算已确认。
• Prompt、模型、知识库版本可以回滚。

灰度与回退

先面向内部用户或低风险流量灰度。回退对象必须包含应用版本、Prompt 版本、模型版本、知识索引版本和功能开关。

从实验到受控试点

阶段	动作	退出依据
基线	记录人工与普通搜索表现	有可比较任务和样本
实验	在固定样本上比较方案	质量、成本和失败可解释
影子运行	生成结果但不影响真实动作	观察与人工标注完成
小范围试点	使用者审核后采用	任务收益与风险可接受
扩大范围	按任务与用户分组	指标稳定且接管能力充分

版本包与发布记录

记录应用提交、模型标识、提示词哈希、检索配置、知识版本、工具契约和评测样本。只写“升级模型”无法解释行为变化。每次仅改变少量变量，保存前后结果和失败分类。

回退与降级的区别

回退切换到经过验证的旧版本；降级保留部分能力，例如只提供授权搜索和人工回复。若知识因权限撤销失效，不能通过回退旧索引恢复违规内容。对不可逆写入，需要补偿或人工核对。

练习

为工单助手设计影子运行、试点准入和停止条件。模拟模型不可用与成本超预算，确认用户仍能处理任务。使用评测计划和上线检查，尚未取得运行证据时保留为方案。

参考阅读与使用边界

• RAG 原始论文：相关概念与方法的延伸阅读，访问核验日期 2026-10-14。本站练习、流程与指标为自主编排，不属于来源机构认证。
• 学习路线 · 项目实战 · 可下载模板

本页为基础指南；生产操作需结合实际版本、授权环境与审核证据验证。