AI 系统常见故障
诊断召回、输出、工具调用、性能和成本异常。
运行与改进 / AI 与自动化定位整体框架 ↗
本页目录
回答错误或幻觉
依次检查问题定义、系统提示、召回证据、上下文截断、模型版本和输出解析。先判断错误来自检索还是生成,不要直接修改 Prompt。
知识没有召回
- 文档是否成功解析并进入当前索引。
- 切片是否包含完整语义和正确元数据。
- 查询与内容使用的语言、术语是否一致。
- 过滤条件是否误排除了正确版本。
- 候选数量和相似度阈值是否合理。
Agent 工具失败
核对工具描述、参数 Schema、鉴权、超时、幂等性和错误反馈。对有副作用的工具必须提供确认、审计和重试边界。
延迟突然升高
拆分记录检索、重排、模型首字、模型生成和外部工具耗时。检查输入长度、输出上限、模型区域、并发、限流和重试放大。
成本异常
检查长会话历史、重复上下文、无效重试、大模型误用、缓存失效和异常流量。设置单请求、单用户和月度预算门禁。
不要同时修改所有变量
| 故障 | 固定什么 | 改变什么 | 观察 |
|---|---|---|---|
| 找不到资料 | 问题和文档版本 | 解析或检索配置 | 正确片段是否出现 |
| 证据正确但回答错 | 候选证据 | 提示或模型 | 主张是否受证据支持 |
| 工具重复执行 | 业务键和调用序列 | 幂等处理 | 是否仍有重复写入 |
| 费用上升 | 任务类型和样本 | 历史长度或重试策略 | 任务成本与成功率 |
合成案例:回答引用旧版本
先读取这次任务使用的索引和过滤条件,再检查候选片段的版本与授权。若候选已是 v2,回答仍来自 v1,检查历史会话、缓存和上下文;若候选本身来自 v1,优先修复激活与过滤。不要用“请用最新知识”提示掩盖数据问题。
恢复后的验证
重跑原失败样本、相邻版本问题和跨租户反例;检查修复是否降低可回答率或增加延迟。记录应用、提示词、模型和索引版本。现场故障先禁用相关 AI 能力并保留人工处理,不为排障把完整敏感输入上传到外部服务。
练习
设计一次缓存失效和一次模型超时,写出定位证据与降级路径。报告已复现、已排除、仍未知三类结论,避免把相关性写成根因。
参考阅读与使用边界
- OpenTelemetry:可观测性基础:相关概念与方法的延伸阅读,访问核验日期 2026-10-14。本站练习、流程与指标为自主编排,不属于来源机构认证。
- 学习路线 · 项目实战 · 可下载模板
本页为基础指南;生产操作需结合实际版本、授权环境与审核证据验证。