基础指南

AI 系统常见故障

诊断召回、输出、工具调用、性能和成本异常。

更新于
运行与改进 / AI 与自动化定位整体框架 ↗
运行与改进 × AI 与自动化:当前工作是定位模型与检索退化,产出分层故障与回归结果;显示相关阶段和相邻领域
本页目录

回答错误或幻觉

依次检查问题定义、系统提示、召回证据、上下文截断、模型版本和输出解析。先判断错误来自检索还是生成,不要直接修改 Prompt。

知识没有召回

  • 文档是否成功解析并进入当前索引。
  • 切片是否包含完整语义和正确元数据。
  • 查询与内容使用的语言、术语是否一致。
  • 过滤条件是否误排除了正确版本。
  • 候选数量和相似度阈值是否合理。

Agent 工具失败

核对工具描述、参数 Schema、鉴权、超时、幂等性和错误反馈。对有副作用的工具必须提供确认、审计和重试边界。

延迟突然升高

拆分记录检索、重排、模型首字、模型生成和外部工具耗时。检查输入长度、输出上限、模型区域、并发、限流和重试放大。

成本异常

检查长会话历史、重复上下文、无效重试、大模型误用、缓存失效和异常流量。设置单请求、单用户和月度预算门禁。

不要同时修改所有变量

故障固定什么改变什么观察
找不到资料问题和文档版本解析或检索配置正确片段是否出现
证据正确但回答错候选证据提示或模型主张是否受证据支持
工具重复执行业务键和调用序列幂等处理是否仍有重复写入
费用上升任务类型和样本历史长度或重试策略任务成本与成功率

合成案例:回答引用旧版本

先读取这次任务使用的索引和过滤条件,再检查候选片段的版本与授权。若候选已是 v2,回答仍来自 v1,检查历史会话、缓存和上下文;若候选本身来自 v1,优先修复激活与过滤。不要用“请用最新知识”提示掩盖数据问题。

恢复后的验证

重跑原失败样本、相邻版本问题和跨租户反例;检查修复是否降低可回答率或增加延迟。记录应用、提示词、模型和索引版本。现场故障先禁用相关 AI 能力并保留人工处理,不为排障把完整敏感输入上传到外部服务。

练习

设计一次缓存失效和一次模型超时,写出定位证据与降级路径。报告已复现、已排除、仍未知三类结论,避免把相关性写成根因。

参考阅读与使用边界

本页为基础指南;生产操作需结合实际版本、授权环境与审核证据验证。

Markdown 原文反馈本页问题 ↗