AI 系统常见故障
排查幻觉、召回错误、工具失败、限流、性能和成本异常。
回答错误或幻觉
依次检查问题定义、系统提示、召回证据、上下文截断、模型版本和输出解析。先判断错误来自检索还是生成,不要直接修改 Prompt。
知识没有召回
- 文档是否成功解析并进入当前索引。
- 切片是否包含完整语义和正确元数据。
- 查询与内容使用的语言、术语是否一致。
- 过滤条件是否误排除了正确版本。
- 候选数量和相似度阈值是否合理。
Agent 工具失败
核对工具描述、参数 Schema、鉴权、超时、幂等性和错误反馈。对有副作用的工具必须提供确认、审计和重试边界。
延迟突然升高
拆分记录检索、重排、模型首字、模型生成和外部工具耗时。检查输入长度、输出上限、模型区域、并发、限流和重试放大。
成本异常
检查长会话历史、重复上下文、无效重试、大模型误用、缓存失效和异常流量。设置单请求、单用户和月度预算门禁。