运维、监控与变更
建立系统健康指标、告警、备份、升级和容量管理规范。
监控分层
- 基础设施:CPU、内存、磁盘、网络和时间同步。
- 应用:成功率、延迟、错误、队列和线程池。
- 依赖:数据库、缓存、对象存储和外部接口。
- 业务:关键流程完成率、数据新鲜度和用户影响。
- AI:模型成功率、Token、检索质量、拒答和成本。
告警要求
告警必须可行动,包含环境、对象、影响、当前值、阈值、开始时间、看板和处理手册。对重复噪声建立聚合和抑制规则。
备份与恢复
备份成功不代表可恢复。明确 RPO、RTO、保留周期、加密、异地副本和恢复负责人,并定期执行恢复演练。
变更管理
记录目的、范围、风险、实施步骤、验证、回退、窗口和批准人。高风险变更先在等价环境演练,并观察约定时间后再关闭。
容量管理
基于业务增长、峰值并发和资源水位建立趋势预测,为模型调用、数据库连接、存储和外部配额预留安全余量。