运维、监控与变更

监控分层

• 基础设施：CPU、内存、磁盘、网络和时间同步。
• 应用：成功率、延迟、错误、队列和线程池。
• 依赖：数据库、缓存、对象存储和外部接口。
• 业务：关键流程完成率、数据新鲜度和用户影响。
• AI：模型成功率、Token、检索质量、拒答和成本。

告警要求

告警必须可行动，包含环境、对象、影响、当前值、阈值、开始时间、看板和处理手册。对重复噪声建立聚合和抑制规则。

备份与恢复

备份成功不代表可恢复。明确 RPO、RTO、保留周期、加密、异地副本和恢复负责人，并定期执行恢复演练。

变更管理

记录目的、范围、风险、实施步骤、验证、回退、窗口和批准人。高风险变更先在等价环境演练，并观察约定时间后再关闭。

容量管理

基于业务增长、峰值并发和资源水位建立趋势预测，为模型调用、数据库连接、存储和外部配额预留安全余量。

日常运行节奏

频率示例	核查事项	输出
每日	错误预算、队列、资料接入失败与费用	需要行动的异常清单
每周	失败样本、采用反馈与容量趋势	质量和容量改进
每次发布	配置、版本、回归与恢复	变更证据
定期演练	备份恢复、撤权、依赖故障	恢复耗时与缺口

频率需要按系统风险与团队能力调整。备份应覆盖业务数据库、原始资料、配置与必要审计；向量索引是否可重建、重建需要多久也应记录。

RPO / RTO 示例

RPO 表示可接受的数据丢失窗口，RTO 表示恢复时间目标。合成项目可以讨论 RPO 1 小时、RTO 4 小时是否够用，但这不是通用推荐或已验证承诺。必须实际恢复并核对数据、权限、依赖与业务任务。

变更关闭条件

发布完成后观察用户任务、错误、延迟、成本和新鲜度；确认接手方知道当前版本与回退路径。发布没有报错不等于业务验证完成。若数据迁移不可逆，提前说明为何回退应用不够以及采用什么恢复策略。

练习

用上线检查设计索引升级，演练失败恢复，并给出数据对账结果。未完成演练的项目如实标记待验证。

运行中同时核对性能、容量与单任务成本；服务停止或替换时执行退出与数据善后。

参考阅读与使用边界

• OpenTelemetry：可观测性基础：相关概念与方法的延伸阅读，访问核验日期 2026-10-14。本站练习、流程与指标为自主编排，不属于来源机构认证。
• 学习路线 · 项目实战 · 可下载模板

本页为基础指南；生产操作需结合实际版本、授权环境与审核证据验证。