性能、容量与单任务成本
把任务延迟、系统容量、调用预算和审核负担放在一起优化。
运行与改进 / 工程与运行定位整体框架 ↗
本页目录
优化目标是用户任务
先定义任务成功与服务目标，再定位时间和费用发生在哪里。模型响应快不代表工单完成快，服务器资源利用率低也不自动表示平台浪费。需要同时观察输入长度、排队、检索、生成、工具调用和人工复核。
建立任务成本账本
| 项目 | 测量方法 | 注意事项 |
|---|---|---|
| 等待与执行 | 各阶段耗时、总时长与长尾 | 不只看平均值 |
| 模型与工具 | 成功、失败、重试及缓存 | 失败请求也可能消耗预算 |
| 平台资源 | 存储、计算、网络和监控 | 闲置容量与共享成本分别说明 |
| 人工环节 | 复核、返工与接管时间 | 避免把劳动移给专家 |
单位任务总成本 = 观察窗口内相关运行与人工投入 / 同一窗口内的成功业务任务数。分母要稳定；把拒答、失败或转人工悄悄排除，会夸大系统效率。共享费用需要说明分摊规则。
用测量决定优化顺序
如果等待来自队列，先检查并发与依赖配额；如果时间花在长上下文，先减少无关内容；如果外部系统慢，先检查时限与重试放大。缓存需要包含必要租户、权限与版本范围，撤权后应失效。
不要为降低费用牺牲资源授权、事实校验或必要审计。更换小模型、减少候选和缩短输出，都需要重新评测任务质量与覆盖率。
容量与预算门槛
使用代表性任务长度和并发测容量，记录队列增长、长尾延迟与错误。设置任务、用户和周期级预算，以及超限后的人工或普通搜索路径。限流保护系统，不能让无限重试抵消保护作用。
贯穿案例
若工单助手总耗时来自专家反复核对引用，升级更贵模型不一定改善结果。先分解复核步骤、检查引用展示，再比较任务全程耗时与质量。只有等价任务的对照，才能支持优化决定。
练习与完成标准
对固定样本保存分阶段时间、费用、审核耗时和失败。选择一个瓶颈修改，报告前后质量、长尾与单位成本；没有运行记录时写为实验设计。结合可观测性与价值复核使用。
参考阅读
FinOps Framework与 Google SRE 服务目标分别提供投入管理与可靠性背景，本站任务账本为自主编排。