AI 评测与验收
定义评测集、业务指标、失败门槛与上线标准。
上线与采用 / AI 与自动化定位整体框架 ↗
本页目录
测试集建设
测试集来自真实业务问题、历史工单、专家设计的边界案例和对抗性案例。每条记录应包含问题、期望要点、允许引用、风险级别和评分规则。
质量指标
- 检索：命中率、召回率、首条相关率和权限过滤准确率。
- 生成：正确性、忠实度、完整性、相关性和引用准确性。
- 服务：成功率、首字延迟、总延迟、并发和可用性。
- 经济性：单次成本、单用户成本、缓存命中和预算消耗。
- 安全：越权率、注入成功率、敏感信息泄露率和拒答正确率。
验收方式
自动评测适合持续回归，专家人工评测负责高风险和主观质量判断。不能只以另一个模型的评分作为最终验收依据。
版本回归
模型、Prompt、检索策略、文档和工具任一变化都可能改变结果。每次发布保存完整版本组合，并对核心测试集执行回归。
样本结构与评分规则
每条样本包含编号、任务、身份范围、资料版本、允许证据、期望行为、风险标签和评分规则。把开发调试集与最终验收集分开，防止只对已知问题调参。
| 测试层 | 样本类型 | 通过依据 |
|---|---|---|
| 检索 | 精确词、同义表达、版本选择 | 命中正确授权片段 |
| 回答 | 正常、多证据、冲突与无答案 | 事实被支持，无据不猜 |
| 权限 | 跨租户、撤权、缓存和引用 | 不返回未授权内容 |
| 动作 | 错参数、超时、重复与审批变化 | 无重复或越权副作用 |
| 服务 | 峰值、依赖故障与降级 | 达到约定运行指标 |
人工评分的一致性
先用少量任务让两位评分人独立评分，讨论分歧并修改规则。事实正确、忠实证据、任务完整和措辞可用分别记录；不要只给一个“满意”总分。对高风险失败单独列清单，不让平均分掩盖。
教学种子集与生产验收
20 条种子样本用于练习过滤和错误分类，不提供生产质量保证。离线演示不调用模型，所以不能用其通过率代表回答正确率。接入模型后，应增加真实分布授权样本、独立评分和置信区间或样本限制说明。
发布结论
报告样本量、版本组合、分层结果、失败案例、未覆盖范围与决定。零次观测泄露只说明当前样本未见泄露。使用评测模板保留每次回归，失败项要对应修复和复测。
参考阅读与使用边界
本页为基础指南；生产操作需结合实际版本、授权环境与审核证据验证。