数据接入与处理管道

数据接入是可恢复的过程

文档“导入完成”不代表内容正确、权限有效或检索可用。接入链路需要保留来源、版本、处理状态和失败原因，并允许重复运行而不产生重复有效数据。

接入步骤与控制点

阶段	输入与输出	验证
清点	来源清单 → 接入批次	文件数量、用途与授权
原始留存	文件 → 不可变原始对象	校验和与来源时间
解析	原始对象 → 结构化内容	标题、表格、OCR 抽检
规范化	内容 → 统一字段与语义	单位、日期、型号和版本
索引	切片 → 候选索引版本	数量、孤立记录与权限
激活	候选 → 当前有效版本	固定检索集回归

增量、重跑与删除

用来源标识、版本和内容哈希区分“同一内容重跑”与“新版覆盖”。水位记录读取进度，但要考虑迟到更新；可使用重叠窗口和业务去重。解析失败进入隔离区，不能因为任务整体成功就丢弃。

删除是独立事件：原始文件、切片、索引、缓存和引用入口都要处理。撤权应优先阻断读取；不能等下一次夜间全量任务才生效。保留审计需要按政策限制内容，而不是无限保存已撤销资料。

贯穿案例的异常处理

手册 M-101 从 v1 更新到 v2，先生成新索引并验证版本过滤；确认后切换。若 v2 解析失败且 v1 仍被授权使用，可以继续显示 v1 并标明版本与延迟；若 v1 已撤权，则停止回答，不回退到它。

对账与质量报告

每个批次报告读取、成功、失败、跳过和删除数量，计数口径应互斥且可解释。抽检不同文件类型与长表格；对比源端与目标端对象编号和版本，不能只比较总数。

练习与完成标准

用相同批次运行两次，确认有效对象不翻倍；模拟单文件损坏、迟到更新、文档删除与撤权，验证隔离和重跑。交付字段映射、批次报告、恢复说明和知识检索回归。

参考阅读与使用边界

• GitHub Actions 官方说明：相关概念与方法的延伸阅读，访问核验日期 2026-10-14。本站练习、流程与指标为自主编排，不属于来源机构认证。
• 学习路线 · 项目实战 · 可下载模板

本页为基础指南；生产操作需结合实际版本、授权环境与审核证据验证。