基础指南

安全、隐私与 AI 治理

理解项目中的安全控制与治理责任。

更新于
构建与验证 / 安全与治理定位整体框架 ↗
构建与验证 × 安全与治理:当前工作是验证安全控制,产出越权、注入与泄露反例;显示相关阶段和相邻领域
本页目录

基础安全

使用最小权限、独立账号、短期凭据和多因素认证。密钥进入专用密钥管理系统,不能出现在代码、日志、截图或知识文档中。

数据分级

在接入客户资料前确认数据级别、用途、存储位置、保留期限和删除方式。生产数据进入测试或 AI 系统前必须获得授权并完成必要脱敏。

AI 特有风险

  • Prompt 注入诱导模型忽略规则或泄露上下文。
  • 检索链路未执行文档级权限控制。
  • 模型输出触发未经确认的高风险操作。
  • 外部模型或工具获得不必要的敏感数据。
  • 日志完整记录用户输入而造成二次泄露。

防护原则

权限判断必须由确定性系统执行,不能交给模型自行决定。工具调用限制参数、资源和动作范围;高风险操作需要二次确认。

审计

保留用户、时间、输入摘要、检索文档、模型与 Prompt 版本、工具动作和最终结果。审计日志本身也需要访问控制和保留策略。

将风险治理落到项目责任

事项责任角色证据
数据用途与范围数据负责人数据台账与授权边界
身份与资源权限安全 / 工程负责人矩阵与拒绝测试
模型与外部服务技术与数据负责人数据流向和服务配置
高风险动作业务批准人与执行方批准对象、参数与审计
残余风险有权接受风险的负责人决定、限制与复审日期

首期工单助手的治理决定

只输出草稿,人工审核后通过既有渠道发送;不提供设备控制和自动关闭工具;资料必须包含来源、版本和授权;日志保留必要摘要。任何新增写工具、跨地区处理或敏感字段接入都触发重新评审。

验证与例外

建立威胁、控制、测试、残余风险的映射。某项暂时不能实施时写明补偿措施和截止时间,涉及关键隔离失败时停止相关上线。不要用“用户需谨慎”代替系统控制。

框架背景参见 NIST AI RMF。具体工程检查在权限设计、数据生命周期和威胁建模展开。

参考阅读与使用边界

本页为基础指南;生产操作需结合实际版本、授权环境与审核证据验证。

Markdown 原文反馈本页问题 ↗