AI 基础与能力边界

核心概念

• Token：模型处理文本的基本计量单位，影响上下文容量、延迟和成本。
• 上下文窗口：一次请求能够容纳的输入与输出总量。
• Prompt：向模型说明任务、约束、输入和输出格式。
• Embedding：把内容转换为向量，用于语义相似度检索。
• RAG：先从外部知识中检索证据，再基于证据生成回答。
• Agent：让模型在约束下规划并调用工具完成多步任务。

方案选择

需求	优先方案
改变回答方式和格式	Prompt
引用不断更新的企业知识	RAG
固化领域行为或风格	微调评估后再决定
调用系统完成多步操作	Agent / Workflow

典型能力边界

模型可能产生幻觉、遗漏约束、输出格式波动，并受到上下文、数据质量和工具可靠性的影响。高风险业务必须保留确定性校验和人工确认。

部署形态

云端 API 适合快速启动；私有化部署适合强数据控制场景，但需要承担算力、模型服务、监控和升级成本；混合部署需要明确数据流向和降级策略。