📝备考笔记与避坑
AI 落地该记什么（显存账 4 项、延迟 3 指标、RAG 5 步、评估 4 层）、10 条避坑清单、项目三件套自查。
通用方法见 备考笔记怎么用；本页只讲 AI 落地专属内容。
一、本认证该记什么（三类笔记）
① 部署卡：显存账 + 4 项
| 笔记类型 | 内容 |
|---|
| 显存账 4 项 | 模型权重 + KV Cache + 激活 + 框架开销（“每项 1 行”） |
| 量化 3 档 | FP16（基线）/ INT8（≈2 倍省）/ INT4（≈4 倍省，掉点要测）（“每档 1 行”） |
| 框架 3 选 | Ollama（Demo）/ vLLM（生产）/ llama.cpp（端侧）（“每个 1 行”） |
| API 3 件 | OpenAI 兼容 + 鉴权 + 限流（“3 件”） |
② 优化卡：延迟 + 3 指标
| 笔记类型 | 内容 |
|---|
| 延迟 3 指标 | TTFT（首 token 时延）/ TPOT（每 token 时延）/ E2E（端到端）（“每个 1 行”） |
| 两阶段 | Prefill（计算密集）/ Decode（显存带宽密集）（“2 阶段”） |
| 优化 3 招 | Continuous Batching / PagedAttention / 量化（“每招 1 行”） |
| 成本 1 式 | 每千次成本 = 单次 token 数 × 单价 × 1000（“1 式”） |
③ RAG 卡：5 步 + 评估 4 层
| 笔记类型 | 内容 |
|---|
| RAG 5 步 | 切分 → Embedding → 检索 → 重排 → 生成（“5 步”） |
| 切分 3 原则 | 语义完整 / 长度适中（256~512 token）/ 留重叠（10~20%）（“3 原则”） |
| 检索 2 路 | 向量（语义）+ BM25（关键词）混合（“2 路”） |
| 评估 4 层 | 测试集 → 自动评估 → 人工抽查 → 用户反馈（“4 层”） |
二、避坑清单（AI 落地专属 10 条）
| # | 坑 | 正确做法 |
|---|
| 1 | “Demo 能跑就上线”（“Demo ≠ 生产”） | 压测 + 评估 + 监控 + 回滚四件套齐了才上线 |
| 2 | 显存账"只算权重"（“忘了 KV Cache”） | 4 项都算（权重 + KV + 激活 + 框架开销） |
| 3 | 量化"不测掉点"（“听说 INT4 够用”） | 建测试集测掉点（“INT4 掉 2%，业务可接受”） |
| 4 | RAG"按固定长度硬切"（“切断语义”） | 按语义/结构切 + 留重叠（“切分是 RAG 一半质量”） |
| 5 | 只向量检索（“关键词查不到”） | 向量 + BM25 混合检索（“专有名词/编号靠 BM25”） |
| 6 | 没有测试集（“每次改动都在赌博”） | 50 条业务测试集 + CI 回归（“改提示词/换模型必跑”） |
| 7 | 成本"只算 GPU"（“忘了 token + 人力”） | 全成本（GPU/token + 维护人力）——“老板看总账” |
| 8 | 监控"只看 CPU"（“AI 服务有专属指标”） | 时延/错误率/吞吐/token 成本/幻觉抽检（“AI 专属 4 项”） |
| 9 | 安全"裸奔"（“Prompt 注入不防”） | 输入过滤 + 输出审查 + 敏感操作确认（“3 道闸”） |
| 10 | 只追新框架（“框架半年一换”） | 原理不过时（KV Cache/Batching/切分/评估）——“工具换，原理不换” |
三、项目三件套自查（“报之前 10 分钟”）
四、官方入口与社区检索
- 工具文档：vLLM（github.com/vllm-project/vllm）、Ollama（ollama.com）、Milvus（milvus.io）；
- 模型源：HuggingFace（huggingface.co）/ ModelScope（modelscope.cn）；
- 评估：RAGAS（github.com/explodinggradients/ragas）、HELM（crfm.stanford.edu）；
- 社区检索词（知乎/CSDN/B站）：“vLLM 部署 教程"“显存计算 KV Cache"“RAG 切分 策略”；
- 使用规范：教程用于排路线，数字以自己的压测为准（“别人的 GPU ≠ 你的 GPU”）。