认证指南:AI 落地能力测评与项目评审
AI 落地能力认证怎么考:L1~L3 测评形式(在线测评 + 实操项目 + 架构答辩)、项目三件套标准(生产环境/成本账/测试集)、评审维度与时间线(示例口径)。
AI 落地工程师尚无统一官方考试——本节按行业通行做法整理“测评 + 项目评审”的示例框架;具体规则以各认证机构当次公告为准。
时间线(示例口径)
| 环节 | 说明 |
|---|---|
| 报名 | 随时(在线注册,以认证机构为准) |
| 在线测评 | 部署原理 + 推理优化 + RAG + 运维(90 分钟,机考) |
| 项目提交 | 项目三件套(生产环境 + 成本账 + 测试集) |
| 实操评审 | 异步评审 + 可选视频演示(15~20 分钟) |
| 结果 | 提交后 2~4 周(以机构为准) |
| 复审 | L2/L3 每年复审一次(项目更新) |
测评形式(“三层”)
1 在线测评(“原理 + 判断”)
| 模块 | 题型 | 权重(示例) |
|---|---|---|
| 模型部署 | 单选/情境(框架/量化/显存计算) | 30% |
| 推理优化 | 单选/计算题(KV Cache/Batching/延迟) | 25% |
| RAG 与 Agent | 单选/情境(切分/检索/重排/工具调用) | 25% |
| 评估与运维 | 单选/情境(测试集/监控/安全/回滚) | 20% |
合格线:70 分(100 分制,示例)。
2 项目评审(“主证明”)
三件套(缺一不可):
① 生产环境:可访问的模型服务(API + 基本监控,真实跑)
② 成本账:显存/延迟/吞吐/每千次成本(有数字、有推导)
③ 测试集:20~50 条评测集 + 评估结果(改模型/改提示词有回归)
评审维度(每项 1~5 分):
| 维度 | 看什么 |
|---|---|
| 能跑 | 服务真实可用(不是录屏/截图),压测有数据 |
| 算得清 | 显存/延迟/成本账有推导(不是拍脑袋) |
| 调得动 | 有优化记录(改了什么 → 指标怎么变) |
| 兜得住 | 有评估测试集 + 监控 + 回滚方案 |
| 讲得出 | 选型理由/取舍/踩坑能讲清楚(答辩追问) |
3 架构答辩(L2/L3 可选)
- 15~20 分钟:讲"选型 → 部署 → 优化 → 评估 → 运维"全链路(不讲工具清单);
- 高频追问:“为什么选 vLLM 不选 Ollama?““INT4 量化掉点多少,怎么验证?““RAG 召回率不够怎么办?““成本超预算先砍什么?”
L1~L3 门槛(示例口径)
| 级别 | 测评 | 项目 | 要求 |
|---|---|---|---|
| L1 | ≥70 分 | 1 个跑通的服务(API + RAG Demo) | 会算显存账 |
| L2 | ≥80 分 | 1 个生产级服务(含压测 + 评估 + 监控)+ 答辩 | 成本账 + 优化记录 |
| L3 | ≥85 分 | 2 个生产项目 + 1 套架构设计(多模型路由/SLO) | 容量规划 + 评估闭环 |
备考路线(“3~6 个月”)
① 基础轮(1 月):Linux/容器基础 + Python + 模型 API 调用
↓
② 部署轮(1~2 月):Ollama/vLLM 跑模型 + 量化 + 显存账 + 压测
↓
③ RAG 轮(1 月):切分/Embedding/向量库/检索/重排 + 50 条测试集
↓
④ 生产轮(1~2 月):监控/灰度/回滚 + 成本核算 + 优化记录
↓
⑤ 认证轮(2~4 周):在线测评 + 项目提交 +(L2/L3 答辩)
铁律:“每个数字都要有推导”——评审/面试问到"为什么 INT4?",“掉了 2% 的 MMLU,我测过,业务可接受” 才是合格回答。