📋能力模型与知识结构
AI 落地四模块(模型部署/推理优化/RAG 与 Agent/评估与运维)能力项与重要度、L1~L3 对应关系、半年转型路线图。
能力模型按行业通行做法整理(示例口径);AI 赛道工具链每 6 个月迭代一次,以当次评审要求为准。
四模块能力项
1 模型部署(“能跑起来”)
| 能力项 | L1 | L2 | L3 | 重要度 |
|---|
| 推理框架 | 会跑 Ollama | 会选 vLLM/TGI 并说理由 | 能对比框架做技术选型 | ★★★★★ |
| 量化 | 知道 INT4/INT8 | 会做 GPTQ/AWQ 并验证掉点 | 能量化策略规划(精度/显存/速度三角) | ★★★★★ |
| 服务化 | 会暴露 API | 会做 OpenAI 兼容 + 鉴权/限流 | 能设计多模型网关 | ★★★★ |
| 显存账 | 会算静态显存 | 会算动态(KV Cache) | 能做容量规划 | ★★★★★ |
2 推理优化(“算清账”)
| 能力项 | L1 | L2 | L3 | 重要度 |
|---|
| Prefill/Decode | 懂两阶段 | 会分析瓶颈在哪个阶段 | 能针对性优化(分离部署) | ★★★★★ |
| KV Cache | 知道概念 | 会算 KV 显存/理解 PagedAttention | 能选量化 KV/前缀共享 | ★★★★★ |
| Batching | 知道有 | 会调 Continuous Batching | 能做吞吐/延迟权衡 | ★★★★ |
| 成本核算 | 会算单次 | 会算每千次成本 | 能定成本预算 + 多模型分级 | ★★★★★ |
3 RAG 与 Agent(“接上知识”)
| 能力项 | L1 | L2 | L3 | 重要度 |
|---|
| 切分 | 会按长度切 | 会按语义/结构切 | 能设计切分策略评测 | ★★★★★ |
| 检索 | 会向量检索 | 会混合检索(向量 + BM25) | 能做检索质量评测 | ★★★★★ |
| 重排 | 知道有 | 会用 Reranker | 能调 top-k/阈值 | ★★★★ |
| Agent | 会用现成 | 会设计工具调用(ReAct) | 能设计 Agent 系统(规划/记忆/反思) | ★★★★ |
4 评估与运维(“兜住质量”)
| 能力项 | L1 | L2 | L3 | 重要度 |
|---|
| 测试集 | 会建 20 条 | 会建 50+ 条 + 分层 | 能设计评估体系(多指标) | ★★★★★ |
| 自动评估 | 会用现成脚本 | 会写评估(相似度/LLM 评审) | 能建 CI 评估回归 | ★★★★ |
| 监控 | 会看基础指标 | 会建时延/错误率/成本监控 | 能定 SLO + 告警策略 | ★★★★ |
| 安全 | 知道有注入风险 | 会做输入过滤 + 输出审查 | 能建安全评估闭环 | ★★★★ |
半年转型路线图(“先工程后 AI”)
第 1 月:地基(Linux/容器/Python + 模型 API 调用)
↓
第 2~3 月:部署轮(Ollama → vLLM + 量化 + 显存账 + 压测)
↓
第 4 月:RAG 轮(切分/向量库/检索/重排 + 50 条测试集)
↓
第 5~6 月:生产轮(监控/灰度/回滚 + 成本核算 + 优化记录)
↓
第 7 月起:报 L1/L2 认证 + 投 AI 部署/落地岗位
零基础铁律:“先补工程地基(Linux/容器/网络),再学 AI 部署”——没有工程地基的 AI 部署 = 沙上建塔。有后端/运维背景的人跳过第 1 月直接进部署轮。
与本站其他板块的衔接
- 工程地基:与 软考(系统集成/网络/数据库)的 IT 基础互补;
- 产品侧:部署的服务最终服务于 PDE 产品设计 的体验——“一个管跑起来,一个管体验”;
- 纸面证书:软考中级/高级是 IT 职称的"硬纸"(软考 / 高项)。