能力模型与知识结构

AI 落地四模块(模型部署/推理优化/RAG 与 Agent/评估与运维)能力项与重要度、L1~L3 对应关系、半年转型路线图。

能力模型按行业通行做法整理(示例口径);AI 赛道工具链每 6 个月迭代一次,以当次评审要求为准。

四模块能力项

1 模型部署(“能跑起来”)

能力项L1L2L3重要度
推理框架会跑 Ollama会选 vLLM/TGI 并说理由能对比框架做技术选型★★★★★
量化知道 INT4/INT8会做 GPTQ/AWQ 并验证掉点能量化策略规划(精度/显存/速度三角)★★★★★
服务化会暴露 API会做 OpenAI 兼容 + 鉴权/限流能设计多模型网关★★★★
显存账会算静态显存会算动态(KV Cache)能做容量规划★★★★★

2 推理优化(“算清账”)

能力项L1L2L3重要度
Prefill/Decode懂两阶段会分析瓶颈在哪个阶段能针对性优化(分离部署)★★★★★
KV Cache知道概念会算 KV 显存/理解 PagedAttention能选量化 KV/前缀共享★★★★★
Batching知道有会调 Continuous Batching能做吞吐/延迟权衡★★★★
成本核算会算单次会算每千次成本能定成本预算 + 多模型分级★★★★★

3 RAG 与 Agent(“接上知识”)

能力项L1L2L3重要度
切分会按长度切会按语义/结构切能设计切分策略评测★★★★★
检索会向量检索会混合检索(向量 + BM25)能做检索质量评测★★★★★
重排知道有会用 Reranker能调 top-k/阈值★★★★
Agent会用现成会设计工具调用(ReAct)能设计 Agent 系统(规划/记忆/反思)★★★★

4 评估与运维(“兜住质量”)

能力项L1L2L3重要度
测试集会建 20 条会建 50+ 条 + 分层能设计评估体系(多指标)★★★★★
自动评估会用现成脚本会写评估(相似度/LLM 评审)能建 CI 评估回归★★★★
监控会看基础指标会建时延/错误率/成本监控能定 SLO + 告警策略★★★★
安全知道有注入风险会做输入过滤 + 输出审查能建安全评估闭环★★★★

半年转型路线图(“先工程后 AI”)

第 1 月:地基(Linux/容器/Python + 模型 API 调用)
   ↓
第 2~3 月:部署轮(Ollama → vLLM + 量化 + 显存账 + 压测)
   ↓
第 4 月:RAG 轮(切分/向量库/检索/重排 + 50 条测试集)
   ↓
第 5~6 月:生产轮(监控/灰度/回滚 + 成本核算 + 优化记录)
   ↓
第 7 月起:报 L1/L2 认证 + 投 AI 部署/落地岗位

零基础铁律:“先补工程地基(Linux/容器/网络),再学 AI 部署”——没有工程地基的 AI 部署 = 沙上建塔。有后端/运维背景的人跳过第 1 月直接进部署轮。

与本站其他板块的衔接

  • 工程地基:与 软考(系统集成/网络/数据库)的 IT 基础互补;
  • 产品侧:部署的服务最终服务于 PDE 产品设计 的体验——“一个管跑起来,一个管体验”;
  • 纸面证书:软考中级/高级是 IT 职称的"硬纸"(软考 / 高项)。