AI 落地 · PDE·职场需求与就业方向
AI 落地工程师（PDE · 推理部署）的职场回报：能投哪些岗位、招聘 JD 的硬门槛与加分项、部署/推理优化/RAG/评估运维考点与工作场景对照、职业路径与面试追问。纸面证书只是加分，能跑的服务与算得清的成本账才是主证明。
一句话结论：这张证在职场的价值有三个——把"会调 API"变成"能把模型跑进生产"、给转岗与校招一个可核验的能力凭证、以及把部署/优化/评估/运维从零散经验变成一套能算账的框架。它不是"AI 岗位通行证"——AI 赛道的通行证是项目，证只是把项目讲清楚的辅助材料。
一、这张证在职场上到底解决什么问题
| 用途 | 说明 | 谁最需要 |
|---|---|---|
| 证明"能把模型跑进生产" | 企业缺的是部署、量化、显存账、压测、监控这段"最后一公里"；测评与项目评审正好对着这段能力打分 | 后端 / 运维 / 测试转 AI 的人 |
| 给 AI 项目一个可核验的凭证 | 简历上"做过 RAG"人人会写，带测评与评审记录的认证能把这句话变成可追问的事实 | 校招 / 转岗 / 跨行业投递的人 |
| 把成本与质量讲成数字 | 显存、TTFT、吞吐、每千 token 成本、幻觉率——能把账算清的人在评审和面试里天然占优 | 需要向老板汇报的技术负责人 |
| 支撑私有化与合规交付 | 金融 / 政企 / 医疗客户要求模型私有化、数据不出域，要的是能落地的人而不是只会调公有云 API 的人（准入与合规要求以客户要求与当地政策为准） | To B 交付 / 解决方案团队 |
| 补齐工程化短板 | 算法出身补部署与运维，应用出身补推理优化与评估 | 算法工程师、AI 应用开发 |
关键认知：这是"项目证明型"能力认证，不是"资格准入型"证书——它不会像软考那样直接对应职称，也不会像执业资格那样决定你能不能上岗；它的作用是把你的项目讲得更有结构、更容易被招聘方核验。
二、你能应聘什么岗位
| 岗位名称 | 典型招聘方 | 与证的关系 |
|---|---|---|
| AI 落地工程师 / 大模型应用工程师 | AI 创业公司、大厂 AI 部门、行业 SaaS | 强相关（岗位描述几乎就是考纲） |
| 大模型推理 / 部署工程师（Infra） | 云厂商、模型公司、芯片与加速卡厂商 | 强相关（推理优化部分直接对口） |
| AI 平台 / MLOps 工程师 | 企业 AI 中台、金融与运营商技术部门 | 相关（服务化、监控、SLO 对口） |
| RAG / Agent 应用工程师 | 知识库、客服、法律、医疗、教育类 To B 产品 | 相关（RAG 与评估模块对口） |
| AI 解决方案 / 交付工程师 | 政企集成商、私有化交付团队 | 相关（私有化部署与方案能力） |
| 后端 / 运维工程师（AI 方向） | 各类企业技术团队 | 相关（原岗位加 AI 能力溢价） |
注意：同一个岗位在不同公司叫法完全不同——可能叫 AI 应用开发、大模型工程、AI 平台、算法工程（工程侧），甚至就叫后端；判断标准是 JD 里有没有"部署 / 推理 / 上线 / 成本 / 评估"这些词，而不是岗位标题。
三、招聘 JD 怎么要求（拆解真实语言）
| JD 里的说法 | 含义 | 你的应对 |
|---|---|---|
“熟悉 vLLM / TensorRT-LLM / SGLang 等推理框架，有 GPU 部署经验” | 硬门槛——没有基本进不了面 | 先在一个 7B 模型上把 vLLM 跑通并压测，把数据写进项目 |
“熟悉 Linux / Docker / K8s，能独立完成服务部署” | 硬门槛（工程地基）——AI 之前先考工程 | 没这块就先补容器与基础运维，别直接冲 AI |
| “有大模型应用从 0 到 1 上线经验” | 阶段性门槛——社招常提，校招可放宽 | 用个人项目或公司内部工具跑通一条完整上线链路 |
| “有 RAG / Agent 项目落地经验者优先” | 加分项——没有也能进面，但有就压过一批人 | 做一个真实场景的 RAG，带测试集与指标 |
“熟悉 Transformer 原理与 KV Cache 机制” | 能力要求——面试会追问原理 | 能画图讲清 Prefill / Decode 与显存占用 |
| “具备成本意识，能对推理成本负责” | 能力要求——出现频率越来越高 | 准备一份每千 token 成本的推导与优化前后对比 |
| “有 AI 相关认证者优先” | 加分项（且通常排在最后） | 有就写，但别把它放在项目前面 |
判断锚点：“熟悉某框架 + 有 GPU 部署经验"是硬门槛，“有落地经验优先"是加分项，“具备成本意识"是能力要求——硬门槛靠项目补齐，加分项靠认证补齐，别搞反顺序。
四、考点 ↔ 工作场景对照（本页最有价值的部分）
考试考什么，工作就用在哪儿——把考点挂到工作动作上，你会记得更牢、面试也答得实：
| 考点 / 知识模块 | 工作中什么时候用 | 用得多不多 |
|---|---|---|
推理框架选型（vLLM / TGI / Ollama / llama.cpp） | 决定服务能不能扛并发：本地演示用 Ollama，生产高并发上 vLLM | ★★★★★ |
量化（INT8 / INT4 / GPTQ / AWQ） | 单卡塞不下模型、显存成本压不下来时的第一手段，必须验证掉点 | ★★★★★ |
显存账（权重 + KV Cache + 框架开销） | 上线前算"这张卡能不能跑、能跑多少并发”，是最常被追问的数 | ★★★★★ |
KV Cache 与 PagedAttention | 长上下文、多轮对话时显存暴涨，排障与容量规划全靠它 | ★★★★☆ |
| Prefill / Decode 两阶段 | 定位"为什么首字慢"还是"为什么吐字慢”，决定优化方向 | ★★★★★ |
| Continuous Batching | 提升吞吐、摊薄单请求成本，压测调参的核心开关 | ★★★★☆ |
| 成本核算（每千 token / 每千次请求） | 报价、扩容、选型、向业务方解释预算 | ★★★★★ |
向量库与 Embedding（FAISS / Milvus / pgvector） | 搭知识库检索层，选型要看数据量、过滤条件与运维成本 | ★★★★★ |
| 切分与混合检索 + 重排 | 用户反馈"召回不准"时的实际处理路径：改切分 → 混合检索 → 加重排 | ★★★★★ |
| Agent 工具调用（ReAct / function calling） | 让模型查订单、算数据、走审批，难点在边界与失败处理 | ★★★★☆ |
| 评估测试集与自动评估 | 换模型、改提示词、调检索参数之前先跑一遍，防止"感觉变好了” | ★★★★★ |
| 监控与 SLO（TTFT / P99 / 错误率 / 成本） | 上线后的值班、告警、容量预警日常 | ★★★★☆ |
| 灰度、回滚与安全 | 模型换版本、提示词被注入、输出不合规时兜底 | ★★★★☆ |
记忆锚：“框架看并发，量化看显存，
KV看长文，Batching 看吞吐，检索看召回，评估看回归，监控看成本”——七句话覆盖生产环境的七类事故。
反过来说：先定目标岗位，再定学习次序——
- 投推理 / Infra 岗：先啃部署与推理优化（框架、量化、显存账、
KV Cache、Batching、压测），RAG 会调接口即可； - 投 To B 应用 / 交付岗：先啃 RAG 与评估（切分、检索、重排、测试集、引用与拒答），部署会
Ollama/vLLM起服务即可； - 投平台 / MLOps 岗：先啃服务化与运维（网关、鉴权限流、监控告警、灰度回滚、SLO），再补推理优化。
同一套考纲，三种学法——按 JD 里的动词排序，而不是按教材目录排序。
五、企业真正要你会什么（超越考试）
考试过了 ≠ 能上线。企业真正考核的是这些考点背后的能力：
① 在给定显卡与预算下做选型，并说清取舍（模型 / 框架 / 量化 / 硬件）
② 把模型服务化：OpenAI 兼容接口 + 鉴权限流 + 并发压测
③ 算清一本账：显存占用、TTFT、吞吐、每千 token 成本，每个数字有推导
④ 定位瓶颈：是 Prefill 还是 Decode，是显存还是带宽，是模型还是检索
⑤ 把 RAG 从 Demo 做到上线：切分、混合检索、重排、引用、拒答
⑥ 建评估测试集并做回归：改任何东西之前先有基线，改完有对比
⑦ 对生产负责：监控告警、灰度发布、出问题能回滚并写清故障复盘
补经验的办法（没上过生产也能补）：
- 把"跑通"升级成"带数据的项目"：按小时租一张 GPU（或用手里的消费级显卡），把 7B 模型部署成带监控的 API，压测并记录显存、TTFT、吞吐、每千次请求成本曲线，连同踩坑与优化前后 diff 写成仓库
README——这份README比证书更能决定面试结果； - 给真实场景搭一套 RAG 并建测试集：拿公司文档、法规或自己的学习资料做 50 条问答测试集，记录"改了切分 / 检索 / 重排之后指标怎么变"，把指标表放进仓库——面试官最爱追问的就是这张表。
面试金句：“我在一张 24G 卡上把 7B 模型部署成了带监控的推理服务：量化后显存、吞吐和每千次请求成本我都有实测数字，掉点用 50 条测试集验证过——这套账我可以现场给你推导。”
六、职业路径与薪资结构
三条典型路径：
路径 A（工程转 AI，最常见）：
后端 / 运维 / 测试 → AI 应用开发 → AI 落地工程师 → AI 平台或基础设施负责人
路径 B（算法转工程）：
算法 / 数据 → 模型部署与推理优化 → 推理 / Infra 工程师 → 推理平台负责人
路径 C（To B 交付线）：
实施 / 售前 / 技术支持 → AI 解决方案工程师 → 交付负责人 → 行业 AI 产品负责人
薪资结构（影响因素 > 具体数字）：
| 影响因素 | 说明 |
|---|---|
| 岗位类型 | 推理优化 / Infra 类通常高于通用应用开发，因为价值可量化——省下的算力就是钱 |
| 城市与行业 | 一线与 AI 产业聚集城市更高；金融、云厂商、模型公司给的区间通常更宽 |
| 算力与规模 | 是否管过 GPU 集群、日请求量级、是否做过容量规划，直接影响议价 |
| 能否算清成本 | “我让每千次请求成本降了多少"是可写进简历的硬指标，比"熟悉某框架"值钱 |
| 项目 vs 纸面证书 | 项目决定面试与定级，证书通常只影响简历筛选与初筛加分 |
| 公司类型 | 创业公司现金低、期权占比高；大厂与厂商现金高、增长路径清晰（结构差异大） |
⚠️ 数据说明：本文不给任何具体薪资数字——AI 岗位薪资随城市、行业、公司阶段、年份波动极大，请以主流招聘平台（BOSS 直聘 / 猎聘 / 拉勾等）的实时岗位数据为准；看总包时注意区分现金与股票 / 期权，以及是否有加班与值班要求。
七、面试高频追问与答法
| 追问 | 答法要点 |
|---|---|
“为什么选 vLLM 而不是 Ollama 或 TGI？” | 讲场景：本地单机演示与生产高并发的差别；vLLM 的 PagedAttention 与 Continuous Batching 在高并发下的吞吐优势，并给出自己的压测数据 |
| “INT4 量化掉点多少？你怎么验证的？” | 说测试集与指标：跑多少条、看哪些任务、掉点在不在业务容忍范围内——“我测过"比"据说"有用 |
| “你的服务能扛多少并发？怎么得出的？” | 讲压测方法：并发梯度、TTFT 与 P99、显存上限、瓶颈在 Prefill 还是 Decode |
| “显存不够先砍什么？” | 给优先级：先量化与 KV Cache 量化 → 降 max_model_len 或并发 → 换更小模型或加卡，并说明每一步的代价 |
| “RAG 召回不准怎么办？” | 按链路排查：切分是否破坏语义 → 是否只用向量（上混合检索）→ 是否缺重排 → 是否需要查询改写，每一步都有评估数据 |
| “模型胡说八道怎么兜？” | 讲工程手段：检索引用与出处、置信度与拒答、输出校验与规则兜底、人工确认节点，再谈评估与回归 |
| “线上延迟突然升高，你怎么排查？” | 讲分层定位：先看监控（TTFT / 队列 / 显存 / 缓存命中）→ 再定位是否长请求或并发突增 → 必要时限流、降级、回滚，最后写复盘 |
八、投入产出判断（要不要考）
| 你的情况 | 建议 |
|---|---|
| 后端 / 运维 / 数据工程师，想转 AI 落地 | 建议——但先做出一个能跑的项目，再考虑认证 |
| 在校生 / 应届，想投 AI 应用岗 | 建议——认证加项目能补"没有工作经验"的短板 |
| 算法工程师，想补工程化与运维 | 建议——推理优化与评估部分最有用 |
| 产品 / 运营等非技术岗想靠它转 AI 工程岗 | 谨慎——先补 Linux / Docker / Python 地基，否则证书帮不上忙 |
| 只想"考个证转行”，不打算做项目 | 不建议——AI 岗位的筛选几乎都会追问项目细节 |
决策口诀：“证是简历上的一行，项目是面试里的一小时——先有能跑的服务和一笔算得清的账，再决定考不考。”
与考证的衔接
- 想看这张证是什么、值不值得学 → AI 落地工程师百科
- 想看怎么报、怎么评 → 认证指南
- 想看考什么、知识结构 → 大纲与能力模型
- 想直接刷题 → 题库
- 想找教材与参考书 → 书籍库
- 想看AI 岗位整体地图 → 行业岗位地图
- 想学简历怎么写项目 → 简历
- 想练面试怎么答技术追问 → 面试
⚠️ 易错提醒
- “考了证就是 AI 工程师”：认证是加分，项目是主证明——面试几乎都会问"你自己部署过什么、数据是多少”；
- “AI 证书和软考一样硬”：性质完全不同——软考对应职称（以考代评），AI 类认证目前多是企业或机构口径，不直接等于职称或准入资格；涉及职称、落户、补贴一律以当地或当次政策为准；
- “会调 API 就算落地”：调 API 是应用开发，落地要管量化、并发、成本、评估、监控、回滚；
- “部署就是跑一条命令”：
docker run能跑通只是 L1，生产要过压测、容量、监控、灰度、回滚五道关； - “AI 认证体系已经稳定”：仍在快速成型——名称、分级、流程与认可度都可能变，以认证机构当次公告为准，别把某一版口径当成长期标准。