备考书籍

模型部署·考点精讲

模型部署：推理框架（Ollama/vLLM/llama.cpp）+ 量化（FP16/INT8/INT4）+ 显存账 + 服务化（OpenAI 兼容 API）——“能跑起来”的地基。

章节: 2 章

从第 1 章开始读 →

📑 章节目录

01 第 1 章 · 推理框架选型与服务化Ollama/vLLM/llama.cpp/TGI 四框架对比 + 选型口诀 + 显存账 4 项 + 服务化三件套（OpenAI 兼容/鉴权/限流）——“Demo 用 Ollama，生产用 vLLM，端侧用 llama.cpp”。 🎯 6 题
02 第 2 章 · 量化选型与微调入门量化原理（FP16/INT8/INT4、GPTQ/AWQ/SmoothQuant）+ 量化选型决策 + 掉点验证流程 + LoRA 微调入门（场景/数据/超参/评测）——“精度、显存、速度三角”的实战判断。 🎯 6 题