学习资源
AI 落地学习入口：推理框架（vLLM/Ollama/llama.cpp/TGI）、向量库（FAISS/Milvus/pgvector）、评估（RAGAS/HELM）、模型源（HuggingFace/ModelScope）与学习路径。
AI 落地无官方教材——本板块资源为工具链 + 模型源 + 评估框架整理；工具链更新极快，以各工具官方文档当版为准。
推理框架（“核心工具链”）
| 框架 | 定位 | 适合场景 |
|---|---|---|
| vLLM | 高性能推理（PagedAttention/Continuous Batching） | 生产级服务（吞吐优先） |
| Ollama | 本地一键跑模型（极简） | 开发/Demo/小团队 |
| llama.cpp | CPU/轻量端侧推理 | 端侧/无 GPU |
| TGI（HuggingFace） | 生产推理（量化/流式） | HF 生态生产 |
| llama.rs / MLC | 端侧/多平台 | 移动/嵌入式 |
选型口诀：“Demo 用 Ollama，生产用 vLLM，端侧用 llama.cpp”。
向量库与 RAG（“知识层”）
| 工具 | 定位 | 适合场景 |
|---|---|---|
| FAISS | 内存向量检索（Meta） | 中小规模/离线 |
| Milvus | 分布式向量库 | 大规模生产 |
| pgvector | PostgreSQL 插件 | 已有 PG 的轻量 RAG |
| Chroma | 嵌入式向量库 | Demo/小项目 |
RAG 框架：LangChain / LlamaIndex（链路与组件抽象）——“组件会过时，链路原理（切分→检索→重排→生成）不过时”。
评估框架（“质量层”）
| 框架 | 用途 |
|---|---|
| RAGAS | RAG 评估（忠实度/相关性/答案质量） |
| HELM（Stanford） | 大模型综合评估 |
| OpenCompass / LMSYS | 模型能力基准 |
| 自建测试集 | 业务专属（最重要）——“通用基准 ≠ 你的业务” |
模型源（“模型从哪来”）
- HuggingFace（国际主流）/ ModelScope 魔搭（国内）：开源模型 + safetensors 格式；
- 国产开源：Qwen/DeepSeek/GLM/通义等（中文场景主流，以各模型官网当版为准）。
学习路径（“按地基选”）
| 你的起点 | 先学 | 再补 |
|---|---|---|
| 后端/运维 | vLLM/量化/压测（第 2~3 月） | RAG + 评估 |
| 数据/算法 | 工程化（Linux/容器/API/监控） | 推理优化 + 成本 |
| 零基础 | Linux/Python/容器（第 1 月） | 部署 → RAG → 生产 |
使用建议
- “Demo 与生产之间隔着量化、Batching、评估、监控、回滚”——只练 Demo 不够，每个项目必须算账（显存/延迟/成本）；
- 每个数字要有推导：“INT4 掉点 2%（我测过）” 才是合格回答，“听说 INT4 够用"不是；
- 测试集是生命线：“没有 50 条业务测试集的 AI 项目 = 每次改动都在赌博”；
- 关注更新：AI 部署每 6 个月迭代一次（框架/量化/模型），旧项目要持续更新。