第 1 章 · AI 体验设计与大模型能力边界

📖 AI 产品·考点精讲约 2389 字🎯 配套练习:PDE·AI 体验

考点梳理

1.1 AI 体验 5 要素(“5 个可”)

要素要点典型设计
① 透明用户知道 AI 在做什么状态提示/进度/流式可见
② 可控可中断/可编辑/可再生成/可回退停止按钮/结果可改/换答案
③ 可信引用来源/置信提示/不确定时明说“参考了 3 篇文档”+ 不确定时提示
④ 可恢复失败可重试/降级/人工接管重试/换模型/转人工
⑤ 可评估有测试集/人工抽查/反馈入口点赞点踩/定期抽查

记忆锚:“透明可控可信可恢复可评估”(“5 个可”,“AI 产品的体验宪法”)。

1.2 大模型能力边界(“设计师必须懂”)

边界含义产品影响
幻觉会"一本正经地编"必须给引用/来源;高风险场景加"请核实"
上下文窗口一次能看的长度有限(token 限制)长文档要 RAG/分段;超长任务要摘要
输出不确定同一输入不同输出(temperature)结果要可编辑;关键任务要确认
长任务复杂任务可能失败/中断任务持久化 + 断点恢复
成本每次调用花钱(按 token)额度/降级策略;别滥用大模型

记忆锚:“会编(幻觉)、看不了太多(上下文)、不稳定(不确定)、会断(长任务)、费钱(成本)”(“5 条边界”)。

“边界 → 设计"映射(“高频考法”):

边界设计对策
幻觉引用来源 + “不确定时明说” + 高风险提示
上下文RAG 检索 + 分段处理 + 摘要
不确定结果可编辑 + 一键再生成 + 关键确认
长任务进度 + 可离开回来 + 断点恢复
成本额度提示 + 模型分级(小事用小模型)

1.3 提示词与上下文工程(“L2 门槛”)

提示词结构(“4 段”):

角色(你是谁)+ 任务(做什么)+ 约束(格式/限制)+ 示例(1~2 个)

上下文工程 3 招(“3 招”):

招内容适用
RAG(检索增强)先检索相关文档,再塞进上下文知识问答/长文档
记忆保留关键历史(摘要/关键词)多轮对话
工具调用让模型调用外部工具(搜索/计算/API)实时数据/精确计算

记忆锚:“角色任务约束示例(4 段);RAG 记忆工具调用(3 招)”。

1.4 Agent/RAG 基础(“L2/L3 加分”)

概念一句话产品形态
Agent模型 + 工具 + 循环(思考→行动→观察)能自主查资料/调 API/多步完成任务
RAG检索外部知识再回答知识库问答/文档助手
工作流固定步骤(人设计的流水线)可控性高的业务流

选型:“步骤固定用工作流,开放任务用 Agent,知识密集用 RAG”——“别为了 Agent 而 Agent”(“工作流更可控、更便宜”)。

1.5 AI 产品评估(“L3 加分”)

① 建测试集("20~50 个真实任务 + 期望行为")
② 自动跑("每次改提示词/换模型都跑一遍")
③ 人工抽查("10% 样本人看":幻觉/格式/安全)
④ 用户反馈("点赞点踩 + 定期看差评")

记忆锚:“测试集 + 自动跑 + 人工抽 + 用户反馈”(“4 步”)——“没有评估的 AI 产品 = 裸奔”。

🧠 记忆工具箱

口诀速记

  • 体验:“透明可控可信可恢复可评估”(“5 个可”);
  • 边界:“会编看不了不稳定会断费钱”(“5 条”);
  • 提示词:“角色任务约束示例”(“4 段”);
  • 上下文:“RAG 记忆工具调用”(“3 招”);
  • 选型:“固定用流程,开放用 Agent,知识用 RAG”;
  • 评估:“测试集自动跑,人工抽用户反馈”。

场景锚点

  • AI 能力边界想象”“新员工”":你不是老板(不需要事事盯),你是"带新人的组长"(“给边界”)——“新员工会一本正经地编(幻觉)→ 给参考资料(RAG);他记性差(上下文)→ 给他笔记(记忆);他干活不稳定(不确定)→ 让他做完你检查(可编辑/确认);他可能中途卡住(长任务)→ 让他记录进度(断点恢复);他干活费时间(成本)→ 小事别麻烦他(模型分级)”——“AI 产品体验设计 = 给这个’强但不可靠的新员工’设计工作系统”。

⚠️ 易错提醒

  • “5 个可"是体验宪法:“缺’可恢复’(没有重试/降级)= 评审减分”——“AI 产品没有’失败怎么办’ = 半成品”;
  • 幻觉"不能根治,只能管理”:“设计对策(引用/确认/提示)是正确答案”——“承诺’零幻觉’ = 不懂模型”;
  • “别为了 Agent 而 Agent”:“步骤固定的业务流用工作流更稳更便宜”——“评审会问’为什么不用工作流’”;
  • 评估"不是上线后才有":“改提示词/换模型前就要有测试集”(“回归测试”)——“没有测试集的 AI 产品 = 每次改动都在赌博”。