第 3 章 · 数据质量与标注规范
考点梳理
3.1 数据质量四性（必背）
| 性质 | 含义 | 检查方式 |
|---|---|---|
| 准确性 | 数据与事实一致（标注对、字段对） | 抽检 + 复核 |
| 一致性 | 同一份数据在不同人/不同时间的口径一致 | 一致率（重复标注比对） |
| 完整性 | 该有的字段/样本都在，无缺失 | 缺失率 + 字段完整性检查 |
| 时效性 | 数据是当前有效的（不过期、不失效） | 时间分布检查 + 定期复核 |
记忆锚：“准、一、全、新”——准确性靠抽检，一致性靠一致率，完整性靠缺失率，时效性靠时间。
为什么一致性最容易被忽视：AI 项目里最贵的成本不是“标错一条”，而是“同一个人前后口径不同、不同人之间口径不同”——模型学到的是矛盾的答案。
3.2 常见标注类型总览
| 标注类型 | 任务形态 | 典型场景 |
|---|---|---|
| 分类标注 | 整条数据给一个（或几个）标签 | 情感分类、意图分类、内容审核 |
| 序列标注 | 给每个词/字打标签 | 实体抽取（人名/地名/机构）、分词 |
| 关系抽取 | 标出两个实体之间的关系 | 知识图谱、事件抽取 |
| 框选标注 | 画矩形框 | 目标检测（人、车、缺陷） |
| 多边形/掩码标注 | 描出精确轮廓 | 语义/实例分割 |
| 关键点标注 | 标出关键位置点 | 人脸关键点、姿态估计 |
| 转写标注 | 把语音写成文字（含时间戳） | 语音识别训练数据 |
| 排序/评分标注 | 对多个结果排序或打分 | 大模型偏好数据、搜索相关性 |
记忆锚：“整条给标签是分类，逐字给标签是序列，画框是多边形，语音变文字是转写，比好坏是排序。”
3.3 标注规范六要素（最核心，背下来就能写规范）
| 要素 | 写什么 | 缺失的后果 |
|---|---|---|
| ① 标签定义 | 每个标签一句话讲清“是什么” | 标注员各自理解，口径发散 |
| ② 正例 | 每个标签给标准示例 | 定义抽象，执行走样 |
| ③ 反例 | 明确“不算这个标签”的情形 | 标签被滥用（什么都往里装） |
| ④ 边界案例 | 易混、歧义、多标签怎么处理 | 分歧集中在这里，返工最多 |
| ⑤ 弃标/存疑规则 | 什么时候标“无法判断”并上报 | 逼标注员硬选 → 制造错误数据 |
| ⑥ 验收标准 | 抽检比例、一致率门槛、返工规则 | 质量无法判定，验收靠吵 |
记忆锚：“定义 + 正例 + 反例 + 边界 + 弃标 + 验收”（6 件套）。
铁律：规范的含金量在边界案例——只写定义的规范 = 没写规范。
3.4 边界案例与歧义处理（分歧的震中）
处理歧义的四步法：
① 收集：把试标阶段出现的分歧样本全部留下（别丢）
② 归类：按“标签混淆 / 语义模糊 / 多标签 / 信息不足”归类
③ 定规则：为每一类给出一条可执行规则（并写进规范）
④ 复标：用新规则重标分歧样本，算一致率是否提升
常见歧义处理口径（示例）：
| 场景 | 常见处理口径 |
|---|---|
| 一条数据符合两个标签 | 按规范定主标签 + 次标签，或允许多标签（必须提前写清） |
| 信息不足无法判断 | 标“存疑/无法判断”并上报，不猜 |
| 标签定义重叠 | 合并标签或明确优先级（别让标注员自己选） |
| 跨句/跨段落 | 按规范定标注范围边界（含不含标点、含不含修饰语） |
3.5 质检：抽检、一致率与返工留痕
| 环节 | 做法 | 指标 |
|---|---|---|
| 试标校准 | 批量前先标 20~50 条，开校准会统一口径 | 分歧条目数 |
| 抽检 | 按比例复查（常见 10% 起，高风险任务提高） | 抽检合格率 |
| 一致性校验 | 让多人重复标同一批（或本人隔期重标） | 一致率 |
| 返工 | 不合格批次全部返工，不接受“挑着改” | 返工率 |
| 留痕 | 记录抽检人、时间、问题类型、处理结果 | 可追溯 |
一致率怎么算：标注结果相同的条数 ÷ 重复标注总条数。
一致率低说明什么：通常不是标注员水平问题，而是规范不清楚——先改规范，再培训，再复标。
🧠 记忆工具箱
口诀速记
- 质量四性：“准、一、全、新”；
- 规范六件套：“定义 + 正例 + 反例 + 边界 + 弃标 + 验收”；
- 歧义四步：“收集、归类、定规则、复标”；
- 质检三指标：“合格率看质量，一致率看规范，返工率看培训”；
- 一句铁律：“规范的含金量在边界案例，质检的动作在留痕。”
场景锚点
把标注规范想象成 “考试的评分标准”：
- 标签定义 = 题目要求（“请概括中心思想”没说清，答案一定五花八门）；
- 正例 = 满分答案示范（有示范，学生才知道写到什么程度）；
- 反例 = 典型扣分答案（不写反例，学生就会踩同一个坑）；
- 边界案例 = 争议题的标准答案（评分标准最值钱的部分）；
- 弃标规则 = 允许弃考（信息不足还逼着答，等于鼓励瞎编）；
- 验收标准 = 及格线（没有及格线，打分就变成吵架）。
质检的场景：质检员 = 阅卷组长——不是自己重做一遍，而是抽检 + 算一致率 + 找规则漏洞。
⚠️ 易错提醒
- 错误认知：标注质量靠“要求标注员认真点” → 纠正：质量靠规范 + 校准 + 抽检 + 返工机制——喊口号不解决口径分歧。
- 错误认知：规范写定义就够了 → 纠正：必须写反例与边界案例——只写定义的规范，分歧一定集中在边界上。
- 错误认知：信息不足的样本随便选一个标签 → 纠正：必须允许“存疑/无法判断”并上报——硬选等于往数据里掺错。
- 错误认知：标注员不能标自己的数据，所以质检就是换个人重标 → 纠正：质检的核心是抽检 + 一致率 + 规则校验，不是全量重标（成本极高且同样会错）。
- 错误认知：一致率低，换一批标注员就行 → 纠正：先怀疑规范——规范不清时，换多少人一致率都上不去。
- 错误认知：抽检发现 1% 不合格，挑出来改掉即可 → 纠正：不合格往往成片出现（同一规则理解错），应按批次/规则返工，并回溯已提交的部分。