第 1 章 · 文本数据标注
考点梳理
1.1 文本标注三类任务
| 任务 | 标什么 | 例子 | 输出形态 |
|---|---|---|---|
| 文本分类 | 整条文本给标签 | 情感（正/负/中）、意图（咨询/投诉/退款） | 文本 + 标签 |
| 序列标注 | 每个字/词给标签 | 实体抽取（人名/地名/机构/时间） | 文本 + 位置区间 + 标签 |
| 关系抽取 | 两个实体之间的关系 | “张三就职于某某公司” → 就职关系 | 实体对 + 关系类型 |
还有两类常见补充任务：
- 文本匹配/相似度：判断两段文本是否同义、是否重复；
- 生成类标注：给大模型回答打分或排序（偏好数据，训练师的高价值项）。
记忆锚：“整条给标签是分类，逐字给标签是序列，两个实体连线是关系，比好坏是排序。”
1.2 文本标注六步流程（照做就不会乱）
① 读规范：标签定义、正例、反例、边界案例（★ 不许跳过）
② 试标：先标 20~50 条，暴露问题
③ 校准：与质检/需求方对齐分歧，补规范（★ 分歧样本别丢）
④ 批量：按批次作业，边标边做自查
⑤ 自查：随机回看 5%~10%，重点查边界与易混标签
⑥ 提交：按格式交付 + 备注存疑样本
铁律：“没有试标校准，就没有批量作业。” 跳过试标直接铺量，返工成本通常是试标的几十倍。
1.3 序列标注的标签体系与边界（最容易扣分）
BIO 体系（常见口径）：
| 标签 | 含义 |
|---|---|
| B-类型 | 实体的开始（Begin） |
| I-类型 | 实体的内部（Inside） |
| O | 非实体（Outside） |
实体边界口径（必须在规范里写清）：
| 争议点 | 常见两种口径 | 要求 |
|---|---|---|
| 修饰语是否包含 | “北京市朝阳区”（含“市/区”）vs 只标“北京” | 规范选一种，全批统一 |
| 括号与别名 | “某某公司（下称甲方）”标多少 | 统一口径 |
| 嵌套实体 | “北京大学附属中学”里的人名/机构名 | 一般按规范只标一层（或另建嵌套规则） |
| 标点 | 实体首尾含不含标点 | 统一口径 |
| 跨句实体 | 实体跨越句号 | 一般按规范截断或标整段 |
记忆锚：“B 起 I 中 O 不是，边界口径先写死。”
1.4 文本标注质检要点
| 检查项 | 怎么查 | 常见问题 |
|---|---|---|
| 标签合法性 | 是否用了规范外的标签 | 自造标签（“其他-1”） |
| 范围合法性 | 位置区间是否越界、是否重叠违规 | 区间超出文本长度 |
| 边界一致性 | 同类实体边界是否统一 | 有的含“市”，有的不含 |
| 空标与全标 | 是否大量空标签/整篇全标 | 应付式作业 |
| 分布异常 | 某标签占比是否异常偏高 | 标签滥用（“其他”桶太大） |
| 一致率 | 抽 10% 重复标注比对 | 一致率低 → 回改规范 |
返工的三种处理方式：
- 全批返工：规则理解错了（最常见）——同规则涉及的批次全部重做；
- 定点返工：个别标注员理解偏差——补培训后重做其名下批次；
- 规范返工：规范本身有歧义——先改规范，再校准，再复标分歧样本。
1.5 提交格式与要求（格式错=白做）
| 项 | 要求 |
|---|---|
| 文件格式 | 常见 JSON / JSONL / CSV / TSV（以任务要求为准） |
| 字段命名 | 严格按要求的字段名与层级，不要自创字段 |
| 编码 | UTF-8（无 BOM），换行符统一 |
| 文件命名 | 按任务规定的命名规则与批次号 |
| 位置区间 | 明确字符下标还是词下标、从 0 还是从 1 开始 |
| 存疑样本 | 单独文件或单独字段标注，并在备注里说明原因 |
提交前自查四问：① 字段对不对？② 编码对不对？③ 条数对不对（有没有漏/重）？④ 存疑样本有没有单独标出来？
🧠 记忆工具箱
口诀速记
- 三类任务：“分类整条、序列逐字、关系连线”；
- 六步流程：“读规范、试标、校准、批量、自查、提交”；
- BIO：“B 起、I 中、O 不是”；
- 边界：“含不含修饰语、含不含标点、嵌套怎么算——先写死”；
- 提交四问：“字段、编码、条数、存疑”；
- 返工三型：“规则错全批返，个人错定点返，规范错先改再返。”
场景锚点
把文本标注想象成 “给一篇文章做标注的语文老师”：
- 读规范 = 看评分标准（不知道要求就开始改，改完全错）；
- 试标 = 先改两篇给教研组长看（对齐口径）；
- 校准 = 教研会统一标准（分歧样本就是教研会的材料）；
- 批量 = 正式改卷（边改边对照标准）；
- 自查 = 复查自己的批改（重点看争议题）；
- BIO = 用三种记号笔划重点（起笔、续笔、不划）；
- 返工 = 发现标准理解错了，全班重改（这就是为什么试标不能省）。
序列标注的现实：实体抽取项目里，80% 的返工来自“边界口径没写清”——不是标注员不认真，是规范留了空白。
⚠️ 易错提醒
- 错误认知：文本标注不用试标，直接开工更快 → 纠正：跳过试标 = 把规范漏洞留到批量阶段爆发——返工成本远高于试标成本。
- 错误认知：实体边界凭语感标就行 → 纠正：必须写死口径（含不含“市/区”、含不含标点、嵌套怎么算）——否则一致率永远上不去。
- 错误认知：一条文本只能有一个标签 → 纠正：是否允许多标签由规范决定；“正面+投诉”这类情况必须提前写明主标签/次标签或多标签规则。
- 错误认知：信息不足的句子随便选一个最像的标签 → 纠正：必须标“存疑”并上报——硬选等于向数据集注入错误。
- 错误认知：提交格式随便，反正内容对就行 → 纠正：格式错 = 无法入库 = 全部白做；提交前按四问自查。
- 错误认知：一致率低是标注员水平差 → 纠正：先查规范歧义与边界缺失——规范不清时，换谁标都低。