第 2 章 · 图像与语音数据处理
考点梳理
2.1 图像标注三类任务
| 任务 | 标什么 | 输出 | 典型场景 |
|---|---|---|---|
| 图像分类 | 整张图给标签 | 图片 + 类别 | 内容审核、场景识别 |
| 目标检测 | 矩形框圈出目标 | 框坐标 + 类别 | 车辆行人、工业缺陷、货架识别 |
| 图像分割 | 逐像素/多边形精确轮廓 | 掩码或多边形点集 | 医学影像、遥感、自动驾驶 |
补充任务：
- 关键点标注：人脸关键点、人体姿态、手部关键点（点 + 顺序 + 可见性）；
- 图像描述/问答标注：给图配文本描述、问答题（多模态大模型训练数据）。
记忆锚：“整张给标签是分类，画框是检测，描边是分割，点位置是关键点。”
2.2 框选规范（最讲究细节的一节）
| 规范项 | 常见口径 | 为什么重要 |
|---|---|---|
| 贴边程度 | 框紧贴目标边缘，不留大空隙、不切掉目标 | 松框/切边会直接降低检测精度 |
| 最小尺寸 | 小于阈值（如几个像素）的目标标或不标要写清 | 避免标注员自由裁量 |
| 遮挡处理 | 部分遮挡照常标（按可见部分估计完整范围）；严重遮挡按规定弃标 | 遮挡是真实场景常态 |
| 截断处理 | 目标被画面边缘截断，按可见部分标（或按规范标记截断属性） | 影响评估口径 |
| 类别边界 | 易混类别（如“轿车/SUV”）给反例与边界案例 | 类别混淆是主要误差来源 |
| 忽略区域 | 不关心、无法判断的区域标记为忽略 | 避免“标了也不算分”的争议 |
| 一图多标 | 同类多个目标分别标框，不合并 | 合并会导致漏检 |
记忆锚：“框要紧贴、边不切、遮挡照标、截断照见、多个分标。”
2.3 语音数据标注
语音标注的核心是“转写 + 对齐 + 属性”：
| 标注项 | 内容 | 要求 |
|---|---|---|
| 转写（听写） | 把语音写成文字 | 逐字准确；数字/专名按规范写（阿拉伯数字还是汉字要统一） |
| 时间戳对齐 | 标出每段/每句的起止时间 | 精度要求由任务规定（句级 / 字级） |
| 说话人标注 | 区分不同说话人（谁说的） | 多人对话必须区分 |
| 非语音事件 | 笑声、咳嗽、噪声、静音 | 按规范标记或忽略 |
| 情感/语气 | 情绪标签（可选任务） | 定义与边界案例必须写清 |
| 口音/方言 | 标注口音类别 | 影响模型泛化评估 |
音频质量要求（常见口径）：
- 清晰度：无严重混响、无明显削波失真；
- 采样率与格式：按任务规定（统一采样率与编码，不要混用）；
- 信噪比：背景噪声过大需重录或标记；
- 时长与切分：单条时长按规范切分（过长影响对齐与训练）。
记忆锚：“转写要对字，时间要对齐，说话人要分开，噪声要标记。”
2.4 多模态标注的质检要点
| 检查项 | 怎么查 | 常见问题 |
|---|---|---|
| 框的合法性 | 坐标是否越界、宽高是否为正、是否退化 | 零面积框、坐标越界 |
| 框与类别匹配 | 抽样人看框内是不是该类目标 | 张冠李戴（框对了类别错） |
| 漏标率 | 抽检时统计漏标目标数 ÷ 应标总数 | 小目标、密集目标漏标 |
| 多边形质量 | 是否自交、是否贴合轮廓、点数是否过密/过疏 | 敷衍描边（大面积包住背景） |
| 时间戳质量 | 边界是否对齐语音起止 | 时间轴整体偏移 |
| 转写准确率 | 抽样对比音频，算字错误率 | 同音字、数字格式不统一 |
| 一致率 | 多人重复标注比对 | 类别与边界分歧 |
图像/语音标注的容量建议：单批次不要过大——每批次做完先抽检再继续，避免“全批标完才发现规则错了”。
🧠 记忆工具箱
口诀速记
- 图像三类：“分类整张、检测画框、分割描边”；
- 框选五条：“紧贴、不切、遮挡照标、截断照见、多个分标”；
- 语音四条：“转写对字、时间对齐、说话人分开、噪声标记”；
- 音频质量：“清楚、统一、干净、切好”；
- 质检两条：“框要合规、人要抽看”（机器查坐标，人查语义）。
场景锚点
把图像标注想象成 “给照片里的东西画圈做标记”：
- 紧贴 = 用笔刚好圈住物体（圈太大 = 混进背景；圈太小 = 切掉一半）；
- 遮挡照标 = 只看得到半个杯子，也要圈出整个杯子的大致范围（因为现实中杯子就是会被挡住）；
- 截断处理 = 车开出了画面，只圈看得见的部分（别凭空补出画面外的部分）；
- 忽略区域 = 老师说“这块不用管”（提前说清，免得白干还被扣分）；
- 漏标 = 画面里有 10 个人，你只圈了 7 个（模型学到的就是“这里有 7 个人”）。
语音标注的场景：像做听写作业——字要写对（转写）、要对准音频位置（时间戳）、要标清是谁在说（说话人）、要注明有杂音（非语音事件）。
⚠️ 易错提醒
- 错误认知：框画大一点更保险，反正能框住 → 纠正：松框会把背景当目标学进去——必须紧贴边缘，不切目标。
- 错误认知：遮挡的目标看不清就不标 → 纠正：部分遮挡应按可见部分估计完整范围照常标（严重遮挡才按规定弃标）——不标就是漏检样本。
- 错误认知：一图里同类多个目标合成一个大框 → 纠正：必须逐个分别标框，合并框会让模型学不会“数数”与定位。
- 错误认知：语音转写大致意思对就行 → 纠正：语音识别训练数据要求逐字准确，同音字、数字格式不统一是最常见的返工原因。
- 错误认知：时间戳差一点无所谓 → 纠正：时间轴整体偏移会让对齐全错；句级/字级精度按任务要求执行。
- 错误认知：坐标合法就等于标得对 → 纠正：机器只能查坐标越界，查不出“框里是不是目标、类别对不对”——必须人工抽检语义正确性。