第 2 章 · 数据采集与清洗
考点梳理
2.1 数据从哪来（四种采集方式）
| 方式 | 做法 | 优点 | 风险 |
|---|---|---|---|
| 自有数据 | 从自家业务系统/日志/客服记录取数 | 贴合业务、口径清楚 | 量小、分布偏、涉个人信息 |
| 公开数据集 | 用开源/竞赛/政府开放数据 | 免费、标注质量有参考 | 许可证限制、与业务不匹配 |
| 众包采集 | 外包给众包平台或标注团队 | 快、可规模化 | 质量参差、需严格质检 |
| 采集标注一体 | 采集与标注同批完成（如语音录制+转写） | 效率高、场景可控 | 方案设计不当会系统性偏差 |
采集第一原则：先明确“要解决什么业务问题”，再决定采什么数据——为采而采，等于制造垃圾。
2.2 采集的合规底线（红线）
| 要求 | 具体做法 |
|---|---|
| 合法授权 | 采集与使用须有合法依据与授权；公开数据也要看许可证 |
| 最小必要 | 只采业务必需的字段——能不用个人信息就不用 |
| 告知与同意 | 涉及个人信息时按规定告知并取得同意（以法律法规与机构要求为准） |
| 脱敏 | 姓名、电话、证件号、住址、账号等采集后即脱敏 |
| 不外传 | 不得上传公网工具、不得发到个人设备、不得外传第三方 |
| 留痕 | 采集过程与访问有记录、可审计 |
⚠️ 一句话：“合规不是流程，是能不能开工的前提。”
2.3 清洗五件事（必背）
| 动作 | 处理什么 | 常见做法 |
|---|---|---|
| ① 去重 | 完全重复 / 近似重复 | 精确去重（完全一致）+ 近似去重（相似度/指纹） |
| ② 缺失 | 空值、空字段、占位符（如“无”“-”） | 删除、填充、标记为缺失（看业务需求，不能一律删） |
| ③ 异常 | 数值越界、长度离谱、乱码、重复噪声 | 按规则判定 + 人工抽样确认（别让规则误杀） |
| ④ 格式统一 | 编码、时间格式、单位、命名、大小写 | 统一到一个标准，并记录标准 |
| ⑤ 去噪 | HTML 标签、表情符号、多余空格、广告灌水 | 按任务决定保留或清除（表情在情感分析里可能是有效信息） |
记忆锚：“去重、补缺、剔异常、统格式、清噪声”。
2.4 先画像，再动手（清洗的正确顺序）
不要一上来就删数据——先做统计画像，看清数据长什么样：
| 画像项 | 看什么 | 能发现什么 |
|---|---|---|
| 总量与字段 | 条数、字段数、字段类型 | 数据是否完整交付 |
| 缺失率 | 各字段缺失占比 | 哪些字段不可用 |
| 重复率 | 完全重复 + 近似重复占比 | 采集/汇总是否出错 |
| 分布 | 类别分布、长度分布、时间分布 | 类别失衡、异常集中 |
| 异常值 | 极值、越界、乱码样本 | 采集中断或格式错乱 |
| 抽样人看 | 随机抽 20~50 条读一遍 | 机器统计看不到的问题 |
铁律：“统计 + 抽样”两条腿走路——只看统计会漏语义问题，只看抽样会漏整体偏差。
2.5 清洗报告（评分点，也是作品集）
一份合格的清洗报告至少包含：
① 数据来源与授权说明（从哪来、能不能用）
② 清洗前画像（条数、缺失率、重复率、分布）
③ 清洗规则清单（每条规则的判定标准与理由）
④ 清洗前后对比（条数变化、删了什么、为什么删）
⑤ 遗留问题与建议（哪些没法洗、需要业务确认）
为什么重要：“我洗过数据”是过程，“我洗掉了 12% 的重复、缺失率从 8% 降到 1%、规则和理由都写清了”才是能力。
🧠 记忆工具箱
口诀速记
- 采集四路：“自有、公开、众包、一体”；
- 合规六条：“授权、必要、告知、脱敏、不外传、留痕”；
- 清洗五事：“去重、补缺、剔异常、统格式、清噪声”；
- 正确顺序：“先画像，后动手；先统计，再抽样”；
- 交付两件：“干净数据 + 清洗报告”（报告是评分点）。
场景锚点
把数据清洗想象成 “下厨前的备菜”：
- 去重 = 挑掉重复的菜（同一盘菜端两次，客人会以为你凑数）；
- 缺失 = 缺了主料（缺了还硬炒，味道一定不对）；
- 异常 = 烂掉变质的（不挑出来，整锅都毁了）；
- 格式统一 = 切成一样大小（大小不一，受热不均）；
- 去噪 = 洗掉泥沙（泥沙在，再好的厨艺也白搭）；
- 清洗报告 = 备菜记录（告诉后面的人：我挑掉了什么、为什么）。
训练师的现实：厨房里最花时间的不是炒菜，是备菜——真实项目里，清洗往往占数据处理时间的一大半。
⚠️ 易错提醒
- 错误认知：数据越多越好，先采了再说 → 纠正：没有明确业务目标的数据是负债——采集要看授权、看口径、看能否用。
- 错误认知：公开数据集可以随便用 → 纠正：先看许可证（License）与使用条款；商用、再分发前必须确认授权。
- 错误认知：清洗就是删掉有问题的数据 → 纠正：删数据是最贵的一刀——先判断是“填/修”还是“删”，异常要抽样确认再处理。
- 错误认知：清洗完直接标注 → 纠正：必须先出清洗报告并留规则——否则返工时无法复现，也无法解释质量波动。
- 错误认知：去重只做完全一致就够了 → 纠正：近似重复（改了几个字、多一个空格）同样会污染训练，需按业务选用相似度或指纹去重。
- 错误认知：表情、标点、格式符号都是噪声，一律清掉 → 纠正：是否算噪声取决于任务——情感分析里表情是特征，清洗规则要跟业务目标对齐。