合法收集机器学习数据：目的限定、许可、同意与可追溯流程

收集前先写数据需求说明

列出模型服务的决定、所需字段、目标人群、时间范围、质量门槛、保留期限与不能接受的来源。每个字段都回答“没有它会损失什么”；无法解释用途的数据不先收进来。更少但贴近目标的数据，常比庞大杂乱集合更有效。

四类来源承担不同责任

公开可访问不等于自由使用

网页、图片和帖子可能受著作权、平台条款、数据库权利与个人信息规则约束。robots规则是自动访问偏好，不是版权或隐私授权。无法确认权利时，不要先下载后补理由；改用明确许可数据、取得授权或只保存必要的非内容统计。

涉及个人信息要确定合法基础

在中国境内处理自然人个人信息，需要结合个人信息保护法及具体场景确定处理依据、告知、敏感信息、跨境与个人权利。本文不是法律意见；项目应由法务和隐私负责人按适用地区审查。

同意必须能被理解和撤回

告知收集者身份、具体用途、数据种类、保存期限、共享对象、模型产物与退出方式，不把非必要训练授权捆绑到核心服务。撤回后哪些原始记录、派生标签和模型版本受影响，应在收集前设计，而不是收到删除请求后才寻找数据。

最小化可以直接降低成本

先用小规模试验估算哪些样本最有信息，再通过分层抽样、主动学习和错误切片补充数据。不要为了“以后可能有用”无限保留原始音视频。去标识化、字段裁剪和短保留期同时降低存储、泄露与标注成本。

每条样本保留血缘

• 来源、获取时间、版本与许可证。
• 合法基础或授权记录。
• 原始标识、去重关系和变换步骤。
• 标注者、指南版本与质检结果。
• 允许用途、保留期限和删除状态。

血缘表与数据分开授权，不能让普通训练账号读取全部身份信息。

标注质量从规范和分歧开始

用正例、反例和边界案例编写指南，先做小批试标并计算一致性。分歧不一定是标注员错误，可能说明类别定义含糊或任务本身不可判定。保留“不确定/无法判断”，不要强迫每条样本进入一个确定类别。

合成数据是补充，不是许可捷径

生成数据可以覆盖稀有条件和保护部分真实记录，但生成器可能记忆训练样本，也会复制偏差。记录生成来源、提示和筛选规则；最终评估仍需合法取得、代表目标场景的真实数据，不能只在合成测试上宣布可用。

安全与删除进入数据生命周期

传输和存储加密，访问按角色最小化，下载与导出留审计日志；训练环境不默认连接公网。到期、用途结束或权利请求触发删除工作流，并验证缓存、标注平台、备份和下游副本。NIST隐私框架可作为识别和管理隐私风险的补充结构。

能训练出模型不是数据使用权的证明。来源清楚、用途正当、个人可行权，才让数据资产具有长期价值。

发布前的数据卡

1. 为什么收集、服务谁、不适合谁。
2. 来源与许可是否允许计划用途。
3. 人群、场景和时间覆盖如何。
4. 清洗、标注、切分和已知偏差。
5. 安全、保留、撤回和删除机制。
6. 负责人、复审日期与停用条件。

收集计划要先指定数据所有者

所有者负责需求变更、权限审批、质量阈值、删除请求和停用，而不是只负责获得文件。计划列出目标样本量只是开始，还要按人群、设备、时间和困难场景分层，设定最大保留量与停止日期，防止“以后可能有用”演变成无限收集。

采购、合作、公开资源、产品日志和主动招募分别建立台账，保存合同或许可、访问日期、允许用途和再分发限制。公开网页能访问并不代表允许批量抓取、训练或发布；平台条款、数据库权利与个人信息义务需要独立判断。

把同意与撤回落实到样本标识

参与者收到易懂说明，知道采集什么、用于何种模型、保留多久、可能与谁共享以及如何退出。样本使用稳定 ID 关联同意版本，撤回后能够定位原始数据、标注、派生特征和待训练队列；已发布模型能否删除影响要在收集前说明，不能做出无法实现的承诺。

最小化同时改善安全与质量。只收集任务需要的字段，敏感标识分离保存并限制访问；原始数据、清洗结果和标注分层权限。传输加密、下载审计、工作区隔离与到期自动删除进入日常运维。

质量控制从规范、分歧和血缘开始

标注指南包含正例、反例、边界和“不确定”，先做小规模试标，测量一致性并讨论系统分歧。金标准样本用于持续校准，但防止标注者背答案；质量问题定位到指南、工具或样本，而不是只淘汰个体。

每条训练样本保留来源类别、处理代码版本、标注批次和切分归属。重复与近似副本在切分前成组，测试集与生产回流隔离。合成数据记录生成方法和种子，单独评估是否放大生成模型偏差。

发布数据卡说明覆盖、许可、已知偏差、删除与联系渠道。收集结束后关闭入口、撤销临时权限并审计副本。合法、可追溯和可删除不是文档装饰，而是数据能够长期进入模型生命周期的前提。

删除流程要通过抽样验证：主存储、缓存、标注平台、导出文件和备份分别确认，不能只删数据库索引。用途发生实质变化时重新评估合法基础并通知相关参与者，而不是沿用最初同意无限扩张。