评估模型之前先守住数据边界：训练、验证、测试如何切才可信

模型在训练数据上得到接近满分，只能说明它能够解释或记住已经看过的样本，不能代表面对新对象仍然可靠。评估的核心，是把开发过程与最终检验分开：模型允许从一部分数据中学习，也允许用另一部分数据做选择，但必须留下一块没有参与选择的证据，模拟部署后真正遇到的未知。

三份数据的区别在职责，不在文件名

训练集用于拟合权重、统计量或规则；验证集用于选择特征、模型结构、超参数、阈值和停止时机；测试集用于评估已经冻结的完整方案。只要团队看过某份数据的结果，并据此改变了方案，那份数据就在事实上参与开发，不能继续当作完全独立的测试。

• 训练数据可以反复迭代，但每次变换都要记录。
• 验证数据可以多次查看，用于比较候选和分析误差。
• 测试数据应在方案锁定后才用于最终报告。
• 上线后收集的新数据可以形成下一轮训练集，但不是原结论的补丁。

七三开或八二开只是比例示例

固定比例没有普遍正确答案。总样本量、阳性数量、群组规模、业务变化速度和指标需要的置信程度都会影响划分。测试集过小，即使完全独立，结果也可能因少数样本偶然波动；训练集过小，则无法充分拟合。与其机械追求某个比例，不如先计算关键子群和少数类别至少需要多少样本，再为剩余部分分配训练空间。

验证集不是可有可无的装饰。若没有独立验证，开发者往往直接在测试结果上挑模型，测试集就逐渐变成验证集。反复试验次数越多，越可能偶然找到一套只适合这份测试数据的配置，即使从未直接训练测试样本，也发生了评估过拟合。

随机切分只适合近似独立的样本

当每条样本近似独立同分布、同一实体不会重复出现，并且部署也面对相似分布时，可以打乱后随机划分。分类任务常用分层抽样保持类别比例，但分层不能解决近重复、同一人的多条记录或同一文档切成的片段。它只控制标签数量，不会自动识别样本之间的依赖。

决定切分单位的不是表格中的一行，而是现实中什么才算一个独立对象。

医疗数据中，同一患者的多次检查应作为整体放入同一个集合；语音任务常按说话人分组；设备监控要防止相邻时间窗被随机拆散；文档任务应让同一原文的段落留在同侧。否则模型可能只是在识别人、设备、背景或写作风格，却被误认为学会目标规律。

时间任务必须模拟从过去走向未来

需求预测、风控、推荐和故障预警通常在未来运行，训练时间应早于验证和测试时间。随机打乱会把未来的价格、策略、设备状态或用户行为泄漏到训练阶段。时间切分还要留意标签延迟：在预测时点尚未发生或尚未可得的信息，不能因为数据表后来补齐就被当作特征。

1. 明确预测发生的时间点，以及当时真正可用的字段。
2. 按时间建立训练窗口，再使用后续窗口调参与评估。
3. 处理同一对象跨窗口出现时可能带来的记忆效应。
4. 记录政策、产品和采集方式变化，解释分布漂移。
5. 若需要滚动验证，让每一折都保持时间单向前进。

若部署目标是新医院、新城市、新工厂或新设备，仅按时间切分还不够。可以保留完整站点作为外部测试，观察模型遇到不同流程和人群时的表现。测试集是否与训练同分布，取决于要回答的问题：估计同环境未来表现，还是估计跨域泛化，不能为了分数好看随意选择。

预处理也会越界偷看

标准化均值、缺失值填补规则、词表、特征选择、降维和采样策略，都可能从全量数据吸收信息。正确做法是在训练部分拟合这些变换，再将固定变换应用到验证和测试。交叉验证时，每一折都要在该折训练子集内重新拟合，不能先用完整数据算好统计量再分折。

交叉验证减少切分偶然性，却不消除设计错误

数据较少时，k 折交叉验证让每个子集轮流承担验证角色，可以观察模型对划分变化的敏感度。每一折仍必须遵守分组或时间边界，重复对象不能跨折。交叉验证适合模型选择或性能估计，完成选择后仍应在一份从未参与调参的数据上做最终评估；若模型与超参数搜索复杂，还可以考虑嵌套结构分离内外层职责。

重复样本检测既要查完全相同的哈希，也要查近重复。裁剪、压缩、改尺寸或轻微编辑后的图片可能不会共享哈希，文本也可能只是格式不同。先切分原始独立单位，再只在训练侧进行数据增强，是避免衍生样本穿越边界的常用原则。

从误差差距判断问题，但不要套僵硬公式

训练与验证都差，可能表示模型能力不足、特征无效、标签噪声或优化尚未完成；训练好而验证明显差，常提示过拟合或分布不一致；验证好而测试差，则要检查是否对验证集反复调优、测试分布是否不同，或测试流程是否有错误。训练低、验证反而高也并非绝不可能，正则化、数据增强或集合难度差异都可能造成这种现象，必须回到样本和流程调查。

类别不平衡时，只报准确率会遮住少数类失败。应在验证集选择阈值，再在测试集用冻结阈值报告精确率、召回率、PR 曲线、校准或业务成本。过采样、欠采样和合成样本只能发生在训练侧，不能为了让测试更平衡而改变真实评估分布。

划分本身也要成为可审计资产

为样本保存稳定标识、主体标识、时间戳与群组字段；记录数据版本、过滤规则、随机种子和划分脚本；报告每个集合的规模、类别比例与关键子群。生成后的清单应被锁定，避免不同成员各自随机切一份，然后只选择效果最好的一次。

可信分数来自可信边界。先描述系统上线后会遇到谁、何时预测、哪些信息当时可得，再选择随机、分组、时间或站点划分。测试集不是数据库里预留的一列，而是一项组织纪律：所有选择在它之外完成，最后让它对冻结方案做一次诚实检验。守住这条纪律，模型指标才有资格支持部署决定。