机器学习项目的四份契约：目标、数据、损失与反馈

第一份契约：目标对应一个真实决定

“预测流失”仍不完整。要说明在什么时点预测、流失如何定义、谁会看到结果、可以采取什么行动，以及错误会造成什么成本。标签若要等到半年后才出现，模型就无法支持明天必须完成的决定。

第二份契约：数据代表使用人群

训练数据来自历史流程，往往只覆盖被记录、被选择或愿意参与的人。列出样本进入数据集的路径、缺失原因和不能代表的群体；按用户、时间或地点切分，防止同一实体的信息同时出现在训练与测试。

第三份契约：损失表达错误代价

训练损失帮助算法更新参数，业务指标判断系统是否值得使用。两者可以不同。欺诈筛查中漏报与误报成本不对称，概率还需要校准和阈值；推荐任务则要考虑排序位置、多样性与长期反馈，不能只看点击预测。

第四份契约：输出进入反馈回路

模型一旦影响推荐、审核或定价，就改变未来观察到的数据。记录策略版本、曝光和人工修改，保留一部分探索或对照流量；否则下一轮训练只能看见旧模型允许发生的世界。

模型只是契约之间的连接器

线性模型、树、神经网络或检索系统各有表达能力与成本。先建立规则或统计基线，再在同一划分和指标上比较更复杂方案。模型提升若无法转化为更好的实际决定，复杂度就没有被证明。

数据不会自动定义问题，指标也不会自动代表价值；这两件事都需要人在训练之前作出明确选择。

一次评审应该问什么

1. 预测时可用的特征有哪些，是否偷看未来？
2. 未被数据覆盖的人是谁？
3. 哪个错误最昂贵，阈值由谁决定？
4. 人工能否覆盖模型不确定的样本？
5. 上线后怎样发现漂移、伤害与反馈偏差？
6. 何种信号会触发回退或停用？

四份契约需要共同版本化

保存目标定义、数据清单、特征代码、模型、阈值、评估报告和部署策略。任一项改变都可能让旧分数失去可比性。机器学习项目成熟的标志，是团队能够解释每个版本在什么条件下学习、如何失败、谁负责修正。

四份契约需要在同一次评审里对齐

产品负责人说明模型输出将改变哪个决定及当前流程基线；数据负责人说明样本如何产生、谁被遗漏、多久更新；建模人员把错误代价映射到损失与评估；运营人员说明结果怎样进入反馈和申诉。任何一方无法回答，项目就停在问题定义阶段，而不是先训练再寻找用途。

目标契约包含主指标、保护指标和停止条件。提升点击率不能以投诉或长期留存显著下降为代价；自动审核不能只追求处理量而忽略申诉。指标绑定时间窗与人群，避免总体平均掩盖关键群体。

数据契约记录代表性和权限

每个字段说明业务含义、采集时点、缺失语义、允许用途、保留期限和删除路径。切分按未来使用方式，所有预处理只从训练部分学习；数据版本保存血缘与许可。新字段进入前评估它是否泄漏未来信息或成为敏感属性代理。

损失契约把数学错误翻译成现实成本

离线指标与业务代价不一致时，使用阈值、分层成本或排序评估补充，但不为追分不断更换测试口径。概率输出检查校准，低置信或高风险结果进入人工节点。模型优于简单基线且保护指标可接受，才进入小范围试点。

反馈契约防止系统只看到自己选择的数据

记录哪些样本因旧模型被展示、拦截或人工复核，保留随机审计通道和未干预对照。用户纠错需要明确用途、访问权和退出方式。再训练时区分自然标签与策略产生标签，避免反馈回路把早期偏差固化。

上线采用可撤销发布，监控质量代理、延迟、容量、人工负担与群体差异；准备规则或原流程回退。触发停止条件时先降级，再调查，不让“模型需要更多数据”成为继续影响用户的理由。

模型只是四份契约之间的一种实现。若规则、搜索、流程简化或增加一个输入字段能以更低风险完成目标，就选择更简单方案。机器学习项目的成熟度，体现在能够解释为何使用模型，也能够在证据不足时不用模型。

契约变更必须留下迁移记录

标签定义、数据字段、损失权重、阈值或人工流程改变时，创建新版本并说明与旧版是否可比较。历史指标若按旧规则计算，不应直接与新规则连成一条趋势线；必要时重算共同窗口，或在图表中标出断点。

定期召开轻量复核，检查目标仍有价值、数据权限仍有效、错误成本是否改变、反馈是否伤害某类用户。复核者包含受流程影响的人，而不只开发团队。证据不足的高影响用例降低自动化等级，直到补齐。

退役也是模型生命周期的一部分

下线前找到所有调用方，切换到旧流程或替代服务，停止新数据进入并保存必要审计记录。删除无继续用途的训练副本、临时特征和访问凭据，更新文档与仪表盘。制品按合规要求归档，但不让已退役模型继续被未知脚本调用。

四份契约能被版本化、复核和终止，项目才不会因最初一次成功实验永久存在。持续使用模型必须由持续证据支撑。

复核记录进入下一版本。