第一次做机器学习：从问题定义到可信评估的最小闭环

机器学习是用数据估计输入到输出之间的规律，再把规律用于未见样本。算法会学习参数，但项目成败更多取决于问题是否可测、数据是否代表使用场景，以及评估有没有偷看答案。先走完一个小闭环，比同时背十种模型更容易建立判断。

用一句话定义任务

假设要根据品牌、型号、使用年限、成色和维修记录估算二手设备售价。输出是连续数值，所以这是监督回归。还要说明预测发生在上架时，哪些字段当时可得，以及误差会影响定价、审核还是仅供参考。

先做不用训练的基线

让所有样本都预测训练集售价中位数，再计算平均绝对误差。这个朴素结果给复杂模型设置最低门槛。若新模型不能稳定超过它，应先查数据和目标，而不是继续调超参数。

划分要模拟未来使用

训练集用于拟合，验证集用于选择特征和超参数，测试集在方案确定后做最终检查。若价格随时间变化，应按上架时间向后切分；同一设备的重复发布不能跨集合。标准化、缺失填补和类别编码只在训练集拟合统计量。

一次只比较一个更强方案

先训练线性模型，观察系数、残差和不能表达的关系；再尝试树模型捕捉非线性与交互。所有模型使用相同划分和指标，记录特征版本、参数、随机种子与运行环境。验证集改善后才进入测试。

模型在训练数据上记得更准，不等于对下一台设备估得更准；机器学习真正考察的是未见样本。

平均误差之后分析失败样本

分别查看高价、低价、稀有品牌、缺失维修记录和不同月份的误差。检查模型是否系统性低估某类设备，预测区间是否能覆盖不确定性。错误分析会告诉你应补数据、改标签、增加特征还是接受任务上限。

把闭环扩展到其他任务

分类把数值目标换成类别，并根据误报/漏报选择精确率、召回率等指标；聚类没有现成标签，需要用稳定性与业务解释验证；强化学习还要定义状态、动作、奖励和安全约束。任务不同，数据与评估契约也随之改变。

完成这个小项目后，再学习梯度、概率、矩阵和更复杂模型，会知道每个概念在流程中解决什么问题。入门的终点不是跑出一个分数，而是能解释这个分数为何可信、在哪些样本上不可信。

第一个项目从一页决策记录开始

写下谁会使用结果、在什么时刻做什么决定、一次错误造成什么后果。例如预测客户流失若没有可执行的挽回措施，模型分数再高也只是描述；分类垃圾邮件则需要区分漏拦与误拦的不同成本。这个问题陈述决定标签、指标、阈值和上线方式。

建立两个基线：一个是业务当前做法，另一个是不训练的简单规则或多数类预测。它们给出最低价值与最低复杂度。随后选择一个维护成本低的模型，固定切分与特征流程，完整跑通训练、评估和保存；第一次闭环不追求算法新颖，而追求每个结果都有来源与复现方式。

评估要模拟未来输入

时间相关任务按时间切分，用户相关任务按用户分组，设备或原始文件的派生样本也成组隔离。预处理只在训练部分拟合。指标除了平均值，还按关键人群、置信区间和错误代价切片，并人工阅读一批最自信的错例与最不确定样本。

若模型进入工作流，定义输入缺失、低置信、超时与服务不可用时的回退；记录模型版本与结果，但不在日志中保存不必要的个人数据。小范围试点比较处理时间、人工负担和最终决策，而不是只观察离线分数。

每轮实验在决策记录中补一句：改了什么、为何改、证据是否支持、下一步是什么。机器学习入门的真正能力，不是记住更多模型名称，而是让一个含不确定性的判断过程可以被他人检查。

第二轮迭代从错误簇中选择

把错例按缺失字段、边界样本、标签歧义、场景漂移和模型混淆分组，统计每组数量与影响。选择一个占比高且可通过新信息改善的错误簇，提出一项改动；不要同时为所有错例增加特征和复杂规则。修复后在整个测试集与该切片复测，防止局部优化伤害其他人群。

若模型输出进入人工流程，记录哪些结果被接受、修改或拒绝，以及操作人员花费的时间。人工反馈本身可能有偏差，需要抽样复核并保留原输入。把“模型准确”改写为“流程在目标成本下完成更多正确决定”，项目价值会更清楚。

为模型留下一张简洁说明卡

说明训练数据范围、目标用途、明确禁用范围、评测切分、主要指标、关键切片、阈值和回退。记录依赖版本与复现命令，并标出个人信息、许可和安全限制。说明卡随模型版本更新，不是一份发布后永久不变的宣传页。

第一次项目结束时，尝试让另一位同学只凭仓库重新运行评估，并解释一次错误为何发生。能够完成这次交接，意味着学习已经从“会调用库”进入了可验证的问题解决。

若实验没有超过基线，也要保存原因与负结果。它可能说明现有特征已经足够、标签不稳定，或目标与数据不匹配；这类结论能阻止下一位成员重复消耗时间。项目复盘同时记录技术债、数据缺口和仍未回答的问题，为下一轮学习留下清楚入口。

复盘结论进入下一次实验计划，并由接手者确认能够理解。