深度学习的边界不在模型大小：可学性、分布与反馈回路

2019-05-27 09:00 • AI 技术, 神经网络 • 阅读 24

边界一：答案必须在输入中留下痕迹

如果预测目标依赖模型从未观察到的事件，任何网络都只能利用相关性猜测。仅凭一张商品图无法知道仓库是否会延迟发货，仅凭历史价格也不能获得所有未来政策信息。增加参数会提升函数表达能力，不会创造缺失变量。

模型从过去样本中学习稳定模式；设备、用户、政策和竞争环境变化时，输入与标签关系可能漂移。随机测试集只能验证同分布泛化，时间外、地域外和设备外数据更接近真实挑战。系统需要监测变化并规定何时降级。

深度模型能发现高维关联，却不自动回答“采取某行动会怎样”。医疗治疗、价格策略和风控政策会改变后续数据，历史观察中还可能有混杂因素。需要因果设计、随机实验或领域机制时，应把预测模型放进更大的证据体系。

常见样本数量占优，优化目标容易牺牲少数场景来换取总体分数。安全关键任务应列出不可接受错误、群体与极端条件，评估置信度和拒绝机制。模型不知道时能够退出，往往比把每个输入都强行分类更重要。

推荐结果改变用户点击，信贷决策改变谁能获得贷款，内容排序改变下一轮训练数据。上线后的样本不再是自然观察，而是被旧模型筛选过的结果。保留探索流量、记录策略版本和设计反事实评估，才能避免系统只强化自己已经相信的模式。

更大模型可能改善长尾覆盖和迁移，但训练、推理、数据治理与审核成本也会增长。比较单位请求成本、能耗、延迟和维护复杂度，并用小模型、蒸馏、检索或级联方案做对照。业务只需要达到可接受门槛时，额外分数未必值得。

深度学习的强项是从大量例子中压缩规律；它的边界来自例子没有告诉它什么，以及系统上线后改变了什么。

局部归因可以帮助排查，却不保证模型因果正确或整体安全。可信系统还需要数据血缘、切片评估、校准、访问控制、变更记录、人工复核与事件响应。解释工具是证据的一部分，不能替代验证过程。

对这些问题没有答案时，继续放大网络只是延后决策。技术选择应服从可验证目标，而不是服从热度。

扩大参数、数据和计算通常能改善平均性能，但收益取决于训练分布、目标函数和推理预算。记录每一档规模的损失、下游任务、困难切片、训练能耗和服务成本，观察边际收益何时变小。若只保留最好一次结果，就无法判断提升来自稳定规律还是随机波动与筛选偏差。

数据增长也不是简单堆积。重复、低质量和许可不清的内容会消耗计算并放大偏差；稀有但重要的场景即使样本少，也可能决定产品风险。可以用主动学习或错误聚类寻找真正缺失的信息，再通过人工核验加入，而不是让高频容易数据继续主导梯度。

推荐系统影响用户看到什么，风控模型影响谁进入后续样本，生成系统又会把模型文本带回网络。部署后收集到的数据已经受旧模型选择，不能直接当作自然分布。保留随机探索或独立抽样通道，记录策略版本，并在再训练时区分自然事件与系统干预。

当准确率增长需要成倍算力时，还要比较蒸馏、检索、规则、流程重构和人工节点。某些问题更需要新传感器或更清晰标签，而不是更深网络；某些高风险属性本就不应从现有输入推断。

“还能走多远”没有脱离任务的统一答案。合理的研究与产品评审应明确下一次扩展希望改变哪类错误、需要多少资源、产生什么新风险，以及在什么证据下停止。规模是手段，能够被验证的现实改进才是目标。

能减少训练数据、降低能耗、改善少数语言、提供可靠不确定性或让系统更容易纠错的研究，即使平均分提升不大，也可能更重要。评审时把目标人群、资源条件与失败代价写出来，避免所有问题都被同一个大规模基准吸收。

开放权重与代码有助复核，但还需要数据说明、评测脚本、许可和计算记录。无法重建训练的系统至少应允许独立测试与错误分析；安全或隐私限制无法完全开放时，清楚说明缺失证据及其影响，而不是用“规模太大”代替透明度。

对高影响应用设置外部审查与上线后暂停权。模型在反馈中造成伤害时，能够降级、撤回和通知受影响者，才表明研究成果具备进入社会系统的治理条件。边界不是阻止进步，而是让进步的代价可见。

每次扩展前保留小模型与人工流程作为对照，确保新系统确实改善结果，而不是只让评测与维护变得更复杂。