Loss卡住时别盲调学习率：一条可复现的神经网络排障路线

2019-02-26 09:00 • AI 技术, 神经网络 • 阅读 25

看到Loss横着走时，同时更换优化器、网络、批大小和增强策略，往往只会失去对照。排障的第一原则是缩小系统：固定随机种子与软件环境，保存一批输入、标签和初始权重，让每次实验只改变一个假设。

先确认是哪一条曲线出了问题

关闭随机增强与强正则，只取8到32个样本重复训练。容量足够的模型通常应把这批数据拟合到很低的损失；若做不到，先不要增加全量训练时间。检查标签是否对齐、输出维度是否匹配、损失是否收到正确张量，以及优化步骤是否真的更新参数。

随机抽取原始样本，连同增强后的输入和标签一起可视化或回放。分类标签从0还是1开始、掩码是否把有效位置清零、图像通道顺序、音频采样率、文本特殊符号和回归单位，都可能让代码正常运行却学不到目标。

Loss是程序计算出来的数字，不是数据正确的证明。先让人能够解释一批输入、标签与预测，再相信曲线。

多类单标签任务常用logits配交叉熵，多标签任务需要逐类二元损失，回归目标则按噪声与异常值选择平方误差或更稳健的形式。若损失函数内部已经包含softmax或sigmoid，模型端不要重复变换；类别权重也要确认归一方式和广播维度。

先在小范围对数刻度试探多个学习率，并记录第一批更新量。过大时Loss震荡、爆炸或出现NaN，过小时参数变化接近数值噪声。Adam不是所有任务的自动答案，SGD、权重衰减和调度器需要在相同数据顺序与训练预算下比较。

逐层记录激活均值、方差、最大值和非有限比例，再从Loss反向记录梯度。初始化应与激活函数和扇入扇出匹配；深层网络可借助规范化、残差连接和梯度裁剪，但裁剪只能限制爆炸，不能修复错误计算图。

训练Loss持续下降而验证Loss变差，说明继续优化训练目标未改善未见样本。此时检查数据泄漏与分层划分，再考虑早停、权重衰减、数据增强、模型容量和更多有效数据。验证集不能被反复调参到失去独立性。

训练和验证都正常但目标测试失败，应比较时间、设备、人群、噪声、类别比例与预处理版本。保存目标场景的失败切片，按错误类型评估，而不是只盯平均Loss。只有找到哪类输入发生变化，补数据或做域适配才有明确方向。

一条有效的排障记录应包含基线、唯一改动、曲线、梯度统计和结论。先证明最小系统能学，再扩大数据和复杂度，比在完整训练上碰运气更快接近根因。

每次排障记录代码提交、数据版本、随机种子、批量、优化器、学习率、损失定义和初始化方式。先复制失败基线，再只改一个变量，并把训练曲线、梯度统计和模型输出与基线并排保存。若同时换网络、增强和优化器，即使 loss 下降，也无法知道哪个改动真正解决了问题。

单批次过拟合应关闭随机增强和不必要正则，固定极小样本反复训练。若仍无法逼近很低训练误差，重点检查标签映射、输出维度、损失输入、参数是否进入优化器，以及梯度是否在某处被分离。若小样本能学会而全量不行，再转向数据噪声、任务难度、批量统计和学习率调度。

为关键层记录激活与梯度的最小值、最大值、均值、标准差和非有限数比例。首次出现 NaN 的层比最终 loss 更有信息；混合精度下还要观察缩放器是否持续降低尺度。分类任务随机初始化时的损失应接近可推导基线，偏离很大常提示标签或输出处理错误。

恢复训练要验证优化器状态、学习率步数和归一化统计是否一同恢复。排障完成后在原失败样本与独立验证集上复测，并撤销仅用于诊断的临时改动。可复现路线的目标不是积累“调参技巧”，而是用最少实验把故障定位到一个可证伪假设。

把一次诊断限制在可接受的批次或分钟数，并在开始前定义“支持假设”和“反驳假设”的信号。例如怀疑学习率过低，就比较参数更新量相对参数尺度，而不是等待完整训练；怀疑标签错位，就打印同一批输入、标签和模型初始预测进行人工核对。

日志应聚合而不是淹没训练。每隔固定步数保存损失分项、学习率、梯度范数、样本吞吐和异常计数；对少量固定探针样本保存预测演变。若每一步打印完整张量，I/O 会改变训练速度，也让真正异常难以发现。

找到原因后重新从干净提交运行失败基线与修复版本，避免临时调试代码、缓存或随机状态制造假修复。最终记录根因、最小改动、验证证据和防复发测试，让下一次相似曲线不必从盲目调参开始。