读懂ASVRG：方差缩减、近端映射与单动量加速

2019-01-03 09:00 • AI 技术, 机器学习 • 阅读 21

很多机器学习目标是大量样本损失的平均值，再加一个可能不可微的正则项。全量梯度方向稳定但每一步昂贵，单样本梯度便宜却抖动明显。方差缩减方法试图在两者之间复用周期性的全局信息，让后期更新仍保持较可靠的方向。

论文处理哪类目标

考虑 F(x)=1/n Σ f_i(x)+g(x)：每个样本项通常光滑且凸，g 可以是L1等结构简单但不可微的正则。可计算近端算子是关键前提；若单个样本梯度或近端步骤本身很贵，只数调用次数会低估实际成本。

算法每隔一段时间保存快照参数，并在快照处计算全量平均梯度。内循环抽取样本，将“当前样本梯度减快照样本梯度”再加上全量锚点。两次样本评估的相关部分相消，使估计保持无偏的同时降低接近最优点时的波动。

普通梯度更新无法直接处理L1折点。近端映射先沿估计梯度走一步，再解一个带距离惩罚的小问题；对L1而言对应软阈值，会把部分系数精确压到零。方法能否落地取决于 prox_g 是否有闭式解或足够便宜的子程序。

原论文提出的 ASVRG 在近端方差缩减框架中加入一个额外变量和一项动量参数。作者的重点不是“动量永远更快”，而是在保留加速理论的同时，让状态与每步更新比若干双动量方案更简洁。

论文分别讨论强凸与一般凸情形，并扩展到小批量和非光滑设置。结论建立在光滑常数、凸性、随机抽样与近端可计算等条件上；若实际神经网络目标非凸，不能把凸优化收敛界直接搬过去。

理论常把一次分量梯度访问视为单位成本，但缓存、稀疏性、向量维度、全量快照和并行通信都会改变墙钟时间。声称某方法只有另一方法“一半耗时”需要相同实现、硬件、停止准则和调参预算的直接测量，不能从动量变量数量推导。

这篇论文的可取之处是把加速状态做得更简洁；它是否适合具体任务，仍由目标结构和端到端基准决定。

理解这类优化论文，先从目标函数、随机估计器和每轮成本画出数据流，再看定理与实验是否覆盖自己的条件。算法简称排在最后，适用假设才是选型入口。

论文中的梯度 oracle 次数、近端操作次数和 epoch 不是同一成本。完整梯度可能扫描全体样本，随机梯度只访问一个或一个小批次，近端映射则随正则形式而变化。比较方法时分别计数这些操作，并报告实际时间、内存和并行方式，避免用较少迭代掩盖每步更昂贵。

构造实验问题时确认目标函数满足理论假设：光滑项的 Lipschitz 梯度、凸性或强凸性、正则项是否可高效求近端。若应用是非凸神经网络，算法仍可测试，但不能直接沿用凸设置下的收敛保证。基线采用作者推荐范围调参，并为所有方法提供相近预算。

SVRG 类方法周期性计算参考点和完整梯度，内循环再用差分降低噪声。实现时记录快照更新频率、采样是否均匀、步长和动量参数；恢复训练要同时保存参考梯度与内部状态。若只恢复参数，下一步估计器可能不再对应当前快照。

数值验证从带 L1 正则的合成问题开始，检查目标值、梯度映射范数和稀疏度；再进入真实数据，重复多个种子并画随 oracle 次数和墙钟时间的曲线。达到相同目标精度所需资源，比最终一次最低值更有解释力。

算法解读的重点不是把“加速”写进标题，而是说明它在什么假设、精度区间与成本口径下加速；超出这些条件时，应把结果称为经验观察。

在对数尺度上扫描步长与内循环长度，记录发散、缓慢和稳定区域。若新方法只有极窄参数组合表现好，而基线在宽范围内稳定，实际优势需要连同调参成本解释。动量系数、快照周期和批量之间可能交互，先用小网格找区域，再在独立数据确认。

实现公开时提供目标函数计算、随机梯度、近端映射和停止条件的单元测试。对平方损失或简单 L1 问题，可与高精度求解器比较最优值；对每次迭代检查维度、有限数和目标变化，尽早发现符号或缩放错误。

实验脚本固定数据预处理和随机样本序列，使不同算法面对相同随机性；运行环境记录线程数、加速库和硬件。若并行化改变 oracle 的定义或批量，单独报告，不把工程优化混入算法结论。

最终结果同时给出目标误差、梯度映射、稀疏度、访问样本数与时间。读者因此可以选择自己关心的精度区间，也能判断额外状态和实现复杂度是否值得。

代码与结果都保留校验值，方便独立复核。