RMSprop算法：引入“指数加权移动平均” 优化Adagrad算法

RMSprop（Root Mean Square Propagation）算法是一种自适应学习率的优化算法，它由Adagrad算法改进而来，引入指数加权移动平均方法替代梯度平方累加，动态调整每个参数的学习率，解决了传统梯度下降法中的震荡和收敛慢问题。

本文将从Adagrad算法的局限性出发，解析RMSprop算法的原理与推导过程，揭示其是如何突破优化后期学习率衰减过大的问题。

1.算法背景与发展动机

(1) Adagrad算法的局限性：在AdaGrad算法中，由于梯度分量的直接累加，学习率随着迭代的进行而单调递减， 这可能导致后期学习率过小甚至接近零，后期训练停滞。

(2) RMSprop算法的改进：与AdaGrad的累加平方和不同，RMSProp引入了指数加权平均（Exponential Moving Average, EMA）来更新梯度平方的历史值，从而避免了学习率单调衰减的问题。能使得优化过程在训练的后期仍能保持一定的学习率。

2.核心原理与公式推导

(1) 由前文可知，Adagrad算法的参数更新公式为：

(2) RMSprop算法引入指数加权平均改进梯度平方累加后，当前时刻的梯度的加权平均可以表示为：

本文转载自​​​​​​南夏的算法驿站​​​​​​，作者：赵南夏