RMSprop

Definition / 释义

RMSprop：一种用于训练神经网络的优化算法（optimizer）。它通过对每个参数的梯度平方做指数滑动平均，来自适应地调整学习率，从而在梯度波动较大或稀疏时让训练更稳定、更快收敛。常见于深度学习中的反向传播训练。（也常被写作 RMSProp）

Pronunciation / 发音

/ˌɑːr ɛm ɛs ˈprɒp/

Examples / 例句

I trained the network with RMSprop.
我用 RMSprop 来训练这个神经网络。

When the loss kept oscillating, RMSprop improved stability by scaling updates using an exponential moving average of squared gradients.
当损失函数持续震荡时，RMSprop 通过使用梯度平方的指数滑动平均来缩放参数更新，从而提升了训练稳定性。

Etymology / 词源

RMSprop 来自 RMS（Root Mean Square，均方根）与 prop（propagation，传播/推进）组合的缩写，含义可理解为“用均方根尺度来推进（参数更新）”。该方法常与 Geoffrey Hinton 的课程讲义/口头传播相关，后来在深度学习框架中被广泛实现与使用。

Related Words / 相关词

• Adam
• Adagrad
• SGD
• Momentum
• Optimizer
• Gradient
• Backpropagation
• Learning Rate
• Neural Network

Literary Works / 文学作品与出处

• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）——在优化与训练策略部分讨论/提及包括 RMSprop 在内的自适应方法
• Deep Learning with Python（François Chollet）——在 Keras 训练示例与优化器章节中出现 RMSprop
• Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow（Aurélien Géron）——在神经网络训练与优化器对比中出现 RMSprop
• Geoffrey Hinton 的课程讲义/公开课材料（常被引用为 RMSprop 的传播来源之一）