Mini-batch Gradient Descent

释义 Definition

小批量梯度下降：一种优化算法。在每次参数更新时，不使用全部训练数据（批量 Batch），也不只用单个样本（随机/在线），而是使用一小部分样本（mini-batch）来计算梯度并更新模型参数。常用于训练神经网络等机器学习模型。（相关概念：也常与“随机梯度下降”对比；在不同语境下简称可能略有差异。）

发音 Pronunciation (IPA)

/ˈmɪni bætʃ ˈɡreɪdiənt dɪˈsɛnt/

例句 Examples

We trained the model with mini-batch gradient descent.
我们用小批量梯度下降来训练这个模型。

Mini-batch gradient descent often balances computation efficiency and gradient stability, especially when combined with momentum or Adam on large datasets.
在大规模数据集上，小批量梯度下降常在计算效率与梯度稳定性之间取得平衡，尤其是与动量（momentum）或 Adam 等方法结合时。

词源与构词 Etymology

该术语由三部分构成：**mini-**（“小型的”前缀）+ batch（“一批/一组数据”）+ gradient descent（“沿梯度方向下降”，指通过梯度信息迭代最小化损失函数）。整体含义直观：用“小批”数据估计梯度并进行“下降”更新。

相关词 Related Words

• Batch Gradient Descent
• Stochastic Gradient Descent
• Gradient
• Learning Rate
• Momentum
• Adam
• Backpropagation
• Optimization

文学与著作中的用例 Literary Works

• Deep Learning — Ian Goodfellow, Yoshua Bengio, Aaron Courville（深度学习经典教材，讨论以小批量为单位的训练与优化实践）
• Neural Networks and Deep Learning — Michael Nielsen（面向学习者的神经网络入门书，常以 mini-batch 训练流程讲解）
• Pattern Recognition and Machine Learning — Christopher M. Bishop（机器学习与优化相关章节涉及梯度法与基于子集数据的迭代思想）
• Machine Learning: A Probabilistic Perspective — Kevin P. Murphy（涵盖优化方法与大规模学习中的常见训练策略，包括小批量思想）