Huber Loss

定义 Definition

Huber loss（胡贝尔损失）是一种用于回归任务的损失函数，结合了 平方误差（L2） 在误差较小时的平滑性与 绝对误差（L1） 在误差较大时的鲁棒性。它对离群点（outliers）不那么敏感，常用于稳健回归与机器学习训练。

常见形式（以阈值 (\delta) 表示“转折点”）：

• 当 (|r| \le \delta)：损失为 (\frac{1}{2}r^2)
• 当 (|r| > \delta)：损失为 (\delta(|r| - \frac{1}{2}\delta))
  其中 (r = y - \hat{y}) 为残差。

发音 Pronunciation (IPA)

/ˈhuːbər lɔs/

例句 Examples

The model was trained with Huber loss to reduce the impact of outliers.
为了减小离群点的影响，这个模型使用 Huber loss 进行训练。

When the residuals are small, Huber loss behaves like mean squared error, but for large errors it becomes more like mean absolute error, which often stabilizes training on noisy data.
当残差较小时，Huber loss 的表现类似均方误差；但误差变大时，它更像平均绝对误差，这通常能让模型在噪声数据上训练得更稳定。

词源 Etymology

“Huber”来自统计学家 Peter J. Huber（彼得·J·胡贝尔） 的姓氏。Huber loss 最初出现在稳健统计（robust statistics）与稳健回归的研究中，用于在“对小误差敏感（易优化）”与“对大误差不被极端值主导（更鲁棒）”之间取得折中。“loss”意为“损失”，在机器学习中指优化目标函数的一种度量。

相关词 Related Words

• Robust
• Regression
• Loss Function
• Mean Squared Error
• Mean Absolute Error
• Outlier
• Smooth L1 Loss
• Optimization
• Gradient

文献与作品 Literary / Notable Works

• Peter J. Huber（1964）《Robust Estimation of a Location Parameter》：提出并系统化了与 Huber 损失相关的稳健估计思想。
• Hastie, Tibshirani, Friedman：《The Elements of Statistical Learning》：在稳健方法/回归相关章节中常涉及类似的稳健损失思想。
• Ian Goodfellow, Yoshua Bengio, Aaron Courville：《Deep Learning》：在损失函数与优化的语境下常提到回归中不同损失（包括稳健替代）的使用动机。
• Christopher M. Bishop：《Pattern Recognition and Machine Learning》：在回归与概率建模讨论中涉及不同误差度量与其性质，常与 Huber 类稳健损失一同被学习者对照理解。