ELBO

Definition / 释义

ELBO 是 Evidence Lower Bound 的缩写，中文常译为证据下界（或“边缘似然下界”）。它是变分推断中用来近似并优化模型对数据的边缘似然（evidence）的目标函数：最大化 ELBO 通常等价于在某些条件下最小化近似后验与真实后验之间的差异（常见为 KL 散度）。

（该词主要用于机器学习/概率统计语境。）

Pronunciation / 发音

/ˈɛlboʊ/

Examples / 例句

We maximize the ELBO to train the variational model.
我们通过最大化 ELBO 来训练变分模型。

By optimizing the ELBO, the algorithm balances fitting the data with keeping the approximate posterior close to the prior.
通过优化 ELBO，算法在“拟合数据”和“让近似后验不偏离先验”之间取得平衡。

Etymology / 词源

ELBO 来自英文短语 Evidence Lower Bound 的首字母缩写（acronym）。在概率模型中，“evidence”常指观测数据的边缘似然 (p(x))；由于直接计算往往困难，于是引入一个可计算的“下界”（lower bound）作为优化目标。

Related Words / 相关词

• Variational
• Inference
• Posterior
• Prior
• Likelihood
• KL Divergence
• Latent
• Optimization
• VAE

Literary Works / 文学与著作例证

• Auto-Encoding Variational Bayes（Kingma & Welling）——经典论文中以 ELBO 作为 VAE 的训练目标
• Pattern Recognition and Machine Learning（Christopher M. Bishop）——在变分方法章节讨论下界思想
• Information Theory, Inference, and Learning Algorithms（David J. C. MacKay）——涉及变分近似与推断框架
• Probabilistic Machine Learning（Kevin P. Murphy）——系统讲解概率建模与变分推断中相关目标函数