Shannon Entropy

定义 Definition

香农熵（Shannon entropy）是信息论中衡量“随机变量不确定性/信息量”的指标。它描述一个概率分布的平均信息含量；分布越均匀、不确定性越大，香农熵通常越高。（该术语还有扩展形式，如条件熵、相对熵等。）

发音 Pronunciation (IPA)

/ˈʃænən ˈɛntrəpi/

例句 Examples

Shannon entropy measures how uncertain a probability distribution is.
香农熵用于衡量一个概率分布有多不确定。

In machine learning, we often minimize cross-entropy, which is closely related to Shannon entropy and encourages better probabilistic predictions.
在机器学习中，我们常常最小化交叉熵；它与香农熵密切相关，并促使模型给出更好的概率预测。

词源 Etymology

“Shannon”来自信息论奠基者克劳德·香农（Claude Shannon）的姓氏；“entropy（熵）”一词源自希腊语 entropia（意为“转变、变化”），在物理学中用于描述系统的无序程度。香农借用“熵”来表示信息的不确定性，并在20世纪中叶建立了现代信息论的核心概念。

相关词 Related Words

• Entropy
• Information
• Probability
• Uncertainty
• Cross-Entropy
• Kullback–Leibler Divergence
• Mutual Information
• Bit

文学与著作中的用例 Literary & Notable Works

• Claude E. Shannon, “A Mathematical Theory of Communication”（1948）：首次系统提出并使用以熵为核心的信息度量框架。
• Thomas M. Cover & Joy A. Thomas, Elements of Information Theory：经典教材，广泛讲解香农熵及其性质。
• David J. C. MacKay, Information Theory, Inference, and Learning Algorithms：以直观方式介绍香农熵，并连接统计推断与机器学习应用。