Residual Connection

释义 Definition

残差连接 / 跳跃连接：深度学习神经网络中的一种结构，把某一层（或若干层）的输入 直接加到 后续层的输出上（常见形式：y = F(x) + x）。它有助于缓解深层网络训练中的梯度消失与退化问题，使信息与梯度更容易在网络中传播。（在不同实现里也可能用拼接等方式，但最常见是“相加”的 skip connection。）

发音 Pronunciation (IPA)

/rɪˈzɪdʒuəl kəˈnɛkʃən/

例句 Examples

A residual connection helps a very deep network train better.
残差连接能帮助非常深的网络更好地训练。

In this model, residual connections let earlier features flow forward, improving accuracy without making optimization unstable.
在这个模型中，残差连接让较早层的特征向前传递，在不让优化变得不稳定的情况下提升了准确率。

词源 Etymology

residual 意为“残余的、剩余的”，在数学与工程里常指“误差/残差”；connection 为“连接”。“Residual connection”这一说法在深度学习中随着 ResNet（残差网络） 的提出而广泛流行，用来描述“把输入作为‘残差路径’绕过若干层并与输出相加”的连接方式。

相关词 Related Words

• Skip Connection
• ResNet
• Identity Mapping
• Residual Block
• Gradient Vanishing
• Batch Normalization

文献与著作 Literary Works

• Kaiming He et al. (2015), Deep Residual Learning for Image Recognition（提出 ResNet，系统阐述 residual connection）
• Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016), Deep Learning（深度学习教材中讨论深层网络训练难点与相关技巧，常与残差思想并读）
• Ashish Vaswani et al. (2017), Attention Is All You Need（Transformer 结构中广泛使用残差连接与层归一化）