Residual Block

释义 Definition

Residual block（残差块）：深度学习（尤其是卷积神经网络）中的一种网络模块，通过“跳跃连接/捷径连接（skip/shortcut connection）”把输入直接加到若干层变换后的输出上（常见形式：y = F(x) + x），以缓解深层网络训练中的梯度消失、退化问题，使网络更容易训练、更深更稳。

发音 Pronunciation (IPA)

/rɪˈzɪdʒuəl blɑːk/

例句 Examples

Residual blocks help very deep networks train faster.
残差块能帮助非常深的网络更快地训练。

In a ResNet-style architecture, each residual block learns a correction to the input representation rather than rebuilding it from scratch.
在类 ResNet 的架构中，每个残差块学习的是对输入表征的“修正量”，而不是从零开始重建表征。

词源 Etymology

residual 源自拉丁语 residuum（“剩余物、残留”），表示“剩下的部分”；block 指“模块、块状结构”。“Residual block”作为术语主要在计算机视觉深度学习中普及，尤其因 ResNet（残差网络） 论文提出的残差学习框架而广为使用。

相关词 Related Words

• Residual
• Skip Connection
• Shortcut
• ResNet
• Identity Mapping
• Bottleneck
• Convolutional Neural Network
• Gradient Vanishing

文学与著作 Literary Works

• Kaiming He et al. Deep Residual Learning for Image Recognition（提出残差学习与经典残差块结构的代表性论文）
• Kaiming He et al. Identity Mappings in Deep Residual Networks（讨论残差块中恒等映射与连接方式的改进）
• Christian Szegedy et al. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning（将残差连接与 Inception 结构结合，涉及残差块/残差单元思想）
• Ian Goodfellow, Yoshua Bengio, Aaron Courville Deep Learning（深度学习教材中对残差/跳跃连接相关思想有讨论，常作为背景与扩展阅读）