ReLU

Definition / 释义

ReLU（Rectified Linear Unit，整流线性单元）：一种常见的神经网络激活函数，形式为 **f(x)=max(0, x)**。输入为负时输出 0，输入为正时输出原值。（在深度学习中非常常用；也存在变体如 Leaky ReLU 等。）

Pronunciation / 发音

/ˈriːluː/

Examples / 例句

ReLU is simple and works well in many neural networks.
ReLU 很简单，并且在许多神经网络中效果很好。

Using ReLU can help reduce vanishing gradients, but it may cause “dead” neurons if many inputs are negative.
使用 ReLU 有助于减轻梯度消失问题，但如果很多输入为负，也可能导致“死亡神经元”。

Etymology / 词源

ReLU 是 rectified linear unit 的缩写：rectified（整流的，把负值“截断”为 0）+ linear（线性的，正半轴保持线性）+ unit（单元）。该名称直接描述了它“负半轴归零、正半轴线性”的函数形状。

Related Words / 相关词

• Activation
• Neuron
• Gradient
• Sigmoid
• Tanh
• Leaky ReLU
• Softmax
• Backpropagation

Literary Works / 文学与经典著作

• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）
• Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow（Aurélien Géron）
• 论文 Rectified Linear Units Improve Restricted Boltzmann Machines（Vinod Nair & Geoffrey Hinton, 2010）