【Activation】在机器学习和深度学习领域，“Activation”（激活）是一个核心概念，它决定了神经网络中每个神经元是否被激活，从而影响模型的学习能力和预测效果。激活函数是连接神经网络输入与输出的关键桥梁，其选择对模型的性能、收敛速度以及非线性表达能力有着重要影响。
一、激活函数的作用
激活函数的核心作用在于引入非线性，使得神经网络能够拟合复杂的数据分布。如果没有激活函数，多层神经网络将退化为一个线性模型，无法处理复杂的任务如图像识别、自然语言处理等。
二、常见激活函数总结
以下是一些常用的激活函数及其特点：
| 激活函数名称 | 数学表达式 | 特点 | 应用场景 |
| Sigmoid | $ \sigma(x) = \frac{1}{1 + e^{-x}} $ | 输出范围在 (0, 1)，适合二分类问题 | 早期神经网络，逻辑回归 |
| Tanh | $ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $ | 输出范围在 (-1, 1)，比Sigmoid更对称 | 早期RNN、传统神经网络 |
| ReLU | $ \text{ReLU}(x) = \max(0, x) $ | 计算简单，缓解梯度消失问题 | 现代深度神经网络，CNN、DNN |
| Leaky ReLU | $ \text{Leaky ReLU}(x) = \max(0.01x, x) $ | 解决ReLU的“死亡”问题 | 需要避免零值输出的场景 |
| ELU | $ \text{ELU}(x) = \begin{cases} x & x > 0 \\ \alpha(e^x - 1) & x \leq 0 \end{cases} $ | 具有负值输出，有助于更快收敛 | 高性能模型，如图像分类 |
| Softmax | $ \text{Softmax}(x_i) = \frac{e^{x_i}}{\sum_{j=1}^{n} e^{x_j}} $ | 多分类概率输出 | 分类任务的输出层 |
三、选择激活函数的建议
- 简单任务：可以使用Sigmoid或Tanh。
- 深度网络：推荐使用ReLU或其变体（如Leaky ReLU、ELU），以提升训练效率。
- 多分类任务：通常在输出层使用Softmax。
- 避免梯度消失：应尽量避免使用Sigmoid或Tanh在隐藏层中，尤其是在深层网络中。
四、总结
激活函数是构建神经网络的重要组成部分，不同的激活函数适用于不同的场景。合理选择激活函数不仅能提升模型的准确性，还能加速训练过程并改善模型的泛化能力。在实际应用中，需根据任务类型、数据特征和网络结构综合考虑，灵活选择合适的激活函数。
