激活函数 引入激活函数的意义

一、激活函数有哪些

1.Sigmoid激活函数

Sigmoid函数的输出范围是0到1。由于输出值限定在0到1，因此它对每个神经元的输出进行了归一化；

用于将预测概率作为输出的模型。由于概率的取值范围是0到1，因此Sigmoid函数非常合适；

2.Tanh/双曲正切激活函数

3.ReLU激活函数4.LeakyReLU

5.ELU

6.PReLU（ParametricReLU）

7.Softmax

8.Swish

二、激活函数通俗理解

所谓激活函数（ActivationFunction），就是在人工神经网络的神经元上运行的函数。

激活函数的本质，就是将神经元的输入映射到输出端。

三、激活函数的本质

所谓激活函数（ActivationFunction），就是在人工神经网络的神经元上运行的函数。

激活函数的本质，就是将神经元的输入映射到输出端。