1、激活函数

“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。

 

sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。

使用“非饱和激活函数”的优势在于两点：

    1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。

    2.其次，它能加快收敛速度。

    Sigmoid函数需要一个实值输入压缩至[0,1]的范围

    σ(x) = 1 / (1 + exp(−x))

    tanh函数需要讲一个实值输入压缩至 [-1, 1]的范围

    tanh(x) = 2σ(2x) − 1

ReLU

    ReLU函数代表的的是“修正线性单元”，它是带有卷积图像的输入x的最大函数(x,o)。ReLU函数将矩阵x内所有负值都设为零，其余的值不变。

 

ReLU 的缺点：

训练的时候很”脆弱”，很容易就”die”了

例如，一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了，那么这个神经元的梯度就永远都会是 0.

如果 learning rate 很大，那么很有可能网络中的 40% 的神经元都”dead”了。

 

ELUs

    ELUs是“指数线性单元”，它试图将激活函数的平均值接近零，从而加快学习的速度。同时，它还能通过正值的标识来避免梯度消失的问题。根据一些研究，ELUs分类精确度是高于ReLUs的。

 

Leaky ReLUs

    ReLU是将所有的负值都设为零，相反，Leaky ReLU是给所有负值赋予一个非零斜率。Leaky ReLU激活函数是在声学模型（2013）中首次提出的。以数学的方式我们可以表示为：