swish激活函数
swish激活函数
swish激活函数
- 函数公式
- 函数图像
- 函数特点
- 对比mish激活函数
函数公式
函数图像
当β\betaβ取不同的值时,函数图像如下:
当β\betaβ = 0时,Swish激活函数变为线性函数 f(x) = x2\frac{x}{2}2x,
当β\betaβ = ∞\infty∞ 时,Swish激活函数变为0或x,相当于Relu,
所以,Swish函数可以看作是介于线性函数与ReLU函数之间的平滑函数。
——————————————————————————————————
Swish函数的求导过程为:
导数图像如下:
函数特点
1.Swish函数和其一阶导数都具有平滑特性;
2.有下界,无上界,非单调。
对比mish激活函数
mish激活函数参考:mish激活函数
函数图像对比如下: