激活函数的作用
首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。
比如在下面的这个问题中：
如上图(图片来源)，在最简单的情况下，数据是线性可分的，只需要一条直线就已经能够对样本进行很好地分类。
但如果情况变得复杂了一点呢？在上图中(图片来源)，数据就变成了线性不可分的情况。在这种情况下，简单的一条直线就已经不能够对样本进行很好地分类了。
于是我们尝试引入非线性的因素，对样本进行分类。
在神经网络中也类似，我们需要引入一些非线性的因素，来更好地解决复杂的问题。而激活函数恰好就是那个能够帮助我们引入非线性因素的存在，使得我们的神经网络能够更好地解决较为复杂的问题。
激活函数的定义及其相关概念
在ICML2016的一篇论文Noisy Activation Functions中，作者将激活函数定义为一个几乎处处可微的 h : R → R 。
在实际应用中，我们还会涉及到以下的一些概念：
a.饱和
当一个激活函数h(x)满足
limn→+∞h′(x)=0limn→+∞h′(x)=0
时我们称之为右饱和。
当一个激活函数h(x)满足
limn→?∞h′(x)=0limn→?∞h′(x)=0
时我们称之为左饱和。当一个激活函数，既满足左饱和又满足又饱和时，我们称之为饱和。
