激活函数的种类
对于激活函数的选择，通常有以下几种
sigmoid，tanh，ReLU，leaky ReLU
激活函数的选择
之前logistic回归一直使用的激活函数都是sigmoid函数，但一般来说，tanh函数是比sigmoid函数更加好的选择
tanh函数会将预测值稳定在0值上下(数据中心化)，而sigmoid函数输出值在0-1间变化，数据中心化对于往后的迭代更加方便
但无论是sigmoid函数，还是tanh函数，都有很明显的缺点，当z很大或者很小，a的斜率将会趋于0，这将导致学习迭代的速率大大下降
所以ReLU(rectified linear unit)--修正线性单元，是更好的选择，它保持斜率为1(当z大于0时)，当z小于0时，斜率为0
对于负区间的改进，leaky ReLU在负区间的斜率变为k(k为学习率)
一般来说，没有固定的激活函数选择，要根据模型选择，比如对于二元分类，sigmoid函数反而更加常用(因为在0-1区间)，只是通常ReLU会更加方便一点
为什么需要非线性的激活函数
如果使用线性激活函数或者不使用激活函数，那么神经网络实际上只是在计算线性激活函数，隐藏层也没有必要了，更详细的解释之后补充
