2018-06-20

ML►trick

A cartoon drawing of a biological neuron (left) and its mathematical model (right).

ReLU

（1）优点： Krizhevsky et al. 发现使用 ReLU 得到的SGD的收敛速度会比 Sigmoid/tanh 快很多(看右图)。有人说这是因为它是linear，而且 non-saturating ，相比于 Sigmoid/tanh，ReLU 只需要一个阈值就可以得到激活值，而不用去算一大堆复杂的运算。
（2）缺点：当然 ReLU 也有缺点，就是训练的时候很”脆弱”，很容易就”die”了。
举个例子：一个非常大的梯度流过ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了。如果这个情况发生了，那么这个神经元的梯度就永远都会是0。
注：实际操作中，设置learning rate 很大，那么很有可能你网络中的40%的神经元都”dead”了。设置一个合适的较小的learning rate，这个问题发生的情况其实也不会太频繁。

参考

cs231n