Relu 比另外两个函数好，是因为学习过程中要算微分。Sigmoid, tanh 在数值很大和很少的时候微分太接近零。这样学习速度会变得很慢。Relu 就解决这个问题。