You are viewing a single comment's thread from:
RE: 深度学习笔记 III – 卷积神经网络的直观解释 C - Introducing Non Linearity & Fully Connected
写得不錯！我觉得你对ReLu的解释已经很好。以我所知，激活函数就只用来添加非线性。若果沒有激活，神经网络就变成普通的线性回归(linear regression)。激活(activation) 是从生物学借来的，因为人腦的神经元有一个激活步骤才能向下个神经元发信息。
Relu 比另外两个函数好，是因为学习过程中要算微分。Sigmoid, tanh 在数值很大和很少的时候微分太接近零。这样学习速度会变得很慢。Relu 就解决这个问题。
Got it!
谢谢谢谢！ 你让我对激活(activation)这个词出现在这里的原因一下子清楚了好多。
tanh or sigmoid这两个函数做激活，我还能想象是为了添加非线性，ReLU相当于把负数全给变零了。。。这不会丢失信息吗？ 我看了好多文章在讲ReLU在大多数情况下还是最优的，这两天再深入看一下，谢谢你。
嗯，这也是我不太想得通的地方。我也去深入看一下。