谢谢谢谢！ 你让我对激活(activation)这个词出现在这里的原因一下子清楚了好多。
tanh or sigmoid这两个函数做激活，我还能想象是为了添加非线性，ReLU相当于把负数全给变零了。。。这不会丢失信息吗？ 我看了好多文章在讲ReLU在大多数情况下还是最优的，这两天再深入看一下，谢谢你。