有谁研究过rectified linear units (ReLUs)？

早期使用sigmoid或tanh激活函数的ＤＬ在做unsupervised learning时因为 gradient vanishing problem 的问题会无法收敛。ReLU则这没有这个问题。

DL是什么？

预训练的用处：规则化，防止过拟合；压缩数据，去除冗余；强化特征，减小误差；加快收敛速度。
标准的sigmoid输出不具备稀疏性，需要用一些惩罚因子来训练出一大堆接近0的冗余数据来，从而产生稀疏数据，例如L1、L1/L2或Student-t作惩罚因子。因此需要进行无监督的预训练。
而ReLU是线性修正，公式为：g(x) = max(0, x)，是purelin的折线版。它的作用是如果计算出的值小于0，就让它等于0，否则保持原来的值不变。这是一种简单粗暴地强制某些数据为0的方法，然而经实践证明，训练后的网络完全具备适度的稀疏性。而且训练后的可视化效果和传统方式预训练出的效果很相似，这也说明了ReLU具备引导适度稀疏的能力。

从函数图形上看，ReLU比sigmoid更接近生物学的激活模型。
实际测量数据：纵坐标轴是神经元的放电速率(Firing Rate)；横轴是毫秒(ms)

基于生物学的数学规则化激活模型(LIF)

感谢@click4i的答复,感谢@利_刃的有图有文字的解答

把sigmoid的BP网络改成ReLU需要改哪些地方啊，有开源的简单的代码吗？谢谢

能否科普一下rectified linear units,是否和带稀疏化的SVM及LR里正则化（Regularization）是一个道理，起到max(0,f(.))的作用？

赞个禁词“”不明觉厉“”

这需要去美国学吗？谷歌学术都进不了
当然！需要去美国

呵呵，我努力在看，但看不懂楼主说的是什么。

是从这来的吗？
http://eprints.pascal-network.org/archive/00008596/01/glorot11a.pdf
这个Xavier Glorot是什么人？

最近看到一种说法，说是ReLU会形成一种locally competitive network，从而自然的达成sparse coding 的效果。这也可以解释为什么用ReLU就无需pre-training.

在训练的过程中，改变激活函数（或者激活函数的参数），也挺有意思啊。

我想问一下用RELU如何做bp啊？求大神能否给出公式。