上传者: weixin_38590738
|
上传时间:2015/1/7 16:35:10
|
文件大小:494KB
|
文件类型:PDF
平滑L0正则化的前馈神经网络批量梯度训练方法
本文考虑采用平滑L0正则化(BGSL0)的批梯度方法进行训练和修剪前馈神经网络。
我们展示了为什么BGSL0可以产生稀疏的权重,这对于修剪网络。
我们证明了在温和条件下BGSL0的弱收敛和强收敛。
还获得了误差函数在训练过程中递减的单调性。
两个例子是用来证明理论分析并显示BGSL0的稀疏性比三个典型Lp正则化更好方法。
本软件ID:15453282