频道栏目
首页 > 资讯 > 云计算 > 正文

关于正则化为什么能减小模型复杂度简单解释一下

18-07-28        来源:[db:作者]  
收藏   我要投稿

理论上,从VC维的角度可以解释,正则化能直接减少模型复杂度。(公式理论略)

直观上,对L1正则化来说,求导后,多了一项η * λ * sgn(w)/n,在w更新的过程中:

当w为正时,新的w减小,当w为负时,新的w增大,意味着新的w不断向0靠近,即减小了模型复杂度。(PS:也是为什么L1能得到稀疏解的一个参考答案)

对L2正则化来说,一方面,w的更新过程为:

若没有L2,则w前面的系数为1,η、λ、n都是正的,所以 1ηλ/n小于1,它的效果是减小w,这也就是权重衰减(weight decay)的由来。当然考虑到后面的导数项,w最终的值可能增大也可能减小。

模型的过拟合是因为考虑了过多的“不合适”样本点,这样,求导的时候,导数值很大,而自变量的值可大可小,所以意味着系数w要很大,所以当我们让w减少的时候,即意味着忽略这些样本点,即减小了模型的复杂度,解决了过拟合

相关TAG标签
上一篇:win10下的Android、Eclipse-8.0.2和PhoneGap-8.0.0环境配置教程
下一篇:教你如何寻找两个链表的公共节点
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站