频道栏目
首页 > 程序开发 > 综合编程 > 其他综合 > 正文
机器学习 过拟合问题
2016-12-02 09:55:00         来源:banbuduoyujian的博客  
收藏   我要投稿

在机器学习的过程中,经常会出现过拟合导致算法性能下降的问题。那么,什么是过拟合,导致过拟合问题的原因与解决过拟合问题的方法都有那些呢?在此,做个简短总结。

1、什么是过拟合

欠拟合是指模型没有能够很好的表现数据的结构,而出现的拟合度不高的情况。

过拟合是指模型过分的拟合训练样本,但对测试样本预测准确率不高的情况,也就是说模型泛化能力很差。如下图所示:

 

这里写图片描述

 

2、过拟合的原因

(1)数据特征的角度

数据噪声导致的过拟合:噪声具有一定的随机性与欺骗性,如果把噪声作为有效信息的话,将会导致过拟合。

缺乏代表性样本导致的过拟合:训练数据集不能很好的反应整体分布可能会导致过拟合;训练数据集较小,但模型过度细化会导致过拟合。

(2)模型的角度

由于模型过度复杂,使得模型对训练数据拟合较好,但同时拟合了噪声或者与目标不相关的信息导致了过拟合。

3、过拟合、欠拟合的解决方法

过拟合的可能解决方法:

a、减少特征:删除与目标不相关特征,如一些特征选择方法

b、正则化:正则化会保证每个特征有一定的效用,不会使某一特征特别重要。

c、得到更多的训练样本

欠拟合可能的解决方法:

a、选择更复杂的模型

b、增加新特征,如特征构建

点击复制链接 与好友分享!回本站首页
上一篇:Ruby on Rails 学习(三)
下一篇:【CS231n winter2016 Lecture 6 (Training Neural Networks Part 3,update schemes/dropout and so on..)】
相关文章
图文推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站