频道栏目
首页 > 程序开发 > 综合编程 > 其他综合 > 正文
线性回归的一些思考(SVM)
2016-12-20 09:24:00         来源:u010844092的专栏  
收藏   我要投稿
线性回归的一些思考(SVM):1、对于线性回归模型的代价函数,为了能应用求导来求其最小值(代价函数可导),不能用错误的分类个数作为代价函数(不可导)又或者用S函数(非凸函数,不能应用梯度下降,转化为log凸函数),简单的做法就是转化为距离(统计学习方法书中提到的)或者机器学习课堂上讲到的几种形式,这些形式都可导。

2、线性模型中,对于简单的代价函数是可以直接求导得到(比如机器学习课堂上讲的简单线性回归模型),但是一般都采用梯度下降(平方最小误差代价函数是凸函数,凸函数的性质:局部最小就是全局最小),而且迭代速度有上限(统计学习方法有证明),比较快。

3、SVM模型的代价函数为什么不能用梯度下降呢?因为它有限制条件。有限制条件的凸函数优化问题,利用拉格朗日的对偶性,求解不带有限制条件的优化问题(其实还是有限制,只不过参数结果人为控制),这个求解的算法过程其实还是用了类似梯度下降的思想。同样对于线性回归的没有限制的代价函数,也是有对偶形式的。
点击复制链接 与好友分享!回本站首页
上一篇:WCF:快速创建一个WCF服务库
下一篇:用筛选法求解n以内的所有素数
相关文章
图文推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站