频道栏目
首页 > 网络 > 云计算 > 正文

CTR预估模型案例

2018-05-25 15:10:17         来源:数据案例笔记  
收藏   我要投稿
1. 高维度离散特征+LR(广点通精排)
2. GBDT少量低维特征(Yahoo&Bing)1)特征工程\
3. GBDT+LR(Facebook)1)方案一:将id以外特征输入GBDT树来抽特征,id特征在lr阶段加入。好处是同时利用了GBDT对连续特征自动离散化和特征组合,又利用了LR对id类离散特征的能力2)方案二:分别训练id类树和非id类树,将两者的特征组合输入LR。好处是id类树保留头部资源的信息,非id类树保留ctr等长尾资源信息。缺点是介于头部资源和长尾资源中的一部分资源,其信息同时包含在ctr和id中,使用非id树还是会有信息损失3)缺点:a. LR需要等GBDT输出,GBDT的在线预测慢于LRb. GBDT不支持在线算法,只能离线方式更新
4. FM DNN(百度凤巢)1)思路:a. 如果用ID做特征,DNN不支持那么多维b. 因此使用FM对海量id特征做embedding,用DNN做训练2)FM可以理解成是LR+二维交叉项\
3)缺点:a. 二阶FM只能做二阶的特征组合b. DNN调参复杂、性能不高,并不适用于中小业务
5. MLR(mixed logistic regression)(阿里妈妈)1)思路:对空间分类,然后LR\
\
2)优点:a. 迁移能力强,如3C类和服装类不用分别训练自己的LR模型3)缺点:a. 分类超参数需要调b. LR的缺点:人工组合特征、人工离散化分桶等
5. FTRL_Proximal(Google)1)Google引入FTRL进行在线训练2)在线训练的缺点是每次更新是沿着某个样本的梯度下降,L1正则也不一定能达到稀疏解3)FTRL 是在传统的在线算法如 FOBOS 和 RDA 的基础上做了优化,它采用和 RDA 一样的 L1 正则,同时和 FOBOS 一样会限制每次更新的距离不能太远4)另外 FTRL 采用Per-Coordinate Learning Rates,意思是对于某个特征的完整性比较低的时候,会动态加大学习率,而对于特征完整性高的,会减小学习率,让特征权重慢慢学。学习率的计算公式如下,即步长等于历次梯度的平方和的开方的倒数\
相关TAG标签 CTR 模型 案例
上一篇:Hadoop搭建过程相关知识介绍
下一篇:SparkOnYarnCluster模式下的远程调试Spark源码(Attach模式)
相关文章
图文推荐
热门新闻

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站