首页 > 网络 > 云计算 > 正文
PGM:部分观测数据
2016-09-23       个评论      
收藏    我要投稿

基础知识

数据缺失的三种情形:

 

\

 

 

\

 

 

\

 

数据的似然和观测模型

 

\

 

 

\

 

 

\

 

Note: MLE中是将联合概率P(x,y)赋值给实例。

 

\

 

缺失数据的处理:不仅考虑数据产生机制,还要考虑数据被隐藏的机制

随机缺失值:主要是修改投掷结果X(随机变量)吧?

 

\

 

蓄意缺失值:主要是修改观测变量O吧?

 

\

 

 

\

 

随机变量X、观测变量O和实际观测Y

 

\

 

 

\

 

Note: Y是定义的X和O的一个确定函数,不在plate图中显示出来。

图钉变体示例的观测模型

 

\

 

随机缺失:分别最大化似然和观测

 

\

 

上下文特定独立性

 

\

 

 

\

 

蓄意缺失:投掷结果随机变量和蓄意抛弃共同的结果

 

\

 

观测机制的解耦

解耦的含义就是我们可以最大化X的分布的参数的似然,而不用考虑控制Ox分布的参数的值。通常,我们只对前面的参数感兴趣,所以可以简单的忽略后面的参数。

 

\

例19.1

 

完全随机缺失MCAR

 

\

 

 

\

 

随机缺失MAR的条件独立性参数解耦

 

\

 

Note: 第一枚硬币Ox1总是能观察到的,其概率为1。

 

\

 

缺失数据模型Pmissing:事件层面上的MAR条件独立假设

一句话:这个假设就是给定Xobs时,事件Ox和Xhidden独立。也就是说,隐不隐藏和是不是人为改变观测变量O无关?

 

\

 

 

\

 

 

\

 

MAR假设允许学习参数时忽略观测模型

如果Pmissing满足上面的假设则:(xobs和o的联合分布)

 

\

 

 

\

 

MAR假设下的定理

 

\

 

MAR适用场合

 

\

 

似然函数

缺失数据的似然函数表示

 

\

 

似然函数学习的示例

完备数据的似然

 

\

 

不完备数据似然的计算:考虑缺失数据的所有情况,并将其对应的似然相加。而可能赋值的数目是缺失值总量的指数。

 

\

 

 

\

 

不完备数据的多峰似然函数

几何分析:失去参数独立性质,因此也失去了似然函数可分解的性质。

 

\

 

图模型定性分析

 

\

 

 

\

 

 

\

 

数值分析

这个也可以从图19.4看出,当X缺失时,观测到Y,这样Y的两个参数父节点就是相关的?

 

\

 

 

\

 

这个例子说明,在估计CPD P(Y|X)时,我们已经缺失了局部可分解性。

不同CPD间的全局可分解性

 

\

 

 

\

 

Note: 如果是完备数据,这里应该求解的是P(x, y, h)的联合概率分布,没有和式,只有三者(三个局部似然函数)乘积。而存在隐含变量时,应该使用和式将隐含变量积掉。

 

\

 

 

\

 

一般的情况示例

 

\

 

 

\

 

在下面的参数估计中再解决这个不完备数据的参数推断。

可识别性

。。。

使用不完备数据的最大似然估计MLE

使用不完备数据的贝叶斯学习

点击复制链接 与好友分享!回本站首页
上一篇:SparkStreaming中的操作函数分析
下一篇:HBase的Scan实现源码分析
相关文章
图文推荐
文章
推荐
热门新闻

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做实用的IT技术学习网站