1.概率生成模型

首先介绍生成模型的概念，然后逐步介绍采用生成模型的步骤。

1.1概念

即对每一种类别Ck分别建立一种模型p(Ck|x)，把待分类数据x分别带入每种模型中，计算后验概率p(Ck|x)，选择最大的后验概率对应的类别。

二分类的情况:（K=2）
p(C1|x)=p(x,C1)p(x)=p(x|C1)p(C1)p(x|C1)p(C1)+p(x|C2)p(C2)=11+exp(?α)=σ(α)

其中α=lnp(x|C1)p(C1)p(x|C2)p(C2);函数σ(α)=11+exp(?α)称为sigmoid函数。

多类的情况：(K>2)
多分类的情况，是二分类的扩展，称为softmax函数。同样采用贝叶斯定理：p(Ck|x)=p(x|Ck)p(Ck)∑jp(x|Cj)p(Cj)=exp(αk)∑jexp(αj)

其中αk=lnp(x|Ck)p(Ck)。

1.2高斯分布假设

对于连续变量x，我们首先假设给定具体类条件下数据密度函数p(x|Ck)分布服从多维高斯分布，同时所有类别p(x|Ck)具有相同的协方差矩阵∑：
这里写图片描述
二维高斯分布，相同方差，不同期望的三个图形。

二分类情况K=2
把多维高斯分布公式带入上述对应的贝叶斯公式得：

注意到sigmoid函数参数是关于数据x的线性函数
下图是2维数据的高斯分布图形：

多分类的情况K>2
多维高斯分布函数带入softmax函数得：

注意：αk(x)也是关于样本数据x的线性函数

实际上，无论是连续型数据还是下面将要介绍的离散型数据（朴素贝叶斯分类），只要假设的分布属于指数簇函数，都有广义线性模型的结论。

K=2时为sigmoid函数：参数λ为模型的固有参数<喎�"/kf/ware/vc/" target="_blank" class="keylink">vc3Ryb25nPjxiciAvPg0KCTxpbWcgYWx0PQ=="这里写图片描述" src="/uploadfile/Collfiles/20160401/20160401095058830.png" title="\" />
K>2时为softmax函数：

1.3模型参数的求解

在假设了数据类密度函数p(x|Ck)的情况下，下面需要对模型的参数进行求解。例如，上述假设了数据为高斯分布，需要计算参数p(Ck)，μk,∑ .我们采用最大化释然函数的方法求解：
考虑二分类的情况：样本数据为(xn,tn)，样本总量为N,tn=1属于C1类,总数为N1；tn=0属于C2类，总数为N2.假设先验概率p(C1)=π;则p(C2)=1?π
释然函数：
分别求偏导数并令为0，得：

参考：PRML

点击复制链接与好友分享!回本站首页

相关TAG标签概率模型贝叶斯

上一篇：浅谈Bash之打造自己的脚本安装程序

下一篇：Hibernate4学习总结分析(2)

相关文章

概率算法

随机化算法(2) — 数值概率算法

Stanford概率图模型（Probabilistic

编程时遇到概率加密或概率签名后要注意

FZU2132 - LQX的作业（概率论）

HDU 5607 graph（矩阵优化+概率DP）

水木社区上看到的一道概率题

【机器学习详解】线性回归、梯度下降、

浅谈Codeforces Round #105 (Div.

[从头学数学] 第176节概率

热门专题推荐 python div+css css教程 html5 html教程 jquery Android SDK php mysql oracle

图文推荐

 七层网络结构解析

 Java虚拟机详解之JVM

常用 Git 命令清单

 营销费用持续走高，药