LDA主题模型

LDA是一种基于概率模型的主题模型算法(generative probabilistic model)，用来识别大规模文档集或者语料库中隐含的主题信息。对于语料库中的每篇文档，LDA定义了如下生成过程：

对每一篇文档，从主题分布中抽一个主题 从上述被抽到的主题对应的单词分布中抽一个单词 重复上述过程直至遍历文档中的每个词

LDA认为每篇文档是多个主题混合而成，而每个主题可以由多个词的概率表征。

背景知识

共轭前驱分布（conjugate prior）

In Bayesian probability theory, if the posterior distribution p(θ|x)" role="presentation">p(θ|x)$p(\theta |x)$ are in the same family as the prior distribution p(θ)" role="presentation">p(θ)$p(\theta )$, the prior and the posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function.

如果后验分布和先验分布同属于一个函数族，那么后验和先验称为共轭分布，先验被称为似然函数的共轭先验分布。Beta分布是二项分布的共轭先验分布，Dirichlet分布是多项分布的共轭先验分布。

根据贝叶斯规则，后验分布=似然函数*先验分布：
p(θ|x)=p(x|θ)p(θ)p(x)=p(x|θ)p(θ)∫p(x|θ)p(θ)dθ∝p(x|θ)p(θ)" role="presentation">p(θ|x)=p(x|θ)p(θ)p(x)=p(x|θ)p(θ)∫p(x|θ)p(θ)dθ∝p(x|θ)p(θ)$$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{p(x)}=\frac{p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta }\propto p(x|\theta )p(\theta )$$
其中p(x|θ)" role="presentation">p(x|θ)$p(x|\theta )$为likelihood，p(θ)" role="presentation">p(θ)$p(\theta )$为prior belief，p(x)" role="presentation">p(x)$p(x)$为evidence。

Dirichlet Distribution

Dirichlet分布是描述k(k≥2)" role="presentation">k(k≥2)$k(k\ge 2)$个变量X1,X2,⋯,Xk" role="presentation">X1,X2,,Xk$X_1,X_2,,X_k$的概率分布，其中xi∈(0,1),∑i=1kxi=1" role="presentation">xi∈(0,1),∑ki=1xi=1$x_i\in (0,1),\sum _{i=1}^k{x}_i=1$。Dirichlet分布的参数为α→={α1,α2,⋯,αk}" role="presentation">α={α1,α2,,αk}$\overrightarrow{\alpha }=\{{\alpha }_1,{\alpha }_2,,{\alpha }_k\}$，其中αi>0" role="presentation">αi>0${\alpha }_i>0$（不需要是整数，只需要是正实数即可）。

αi" role="presentation">αi${\alpha }_i$越大，赋予Xi" role="presentation">Xi$X_i$的权重就越多(∑ixi=1" role="presentation">∑ixi=1$\sum _i{x}_i=1$) 当αi" role="presentation">αi${\alpha }_i$相等的时候，分布是对称的 当αi<1" role="presentation">αi<1${\alpha }_i<1$时，相当于一个anti-weight把xi" role="presentation">xi$x_i$ 推到一些极点(push away toward extremes) 当αi>1" role="presentation">αi>1${\alpha }_i>1$时，会使得xi" role="presentation">xi$x_i$聚集在中心值

α1=⋯=αk=1" role="presentation">α1==αk=1${\alpha }_1=={\alpha }_k=1$时，均匀分布

下图所展示的是三元Dirichlet分布，参数分别为：
1. α1=α2=α3=1" role="presentation">α1=α2=α3=1${\alpha }_1={\alpha }_2={\alpha }_3=1$
2. α1=α2=α3=10" role="presentation">α1=α2=α3=10${\alpha }_1={\alpha }_2={\alpha }_3=10$
3. α1=1,α2=10,α3=5" role="presentation">α1=1,α2=10,α3=5${\alpha }_1=1,{\alpha }_2=10,{\alpha }_3=5$
4. α1=α2=α3=0.2" role="presentation">α1=α2=α3=0.2${\alpha }_1={\alpha }_2={\alpha }_3=0.2$

LDA

在LDA模型中，一篇文档生成的方式如下：

1. 从狄利克雷分布α→" role="presentation">α$\overrightarrow{\alpha }$中取样生成文档m" role="presentation">m$m$的主题分布 θ→m" role="presentation">θm${\overrightarrow{\theta }}_m$
2. 从主题的多项式分布θ→m" role="presentation">θm${\overrightarrow{\theta }}_m$中取样生成文档m" role="presentation">m$m$第 n" role="presentation">n$n$个词的主题zm,n" role="presentation">zm,n$z_{m,n}$
3. 从K" role="presentation">K$K$个topic-word的狄利克雷分布中，选择k=zm,n" role="presentation">k=zm,n$k=z_{m,n}$的Dirichlet 分布ϕ→k" role="presentation">k${\overrightarrow{}}_k$，取样生成主题对应的词语分布
4. 从词语的多项式分布中采样最终生成词语wm,n" role="presentation">wm,n$w_{m,n}$

通俗理解LDA
LDA算法漫游指南
What exactly is the alpha in the Dirichlet distribution
LDA数学八卦