南方科技展览模型  首页 > 资讯中心 > 新闻阅读

LDA主题模型简介


概述:LDA主题模型简介,LDA主题模型简介

 LDA主题模型涉及到贝叶斯理论、Dirichlet分布、多项分布、图模型、变分推断、EM算法、Gibbs抽样等知识,不是很好懂,LDA那篇30页的文章我看了四、五遍才基本弄明白是咋回事。那篇文章其实有点老了,但是很经典,从它衍生出来的文章现在已经有n多n多了。主题模型其实也不只是LDA了,LDA之前也有主题模型,它是之前的一个突破,它之后也有很多对它进行改进的主题模型。需要注意的是,LDA也是有名的LinearDiscriminant Analysis(线性判别分析)的缩写。
    LDA是一种非监督机器学习技术,可以用来识别大规模文档集(documentcollection)或语料库(corpus)中潜藏的主题信息。它采用了词袋(bag ofwords)的方法,这种方法将每一篇文档视为一个词频向量,从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序,这简化了问题的复杂性,同时也为模型的改进提供了契机http://www.p9k.com。仿真模型每一篇文档代表了一些主题所构成的一个概率分布,而每一个主题又代表了很多单词所构成的一个概率分布。由于Dirichlet分布随机向量各分量间的弱相关性(之所以还有点“相关”,是因为各分量之和必须为1),使得我们假想的潜在主题之间也几乎是不相关的,这与很多实际问题并不相符,从而造成了LDA的又一个遗留问题http://www.tuiguangwang.com。
    这个图模型表示法也称作“盘子表示法”(platenotation)。图中的阴影圆圈表示可观测变量(observed variable),非阴影圆圈表示潜在变量(latentvariable),箭头表示两变量间的条件依赖性(conditionaldependency),方框表示重复抽样,重复次数在方框的右下角。佛山网站优化
     该模型有两个参数需要推断(infer):一个是”文档-主题“分布 ,色精另外是 个”主题-单词“分布 。通过学习(learn)这两个参数,我们可以知道文档作者感兴趣的主题,以及每篇文档所涵盖的主题比例等。推断方法主要有LDA模型作者提出的变分-EM算法,还有现在常用的Gibbs抽样法。
      LDA模型现在已经成为了主题建模中的一个标准。如前所述,LDA模型自从诞生之后有了蓬勃的扩展,特别是在社会网络和社会媒体研究领域最为常见。
教学模型, 仿真模型, 电力模型, 化工模型,