基于动态主题模型融合多维数据的微博社区发现算法-刘冰玉 , 王翠荣 , 王聪 , 王军伟 , 王兴伟 , 黄敏.pdf
免费下载
软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2017,28(2):246−261 [doi: 10.13328/j.cnki.jos.005116] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563
基于动态主题模型融合多维数据的微博社区发现算法
∗
刘冰玉
1
,
王翠荣
1
,
王
聪
1
,
王军伟
1
,
王兴伟
2
,
黄
敏
1
1
(东北大学 计算机科学与工程学院,辽宁 沈阳 110819)
2
(东北大学 软件学院,辽宁 沈阳 110819)
通信作者: 王兴伟, E-mail: wangxw@mail.neu.edu.cn
摘 要: 随着微博用户的不断增加,微博网络已成为用户进行信息交流的平台.针对由于博文长度受限,传统的社
区发现算法无法有效解决微博网络的稀疏性等问题,提出了 DC-DTM(discovery community by dynamic topic model)
算法.DC-DTM 算法首先将微博网络映射为有向加权网络,网络中边的方向反映节点之间的关注关系,利用所提出的
DTM(dynamic topic model)计算出节点之间的语义相似度,并将其作为节点间连边的权重.DTM 是一种微博主题模
型.该模型不仅能够挖掘博客的主题分布,而且能够计算出某一主题中用户的影响力大小.其次,利用所提出的复杂
度较低的标签传播算法 WLPA(weighted lebel propagation)进行微博网络的社区发现.该算法的初始化阶段将影响力
大的用户节点作为初始节点,标签按照节点的影响力从大到小进行传播,避免了传统标签传播算法逆流现象的发生,
提高了标签传播算法的稳定性.真实数据上的实验结果表明,DTM 模型能够很好地对微博进行主题挖掘,DC-DTM
算法能够有效地挖掘出微博网络的社区.
关键词: 新浪微博;文本挖掘;DC-DTM;吉布斯采样;LDA;主题模型
中图法分类号: TP181
中文引用格式: 刘冰玉,王翠荣,王聪,王军伟,王兴伟,黄敏.基于动态主题模型融合多维数据的微博社区发现算法.软件学报,
2017,28(2):246–261. http://www.jos.org.cn/1000-9825/5116.htm
英文引用格式: Liu BY, Wang CR, Wang C, Wang JW, Wang XW, Huang M. Microblog community discovery algorithm based
on dynamic topic model with multidimensional data fusion. Ruan Jian Xue Bao/Journal of Software, 2017,28(8):246−261 (in
Chinese). http://www.jos.org.cn/1000-9825/5116.htm
Microblog Community Discovery Algorithm Based on Dynamic Topic Model with
Multidimensional Data Fusion
LIU Bing-Yu
1
, WANG Cui-Rong
1
, WANG Cong
1
, WANG Jun-Wei
1
, WANG Xing-Wei
2
, HUANG Min
1
1
(School of Computer Science and Engineering, Northeastern University, Shenyang 110819, China)
2
(School of Software, Northeastern University, Shenyang 110819, China)
Abstract: With the dramatic increase of microblog users, microblog websites have become the platform for a wide spectrum of users to
get information. Due to the fact that blog is a special type of text with restricted length, traditional community detection algorithms cannot
effectively solve the sparse problem of micro blog. To address the issue, the DC-DTM (discovery community by dynamic topic model)
∗ 基金项目: 国家杰出青年科学基金(61225012, 71325002); 国家自然科学基金(61572123, 61300195); 高等学校博士学科点专
项科研基金(20120042130003); 辽宁省百千万人才工程项目(2013921068); 河北省自然科学基金(F2014501078); 河北省科技计划
(15210146)
Foundation item: National Science Foundation for Distinguished Young Scholars of China (61225012, 71325002); National Natural
Science Foundation of China (61572123, 61300195); Specialized Research Fund of the Doctoral Program of Higher Education (20120042
130003); Liaoning BaiQianWan Talents Program (2013921068); Natural Science Foundation of Hebei Province (F2014501078);
Technology Planning Project of Hebei Province (15210146)
收稿时间: 2015-12-26; 修改时间: 2016-03-17; 采用时间: 2016-06-10; jos 在线出版时间: 2016-10-11
CNKI 网络优先出版: 2016-10-12 16:27:00, http://www.cnki.net/kcms/detail/11.2560.TP.20161012.1627.027.html
刘冰玉 等:基于动态主题模型融合多维数据的微博社区发现算法
247
algorithm is proposed in this paper. First, the algorithm maps microblog as a directed-weighted network, in which the direction is the
concerned relationship, and the weight is the topic’s similarity of different nodes calculated by DTM (dynamic topic model). DTM is a
microblog topic model which can not only mine the topics of each microblog accurately but also calculate author’s influence a topic.
Second, the algorithm uses label propagation WLPA (weighted lebel propagation), with low complexity, to find communities in microblog.
The initial process selects nodes with the largest influence as the initial nodes, and propagates the label in the order of node’s influences,
from large to small. The algorithm overcomes the adverse phenomenon in the traditional label propagation algorithm, and has better
stability. Experiments on real data show that the DTM model can be very good for the topic mining in microblog and DC-DTM algorithm
can effectively discover the communities of microblog.
Key words: Sina microblog; text mining; DC-DTM; Gibbs sampling; LDA; topic model
现实生活中存在多种类型的复杂网络,包括生物网络、文献引文网络以及新兴的社会网络.复杂网络具有
小世界、无标度等特点,对复杂网络的结构特征分析已经成为当前研究的热点.社交网络是一种新兴的复杂网
络,遵循复杂网络的特点,对社交网络的社区划分能够为商业推荐和用户管理以及研究工作者提供有意义的帮
助.
微博(microblog)是 Web 2.0 时代的标志性产物,是一种集成化、开放性的社交网络,是基于用户关系的信息
发布、传播以及获取的平台.作为一种新兴的社交网络平台,用户创造的不同格式(文本、图片)的数据传播到微
博网络中,不仅受到了用户的欢迎,而且也获得了很多研究人员的关注,已经成为国内外专家的研究热点.在微
博网络中,用户可以发布简短文本(通常少于 140 字)信息,此类信息称为博客(或博文),而博文信息是通过用户之
间的转发或评论等方式在网络中进行传播.作为新兴媒体,微博网络具有简便、及时等特点,受到网络用户的日
益青睐,信息涵盖的主题比传统媒体更加宽泛,有很高的更新与传播速度.对微博网络的用户关系进行分析,并
对潜在主题进行挖掘,找出兴趣相似的用户以及特定领域的活跃用户,掌握社区动态,可以为舆情控制及个性化
推荐等提供有力的支撑.
微博网络中的社区是由具有相同或相似兴趣爱好的用户组成的,可以分享并交流信息的子团体.由于微博
网络具有用户规模大、节点的度分布不均匀、弱社交网络等特点,传统的社区发现算法应用于微博网络具有局
限性,而基于概率主题模型的社区发现算法不仅适用于大规模网络,而且能够将微博网络中节点的语义信息和
微博网络拓扑结构融合,主要的概率主题模型有 LDA(latent Dirichlet allocation)
[1]
,ATM(author topic model)
[2]
等.
由于博文为短文本,存在数据稀疏性问题,本文提出 DTM(dynamic topic model)主题模型来挖掘微博网络中
的作者博文.考虑到博文的动态性,只选取作者近一年的博文作为研究对象,将不同作者博文的主题相似度作为
作者之间链接的权重,将微博网络映射为有向加权网络,并提出复杂度低的标签传播算法 WLPA(weighted lebel
propagation)进行社区发现.通过在新浪微博数据上进行实验,结果表明:本文所提出的主题模型 DTM 与 LDA 模
型相比,模型的困惑度较低,并且该模型能够较为准确地定位对某一话题敏感的作者集合;本文所提出的
DC-DTM 社区发现算法发现的社区的模块度较高.
本文的主要贡献如下:(1) 根据微博网络中节点自身以及节点之间联系的特性,建立微博网络的 RT 模型,
将微博网络映射为有向加权网络;(2) 利用 DTM 概率模型,将转发/评论博文与原博文相结合,挖掘作者的主题
分布以及整个网络的主题分布趋势;(3) 将不同作者的主题分布相似度作为作者之间联系的权重,在此基础上
利用标签传播算法对微博网络进行重叠社区发现;(4) 针对微博网络的社区发现,提出了基于语义的微博网络
社区的评价指标;(5) 在大量新浪微博数据中进行实验,实验结果表明本文所提出的 DTM 模型在生成主题质
量、内容困惑度以及模型复杂度等方面的指标都优于传统 LDA 模型,本文的 DC-DTM 算法发现的社区比传统
的基于标签的社区发现算法的模块度高,稳定性好.
1 相关工作
目前研究者已经提出了许多社区发现算法,从传统的根据网络拓扑结构进行社区发现发展到基于语义的
社区发现以及融合拓扑结构和语义的社区发现算法.下面分别对这 3 类算法进行阐述.
of 16
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论