深度矩阵分解推荐算法-田震，潘腊梅，尹朴，王睿.pdf

上善若水

149

12页

1次

2022-05-26

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software,2021,32(12):3917−3928 [doi: 10.13328/j.cnki.jos.006141] http://www.jos.org.cn

深度矩阵分解推荐算法

∗

田

震

潘腊梅

尹

朴

王

睿

1,2

(北京科技大学计算机与通信工程学院,北京 100083)

(北京科技大学顺德研究生院,广东佛山 528300)

通讯作者: 王睿, E-mail: wangrui@ustb.edu.cn

摘要: 协同过滤推荐算法中的矩阵分解因其简单、易于实现,得到了广泛的应用.但是矩阵分解通过简单的线

性内积建模用户和物品之间的非线性交互关系,限制了模型的表达能力.为此,He 等人提出了广义矩阵分解模型,通

过非线性激活函数和连接权重,将矩阵分解推广到广义矩阵分解,为模型赋予建模用户和物品间的二阶非线性交互

关系的能力.但是广义矩阵分解模型是一个浅层模型,并不能很好地建模用户和物品间高阶交互关系,一定程度上可

能会影响模型性能.受广义矩阵分解模型启发,提出了深度矩阵分解模型(deep matrix factorization,简称 DMF),在广

义矩阵分解模型的基础上引入隐藏层,利用深层神经网络来学习用户和物品间高阶交互关系.深度矩阵分解模型不

仅解决了简单内积的线性问题,同时还能够建模用户和物品间的高阶交互,具有很好的表达能力.此外,在 MovieLens

和 Anime 两个数据集上进行了大量丰富的对比实验,验证了模型的可行性和有效性;同时,通过实验确定了模型的最

优参数.

关键词: 协同过滤;线性内积;广义矩阵分解;隐藏层;高阶交互

中图法分类号: TP311

中文引用格式: 田震,潘腊梅,尹朴,王睿.深度矩阵分解推荐算法.软件学报,2021,32(12):3917−392 8. http://www.jos.org.cn/

1000-9825/6141.ht m

英文引用格式: Tian Z, Pan LM, Yin P, Wang R. Deep matrix factorization recommendation algorithm. Ruan Jian Xue Bao/

Journal of Software, 2021,32(12):3917−3928 (in Chinese). http://www.jos.org.cn/1000 -9825/6141.htm

Deep Matrix Factorization Recommendation Algorithm

TIAN Zhen

, PAN La-Mei

, YIN Pu

, WANG Rui

1,2

(School of Computer & Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China)

(Shunde Graduate School, University of Science and Technology Beijing, Foshan 528300, China)

Abstra ct : Matrix factorization in collaborative filt ering recommendation algorithms is widely used because of its simpl icity and facility

of implementation, but matrix factorization utilizes a simple linear inner product to model the non-lin ear interaction between the user and

the item, which limits the model's expressive power. He et al. proposed a generalized matrix factorization model, which extended the

matrix factorization to the generalized matrix factorization through a non-linear activation function and connection weights, and gave the

model the ability to model second-order non-linear interactions between users and items. Nevertheless, the generalized matrix

factorization model is a shallow model and does not model the high-order interaction between users and items, which may affect the

performance of the model to a certain extent. Inspired by the generalized matrix factorization model, this study proposes a deep matrix

factorization model, abbreviated as DMF. Based on the generalized matrix factorization model, a hidden layer is introduced, and a deep

neural network is used to learn the higher-order interaction between users and items. The deep matrix factorization model, which has a

good expression ability, not only solves the linear problem of si mple inner product, but also models high-order interactions between users

∗ 基金项目: 国家自然科学基金(62173158, 61803391); 北京科技大学顺德研究生院科技创新专项资金(BK19CF010, BK20BF012)

Foundation item: National Natural Science Foundation of China (62173158, 61803391); Scientific and Technological Innovation

Foundation of Shunde Graduate School, USTB ( BK19CF010, BK20BF012)

收稿时间: 2020-03-31; 修改时间: 2020-06-11; 采用时间: 2020-08-28

3918

Journal of Software 软件学报 Vol.32, No.12, December 2021

and items. In addition, a lot of rich comparative experiments are performed on two datasets, MovieLens and Anime, and the results

confirm its feasibility and effectiveness. Meanwhile the optimal paramet ers of the model were determin ed through experiments.

Key words: collaborative filtering; linear inn er produ ct; g eneralized matrix f actorization; hid den l ayers; high-or der int eraction

众多协同过滤推荐算法中,矩阵分解(matrix factorization,简称 MF) 算法因简单、易于实现,得到了广泛的应

用.但是矩阵分解通过简单的线性内积方式无法建模用户和物品之间复杂的非线性关系,限制了模型的推荐性

能.虽然许多工作从多个方面对矩阵分解算法进行改进,但是仍然采用线性内积方式建模用户和物品之间的交

互,使得模型的性能提升有限.He 等人提出的广义矩阵分解模型(generalized matrix factorization,简称 GMF)

[1]

利

用神经网络,通过一个激活函数和不全是 1 的连接权重赋予了 MF 非线性学习能力,将 MF 推广到非线性集合,

提高了模型的表达能力.GMF 的浅层结构使得它在建模用户和物品的二阶交互关系上有很好的表现,然而却并

不能很好地捕捉到包含更丰富信息的用户和物品之间的高阶交互关系.随着深度神经网络技术的不断成熟,许

多研究人员逐渐意识到深度神经网络强大的非线性学习能力和抽象特征学习能力,并开始将其应用到矩阵分

解过程.但是现有研究要么对于协同过滤部分仍采用线性内积,要么只建模了用户和物品的二阶交互关系,忽略

了包含更多信息的高阶交互,导致模型性能受限.

针对以上问题,本文提出了一种深度矩阵分解推荐算法,算法在广义矩阵分解算法的基础上,通过在非线性

内积得到的用户和物品的二阶交互之上引入隐藏层,利用深度神经网络建模用户和物品之间复杂的高阶非线

性交互关系.实验结果表明,提出的深度矩阵分解推荐算法对于模型推荐性能具有显著的提升.

1 相关工作

在众多协同过滤推荐算法中,矩阵分解算法因其可扩展性和易于实现,成为最为普遍和最受欢迎的一种协

同推荐算法.通过一组潜在的特征因子,把用户评分矩阵分解为 user-factor matrix 和 item-factor matrix.矩阵分解

利用潜在因子向量描述用户和物品,即:将用户和物品映射到共享的潜在向量空间中,并通过映射向量之间的内

积来表达用户与物品间的交互关系

[2,3]

.为了进一步提升推荐性能,许多的工作对矩阵分解算法进行改进,并取

得了显著的成果.Steffen 等人对于 BPR-OPT 的学习模型提出了基于随机梯度下降和 bootstrap 抽样的一般学习

算法 LearnBPR,并将其用于矩阵分解过程

[4]

.Badrul 等人

[5]

提出了奇异值分解(SVD)来学习特征矩阵,但由 SVD

学习的 MF 模型容易过拟合.之后,Pan 等人提出一种带案例权重的正则化最小二乘优化算法 WR-MF

[6]

.此

外,Mohsen 等人提出了 Socia lMF 算法

[7]

,根据用户信任关系,利用信任用户的潜在特征向量来增强矩阵分解,得

到的用户潜在特征向量,从而提升模型推荐性能.但是,这种方法只使用信任关系的表面信息进行推荐,没有考

虑社交网络中信任关系是由多种因素形成的,所以郭等人在 Socia lMF 的基础上提出了 StrengthMF

[8]

,将信任关

系网络与评分信息联合用于矩阵分解过程,从而优化了推荐结果.同时,孙等人

[9]

提出了 SequentialMF 推荐算法,

该算法通过对用户时序行为建模发现用户邻居,从而将邻居信息融合到矩阵分解过程.虽然这些算法从不同的

方面改进矩阵分解过程,使得模型推荐性能得到改善,但是这些算法的性能仍然受到因采取内积的方式建模用

户和物品交互的限制,这种线性乘积的结合方式可能并不足以有效地捕捉交互数据中的非线性结构.即:简单和

固定的内积有其局限性,会对模型造成一定的限制.

为了解决上述问题,He 等人在 GMF 中利用神经网络的非线性学习能力,在 MF 之上引入神经网络赋予模型

学习用户和物品之间的非线性交互关系的能力,进一步提升了模型的表达能力.但是,GMF 中仅包含嵌入层和

输出层,在得到用户和物品潜在特征向量后,通过在向量对应元素相乘的结果上添加一层全连接输出层就输出

了结果,只是建模了用户和物品之间的二阶交互,并不能有效地捕捉到包含更丰富信息的用户和物品之间的高

阶交互关系.即:GMF 的浅层结构能够建模用户和物品间交互的低层特征,但是并不能有效地捕捉到包含许多

丰富信息、更抽象的高阶交互,高阶交互信息的缺失一定程度上会限制模型的推荐性能.

近些年,深度神经网络开始成为学术界和工业界的研究重点.深度神经网络通常拥有更多层次的隐藏层,单

层隐藏层能够把输入数据的特征抽象到另一个维度空间,来展现其更抽象化的特征;而多隐藏层能够对输入特

of 12

免费下载

软件学报计算机技术

关注

评论