个性化购物推荐系统设计与实现

 随着互联网的蓬勃发展，信息变得越来越多样化，用户难以从海量数据中找到需要的信息。为解决“信息过载”问题，推荐系统应运而生。推荐系统通过分析用户历史行为，发现用户的关注点，进而为用户进行个性化的信息推送。目前，推荐算法已广泛应用于电子商务、音乐和社交网络等领域，但其仍存在数据稀疏、冷启动等问题。如何有效地解决这些问题，已成为推荐算法研究的热点。
本文主要针对推荐技术存在的数据稀疏、冷启动等问题，分析比较现有推荐算法，进而提出一种改进的结合多信息的推荐算法，并对该方法在实际推荐系统中的应用进行详细的设计与实现。
本文的主要工作如下：
1.通过对传统推荐方法比较研究发现，矩阵分解方法在稀疏数据集下也能给出较为精准的推荐结果。虽然现有很多结合社交网络信息的推荐方法，但该方法存在关系数据不易收集问题。根据以上研究，本文在概率矩阵分解模型基础上，引入用户属性、物品关系和时序行为信息，提出一种改进的结合多信息的推荐算法。
2.结合理论分析和在 MovieLens 数据集上的实验分析表明，结合多信息的推荐算法在准确度上优于其它对比算法，能够有效缓解推荐系统数据稀疏和用户冷启动问题。
3.对各大电商网站进行综合分析，确定本文个性化购物推荐系统的目标。设计并实现一个个性化购物推荐系统，阐述结合多信息的推荐算法在该系统中的实现。个性化购物推荐系统的智能推荐模块主要包括：热门推荐和个性化推荐。引入热门推荐的目的在于减轻冷启动问题，并提供用户更多样的选择。
4.针对系统需求，分析制定测试方案，搭建测试环境。本文主要对系统进行功能测试、推荐算法测试和性能测试。测试结果表明：结合多信息的推荐算法应用到个性化购物推荐系统是可行的，满足预期的功能和性能需求。

关键词：个性化推荐系统，协同过滤，概率矩阵分解模型，相似度

Abstract

Along with the rapid development of the Internet, information becomes more and more diverse, so it’s harder for users to find the information they need. In order to solve the problem of “information overload”, the recommendation system is born. By analyzing the user’s historical behavior, the recommendation system finds the user’s interests, and then makes personalized information for this user. At present, the recommendation algorithms have been widely used in fields of e-commerce, music and social network, but there are still problems such as sparse data, cold start and so on. It has become a hot topic in the research of recommendation algorithm that how to solve these problems effectively. Based on analysis and comparison the existing recommendation algorithms, the thesis develops an improved multi-information incorporated recommendation algorithm, then designs and implements its application in practical recommendation system, aiming at solving the problems like data sparsity and cold start in the recommendation algorithm.
The main contents are summarized as follows:
1.Comparative study on the traditional recommendation algorithms shows that matrix factorization can provide more accurate recommendation results in sparse data set. Currently many recommendation algorithms integrate with social network information, but relative data is not easy to collect. So, this thesis brings in user attributes, the relationship of items and the time sequence behavior information into probabilistic matrix factorization, to develop an improved multi-information incorporated recommendation algorithm.
2.Both theoretical analysis and experimental test on Movielens dataset, it is shown that multi-information incorporated recommendation algorithm is more accurate than other comparison algorithms, and it can effectively alleviate date sparsity and cold start problems.
3.A comprehensive analysis of major e-commerce websites was conducted to determine the target of a personalized shopping recommendation system in this thesis. Design and implement a personalized shopping recommendation system，and illustrate the multi-information incorporated recommendation algorithm’s realization in this
system. The intelligent recommendation module of the personalized shopping recommendation system mainly includes: popular recommendation and personalized

recommendation. The purpose of introducing hot recommendations is to mitigate cold start problem and provide users with more choices
4.For the system requirements, a test program is formulated. A test environment is simulated in this thesis to test the system’s function, recommendation algorithm and its performance. The results reveal that the application of the multi-information recommendation algorithm to a personalized shopping recommendation system is workable, and it can meet the expected functional and performance requirements.

Keywords: Personalized Recommendation System, Collaborative Filtering, Probabilistic Matrix Factorization, Similarity

目录

图录 IX
表录 XI
注释表 XIII
第 1 章 绪论 1
1.1研究背景 1
1.2研究和发展现状 2
1.2.1推荐系统的应用现状 2
1.2.2推荐算法的研究现状 3
1.3课题研究内容与意义 5
1.3.1研究内容 5
1.3.2研究意义 6
1.4论文的组织结构 6
第 2 章 推荐系统相关算法分析 9
2.1传统推荐算法 9
2.1.1基于内容的推荐算法 9
2.1.2协同过滤推荐算法 10
2.1.3传统推荐算法对比 16
2.2改进的协同过滤算法 16
2.2.1基于关系挖掘的方法 17
2.2.2基于时序信息的方法 17
2.3相似度度量 18
2.3.1余弦相似度 18
2.3.2Pearson 相关系数 19
2.4混合推荐算法 19
2.5本章小结 21
第 3 章 结合多信息的推荐算法研究 23
3.1问题的描述 23
3.2M-PMF 推荐算法框架 24
3.2.1个性化推荐系统基本原理 24
3.2.2推荐算法框架 25
3.3M-PMF 模型建立 26
3.3.1考虑用户属性的 PMF 27
3.3.2考虑物品关系的 PMF 29
3.3.3考虑时序行为的 PMF 31
3.4模型融合 34
3.5模型求解 35
3.6实验分析 37
3.6.1实验数据集 37
3.6.2实验结果度量标准 38
3.6.3实验设置 39
3.6.4实验结果分析 39
3.7本章小结 43
第 4 章 基于 M-PMF 的购物推荐系统设计与实现 45
4.1个性化购物推荐系统的目标 45
4.2系统需求分析 45
4.2.1功能需求分析 46
4.2.2非功能需求分析 46
4.3系统总体方案设计 47
4.3.1系统总体结构设计 47
4.3.2系统功能模块设计 48
4.3.3系统开发环境 50
4.4智能推荐模块的设计与实现 50
4.4.1热门推荐 51
4.4.2个性化推荐 52
4.5其他功能模块的设计与实现 57
4.5.1基础功能模块 57
4.5.2数据库模块 58
4.5.3商品信息采集/筛选模块 60
4.5.4用户行为采集模块 62
4.6本章小结 62
第 5 章 系统测试与结果分析 63
5.1测试方案分析 63
5.1.1测试方法选择 63
5.1.2测试内容 63
5.2测试环境搭建 64
5.3测试内容及结果分析 65
5.3.1功能测试 65
5.3.2推荐算法测试 67
5.3.3性能测试 68
5.3.4系统运行效果 69
5.4本章小结 75
第 6 章 总结与展望 77
6.1 总结 77
6.2 展望 77
参考文献 79
致谢 83
攻读硕士学位期间从事的科研工作及取得的成果 85

图录

图 1.1 2012-2017 年（上）中国电子商务市场交易规模 1
图 2.1 基于内容的推荐算法思想 9
图 2.2 基于用户的协同过滤算法思想 11
图 2.3 基于物品的协同过滤算法思想 11
图 2.4 概率矩阵分解图模型 15
图 2.5 瀑布融合法流程图 20
图 3.1 矩阵分解示意图 24
图 3.2 个性化推荐系统的三大模块 25
图 3.3 推荐算法框架 26
图 3.4 融合用户属性的图模型 29
图 3.5 电影示例 29
图 3.6 融合物品关系的图模型 30
图 3.7 用户之间的相似度随时间的变化 31
图 3.8 物品之间的相似度随时间的变化 31
图 3.9 用户消费网络 32
图 3.10 物品消费网络 32
图 3.11 融合时序行为的图模型 34
图 3.12 融合的图模型 35
图 3.13 参数变化时模型的 RMSE 值 42
图 3.14 不同训练集比例下的 RMSE 值比较 43
图 4.1 个性化购物推荐系统的整体结构图 48
图 4.2 个性化购物推荐系统功能模块 49
图 4.3 智能推荐模块与其他模块关系图 51
图 4.4 热门推荐模块流程图 51
图 4.5 M-PMF 算法实现购物推荐的思路 52
图 4.6 基于用户属性的用户相似度计算流程图 53

图 4.7 基于时序行为的用户相似度计算流程 54
图 4.8 基于物品关系的物品相似度计算流程图 55
图 4.9 基于 M-PMF 的购物推荐业务框图 56
图 4.10 基于 M-PMF 的推荐功能时序图 56
图 4.11 离线计算流程图 57
图 4.12 登录业务流程图 58
图 4.13 个性化购物推荐系统 E-R 图 59
图 4.14 商品详情页的信息抓取流程 61
图 4.15 用户商品评分时序图 62
图 5.1 测试环境网络拓扑图 64
图 5.2 用户之间的相似度（用户属性） 66
图 5.3 用户之间的影响力（时序行为） 66
图 5.4 物品之间的相似度（物品关系） 66
图 5.5 物品之间的影响力（时序行为） 67
图 5.6 用户对物品预测评分 67
图 5.7 AB 测试结果 68
图 5.8 用户登录页面 70
图 5.9 用户注册页面 70
图 5.10 前台网站首页 71
图 5.11 热门推荐页面 72
图 5.12 个性化商品推荐界面 72
图 5.13 商品标记/评分界面 73
图 5.14 后台用户管理界面 73
图 5.15 商品信息管理界面 74
图 5.16 用户行为统计管理界面 74

表录

表 1.1 推荐系统的成功应用案例 2
表 2.1 User-based CF 和 Item-based CF 优缺点的对比 12
表 2.2 数学符号 13
表 2.3 推荐方法对比 16
表 3.1 基于梯度下降法的模型求解方法 36
表 3.2 Movielens 数据集 37
表 3.3 在 ml-100k 数据集下的 RMSE 值 40
表 3.4 在 ml-1m 数据集下的 RMSE 值 40
表 4.1 用户的功能需求 46
表 4.2 管理员的功能需求 46
表 4.3 系统数据库表汇总 59
表 4.4 天猫抓取的商品信息内容 61
表 4.5 淘宝抓取的商品信息内容 61
表 4.6 京东抓取的商品信息内容 61
表 5.1 测试方案 65
表 5.2 推荐指标测试结果 68
表 5.3 不同并发用户数测试结果 69

注释表

B/S Browser/Server，浏览器/服务器模式
CF Collaborative Filtering，协同过滤
CN Common Neighbors，共同邻接模型
LFM Latent Factor Model，隐语义模型
MAE Mean Absolute Error，平均绝对误差
MF Matrix Factorization，矩阵分解模型
PHP Hypertext Preprocessor，超文本预处理器
PMF Probabilistic Matrix Factorization，概率矩阵分解模型
RMSE Root Mean Squared Error，均方根误差
SVD Singular Value Decomposition，奇异值分解

第 1 章 绪论

Web2.0 互联网时代带来信息的迅速增长，也带来信息过载这一严重问题。由于搜索引擎没能达到用户需求，此后推荐系统应运而生，个性化推荐技术更是成为了缓解信息过载问题的一大利器。协同过滤作为当前应用最为广泛的一类推荐方法，仍存在一些问题，有待进一步改进。

1.1研究背景

伴随着互联网技术的发展日新月异，大量的信息充斥着我们的生活。人们的消费观念不断地转变，电子商务生态系统逐渐完善，网络购物慢慢地渗透进生活，成为不可或缺的一部分。中国电子商务研究中心发布的《2017 年（上）中国电子商务市场数据监测报告》表明，2017 上半年中国电子商务交易额 13.35 万亿元，同比增长 27.1%[1]。我国电子商务保持着较快发展，根据图 1.1 可以直观地看到，2012-
2017 年（上）中国电子商务市场交易规模。

图 1.1 2012-2017 年（上）中国电子商务市场交易规模

电商的发展日渐成熟，电商网站数量也呈现井喷式增长，如：淘宝、天猫、京东、唯品会、亚马逊和一号店等。人们在享受网络资源带来的便利时，也受到了信息过载和信息碎片化的困扰。在虚拟的电子商务世界里，互联网上存放着海量的商家和商品信息。对于普通消费者来说，快速地寻找所需商品是一个难题。用户希望网站能自动地推荐所需要或感兴趣的商品。用户对这一需求越来越迫切，应用在电

商领域的个性化推荐系统由此而生。
推荐系统（Recommender Systems）的概念于 20 世纪 90 年代被正式提出[2]。推荐系统的出现很好地解决了传统搜索引擎的问题，同时也是对搜索引擎的补充。推荐系统不同于搜索引擎，需要用户输入检索信息。它是利用用户的历史行为和用户属性等信息，对用户数据和商品数据进行建模，从而推送给用户感兴趣的信息。它是信息的发送者与接受者之间一座桥梁，可以让双方达到互赢的目的。
如今，网站为用户提供个性化推荐服务，已是一种常见现象。个性化推荐技术应用在生活的各个领域，除电子商务以外，常见的应用领域包括广告、新闻、音乐、社交网络等[3]。推荐系统在商业领域取得显著成效，因此其越来越引起业界专家和学者的关注。各大电子商务网站探寻适合自身的推荐技术，以获得更高的盈利。
电商网站增多，商品种类也越来越多样化。如何一目了然地在各大电商网站中选择出物美价廉的商品，是用户的一大疑惑。如何让推荐系统的推荐性能得到进一步的提升，是专家学者们研究的重点。由此可见，需要对推荐算法进一步地改进以获得更高的推荐准确度，需要设计一个能综合各电商平台商品以呈现优选商品给用户的购物平台。同时，将推荐算法应用到个性化购物推荐系统中，为用户给出更好的推荐效果。

1.2研究和发展现状

1.2.1推荐系统的应用现状

第一个个性化邮件过滤推荐系统 Tapestry 于 20 世纪 90 年代诞生[4]。自此，推荐系统如雨后春笋般不断涌现，并已成功应用到各个领域。如此多的成功应用案例帮助用户缓解信息过载的问题，也给商家带来利润。目前，所有的大型电商平台，都积极地引入符合自身的推荐技术，以提高用户体验感。
推荐系统在各领域的成功应用案例，如表 1.1 所示：

表 1.1 推荐系统的成功应用案例
应用领域 成功案例

电子商务 Amazon、eBay、Levis；淘宝、京东、当当

表 1.1（续）
应用领域 成功案例

音乐 Pandora、last.fm、CDNOW；网易云音乐、豆瓣音乐电台、酷狗

社交网络 Facebook、Twitter；新浪微博、腾讯微博

新闻推荐 Grouplens、Google News；今日头条、新浪网

电影和视频 Netflix、Hulu、Movielens；腾讯视频、爱奇艺、优酷

下面分别选取各领域的案例来加以分析：
1.电子商务：Amazon 是较早做推荐系统的公司，其至少有 35%的销售额来自于推荐系统。基于物品的协同过滤推荐是 Amazon 所采用的核心推荐算法[5]。在国内，淘宝已成为了与国外 Amazon 和 eBay 比肩的互联网电商平台。
2.音乐：Pandora 旨在帮助用户发现新音乐，它的推荐算法是基于音频本身的，即基于音乐 DNA[6]。Pandora 就是根据这些音乐基因，为用户推荐在基因上与他以前喜爱音乐类似的音乐。该方法实质是基于内容的推荐方法。
3.社交网络：Facebook 无疑是一个人人皆知的社交网络软件。该公司的推荐系统主要是为用户提供好友和会话推荐。系统中包含的社交网络信息和用户行为数据，可以成为给用户推荐物品的依据。
4.新闻推荐：从“非个性化推荐”转入“个性化推荐”是今日头条所采用的策略。它主要采用基于内容的推荐和协同过滤。
5.电影和视频：MovieLens 是历史最悠久的推荐系统，主要使用协同过滤和关联规则相结合的方法。在国内，爱奇艺的电影和视频推荐主要采用基于内容的协同过滤、基于物品的协同过滤和矩阵分解方法。

1.2.2推荐算法的研究现状

一个完整的推荐系统通常包括以下三部分：历史行为模块、推荐算法、内容展示 UI[5]。作为推荐系统的核心，推荐算法决定着推荐系统的推荐性能。当前，主流的推荐技术有：基于内容的推荐（Content-based）、协同过滤（Collaborative Filtering，

CF）和混合推荐算法（Hybrid）。
1.基于内容的推荐
基于内容的推荐仅仅依赖项目的本身特性，不需要用户对项目的评分信息。该方法只考虑对象本身的特征，将对象按标签归类为集合，若用户对集合中的某一物品产生行为，则推荐系统将为用户推荐集合中的其他物品。该推荐技术无需更多的用户信息，因而不存在数据稀疏和冷启动问题。但该方法仅适用于用户及产品特征容易提取的情况，如：文本资源类的数据。由此可见，基于内容的推荐方法在适用场景方面，存在一定局限性。
2.协同过滤
1992 年，协同过滤的概念被提出。经过二十多年的发展，协同过滤已成为推荐领域的重要算法。协同过滤可以分为两类，即基于模型的方法和基于内存的方法。其中，基于内存的方法就是运用相似度度量方法计算得到相似的用户（或物品）集合，然后依据相似用户（或物品）来做出推荐。而基于模型的方法通常是通过机器学习、数据挖掘等方法，建立最优模型，对用户的未知兴趣进行预测。基于模型的方法主要有：隐语义模型（Latent Factor Model，LFM）[3]、聚类模型[7]等。
虽然协同过滤在性能上表现不错，但是存在数据稀疏、冷启动、用户兴趣变化等问题[8]。
（1）数据稀疏性
在实际的推荐系统中，用户-物品评分是很少的，并且随着用户和物品不断地加入，用户-物品评分矩阵越来越稀疏。稀疏的评分矩阵影响最近邻查找，导致推荐精度降低。为解决数据稀疏性，多种技术被提出，如：文献[9]，提出了一种以项目特征属性为基础的稀疏数据集预处理方法；文献[10]，提到一种预填充项目评分矩阵；文献[11]，提到降维法解决数据稀疏问题；文献[12]，提出了综合均值优化方法，来弥补稀疏性带来的问题。
（2）冷启动问题
冷启动问题主要包括系统冷启动、用户冷启动以及项目冷启动。用户冷启动问题，即如何给没有任何历史行为数据的用户做出推荐。项目冷启动问题，即如何将没有评分信息的物品推荐给可能喜爱它的用户。系统冷启动问题，即如何在刚开发的网站上为用户提供个性化推荐服务。

目前，应对冷启动问题的方法也较多，如：热门搜索、推荐其他用户在买的物品；使用用户注册信息为用户提供粗粒度的个性化推荐服务；利用用户的社交网络信息，来推荐好友喜欢的物品给用户；用户在首次登陆时，以问卷的方式让用户选择一些他感兴趣的主题或者标签；使用物品的内容特点信息，将物品推荐给喜欢与之相似物品的用户等。
（3）用户兴趣变化
用户的兴趣变化问题，也称为动态性问题，是指用户的关注点会随着时间而改变。传统的协同过滤推荐算法常忽略了时间要素对推荐结果带来的影响，使得推荐结果偏离用户需求。针对这一问题，有学者提出在隐语义模型、矩阵分解模型
（Matrix factorization，MF）等基于模型的协同过滤方法中加入时间因素来解决用户兴趣变化问题[13~15]。
推荐系统仍存在着一些难以解决的问题，学者们对现有推荐方法进行不断改进，帮助解决这些问题。

1.3课题研究内容与意义

1.3.1研究内容

本文对推荐领域的关键技术进行研究，提出一种改进的结合多信息的推荐方法。设计了一套基于 B/S（Browser/Server，浏览器/服务器模式）[16]架构的个性化购物推荐系统，阐述结合多信息的推荐算法在系统中的实现。
本文主要完成以下几项工作：
1.分析推荐系统应用现状以及推荐算法发展现状，对传统推荐算法进行分析比较，对已有相关算法进行分析。
2.结合对现有算法的分析，本文引入用户属性、物品关系以及时序行为信息到概率矩阵分解模型，提出一种改进的结合多信息的推荐方法。
3.使用本文提出的算法与其他对比算法在 Movielens 数据集上进行实验对比。实验表明，该算法对缓解推荐系统冷启动和稀疏性问题是有效的，而且提升了推荐准确度。
4.设计基于 B/S 的个性化购物推荐系统，论述结合多信息的推荐算法在该系

统中的实现。该系统的商品信息采集自各大电商平台，对采集信息进行筛选得到最优的商品信息。个性化购物推荐系统由两部分组成，即前台网站和后台管理系统。
5.对个性化购物推荐系统进行功能测试、推荐算法测试和性能测试。分析测试结果，验证算法应用到个性化购物推荐系统的有效性，提出对下一步工作的展望，并完成相关文档的撰写和整理。

1.3.2研究意义

优质的推荐系统，不仅为用户提供感兴趣的项目以缓解“信息过载”问题，还为用户呈现更多未接触过但感兴趣的项目以提升用户满意度。提升推荐的精度，增大用户与系统的粘度，缓解推荐系统冷启动和数据稀疏问题是推荐系统研究的首要任务。
社交网络信息一定程度上缓解推荐系统的一些问题，但存在关系数据难以获取的问题。在传统的推荐方法中，大多忽略了用户自身属性和物品关系方面的影响，则本文将在概率矩阵分解模型基础上融合用户属性、物品关系和时序行为信息，提出一种改进的结合多信息的推荐算法以缓解数据稀疏、冷启动等问题。
电商平台不断地涌现，大量商品出现在不同的电商网站中，用户要挑选自己满意且实惠的产品，需要浏览多个电商网站进行价格和评分等信息的对比。在信息过载的时代，上述问题给用户带来极大困扰，用户不能快速地购买到满意的产品。在该情况下，用户需要一个能综合比较各大电商平台后，给出最优商品，并进行个性化推荐的购物平台。
综上所述，如何提升推荐的准确度和减轻推荐系统所存在的问题在算法研究方面具有重要意义。如何满足用户对快速购买满意商品的需求是很值得探索的。本文提出一种改进的结合多信息的推荐算法，将该算法运用到个性化购物推荐系统中，在理论和实践上，都对推荐算法的研究以及应用提供一定的思路。

1.4 论文的组织结构

本文分六章进行论述，具体的组织结构如下：
第一章，绪论。分析本课题的研究背景、推荐系统应用现状和算法研究现状，并对本课题的研究内容和意义进行了总结，最后，阐述本文的组织结构。

第二章，推荐系统相关算法分析。对传统推荐算法进行分析比较，对本文的相关算法进行分析。接着，阐述两种常见相似度计算方法以及混合推荐算法。
第三章，结合多信息的推荐算法研究。首先，对现有算法存在的问题，以及本算法要解决的问题进行简要描述。接着，给出本章算法的算法框架。然后，详细阐述如何在概率矩阵模型中引入时序行为、用户属性和物品关系信息，并对模型进行融合以及求解。最后，对本章算法与其他对比算法进行实验分析，并验证算法在解决冷启动、数据稀疏问题上的有效性。
第四章，基于 M-PMF 的购物推荐系统设计与实现。首先，给出本系统的目标。然后，对系统进行需求分析，并对系统总体和各功能模块进行简要设计。最后，设计和实现智能推荐模块以及系统其他功能模块，重点探讨结合多信息的推荐算法在该系统的应用。其中，其他功能模块主要包括基础功能模块、数据库模块、商品信息采集/筛选模块、用户行为数据采集模块。
第五章，系统测试与结果分析。首先，对软件测试基础进行分析，并针对系统制定测试方案，搭建测试环境。然后，对系统进行功能测试、推荐算法测试和性能测试，功能测试主要围绕个性化推荐部分进行，性能测试主要是对系统进行 AB 测试。最后，对系统运行效果进行展示。
第六章，总结与展望。对本课题所做的工作进行总结，并对个性化推荐系统的发展方向以及下一步的工作进行展望。

第 2 章 推荐系统相关算法分析

在推荐系统中，不同推荐方法适用的推荐场景是存在一定差异的。本章首先对
1.2.2 节中的传统推荐方法进行对比分析。然后，对已改进的推荐算法的优缺点进行分析，从而简要说明本文算法的思想。最后，比较两种常用的相似度度量方法，并对混合推荐算法进行阐述。

2.1传统推荐算法

2.1.1基于内容的推荐算法

基于内容推荐系统（Content-based Recommender System）最先起源于信息检索领域，而后引用到推荐系统领域。该方法是依据用户以往的兴趣项目，推荐与这类项目内容类似的项目[17]。基于内容的推荐算法的关键点在于得到项目的相关特征，这些特征可以是人工生成也可以是自动抽取。比如：电影的推荐，相关的特征可以是电影的导演、体裁或者主题等。基于内容的推荐算法思想如图 2.1 所示。