目录

一、整体流程

二、离线部分

2.1 数据收集

2.2  内容画像

2.3 用户画像

2.4 召回

2.4 排序

三、实时系统

四、评估系统

---

一、整体流程

 本文地址：推荐系统全流程落地实施方案

从以下一张总体脑图开始：

 整体上分为三个阶段：离线计算、推荐结果的实时获取、推荐结果的评估。

二、离线部分

离线计算是推荐系统的核心部分，涉及从数据收集、内容画像、用户画像、召回、排序几个关键环节，这几个环节也提现出，推荐的本质是进行内容和用户的匹配。

2.1 数据收集

核心工作概括如下图所示：

需要收集的数据有两大类：用户行为数据和内容本身的描述数据。前者可以反映用户对于内容的偏好程度，后者可以对内容本身做画像。

数据收集的更新频率根据推荐系统整体的时效性来定义，也会受限于资源成本考量。

2.2  内容画像

内容画像部分解决对内容的描述问题，在推荐模型中如何理解一个内容。有了内容画像，可以计算内容之间的相似性。有了相似性就可以出基于内容的推荐策略。这是在冷启动期用户行为数据有限时很有效的推荐方式。

 内容画像的生成，会用到关键词生成算法（TextRank*IDF），补充增加一个选词标准，比如TOP10。为了更能区分一个内容相对其他内容的差异性，还会用到主题词模型（一种方式是使用TextRank&TFIDF）。

通过用户画像可以计算相似内容了，即两两内容之间的相似性。

方法是：

1. 由主题词生成主题词向量，word2vec常用的算法，定义一个内容的所有主题词向量的均值作为内容的向量。

2. 两两计算相似度。数据量小时，可以全量计算，量大时可以采用一些优化算法，分类别、LSH等。

2.3 用户画像

 解决内容的向量化描述之后，接下来利用行为数据对用户做画像。

前述用户行为数据，实际上是用户与内容的互动关系，根据业务领域知识，定义一个评分规则，即行为转化成对内容的评分，形成用户评分表。通过用户评分表反映了每个用户对每个内容的偏好程度，借此对每个用户的评分内容做个排序，选取主题词作为用户画像中的主题词列表。

2.4 召回

 召回实际上是一个海选的过程。召回方式有很多种，也是推荐系统中算法模型最丰富的部分。

 召回最后的输出是一个用户推荐的内容列表。

冷启动召回，基于内容本身的特性进行选择，与特定用户没有直接关系，但有可能有间接关系，比如基于他最近访问的内容直接找相似内容。

多路召回，会开始关注用户行为数据或者说用户画像了。基于历史喜欢的内容，ALS，协同过滤都是常用的模型。

2.4 排序

排序是一个精选的过程，进一步优化推荐质量。

 算法模型是关于点击率预测方面的。有LR回归、Wide&Deep、深度学习。

三、实时系统

就工程实践而言，一个完整的推荐系统包括推荐模型运算，也必须要有接入产品的实时推荐结果输出系统。推荐结果可以保存在Hbase这种大规模、易扩展的存储系统中，借助缓存技术、rpc技术得到最大的吞吐量。

四、评估系统

评估系统是进行推荐模型迭代优化的基础条件。

事前的样本评估，事中的AB实验，事后的问卷调查。通过这些来指导模型的优化路线，获得更高的产品效果（比如转化率、活跃度等）。