协同过滤推荐算法主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类，分别是基于用户的协同过滤算法(user-based collaboratIve filtering)，和基于物品的协同过滤算法(item-based collaborative filtering)。简单的说就是：人以类聚，物以群分。

基于用户

基于用户的协同过滤算法是通过用户的历史行为数据发现用户对商品或内容的喜欢(如商品购买，收藏，内容评论或分享)，并对这些喜好进行度量和打分。根据不同用户对相同商品或内容的态度和偏好程度计算用户之间的关系。在有相同喜好的用户间进行商品推荐。简单的说就是如果A,B两个用户都购买了x,y,z三本图书，并且给出了5星的好评。那么A和B就属于同一类用户。可以将A看过的图书w也推荐给用户B。

寻找相似用户

我们模拟了5个用户对两件商品的评分，来说明如何通过用户对不同商品的态度和偏好寻找相似的用户。在示例中，5个用户分别对两件商品进行了评分。这里的分值可能表示真实的购买，也可以是用户对商品不同行为的量化指标。例如，浏览商品的次数，向朋友推荐商品，收藏，分享，或评论等等。这些行为都可以表示用户对商品的态度和偏好程度。

	商品1	商品2
用户A	3.3	6.5
用户B	5.8	2.6
用户C	3.6	6.3
用户D	3.4	5.8
用户E	5.2	3.1

从表格中很难直观发现5个用户间的联系，我们将5个用户对两件商品的评分用散点图表示出来后，用户间的关系就很容易发现了。在散点图中，Y轴是商品1的评分，X轴是商品2的评分，通过用户的分布情况可以发现，A,C,D三个用户距离较近。用户A(3.3 6.5)和用户C(3.6 6.3)，用户D(3.4 5.8)对两件商品的评分较为接近。而用户E和用户B则形成了另一个群体。

散点图虽然直观，但无法投入实际的应用，也不能准确的度量用户间的关系。因此我们需要通过数字对用户的关系进行准确的度量，并依据这些关系完成商品的推荐。

点击显/隐内容

import matplotlib.pyplot as plt
import pandas as pd

plt.rcParams['font.sans-serif']=['SimHei']

data = [[3.3,6.5],[5.8,2.6],[3.6,6.3],[3.4,5.8],[5.2,3.1]]
x = ['A','B','C','D','E']
df = pd.DataFrame(data,
                  columns=['商品1','商品2'],
                  index=x)
df.plot.scatter(x='商品1',y='商品2',c=['r','g','y','b','black'])
for i in range(len(x)):
    plt.text(data[i][0],data[i][1]+0.05,x[i])
plt.show()

相似度衡量指标

欧几里得距离

	欧氏距离
用户A-B	4.632493928760188
用户A-C	0.36055512754639923
用户A-D	0.7071067811865478
用户A-E	3.8948684188300895
用户B-C	4.304648650006176
用户B-D	3.9999999999999996
用户B-E	0.7810249675906652
用户C-D	0.5385164807134505
用户C-F	3.5777087639996634
用户D-F	3.24499614791759

通过公式我们获得了5个用户相互间的欧几里德系数，也就是用户间的距离。系数越小表示两个用户间的距离越近。可以发现，用户A&C用户A&D和用户C&D距离较近。同时用户B&E的距离也较为接近。与我们前面在散点图中看到的情况一致。

点击显/隐内容

import numpy as np

data = np.array([[3.3,6.5],[5.8,2.6],[3.6,6.3],[3.4,5.8],[5.2,3.1]])
l = len(data)
for i in range(l-1):
    for j in range(i+1,l):
        dis = np.linalg.norm(data[i]-data[j])

# 4.632493928760188
# 0.36055512754639923
# 0.7071067811865478
# 3.8948684188300895
# 4.304648650006176
# 3.9999999999999996
# 0.7810249675906652
# 0.5385164807134505
# 3.5777087639996634
# 3.24499614791759

皮尔逊相关度

皮尔逊相关度评价是另一种计算用户间关系的方法。他比欧几里德距离评价的计算要复杂一些，但对于评分数据不规范时皮尔逊相关度评价能够给出更好的结果。以下是一个多用户对多个商品进行评分的示例。这个示例比之前的两个商品的情况要复杂一些，但也更接近真实的情况。我们通过皮尔逊相关度评价对用户进行分组，并推荐商品。

Screen Shot 2018-06-19 at 10.43.42 PM

皮尔逊相关系数的计算公式如下，结果是一个在-1与1之间的系数。该系数用来说明两个用户间联系的强弱程度。

　　相关系数的分类

0.8-1.0 极强相关
0.6-0.8 强相关
0.4-0.6 中等程度相关
0.2-0.4 弱相关
0.0-0.2 极弱相关或无相关

Screen Shot 2018-06-19 at 10.41.21 PM

通过计算5个用户对5件商品的评分我们获得了用户间的相似度数据。这里可以看到用户A&B，C&D，C&E和D&E之间相似度较高。下一步，我们可以依照相似度对用户进行商品推荐。

点击显/隐内容

import numpy as np

data = np.array([[3.3,6.5,2.8,3.4,5.5],[3.5,5.8,3.1,3.6,5.1],
        [5.6,3.3,4.5,5.2,3.2],[5.4,2.8,4.1,4.9,2.8],
        [5.2,3.1,4.7,5.3,3.1]])

cof = np.corrcoef(data)
print(cof)
# [[ 1.          0.99977352 -0.84775831 -0.8418164  -0.91523671]
#  [ 0.99977352  1.         -0.84174116 -0.83531995 -0.90997534]
#  [-0.84775831 -0.84174116  1.          0.99898728  0.97627199]
#  [-0.8418164  -0.83531995  0.99898728  1.          0.96978216]
#  [-0.91523671 -0.90997534  0.97627199  0.96978216  1.        ]]

物品推荐计算

当我们需要对用户C推荐商品时，首先我们检查之前的相似度列表，发现用户C和用户D和E的相似度较高。换句话说这三个用户是一个群体，拥有相同的偏好。因此，我们可以对用户C推荐D和E的商品。但这里有一个问题。我们不能直接推荐前面商品1-商品5的商品。因为这这些商品用户C以及浏览或者购买过了。不能重复推荐。因此我们要推荐用户C还没有浏览或购买过的商品。

加权排序推荐

我们提取了用户D和用户E评价过的另外5件商品A—商品F的商品。并对不同商品的评分进行相似度加权。按加权后的结果对5件商品进行排序，然后推荐给用户C。这样，用户C就获得了与他偏好相似的用户D和E评价的商品。而在具体的推荐顺序和展示上我们依照用户D和用户E与用户C的相似度进行排序。

Screen Shot 2018-06-19 at 10.48.33 PM

这个算法依靠用户的历史行为数据来计算相关度。也就是说必须要有一定的数据积累(冷启动问题)。对于新网站或数据量较少的网站，还有一种方法是基于物品的协同过滤算法。

基于物品

基于物品的协同过滤算法与基于用户的协同过滤算法很像，将商品和用户互换。通过计算不同用户对不同物品的评分获得物品间的关系。基于物品间的关系对用户进行相似物品的推荐。这里的评分代表用户对商品的态度和偏好。简单来说就是如果用户A同时购买了商品1和商品2，那么说明商品1和商品2的相关度较高。当用户B也购买了商品1时，可以推断他也有购买商品2的需求。

寻找相似物品

表格中是两个用户对5件商品的评分。在这个表格中我们用户和商品的位置进行了互换，通过两个用户的评分来获得5件商品之间的相似度情况。单从表格中我们依然很难发现其中的联系，因此我们选择通过散点图进行展示。

Screen Shot 2018-06-19 at 10.51.04 PM

在散点图中，X轴和Y轴分别是两个用户的评分。5件商品按照所获的评分值分布在散点图中。我们可以发现，商品1,3,4在用户A和B中有着近似的评分，说明这三件商品的相关度较高。而商品5和2则在另一个群体中。

点击显/隐内容

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

data = [[3.3,6.5],[5.8,2.6],[3.6,6.3],[3.4,5.8],[5.2,3.1]]
x=['item1','item2','item3','item4','item5']
pd_data = pd.DataFrame(data,columns=['user-A','user-B'],index=x)
pd_data.plot.scatter(x='user-A',y='user-B',c=['r','g','y','b','black'])
for i in range(len(data)):
    plt.text(data[i][0],data[i][1]+0.05,x[i])
plt.show()

欧式距离

在基于物品的协同过滤算法中，我们依然可以使用欧几里德距离评价来计算不同商品间的距离和关系。以下是计算公式。通过欧几里德系数可以发现，商品间的距离和关系与前面散点图中的表现一致，商品1,3,4距离较近关系密切。商品2和商品5距离较近。

Screen Shot 2018-06-19 at 10.52.16 PM

点击显/隐内容

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

data = [[3.3,6.5],[5.8,2.6],[3.6,6.3],[3.4,5.8],[5.2,3.1]]
data = np.array(data)

for i in range(len(data)-1):
    for j in range(i+1,len(data)):
        print(np.linalg.norm(data[i]-data[j]))

# 4.632493928760188
# 0.36055512754639923
# 0.7071067811865478
# 3.8948684188300895
# 4.304648650006176
# 3.9999999999999996
# 0.7810249675906652
# 0.5385164807134505
# 3.5777087639996634
# 3.24499614791759