简单易学的机器学习算法——协同过滤推荐算法(2)
一、基于协同过滤的推荐系统
协同过滤(Collaborative Filtering)的推荐系统的原理是通过将用户和其他用户的数据进行比对来实现推荐的。比对的具体方法就是通过计算两个用户数据之间的相似性,通过相似性的计算来说明两个用户数据之间的相似程度。相似度函数的设计必须满足度量空间的三点要求,即非负性,对称性和三角不等性。常用的相似度的计算方法有:欧式距离法、皮尔逊相关系数法和夹角余弦相似度法。具体的可以参见上一篇文章“协同过滤推荐算法(1) ”。
二、面临的问题
在基本的协同过滤的推荐系统中(主要指上面所提到的基本模型中),我们是在整个空间上计算相似度,进而实现推荐的。但是现实中的数据往往并不是那么规整,普遍的现象就是在用户数据中出现很多未评分项,如下面所示的数据:
对于这样的稀疏矩阵,我们利用基本的协同过滤推荐算法的效率必将很低。对于这样的稀疏矩阵,我们可以利用SVD对其进行降维,将这样的稀疏矩阵映射到另一个具体的主题空间,SVD降维的原理可以参见博文“SVD奇异值分解”。
三、利用SVD构造主题空间
我们对上面所示的这样一个矩阵进行SVD分解,分解的结果为:
1、U矩阵
(U矩阵,矩阵U主要反应的是用户信息)
2、对角阵S
(S矩阵,矩阵S主要反映的是11个奇异值)
3、VT矩阵
(VT矩阵,矩阵VT主要反映的是物品信息)
4、选取奇异值并映射主题空间
奇异值分解公式为:
,现在我们要将原始数据映射到反映物品的相互关系中。选取前5个奇异值,奇异值的选取符合能量的规则,选择出来的奇异值的能量要能反映90%的原始信息。这样新的主题空间的计算方式为:
即可得新的主题空间:
四、实验的仿真
我们在这样的数据集上做推荐计算。其中user为2号用户。
(相似度的计算)
(推荐结果)
MATLAB代码
主程序
%% 主函数
% 导入数据
%data = [4,4,0,2,2;4,0,0,3,3;4,0,0,1,1;1,1,1,2,0;2,2,2,0,0;1,1,1,0,0;5,5,5,0,0];
data = [2,0,0,4,4,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0,0,5;0,0,0,0,0,0,0,1,0,4,0;3,3,4,0,3,0,0,2,2,0,0;5,5,5,0,0,0,0,0,0,0,0;
0,0,0,0,0,0,5,0,0,5,0;4,0,4,0,0,0,0,0,0,0,5;0,0,0,0,0,4,0,0,0,0,4;0,0,0,0,0,0,5,0,0,5,0;0,0,0,3,0,0,0,0,4,5,0;
1,1,2,1,1,2,1,0,4,5,0];
% reccomendation
%[sortScore, sortIndex] = recommend(data, 3, 'cosSim');
[sortScore, sortIndex] = recommend(data, 2, 'cosSim');
len = size(sortScore);
finalRec = [sortIndex, sortScore];
disp(finalRec);
SVD空间映射的函数
function [ score ] = SVDEvaluate( data, user, simMeas, item )
[m,n] = size(data);
simTotal = 0;
ratSimTotal = 0;
% 奇异值分解
[U S V] = svd(data);
% 求使得保留90%能量的奇异值
sizeN = 0;%记录维数
[m_1,n_1] = size(S);
a = 0;%求总能量
for i = 1:m_1
a = a + S(i,i)*S(i,i);
end
b = a*0.9;%能量的90%
c = 0;
for i = 1:n_1
c = c + S(i,i)*S(i,i);
if c >= b
sizeN = i;
break;
end
end
%物品降维后的空间
itemTransformed = data' * U(:,1:sizeN) * S(1:sizeN,1:sizeN)^(-1);
for j = 1:n
userRating = data(user, j);%此用户评价的商品
if userRating == 0 || j == item%只是找到已评分的商品
continue;
end
vectorA = itemTransformed(item,:);
vectorB = itemTransformed(j,:);
switch simMeas
case {'cosSim'}
similarity = cosSim(vectorA,vectorB);
case {'ecludSim'}
similarity = ecludSim(vectorA,vectorB);
case {'pearsSim'}
similarity = pearsSim(vectorA,vectorB);
end
disp(['the ', num2str(item), ' and ', num2str(j), ' similarity is ', num2str(similarity)]);
simTotal = simTotal + similarity;
ratSimTotal = ratSimTotal + similarity * userRating;
end
if simTotal == 0
score = 0;
else
score = ratSimTotal./simTotal;
end
end
推荐的函数
function [ sortScore, sortIndex ] = recommend( data, user, simMeas )
% 获取data的大小
[m, n] = size(data);%m为用户,n为商品
if user > m
disp('The user is not in the dataBase');
end
% 寻找用户user未评分的商品
unratedItem = zeros(1,n);
numOfUnrated = 0;
for j = 1:n
if data(user, j) == 0
unratedItem(1,j) = 1;%0表示已经评分,1表示未评分
numOfUnrated = numOfUnrated + 1;
end
end
if numOfUnrated == 0
disp('the user has rated all items');
end
% 对未评分项打分,已达到推荐的作用
itemScore = zeros(numOfUnrated,2);
r = 0;
for j = 1:n
if unratedItem(1,j) == 1%找到未评分项
r = r + 1;
%score = evaluate(data, user, simMeas, j);
score = SVDEvaluate(data, user, simMeas, j);
itemScore(r,1) = j;
itemScore(r,2) = score;
end
end
%排序,按照分数的高低进行推荐
[sortScore, sortIndex_1] = sort(itemScore(:,2),'descend');
[numOfIndex,x] = size(sortIndex_1(:,1));
sortIndex = zeros(numOfIndex,1);
for m = 1:numOfIndex
sortIndex(m,:) = itemScore(sortIndex_1(m,:),1);
end
end
相似度的计算与博文“协同过滤推荐算法(1) ”一致。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- AUCell:在单细胞转录组中识别细胞对“基因集”的响应
- linux查看硬件配置命令的方法示例
- Ubuntu环境编译安装PHP和Nginx的方法
- Ubuntu环境源码编译安装xdebug的方法
- CNS图表复现07—原来这篇文章有两个单细胞表达矩阵
- CentOS 7.x 安装 ZSH 终端的配置方法
- centos7 安装mysql和mysqlclient遇到的坑总结
- iOS音视频接入- TRTC计费及套餐介绍
- Linux简介及最常用命令(简单易学,但能解决95%以上的问题)
- Linux一行命令处理批量文件详解
- Linux中jar包启动和jar包后台运行的实现方式
- Linux下实现不活动用户登录超时后自动登出
- Centos7下nginx的安装与配置教程详解
- Linux上进行常用软件的配置方法
- Ubuntu系统下网络配置文件解析与说明