简单易学的机器学习算法——协同过滤推荐算法(2)
一、基于协同过滤的推荐系统
协同过滤(Collaborative Filtering)的推荐系统的原理是通过将用户和其他用户的数据进行比对来实现推荐的。比对的具体方法就是通过计算两个用户数据之间的相似性,通过相似性的计算来说明两个用户数据之间的相似程度。相似度函数的设计必须满足度量空间的三点要求,即非负性,对称性和三角不等性。常用的相似度的计算方法有:欧式距离法、皮尔逊相关系数法和夹角余弦相似度法。具体的可以参见上一篇文章“协同过滤推荐算法(1) ”。
二、面临的问题
在基本的协同过滤的推荐系统中(主要指上面所提到的基本模型中),我们是在整个空间上计算相似度,进而实现推荐的。但是现实中的数据往往并不是那么规整,普遍的现象就是在用户数据中出现很多未评分项,如下面所示的数据:
对于这样的稀疏矩阵,我们利用基本的协同过滤推荐算法的效率必将很低。对于这样的稀疏矩阵,我们可以利用SVD对其进行降维,将这样的稀疏矩阵映射到另一个具体的主题空间,SVD降维的原理可以参见博文“SVD奇异值分解”。
三、利用SVD构造主题空间
我们对上面所示的这样一个矩阵进行SVD分解,分解的结果为:
1、U矩阵
(U矩阵,矩阵U主要反应的是用户信息)
2、对角阵S
(S矩阵,矩阵S主要反映的是11个奇异值)
3、VT矩阵
(VT矩阵,矩阵VT主要反映的是物品信息)
4、选取奇异值并映射主题空间
奇异值分解公式为:
,现在我们要将原始数据映射到反映物品的相互关系中。选取前5个奇异值,奇异值的选取符合能量的规则,选择出来的奇异值的能量要能反映90%的原始信息。这样新的主题空间的计算方式为:
即可得新的主题空间:
四、实验的仿真
我们在这样的数据集上做推荐计算。其中user为2号用户。
(相似度的计算)
(推荐结果)
MATLAB代码
主程序
%% 主函数
% 导入数据
%data = [4,4,0,2,2;4,0,0,3,3;4,0,0,1,1;1,1,1,2,0;2,2,2,0,0;1,1,1,0,0;5,5,5,0,0];
data = [2,0,0,4,4,0,0,0,0,0,0;0,0,0,0,0,0,0,0,0,0,5;0,0,0,0,0,0,0,1,0,4,0;3,3,4,0,3,0,0,2,2,0,0;5,5,5,0,0,0,0,0,0,0,0;
0,0,0,0,0,0,5,0,0,5,0;4,0,4,0,0,0,0,0,0,0,5;0,0,0,0,0,4,0,0,0,0,4;0,0,0,0,0,0,5,0,0,5,0;0,0,0,3,0,0,0,0,4,5,0;
1,1,2,1,1,2,1,0,4,5,0];
% reccomendation
%[sortScore, sortIndex] = recommend(data, 3, 'cosSim');
[sortScore, sortIndex] = recommend(data, 2, 'cosSim');
len = size(sortScore);
finalRec = [sortIndex, sortScore];
disp(finalRec);
SVD空间映射的函数
function [ score ] = SVDEvaluate( data, user, simMeas, item )
[m,n] = size(data);
simTotal = 0;
ratSimTotal = 0;
% 奇异值分解
[U S V] = svd(data);
% 求使得保留90%能量的奇异值
sizeN = 0;%记录维数
[m_1,n_1] = size(S);
a = 0;%求总能量
for i = 1:m_1
a = a + S(i,i)*S(i,i);
end
b = a*0.9;%能量的90%
c = 0;
for i = 1:n_1
c = c + S(i,i)*S(i,i);
if c >= b
sizeN = i;
break;
end
end
%物品降维后的空间
itemTransformed = data' * U(:,1:sizeN) * S(1:sizeN,1:sizeN)^(-1);
for j = 1:n
userRating = data(user, j);%此用户评价的商品
if userRating == 0 || j == item%只是找到已评分的商品
continue;
end
vectorA = itemTransformed(item,:);
vectorB = itemTransformed(j,:);
switch simMeas
case {'cosSim'}
similarity = cosSim(vectorA,vectorB);
case {'ecludSim'}
similarity = ecludSim(vectorA,vectorB);
case {'pearsSim'}
similarity = pearsSim(vectorA,vectorB);
end
disp(['the ', num2str(item), ' and ', num2str(j), ' similarity is ', num2str(similarity)]);
simTotal = simTotal + similarity;
ratSimTotal = ratSimTotal + similarity * userRating;
end
if simTotal == 0
score = 0;
else
score = ratSimTotal./simTotal;
end
end
推荐的函数
function [ sortScore, sortIndex ] = recommend( data, user, simMeas )
% 获取data的大小
[m, n] = size(data);%m为用户,n为商品
if user > m
disp('The user is not in the dataBase');
end
% 寻找用户user未评分的商品
unratedItem = zeros(1,n);
numOfUnrated = 0;
for j = 1:n
if data(user, j) == 0
unratedItem(1,j) = 1;%0表示已经评分,1表示未评分
numOfUnrated = numOfUnrated + 1;
end
end
if numOfUnrated == 0
disp('the user has rated all items');
end
% 对未评分项打分,已达到推荐的作用
itemScore = zeros(numOfUnrated,2);
r = 0;
for j = 1:n
if unratedItem(1,j) == 1%找到未评分项
r = r + 1;
%score = evaluate(data, user, simMeas, j);
score = SVDEvaluate(data, user, simMeas, j);
itemScore(r,1) = j;
itemScore(r,2) = score;
end
end
%排序,按照分数的高低进行推荐
[sortScore, sortIndex_1] = sort(itemScore(:,2),'descend');
[numOfIndex,x] = size(sortIndex_1(:,1));
sortIndex = zeros(numOfIndex,1);
for m = 1:numOfIndex
sortIndex(m,:) = itemScore(sortIndex_1(m,:),1);
end
end
相似度的计算与博文“协同过滤推荐算法(1) ”一致。
- 基于Metronic的Bootstrap开发框架经验总结(6)--对话框及提示框的处理和优化
- 基于Metronic的Bootstrap开发框架经验总结(7)--数据的导入、导出及附件的查看处理
- Ubuntu 17.04 x64 安装 Docker CE
- 这是一篇清晰易懂的 Rxjava 入门教程
- 可能是最详细的部署:Docker Registry企业级私有镜像仓库Harbor管理WEB UI
- 简单好用的阴影库 ShadowLayout
- 【项目管理和构建】——Maven下载、安装和配置(二)
- 打印机安全研究(一):不容乐观的网络打印机安全状况
- Apache Maven 入门篇
- hyperledger v1.0.5 区块链运维入门(一)
- 分析无线遥控器信号并制作Hack硬件进行攻击
- 第二章:Shiro入门——深入浅出学Shiro细粒度权限开发框架
- 在Apache Spark上跑Logistic Regression算法
- 第四章:Shiro的身份认证(Authentication)——深入浅出学Shiro细粒度权限开发框架
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- XtraBackup工具详解 Part 10 使用innobackupex对数据库进行部分备份(指定表或数据库)
- Python 基础(十九):数学相关模块
- XtraBackup工具详解 Part 11 使用innobackupex对部分备份进行恢复
- XtraBackup工具详解 Part 12 流式和压缩备份
- 基于STM32+RT-Thread的新冠肺炎疫情监控平台
- Python 基础(二十):sys 模块
- [Oracle 故障处理]记一次Windows监听启动失败
- Python 基础(二十一):argparse 模块
- LeetCode 4 题解
- 操作系统与 CPU 是怎么执行线程的?
- LeetCode 5 题解
- 详细齐全!Docker常用基本命令
- angular浏览器兼容性问题解决方案
- Python 基础(二十二):正则表达式
- Python 进阶(一):多线程