机器学习算法实现解析——libFM之libFM的训练过程概述
本节主要介绍的是libFM源码分析的第四部分——libFM的训练。
FM模型的训练是FM模型的核心的部分。
4.1、libFM中训练过程的实现
在FM模型的训练过程中,libFM源码中共提供了四种训练的方法,分别为:Stochastic Gradient Descent(SGD),Adaptive SGD(ASGD),Alternating Least Squares(ALS)和Markov Chain Monte Carlo(MCMC),其中ALS是MCMC的特殊形式,实际上其实现的就是SGD,ASGD和MCMC三种训练方法,三者的类之间的关系如下图所示:
FM模型训练的父类为fm_learn
,其定义在文件fm_learn.h
中,fm_learn_sgd
类和fm_learn_mcmc
类分别继承自fm_learn
类。其中,fm_learn_sgd
是基于梯度的实现方法,fm_learn_mcmc
是基于蒙特卡洛的实现方法。
fm_learn_sgd_element
类和fm_learn_sgd_element_adapt_reg
类是fm_learn_sgd
类的子类,是两种具体的基于梯度方法的实现,分别为SGD和ASGD。
fm_learn_mcmc_simultaneous
类是fm_learn_mcmc
类的子类,是具体的基于蒙特卡洛方法的实现。
4.2、训练过程的父类
在所有的训练过程中,fm_learn
类为所有模型训练类的父类。
4.2.1、头文件
#include <cmath>
#include "Data.h"
#include "../../fm_core/fm_model.h"
#include "../../util/rlog.h"
#include "../../util/util.h"
4.2.2、第一部分的protected属性和方法
在这部分中定义了交叉项中需要用到两个数据,分别为sum和sum_sqr,这两个数的具体使用可以参见“机器学习算法实现解析——libFM之libFM的模型处理部分”。除此之外,还定义了预测predict_case
函数,具体代码如下所示:
protected:
DVector<double> sum, sum_sqr;// FM模型的交叉项中的两项
DMatrix<double> pred_q_term;
// this function can be overwritten (e.g. for MCMC)
// 预测,使用的是fm_model中的predict函数
virtual double predict_case(Data& data) {
return fm->predict(data.data->getRow());
}
其中,预测predict_case
函数使用的是fm_model
类中的predict
函数,对于该函数,可以参见“机器学习算法实现解析——libFM之libFM的模型处理部分”。
4.2.3、第二部分的public属性和方法
在这部分中,主要构造函数fm_learn
函数,初始化init
函数以及评估evaluate
函数,其具体代码如下所示:
public:
DataMetaInfo* meta;
fm_model* fm;// 对应的fm模型
double min_target;// 设置的预测值的最小值
double max_target;// 设置的预测值的最大值
// task用于区分不同的任务:0表示的是回归,1表示的是分类
int task; // 0=regression, 1=classification
// 定义两个常量,分别表示的是回归和分类
const static int TASK_REGRESSION = 0;
const static int TASK_CLASSIFICATION = 1;
Data* validation;// 验证数据集
RLog* log;// 日志指针
// 构造函数,初始化变量,实例化的过程在main函数中
fm_learn() { log = NULL; task = 0; meta = NULL;}
virtual void init() {
// 日志
if (log != NULL) {
if (task == TASK_REGRESSION) {
log->addField("rmse", std::numeric_limits<double>::quiet_NaN());
log->addField("mae", std::numeric_limits<double>::quiet_NaN());
} else if (task == TASK_CLASSIFICATION) {
log->addField("accuracy", std::numeric_limits<double>::quiet_NaN());
} else {
throw "unknown task";
}
log->addField("time_pred", std::numeric_limits<double>::quiet_NaN());
log->addField("time_learn", std::numeric_limits<double>::quiet_NaN());
log->addField("time_learn2", std::numeric_limits<double>::quiet_NaN());
log->addField("time_learn4", std::numeric_limits<double>::quiet_NaN());
}
// 设置交叉项中的两项的大小
sum.setSize(fm->num_factor);
sum_sqr.setSize(fm->num_factor);
pred_q_term.setSize(fm->num_factor, meta->num_relations + 1);
}
// 对数据的评估
virtual double evaluate(Data& data) {
assert(data.data != NULL);// 检查数据不为空
if (task == TASK_REGRESSION) {// 回归
return evaluate_regression(data);// 调用回归的评价方法
} else if (task == TASK_CLASSIFICATION) {// 分类
return evaluate_classification(data);// 调用分类的评价放啊
} else {
throw "unknown task";
}
}
在评估evaluate
函数中,根据task的值判断是分类问题还是回归问题,分别调用第四部分中的evaluate_regression
和evaluate_classification
函数。
4.2.4、第三部分的public属性和方法
在这部分中分别定义了模型的训练函数,模型的预测函数和debug输出函数,代码的具体过程如下所示:
public:
// 模型的训练过程
virtual void learn(Data& train, Data& test) { }
// 纯虚函数
virtual void predict(Data& data, DVector<double>& out) = 0;
// debug函数,用于打印中间的结果
virtual void debug() {
std::cout << "task=" << task << std::endl;
std::cout << "min_target=" << min_target << std::endl;
std::cout << "max_target=" << max_target << std::endl;
}
其中模型的训练learn
函数没有定义具体的实现,由上述的继承关系,其具体的训练过程在具体的子类中实现;模型的预测predict
函数是一个纯虚函数。对于纯虚函数的概念,可以参见;最后一个函数是一个debug
函数,debug
函数用于打印中间的结果。
4.2.5、第四部分的protected属性和方法
在这部分中定义了两个评价函数,分别用于处理分类问题和回归问题,代码的具体过程如下所示:
protected:
// 对分类问题的评价
virtual double evaluate_classification(Data& data) {
int num_correct = 0;// 准确类别的个数
double eval_time = getusertime();
for (data.data->begin(); !data.data->end(); data.data->next()) {
double p = predict_case(data);// 对样本进行预测
// 利用预测值的符号与原始标签值的符号是否相同,若相同,则预测是准确的
if (((p >= 0) && (data.target(data.data->getRowIndex()) >= 0)) || ((p < 0) && (data.target(data.data->getRowIndex()) < 0))) {
num_correct++;
}
}
eval_time = (getusertime() - eval_time);
// log the values
// log文件
if (log != NULL) {
log->log("accuracy", (double) num_correct / (double) data.data->getNumRows());
log->log("time_pred", eval_time);
}
return (double) num_correct / (double) data.data->getNumRows();// 返回准确率
}
// 对回归问题的评价
virtual double evaluate_regression(Data& data) {
double rmse_sum_sqr = 0;// 误差的平方和
double mae_sum_abs = 0;// 误差的绝对值之和
double eval_time = getusertime();
for (data.data->begin(); !data.data->end(); data.data->next()) {
// 取出每一条样本
double p = predict_case(data);// 计算该样本的预测值
p = std::min(max_target, p);// 防止预测值超出最大限制
p = std::max(min_target, p);// 防止预测值超出最小限制
double err = p - data.target(data.data->getRowIndex());// 得到预测值与真实值之间的误差
rmse_sum_sqr += err*err;// 计算误差平方和
mae_sum_abs += std::abs((double)err);// 计算误差的绝对值之和
}
eval_time = (getusertime() - eval_time);
// log the values
// log文件
if (log != NULL) {
log->log("rmse", std::sqrt(rmse_sum_sqr/data.data->getNumRows()));
log->log("mae", mae_sum_abs/data.data->getNumRows());
log->log("time_pred", eval_time);
}
return std::sqrt(rmse_sum_sqr/data.data->getNumRows());// 返回均方根误差
}
其中,在分类问题中,使用的评价标准是准确率:
参考文献
- Rendle S. Factorization Machines[C]// IEEE International Conference on Data Mining. IEEE Computer Society, 2010:995-1000.
- Rendle S. Factorization Machines with libFM[M]. ACM, 2012.
- silverlight数据绑定模式TwoWay,OneWay,OneTime的研究
- Silverlight数据绑定/IValueConverter学习笔记
- silverlight:DeepZoom版的图片局部放大效果
- Linq之ToDictionary<TSource, TKey, TElement>的写法
- vs.net的调试小技巧之#define debug(适合新手)
- byte[]数组下标的最大值
- silverlight图片局部放大效果
- 局域网与互联网环境下MTU的快速确定方法
- 【4】通过简化的正则表达式处理字符串
- silverlight中的socket编程注意事项
- socket中的byte消息格式设计
- 在silverlight中利用socket发送图片或文件
- 多线程中的ManualResetEvent
- 进程与线程
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Python字符串
- MYSQL logstash 同步数据到es的几种方案对比以及每种方案数据丢失原因分析。
- 手写“SpringBoot”:几十行代码基于Netty搭建一个 HTTP Server
- SpringCloud Sleuth 分布式请求链路追踪
- StarUML 使用方法
- nacos 服务注册与配置中心
- sql语句中(+)的作用
- 1.7 C++运算符
- 探花交友_搭建开发环境
- 编程体系结构(04):JavaIO流文件管理
- Hadoop框架:HDFS简介与Shell管理命令
- OpenCV的Mat类型以及基本函数使用
- Hadoop框架:HDFS读写机制与API详解
- 编程体系结构(06):Java面向对象
- RabbitMQ在分布式系统中的应用