机器学习算法GBDT的面试要点总结
时间:2022-05-06
本文章向大家介绍机器学习算法GBDT的面试要点总结,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
def findLossAndSplit(x,y):
# 我们用 x 来表示训练数据
# 我们用 y 来表示训练数据的label
# x[i]表示训练数据的第i个特征
# x_i 表示第i个训练样本
# minLoss 表示最小的损失
minLoss = Integet.max_value
# feature 表示是训练的数据第几纬度的特征
feature = 0
# split 表示切分点的个数
split = 0
# M 表示 样本x的特征个数
for j in range(0,M):
# 该维特征下,特征值的每个切分点,这里具体的切分方式可以自己定义
for c in range(0,x[j]):
L = 0
# 第一类
R1 = {x|x[j] <= c}
# 第二类
R2 = {x|x[j] > c}
# 属于第一类样本的y值的平均值
y1 = ave{y|x 属于 R1}
# 属于第二类样本的y值的平均值
y2 = ave{y| x 属于 R2}
# 遍历所有的样本,找到 loss funtion 的值
for x_1 in all x
if x_1 属于 R1:
L += (y_1 - y1)^2
else:
L += (y_1 - y2)^2
if L < minLoss:
minLoss = L
feature = i
split = c
return minLoss,feature ,split
# 定义训练数据
train_data = [[5.1,3.5,1.4,0.2],[4.9,3.0,1.4,0.2],[7.0,3.2,4.7,1.4],[6.4,3.2,4.5,1.5],[6.3,3.3,6.0,2.5],[5.8,2.7,5.1,1.9]]
# 定义label
label_data = [[1,0,0],[1,0,0],[0,1,0],[0,1,0],[0,0,1],[0,0,1]]
# index 表示的第几类
def findBestLossAndSplit(train_data,label_data,index):
sample_numbers = len(label_data)
feature_numbers = len(train_data[0])
current_label = []
# define the minLoss
minLoss = 10000000
# feature represents the dimensions of the feature
feature = 0
# split represents the detail split value
split = 0
# get current label
for label_index in range(0,len(label_data)):
current_label.append(label_data[label_index][index])
# trans all features
for feature_index in range(0,feature_numbers):
## current feature value
current_value = []
for sample_index in range(0,sample_numbers):
current_value.append(train_data[sample_index][feature_index])
L = 0
## different split value
print current_value
for index in range(0,len(current_value)):
R1 = []
R2 = []
y1 = 0
y2 = 0
for index_1 in range(0,len(current_value)):
if current_value[index_1] < current_value[index]:
R1.append(index_1)
else:
R2.append(index_1)
## calculate the samples for first class
sum_y = 0
for index_R1 in R1:
sum_y += current_label[index_R1]
if len(R1) != 0:
y1 = float(sum_y) / float(len(R1))
else:
y1 = 0
## calculate the samples for second class
sum_y = 0
for index_R2 in R2:
sum_y += current_label[index_R2]
if len(R2) != 0:
y2 = float(sum_y) / float(len(R2))
else:
y2 = 0
## trans all samples to find minium loss and best split
for index_2 in range(0,len(current_value)):
if index_2 in R1:
L += float((current_label[index_2]-y1))*float((current_label[index_2]-y1))
else:
L += float((current_label[index_2]-y2))*float((current_label[index_2]-y2))
if L < minLoss:
feature = feature_index
split = current_value[index]
minLoss = L
print "minLoss"
print minLoss
print "split"
print split
print "feature"
print feature
return minLoss,split,feature
findBestLossAndSplit(train_data,label_data,0)
3 总结
目前,我们总结了 gbdt 的算法的流程,gbdt如何选择特征,如何产生特征的组合,以及gbdt 如何用于分类,这个目前可以认为是gbdt 最经常问到的四个部分。至于剩余的问题,因为篇幅的问题,我们准备再开一个篇幅来进行总结。
https://www.cnblogs.com/ModifyRong/p/7744987.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Python 为什么只需一条语句“a,b=b,a”,就能直接交换两个变量?
- 使用List中的remove方法遇到的坑,不信你没有踩过!
- python opencv 图像尺寸变换
- OpenCv保存图像
- 机器学习|KNN
- docker 查看容器日志
- consul配置ACL
- CentOS7.5更改python版本后及yum不能用的解决办法,非编译!
- nginx 配置websocket
- PostgreSQL10分区表性能研究报告
- linux文件目录管理基本命令总结
- Linux中的硬链接与软链接?
- linux中实现灵活的特殊权限管理ACL,以及ACL权限判断顺序!
- 高并发下如何保证接口的幂等性?
- 文本处理三剑客之grep