用 Grid Search 对 SVM 进行调参
上一次用了验证曲线来找最优超参数。
今天来看看网格搜索(grid search),也是一种常用的找最优超参数的算法。
网格搜索实际上就是暴力搜索: 首先为想要调参的参数设定一组候选值,然后网格搜索会穷举各种参数组合,根据设定的评分机制找到最好的那一组设置。
以支持向量机分类器 SVC 为例,用 GridSearchCV 进行调参:
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import classification_report
from sklearn.svm import SVC
1. 导入数据集,分成 train 和 test 集:
digits = datasets.load_digits()
n_samples = len(digits.images)
X = digits.images.reshape((n_samples, -1))
y = digits.target
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.5, random_state=0)
2. 备选的参数搭配有下面两组,并分别设定一定的候选值: 例如我们用下面两个 grids: kernel='rbf', gamma, 'C' kernel='linear', 'C'
tuned_parameters = [{'kernel': ['rbf'], 'gamma': [1e-3, 1e-4],
'C': [1, 10, 100, 1000]},
{'kernel': ['linear'], 'C': [1, 10, 100, 1000]}]
3. 定义评分方法为:
scores = ['precision', 'recall']
4. 调用 GridSearchCV,
将 SVC(), tuned_parameters, cv=5
, 还有 scoring 传递进去,
用训练集训练这个学习器 clf,
再调用 clf.best_params_
就能直接得到最好的参数搭配结果,
例如,在 precision 下,
返回最好的参数设置是:{'C': 10, 'gamma': 0.001, 'kernel': 'rbf'}
还可以通过 clf.cv_results_
的 'params','mean_test_score',看一下具体的参数间不同数值的组合后得到的分数是多少:
结果中可以看到最佳的组合的分数为:0.988 (+/-0.017)
还可以通过 classification_report
打印在测试集上的预测结果 clf.predict(X_test)
与真实值 y_test
的分数:
for score in scores:
print("# Tuning hyper-parameters for %s" % score)
print()
# 调用 GridSearchCV,将 SVC(), tuned_parameters, cv=5, 还有 scoring 传递进去,
clf = GridSearchCV(SVC(), tuned_parameters, cv=5,
scoring='%s_macro' % score)
# 用训练集训练这个学习器 clf
clf.fit(X_train, y_train)
print("Best parameters set found on development set:")
print()
# 再调用 clf.best_params_ 就能直接得到最好的参数搭配结果
print(clf.best_params_)
print()
print("Grid scores on development set:")
print()
means = clf.cv_results_['mean_test_score']
stds = clf.cv_results_['std_test_score']
# 看一下具体的参数间不同数值的组合后得到的分数是多少
for mean, std, params in zip(means, stds, clf.cv_results_['params']):
print("%0.3f (+/-%0.03f) for %r"
% (mean, std * 2, params))
print()
print("Detailed classification report:")
print()
print("The model is trained on the full development set.")
print("The scores are computed on the full evaluation set.")
print()
y_true, y_pred = y_test, clf.predict(X_test)
# 打印在测试集上的预测结果与真实值的分数
print(classification_report(y_true, y_pred))
print()
相关阅读:
为什么要用交叉验证 用学习曲线 learning curve 来判别过拟合问题 用验证曲线 validation curve 选择超参数
推荐阅读 历史技术博文链接汇总 http://www.jianshu.com/p/28f02bb59fe5 也许可以找到你想要的: [入门问题][TensorFlow][深度学习][强化学习][神经网络][机器学习][自然语言处理][聊天机器人]
- Oracle 12c系列(二)|PDB的创建
- Spring Security 入门(四):自定义-Filter
- Go语言中Select语句用法实例
- 从Mysql备份中恢复单个表
- spark编译:构建基于hadoop的spark安装包及遇到问题总结
- Mysql忘记root密码的恢复方法
- 深入剖析Go语言编程中switch语句的使用
- MySQL中DDL、DML、DCL的那些语句
- 如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
- golang实现简单的udp协议服务端与客户端示例
- Oracle 12c系列(三)|存储资源隔离 Flex Diskgroup
- Scala的map实现key和value排序及各种排序比较等知识讨论
- crontab执行后发送邮件到指定邮箱
- PHP-魔术变量
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法