手把脚教你实现第一个在线预测系统No.21
本来呢,最近看了人类简史,想写一篇偏见相关的,思路还没整理好不好放出来,先写个技术的吧。最近真是忙成狗,搬职场,找房子租,参加各种各样的会议,还有开发任务,做屁屁踢,接下来架构的规划,知识储备。
可是毕竟我也不想跳票的嘛。T_T
说实话。
时间还是蛮充裕的,啊哈哈哈哈哈哈!!!!!!!
突然想起上一篇忘了开原创忘了开赞赏而且忘了放二维码,现在心塞塞塞塞塞的,大家点个赞或者分享一下我会很开心的。
今天就用比较主流的架构,来简单实现这个在线预测系统,来完全打消小伙伴们对机器学习的恐惧感,它不难,但是我从没说过它很简单。
整套代码核心的代码不超过10行,相信我,就算你完全不会任何数学,也不会对开发造成任何的影响。
当然我之前说过,想要往深了做,要有扎实的数学和英语基础。为什么??因为AI这个技术还是个小BB,还没长大,还要用各种各样的论文来喂它茁壮长大,要是看不懂别人的论文或者无法复现,那咋跟进最新技术进展??
架构是django+scikit-learn,这个在我上一篇已经提到过了,这是最最最简单的实现方式,不服来辩。
敲黑板!!!课前要准备好这些,开发环境环境为ubuntu14.04,不会安装的,问度娘或者谷哥去。
python2.7,pip,django,scikit-learn,pandas,numpy,Pycharm,。
好,随便找个目录,哐哐哐输入下面这样django初始化项目的脚本。
django-admin startproject ph_ml_core
好了,项目初始化完了。目录结构长啥样的呢?
看起来特么好多啊,那既然说了很简单了,其实绝大部分我们都不需要去改动。那,有哪些是我们自己要去写的呢?
Advertising.csv是数据文件,QualifiedModel.py是我们核心的业务逻辑代码,view.py是我们的视图,urls.py是django的路由+控制器。
第一步先给我们的系统加一个路径叫predict的玩意,这个就是暴露给http请求的接口,至于咋实现或者啥意思,就是个正则表达式有兴趣的小伙伴自己去看。
urlpatterns = [
url(r'^admin/', admin.site.urls),
url(r'^predict/$', predict),
]
第二步就是写视图了,这个比较掺杂,大致意思就是调用一个模型进行评分,核心的就这一句score = qual.predict()。
没错调模型就是这么简单。
def predict(request):
# 获得请求数据,并转成字典格式。
rowData = eval(request.GET['a'])
# 获得已经训练好的模型
qual = QualifiedModel()
# 直接对新进件的数据进行评分
score = qual.predict(np.array([[rowData['TV'],rowData['Radio'],rowData['Newspaper']]]))
# 组装返回数据
result = {}
result['score'] = score[0]
return HttpResponse(json.dumps(result),content_type='application/json')
第三步,训练模型,就在上一步我们调用了模型,那模型怎么来的呢?肯定是通过我们的训练数据来的。这里使用Lasso,什么是Lasso我这里就不介绍了有必要的话我后面起个文章单独说,现在先自行问度娘去,一个线性模型。
哈什么?你对模型不熟,不会对模型调参?没问题,sklearn都帮咱实现好了,直使用交叉验证,连调参都不用了。交叉验证是什么,就是给它一大堆参数组合,然后我不管,我就要那个训练结果最佳的。
def initModel(self):
#获取数据
data = pd.read_csv(os.path.join(os.path.abspath(os.path.dirname(__file__)),'Advertising.csv'))
#取得特征值
x = data[['TV','Radio','Newspaper']]
#取得结果值
y = data['Sales']
#通过交叉验证训练得到最佳模型
model = Lasso()
alpha_can = np.logspace(-3, 2, 10)
np.set_printoptions(suppress=True)
lassoModel = GridSearchCV(model,param_grid={'alpha':alpha_can},cv=5)
lassoModel.fit(x_train,y_train)
第四步,调用试试看吖。
http://127.0.0.1:8000/predict/?a={"TV": 65, "Newspaper": 15, "Radio": 30}
返回:{"score": 11.328439830355411}
http://127.0.0.1:8000/predict/?a={"V": 29, "Newspaper": 15, "Radio": 30}
返回:{"score": 9.6539587774368592}
到这里,我们所有的功能都已经实现完了。是不是非常简单?其实我们很多时候害怕一个东西是因为这个东西不熟悉,就像我之前说的,做做做,做起来,慢慢你就不怕了。
在这里我要说一个事实,智商是不可逾越的,这句话还真有可能是正确的。让一个智商普通的人去突破物理学的界限,这显然,不太可能会实现,只能说P(突破物理界限|已知是一个智商普通的人)很低,我这里说的智商是思维能力,并不是指什么什么智商测试的结果。但是也是很明显的,很多人都是日复一日做着一样的事情,被各种各样的会议,各种各样的繁琐的事情,禁锢了自己的思维,也禁锢了自己的潜力,都没到开始拼智商的时候好吗??
到现在还有人说开发工程师是一个要求很高的职业,其实这个职业的要求真心不算高,任何一个经过系统培训的小白,都能按照老师教的结果哐哐哐写出一些"业务逻辑",但要是止步于此不去做任何的思考,不理解为什么是这样做,那你的上限也就这样了。
凡事问三层,"为什么这样就有这样的效果呢"?可能会有不同的结果。
但是呢,在你跟别人讨论或者请教的时候,自己还是要先有料,自己做足各种各样的研究,准备好各种各样的资料,再去开始请教,可能会比较。不然我就会说一句乔布斯回答别人经常说的话---"it is complicated",没错,那我只能告诉你,这很复杂。
当然付费的一般就不存在这个问题,比如老师啊,培训师啊,各种网红的收费栏目啊,就不存在这个问题。为什么呢,因为你做了其他的努力去赚取这个付费的款项,也算是做足准备了吖。
获取这次的小玩具:
http://pan.baidu.com/s/1o8bmDmi 提取码:a4ww,
大家一起愉快地玩耍吧。要是分享给其他小伙伴我会很开心的。
- 浅谈 java 中构建可执行 jar 包的几种方式
- python 日志模块 logging 详解
- 基于堆实现的优先级队列:PriorityQueue 解决 Top K 问题
- explain 深入剖析 MySQL 索引及其性能优化指南
- 图文并茂详解 SQL JOIN
- 自定义 hadoop MapReduce InputFormat 切分输入文件
- Hadoop MapReduce 二次排序原理及其应用
- MySQL Tips【Updating】
- Meltdown、Spectre攻击---CPU乱序执行和预测执行导致的安全问题
- WordPress 4.6远程代码执行漏洞(CVE-2016-10033)复现环境搭建指南
- 相似文档查找算法之 simHash 简介及其 java 实现
- Hadoop 中利用 mapreduce 读写 mysql 数据
- Android O中对TEE加解密算法的新要求
- storm 原理简介及单机版安装指南
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- .Net Core + EF + mysql 从数据库生成实体
- Git 常用命令
- Nodejs 一些细节 (持续更新)
- Jenkins 凭据使用
- React源码解读【一】API复习与基础
- choco 安装 和 mkcert 本地https
- js 函数柯里化(Currying)
- GPS数据Python解析及地图可视化
- 文稿:Ant Design从无到有,带你体悟大厂前端开发范式
- 在React中实现和Vue一样舒适的keep-alive
- uniapp获取接口数据,渲染在picker选择器里面
- 我们是这样一步一步实现分布式锁的
- 缓存并发神技,如何通过双 key 来解决缓存并发问题?
- LRU缓存淘汰算法实现方案,这次没人再说你不会开发
- JVM技术总结之三——类加载机制