看到那个Edward 了吗?对!其实它是个Python库
專 欄
❈那只猫,Python中文社区专栏作者,福州大学大二水利专业学生,纯种非CS科班的数据分析师,熟练掌握Python数据分析大礼包,因长时间玩弄Keras而陷入深度学习的大坑中不能自拔。❈—
今天,谷歌联合Columbia University、Adobe(就是你们知道的那个Adobe)提出深度概率编程语言Edward,我就其发布Edward的专业论文,给大家介绍一下,这个秒天秒地秒空气的牛逼哄哄的新语言(框架)。
为什么开发Edward?
因为现在的概率编程语言啊,
Too Young!Too Simple!
原文是这样的:
Rather, most existing probabilistic programming languages treat the inference engine as a black box,abstracted away from the model. These cannot capture the recent advances in probabilistic inference that reuse the model’s representation.
就是因为如今的概率编程语言,把引擎设置为一个黑箱。
其实这是把难度降低了,毕竟我们绝大多数用Keras这类框架的人,根本不去在意这个问题。而我们这些玩弄Keras的怪蜀黍们的应对的策略也很奔放——直接把Keras的源代码撬开改!
某科技媒体上的文章,说Edward是深度概率编程语言,然而,官网是这样的:
也就是说...这...是Python库啊。。。
Python库啊。。。
至少现在看,确实是Python库的吧。。。
文档中提到,支持的模型:
- Directed graphical models
- Neural networks (via libraries such as Keras and TensorFlow Slim)
- Conditionally specified undirected models
- Bayesian nonparametrics and probabilistic programs
也就是支持
- 定向图模型
- 神经网络(通过 Keras 和 TensorFlow Slim 等库)
- 条件特定的无向模型
- 贝叶斯非参数和概率程序
其实我还是觉得,就神经网络而言,Keras的易用性真的是太棒了!
在这里提一下,想上Edward之前先看看自己的Tensorflow的版本,Tensorflow作为一个日新月异的深度学习框架,肯定有不少人表示——给老子上最新的!
所以。。。你们就要GG了。。。
我不是针对你,我是说所有想玩Edward的同时还追求Tensorflow的,都要把版本弄回来。。。
在arXiv的论文中提到:
他的效率高很多,举个例子就是:他做蒙特卡罗哈密顿方法,效率比别人高35倍
在Edward里,随机变量的地位很高,是类对象。
先科普一个常识,张量,就是Tensor,就是Tensorflow的那个Tensor,也就是多维数组。
另外,每个随机变量
与张量
相关联,其表示单个样本
方法,例如以计算对数密度和该关联将随机变量嵌入到计算图形中,其中节点表示张量和边际上的操作,表示张量在它们之间通信的符号框架。
而这种设计有助于在计算图框架中开发概率程序,也是Edward堪称“语言”的地方吧。所有的计算都可以在图表上表示。这使得很容易组成具有复杂确定性结构的随机变量,比如说深层神经网络,一组不同的数学运算以及在同一框架上构建的第三方库。噢对了,这种的设计还能使随机变量的组合能够捕获复杂的随机结构。
举个例子:
随机变量
是50维的,由随机张量
参数化。 获取对象运行图形:它从生成过程模拟并输出50个元素的二进制向量。
现在来实操一番:
当然了,安装的方法也是熟悉的味道。。
pip install edward
首先,定一个小目标,比如弄50个小数据
我们把y设置为一个在x附近有一丢丢摆动的正弦值。
定义一个两层贝叶斯网络,用tanh
来定义非线性的神经网络
可能画出来会比较直观一点
是吧,跟段子一般的简单。接下来我们从数据反怼出模型,用边分推理对权重和偏差指定正态近似。
在这里科普一下什么是变分推理:
变分推断是一类用于贝叶斯估计和机器学习领域中近似计算复杂(intractable)积分的技术,变分推断限制近似分布的类型,从而得到一种局部的最优,但具有确定解的近似后验分布。需要提一下的是,虽然都是通过抽取大量的样本估计真实的后验分布,但是变分推断和猛上之后的蒙特卡洛方法是有大大的区别的。
在Edward中的变分推理的实现方法是酱紫的:
既然提到了Monte Carlo嘛。。。
在Edward中的Monte Carlo的实现是这样的。。。
其中,T为样本数量。
好的,那么我们就来做一个:
定义tf.Variable
允许变分因子的参数变化。
它们都被初始化为0.用softplus transformation,使标准偏差参数被调整为大于零。
用Kullback-Leibler
散度运行变分推理,以推断模型的给定数据的潜在变量。
科普时间到:
Kullback-Leibler散度也称为辨别信息,信息散度,信息增益,相对熵,KLIC,KL散度(我也不知道为什么名字那么的长啊长)。
它是在两个概率分布P和Q之间的差异的测量。在P和Q中不对称。P通常表示数据的“真实”分布,观察或精确计算的理论分布,而Q通常表示理论、模型、描述或近似。
我们就做个。。。1000次迭代吧?
最后,评价模型拟合水平。
贝叶斯神经网络定义了神经网络上的分布,因此我们可以执行图形检查,将模型打印出来,看看是不是和我们一开始定义的模型,也就是一个在余弦曲线上摆动有一定的摆动的图样。
显然,该模型真的已捕获观察域中x和y之间的余弦关系。
即,模型拟合通过。
原则上,就这么简单的通过了,但是Edward在安装的时候确实废了我不少心血,同时在调整模型的时候屡次GG,觉得。。。虽然它是个很棒的工具,从效率上来看(至少官方公布的效率,绝对是扛把子级别的)
参考文献
- Edward官方网站
- Variational Inference, Princeton University
- 《Pattern_Recognition_and_Machine_Learning》第10章
- Softplus transformationhttps://en.wikipedia.org/wiki/Rectifier_(neural_networks)
- Kullback–Leibler divergence from wikipedia
- Discrete probability distribution
- 腾讯云GAME-TECH沙龙干货回顾:三七互娱游戏全球化运营心得分享
- 《实现模式》读书总结
- 腾讯云 GAME-TECH 沙龙干货回顾:Eyougame 海外发行实践分享
- 腾讯 AI Lab 副主任俞栋:过去两年基于深度学习的声学模型进展
- 白辉(七公):电商转型难题,看云如何破题
- 《Node.js在CLI下的工程化体系实践》成都OSC源创会分享总结
- 5分钟教你玩转 sklearn 机器学习(上)
- WebSocket系列之socket.io
- Python 数据分析学习笔记
- ERP管理软件系统设计方案
- 腾讯云GAME-TECH沙龙——全球同服游戏语音解决方案
- 【Scikit-Learn 中文文档】双聚类 - 无监督学习 - 用户指南 | ApacheCN
- ASP.NET MVC的客户端验证:jQuery的验证
- RxJava系列一
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 【猫狗数据集】从命令行接收参数
- django-URL重定向(八)
- Jetpack新成员,App Startup一篇就懂
- python之利用魔术方法实现自己定义的二维向量
- 【猫狗数据集】使用top1和top5准确率衡量模型
- django-URL反向解析Reverse(九)
- spring之如何在web应用中使用?
- 【猫狗数据集】使用预训练的resnet18模型
- django-URL应用命名空间(十)
- 【colab pytorch】模型权重初始化
- 【colab pytorch】提取模型中的某一层
- django-URL实例命名空间(十一)
- 【colab pytorch】数据预处理
- django-URL默认参数传递
- springmvc之自定义视图