DeepWalk:图网络与NLP的巧妙融合
最近这段时间一直在做图网络相关,也差不多收尾了,有空整体复盘了下,大致以下几个主题,不过没整理完全哈哈
顺手再安利几份资料吧,
- 斯坦福的CS224W课程
- 清华大学唐杰老师的很多分享,在之前文章中
- 清华大学 thunlp/GNNPapers
- 一些大佬们的新书:《Graph Representation Learning》、《Deep Learning on Graphs》
- 等等
ok,回到正题,今天要介绍的这篇是『Graph Embedding』系列第一篇,十分经典
enjoy~
TL;DR
DeepWalk是首次将深度学习技术(无监督学习)引入到网络分析(network analysis)中的工作,它的输入是一个图,最终目标就是获得网络图中每个结点的向量表示 mathbf{X}_{e} in mathbb{R}^{|V| times d} 。毕竟万物皆可向量,得到向量之后能做的事情就非常多了。如下所示是论文中给出的Karate network
例子。
先验知识
说到生成向量表示,最有名的莫过于Word2Vec
了,那么是不是可以将network embedding
的问题转化为熟悉的word embedding
形式呢?这样我们就可以借用word2vec的思想来解决了。
转化的方式就是Random Walk
,通过这种方式将图结构表示为一个个序列,然后我们就可以把这些序列当成一个个句子,每个序列中的结点就是句子中的单词。
简单的说,DeepWalk = RandomWalk + SikpGram
, 下面我们来具体介绍下两种技术。
Random Walk
随机游走,顾名思义,就是从输入图中的任意一个结点 v_{i} 开始,随机选取与其邻接的下一个结点,直至达到给定长度 t, 生成的序列 tilde{mathcal{W}}_{v_{i}}=left(mathcal{W}_{v_{i}}^{1},cdots, mathcal{W}_{v_{i}}^{k}, cdots, mathcal{W}_{v_{i}}^{t}right)
在论文中,对于每一个顶点 v_{i}, 都会随机游走出 gamma 条序列。
采用随机游走有两个好处:
- 利于并行化:随机游走可以同时从不同的顶点开始采样,加快整个大图的处理速度;
- 较强适应性:可以适应网络局部的变化;
Skip Gram
word2vec的skip-gram相信大家都非常熟悉了,这里就不再赘述,放一张图。
DeepWalk
结合上面两点, deepwalk其实就是首先利用random walk来表示图结构,然后利用skip-gram模型来更新学习节点表示。算法流程如下所示:
算法有两层循环,第一层循环采样 gamma 条路径,第二层循环遍历图中的所有结点随机采样一条路径并利用skip-gram模型进行参数更新。
其中第2步构建二叉树的目的是为了方便后续 SkipGram模型的层次softmax算法。
参数更新的流程如下:
一个小结
deepwalk可以说给网络学习方向打开了一个新思路,有很多优点:
- 支持数据稀疏场景
- 支持大规模场景(并行化)
但是仍然存在许多不足:
- 游走是完全随机的,但其实是不符合真实的社交网络的;
- 未考虑有向图、带权图
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- php基于Redis消息队列实现的消息推送的方法
- mongodb和php的用法详解
- php多进程模拟并发事务产生的问题小结
- PHP中命名空间的使用例子
- 基于Python 的语音重采样函数解析
- TensorFlow的环境配置与安装教程详解(win10+GeForce GTX1060+CUDA 9.0+cuDNN7.3+tensorflow-gpu 1.12.0+python3.5.5)
- Keras模型转成tensorflow的.pb操作
- php使用array_chunk函数将一个数组分割成多个数组
- keras读取训练好的模型参数并把参数赋值给其它模型详解
- python 删除excel表格重复行,数据预处理操作
- 终于搞懂了Keras中multiloss的对应关系介绍
- python else语句在循环中的运用详解
- python文件编写好后如何实践
- keras 指定程序在某块卡上训练实例
- Python3 requests模块如何模仿浏览器及代理