【NLP保姆级教程】手把手带你HAN文本分类(附代码)
继续之前的文本分类系列
【NLP保姆级教程】手把手带你fastText文本分类(附代码)
今天来看看网红Attention的效果,来自ACL的论文Hierarchical Attention Networks for Document Classification
论文概述
近年来,在NLP领域,好像最流行的就是RNN、LSTM、GRU、Attention等及其变体的组合框架。这篇论文里作者就对文本的结构进行分析,使用了双向GRU的结构,并且对Attention进行调整:考虑了word层面的attention和sentence层面的attention,分别对单词在句子中和句子在文档中的重要性进行了建模。仔细一想确实是挺合理的,一篇文档就是由无数句子构成的,而一个句子又是由无数单词构成的,充分考虑了文档的内部结构。
上图就是论文中文本分类模型的整体框架,可以看出主要分为四个部分:
- word encoder (BiGRU layer)
- word attention (Attention layer)
- sentence encoder (BiGRU layer)
- sentence attention (Attention layer)
首先回顾一下GRU的原理:
GRU是RNN的一个变种,使用门机制来记录当前序列的状态。在GRU中有两种类型的门(gate):reset gate和update gate。这两个门一起控制来决定当前状态有多少信息要更新。
reset gate是用于决定多少过去的信息被用于生成候选状态,如果Rt为0,表明忘记之前的所有状态:
根据reset gate的分数可以计算出候选状态:
update gate是用来决定有多少过去的信息被保留,以及多少新信息被加进来:
最后,隐藏层状态的计算公式,有update gate、候选状态和之前的状态共同决定:
接着来回顾一下Attention原理:
好啦,下面具体来看看论文里的模型:
1、word encoder layer
首先,将每个句子中的单词做embedding转换成词向量,然后,输入到双向GRU网络中,结合上下文的信息,获得该单词对应的隐藏状态输出
2、word attention layer
attention机制的目的就是要把一个句子中,对句子表达最重要的单词找出来,赋予一个更大的比重。
首先将word encoder那一步的输出得到的
输入到一个单层的感知机中得到结果
作为其隐含表示
接着为了衡量单词的重要性,定义了一个随机初始化的单词层面上下文向量
,计算其与句子中每个单词的相似度,然后经过一个softmax操作获得了一个归一化的attention权重矩阵
,代表句子i中第t个单词的权重:
于是,句子的向量Si就可以看做是句子中单词的向量的加权求和。这里的单词层面上下文向量是随机初始化并且可以在训练的过程中学习得到的,我们可以把它看成是一种query的高级表示:“句子中哪些词含有比较重要的信息?”
3、sentence encoder
通过上述步骤我们得到了每个句子的向量表示,然后可以用相似的方法得到文档向量
4、sentence attention
和词级别的attention类似,作者提出了一个句子级别的上下文向量,来衡量一个句子在整篇文本的重要性。
5、softmax
上面的v向量就是我们得到的最后文档表示,然后输入一个全连接的softmax层进行分类就ok了。
6、模型效果
代码实现
定义模型
class HAN(object):
def __init__(self, max_sentence_num, max_sentence_length, num_classes, vocab_size,
embedding_size, learning_rate, decay_steps, decay_rate,
hidden_size, l2_lambda, grad_clip, is_training=False,
initializer=tf.random_normal_initializer(stddev=0.1)):
self.vocab_size = vocab_size
self.max_sentence_num = max_sentence_num
self.max_sentence_length = max_sentence_length
self.num_classes = num_classes
self.embedding_size = embedding_size
self.hidden_size = hidden_size
self.learning_rate = learning_rate
self.decay_rate = decay_rate
self.decay_steps = decay_steps
self.l2_lambda = l2_lambda
self.grad_clip = grad_clip
self.initializer = initializer
self.global_step = tf.Variable(0, trainable=False, name='global_step')
# placeholder
self.input_x = tf.placeholder(tf.int32, [None, max_sentence_num, max_sentence_length], name='input_x')
self.input_y = tf.placeholder(tf.int32, [None, num_classes], name='input_y')
self.dropout_keep_prob = tf.placeholder(tf.float32, name='dropout_keep_prob')
if not is_training:
return
word_embedding = self.word2vec()
sen_vec = self.sen2vec(word_embedding)
doc_vec = self.doc2vec(sen_vec)
self.logits = self.inference(doc_vec)
self.loss_val = self.loss(self.input_y, self.logits)
self.train_op = self.train()
self.prediction = tf.argmax(self.logits, axis=1, name='prediction')
self.pred_min = tf.reduce_min(self.prediction)
self.pred_max = tf.reduce_max(self.prediction)
self.pred_cnt = tf.bincount(tf.cast(self.prediction, dtype=tf.int32))
self.label_cnt = tf.bincount(tf.cast(tf.argmax(self.input_y, axis=1), dtype=tf.int32))
self.accuracy = self.accuracy(self.logits, self.input_y)
手机浏览代码不太舒服,完整代码就不贴了,老规矩后台自取吧~
「完整代码可以在公众号后台回复"HAN"获取。」
- END -
- proxy_pass反向代理配置中url后面加不加/的说明
- Android新手之旅(10) 嵌套布局
- C#代码也VB
- Docker容器学习梳理--SSH方式登陆容器
- Docker网络解决方案-Flannel部署记录
- Nginx的location配置规则梳理
- 统计代码行数的方法梳理
- 如何在不影响asp.net默认安全性的前提下使用ckeditor/fckeditor?
- Linux下防御DDOS攻击的操作梳理
- Android新手之旅(8) ListView的使用
- 更换Ubuntu源为国内源的操作记录
- Android新手之旅(8) ListView的使用
- CKEditor/CKFinder升级心得
- Docker容器学习梳理-Dockerfile构建镜像
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Linux下监视NVIDIA的GPU使用情况详解
- Linux下安装jdk1.8并配置环境变量的教程
- Linux中Homebrew的正确使用方法
- Linux中awk的使用方法详解
- Django上线部署之Apache的方法
- centos7系统下python2与python3共存
- linux把一个文件的内容复制到另一个文件的末尾
- 详解linux下nohup日志输出过大问题解决方案
- K8S dashboard 2.0 安装配置并使用 ingress-nginx 访问
- linux模糊查找文件用什么命令比较好
- Ubuntu14.04服务器环境下配置PHP7.0+Apache2+Mysql5.7的方法
- Linux C 后台服务程序单进程控制的实现
- Linux下SSH免密码登录配置详解
- SSH端口转发实现内网穿透的实现
- 在linux中用同一个版本的R 同时安装 Seurat2 和 Seurat3的教程