转载:A Light Introduction to Transfer Learning for NLP
1. 预训练允许模型从大规模语料库中捕获和学习各种语言现象,例如长期依赖和否定。
2. 然后使用(转移)该知识来初始化然后训练一个 fine tune 模型以在特定的NLP任务上表现良好,例如情绪分类。
3. 这在语言中起作用,因为它确实会在语言中发生,例如,否定是从文本信息中检测情感极性的重要属性。此外,否定也可能对讽刺检测有用,比如讽刺检测,这是NLP中最复杂,最未解决的任务之一。
4. 具有通用属性的语言模型在NLP研究中缺乏注释数据集或语言资源的情况下可能是有用的。
5. 到目前为止,我们知道从预训练语言模型中获得的知识,例如以词嵌入的形式,对于许多NLP任务表现得非常好。
6. 这里的问题在于,这种以潜在特征形式存在的知识并不宽泛或不足以在目标或下游任务上表现良好。
以下几个问题:
What do we mean by modeling deep contextualized representations in the context of language
通过在语言环境中对深层语境化表示进行建模,我们的意思是什么。
What is the model really learning
什么是真正学习的模型。
How to build and train these pretrained language models
如何构建和训练这些预训练的语言模型。
What are the key components of the pretrained language models and how to improve them
预训练语言模型的关键组成部分是什么以及如何改进它们。
How do we use or apply them to solve different language-based problems
我们如何使用或应用它们来解决不同的基于语言的问题。
What are the benefits of pretrained language models as compared to conventional transfer learning techniques f
or NLP
与传统的NLP传递学习技术相比,预训练语言模型有什么好处。
What are the drawbacks
有什么缺点。
What aspects of natural language do we need to keep in mind when pretraining language models
在训练语言模型时,我们需要记住自然语言的哪些方面。
What kinds of pretraining tasks are we considering to build and test these so-called generalizable NLP systems
我们正在考虑构建和测试这些所谓的可推广NLP系统的哪些预训练任务。
And more importantly, what kinds of datasets should we use that are representative enough to address the wide
range of NLP tasks
更重要的是,我们应该使用哪种类型的数据集,这些数据集足以代表广泛的NLP任务。
原文地址:https://www.cnblogs.com/muhanxiaoquan/p/11136481.html
- 制作Aspose CHM文档的过程记录
- 用python搭建一个校园维基网站(二)—— 可编辑内容的首页的创建
- Django博客教程(四):让 django 完成翻译—迁移数据库模型
- Calendar类中add/set/roll方法的区别
- 如何构建一个分布式爬虫(理论篇)
- Python微型Web框架Bottle源码分析
- VirtualBox相关问题总结
- Java 枚举7常见种用法
- ALI的Tensorflow炼成与GAN科普
- LaTeX内容总结
- (60) 随机读写文件及其应用 - 实现一个简单的KV数据库 / 计算机程序的思维逻辑
- java反射机制
- 突发 |“永恒之蓝”漏洞紧急应对方案
- 摩拜单车爬虫源码及解析
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 实战 | PyQt5制作雪球网股票数据爬虫工具
- 别再问我Python怎么操作Word了!
- Vaex :突破pandas,快速分析100GB大数据集
- 【适合收藏】为了多点时间陪女朋友,我向BAT大佬跪求了这15条JS技巧
- Flask框架教程汇总(1)---视图/重定向/传参
- OkHttp请求耗时统计
- Ubuntu 18.04 通过 Docker 快速部署 Smokeping 2.6.11 教程
- MySQL 8.0新特性 — 函数索引
- Docker快速上手指北(一)【技术创作101训练营】
- leetcode树之二叉搜索树的最近公共祖先
- 【技术创作101训练营】技术角 | 在CentOS 8上使用Nginx 1.18: 基本配置
- Java诊断应用之Arthas实战(技术创作101训练营)
- 突击并发编程JUC系列-数组类型AtomicLongArray
- 个人量化投资体系搭建(一)
- 服务端的 WebAssembly 与 Rust 入门篇