Stylized Image Caption论文笔记
Neural Storyteller (Krios et al. 2015)
: NST breaks down the task into two steps, which first generate unstylish captions than apply style shift techniques to generate stylish descriptions.
SentiCap: Generating Image Descriptions with Sentiments (AAAI 2016)
代码和数据都有公布. (代码用的是比较老的框架,没有读。)
Supervised Image Caption
Style: Positive, Negtive
Datasets:
MSCOCO
SentiCap Dataset:作者自己收集的一个数据集 (数据量不大,Positive: 998 images/2873 captions for train, 673 images/2019 captions for test, Negtive: 997 images/2468 captions for train, 503 images/ 1509 captions for test) 3 positive and 3 negative captions per image
This is done in a caption re-writing task based upon objective captions from MSCOCO by asking AMT workers to choose among ANPs of the desired sentiment, and incorporate one or more of them into any one of the five existing captions.
Evaluation Metrics:
Automatic metrics: BLEU, ROUGEL, METEOR, CIDEr
Human evaluation
Model
Shortcomings: requires paired image-sentiment caption data, but also world-level supervison to emphsize the sentiment words(e.g., sentiment strengths of each word in the sentiment caption), which makes the approach very expensive and difficult to scale up.(StyleNet)
StyleNet: Generating Attractive Visual Captions with Styles (CVPR2017)
代码没有公布,有第三方Pytorch实现,数据集公布了FlickrStyle9K(1k测试数据没有公开)
Unsupervised(without using supervised style-specific image-caption paired data): factual image caption pairs + stylized language corpus(only text)
Produce attractive visual captions with styles only using monolingual stylized language corpus(without paired images) and standard factual image/video-caption pairs.
Style:Romantic, Humorous
Datasets:
FlickrStyle10K(built on Flickr 30K image caption dataset, show a standard factual caption for a image, to revise the caption to make it romantic or humorous)(这里虽然有image-stylized caption pairs,但训练的时候作者并没有用这些成对的数据,而是用image-factual caption pairs + stylized text corpora,在evaluate的时候会用到image-stylized caption pairs,用作Ground Truth.)
Evaluation Metrics:
Automatic Metrics:BLEU, METEOR, ROUGE, CIDEr
Human evaluation
Model
关键点:
1.将LSTM中参数Wx拆分成3项,Ux,Sx,Vx,模型中所有的LSTM网络除S之外的参数都是共享的,参数S用来记忆特定的风格。
2.类似于Multi-task sequence to sequence training. First task, train to generate factual captions given the paired images,更新所有的参数. Second, factored LSTM is trained as a language model,只更新SR或者SH.
“Factual” and “Emotional”: Stylized Image Captioning with Adaptive Learning and Attention (ECCV 2018)
Style-factual LSTM block: Sx, Sh and gxt, ght
Two-stage learning strategy
MLE loss + KL divergence
Image Captioning at Will: A Versatile Scheme for Effectively Injecting Sentiments into Image Descriptions (Preprint 30 Jan 2018)
SENTI-ATTEND: Image Captioning using Sentiment and Attention (Preprint 24 Nov 2018)
这篇文章可以看作是SentiCap的后续工作,采用的是Supervised的方式。
Datasets
MS COCO: 用于生成generic image captions
SentiCap dataset:
Evaluation Metrics
standard image caption evaluation metrics: BLEU, ROUGE-L, METEOR, CIDEr, SPICE
Entropy
Model
损失函数:
文章没有公布代码,实验部分对比的是SentiCap以及Image Caption at Will
疑问: SentiCap数据集很小,利用image-caption pairs来Cross entropy loss训练会有效果吗???
LSTM多加了E1和E2两个输入,每一步LSTM拿ht来预测s这个操作在SentiCap里也有,然后文章一直处于PrePrint状态。
SemStyle: Learning to Generate Stylised Image Captions using Unaligned Text (CVPR 2018)
公布了部分代码和数据
Style: Story
Learns on existing image caption datasets with only factual descriptions + a large set of styled texts without aligned images
Two-stage training strategy for the term generator and language generator
Dataset:
Descriptive Image Captions: MSCOCO
The Styled Text: bookcorpus
Evaluation:
Automatic relevance metrics: Widely-used captioning metrics (BLEU, METEOR, CIDEr, SPICE)
Automatic style metrics: 作者自己提出的LM(4-gram model)、GRULM(GRU language model)、CLF(binary classifier)
Human evaluations of relevance and style
Unsupervised Stylish Image Description Generation via Domain Layer Norm (AAAI 2019)
Unsupervised Image Caption
Four different styles: fairy tale, romance, humor, country song lyrics(lyrics)
Our model is jointly trained with a paired unstylish image description corpus(source domain) and a monolingual corpus of the specific style(target domain)
代码和数据集均未公开
Datasets:
Source Domain:VG-Para(Krause et al. 2017)
Target: BookCorpus(humor and romance), 作者自己收集的country song lyrics and fairy tale
Evaluation Metircs:
Metrics of Semantic Relevance: 作者自己提出的p和r,SPICE
Metrics of Stylishness: transfer accuracy
Human evaluation
Approach Key Point
EI和ET分别将图片和目标风格的描述映射到同一个隐空间,Gs用来生成非风格化的描述,即Source domain里的句子,EI和GS组合起来就是传统的Image Caption的Encoder-Decoder模型,训练数据是有监督的Image-Caption对。GT用来生成风格化的描述,ET将风格化的句子编码到隐空间Z,GT则根据隐空间内的编码zT重新生成风格化的句子(Reconstruction),训练数据是风格化的句子。模型训练完成之后,将EI和GT组合,就可以生成风格化的图像描述。
关键点1:作者假设存在一个隐空间Z使得可以将图片, 不带风格的源描述以及带风格的目标描述映射到这个空间。
关键点2:GS和GT只在层规范化的参数不同,其他参数是共享的。即GS和GT的LN-LSTM是共享的,其中只有参数{gS,bS}和{gT,bT}不同,作者将这种机制称为Domain Layer Norm(DLN)。层规范化操作(layer norm operation)作用在LSTM的每一个Gate(input gate,forget gate, output gate)上。
原文地址:https://www.cnblogs.com/czhwust/p/stylizedimagecaption.html
- Python信贷数据处理与初步分析(ZIP解压)
- web前端之锋利的jQuery八:jQuery插件的使用(表单验证、表单提交)
- 优化算法——牛顿法(Newton Method)
- merge语句导致的CPU使用率过高的优化(r7笔记第4天)
- 由dual导致的一个潜在的监控问题(r7笔记第3天)
- 剑指Offer——编程题的Java实现
- Python中if __name__ == "__main__": 的作用
- 每周算法练习——大数的乘法问题
- Java基础-25(01)图形用户界面编程GUI
- 每周算法练习——n皇后问题
- dg broker配置的问题及分析 (r7笔记第22天)
- 备库搭建中的一波三折(r7笔记第21天)
- Java基础-25(02)图形用户界面编程GUI
- 每周算法练习——最近对问题
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- linux虚拟机配置静态IP地址的完整步骤
- laravel-admin利用ModelTree实现对分类信息的管理
- Linux系统下快速配置HugePages的完整步骤
- Laravel5.1 框架关联模型之后操作实例分析
- PHP实现的多进程控制demo示例
- 你可能不知道的一些linux文件权限管理办法
- Laravel框架路由与MVC实例详解
- python实现学生管理系统开发
- 使用 chkconfig 和 systemctl 命令启用或禁用 Linux 服务的办法
- PHP defined()函数的使用图文详解
- 详解在Linux中清空或删除大文件内容的5种办法
- php和redis实现秒杀活动的流程
- CentOS 7中搭建NFS文件共享存储服务的完整步骤
- PHP检测一个数组有没有定义的方法步骤
- Yii2.0框架模型多表关联查询示例