GitHub上大热的Deep Photo终于有TensorFlow版了!
王小新 编译整理 量子位 出品 | 公众号 QbitAI
Prisma这个应用,你可能很熟悉。这是一个能将不同的绘画风格,迁移到照片中,形成不同艺术风格的图片。
今年4月,美国康奈尔大学和Adobe的一个研究团队Fujun Luan和Sylvain Paris等人,在arvix上通过论文“Deep Photo Style Transfer”,提出了一种叫做“深度摄影风格转换”的演化技术,能将一张照片的风格,迁移到另一张照片中,下图就是原论文中给出的实际示例。
△ 原论文的效果示例
原论文作者Fujun Luan给出了Ubuntu 14.04系统下的Torch实现,见文末的相关链接2。
但是该Torch代码实现需配置复杂的MATLAB环境,浙江大学Yang Liu同学将该Torch实现转换成了TensorFlow实现,
下面是对这个TF实现的介绍:
这份TensorFlow实现支持Adam算法和原作者使用的L-BFGS-B算法。当TensorFlow升级到更高版本时,此代码中的ScipyOptimizerInterface函数可能不兼容。
由于TensorFlow的自动转换功能,本文的TensorFlow实现似乎更为简单。此外,本文并不依赖于MATLAB软件,而是使用了另一个计算库Matting Laplacian Sparse Matrix。图2是将照片风格转移到另一张照片的示例。本实现还参考了martinbenson的代码。
△ 风格迁移示例
环境配置
1. 依赖库:
- Tensorflow
- Numpy
- Pillow
- Scipy
- PyCUDA(仅在CUDA 8.0上测试过平滑局部仿射的功能)
建议使用Anaconda,这样仅需再安装TensorFlow和PYCUDA即可。可选装CUDA加速库,建议安装。
2. 下载VGG-19模型权重
VGG-19模型的权重矩阵由Tensorflow版本的VGG模型微调得到,仅对类别接口进行了少量修改,VGG-19模型权重被存储为npy文件。下载后,将该权重文件复制到此目录下./project/vgg19。
VGG和VGG-19的详情见文末相关链接。
使用方法
1. 基本方法
你只需要给出目标图像路径、风格图像路径、目标图像分割(content image segmentation)路径和风格图像分割(style image segmentation)路径,即可运行命令。
python deep_photostyle.py --content_image_path <path_to_content_image> --style_image_path <path_to_style_image> --content_seg_path <path_to_content_segmentation> --style_seg_path <path_to_style_segmentation> --style_option 2
代码示例:
python deep_photostyle.py --content_image_path ./examples/input/in11.png --style_image_path ./examples/style/tar11.png --content_seg_path ./examples/segmentation/in11.png --style_seg_path ./examples/segmentation/tar11.png --style_option 2
2. 其他选项
设置style_option的值,可得到三种不同的风格迁移方式。当style_option为0时,可得到分割后的中间结果,与Torch代码中neuralstyle_seg.lua文件相似;当style_option为1时,进一步使用这个中间结果生成最终结果,与Torch代码中deepmatting_seg.lua文件相似;当style_option为2时,将这两个步骤组合为一行命令,直接生成最终结果。
运行命令python deep_photostyle.py –help,可查看所有选项。
3. 图像分割
这个库不提供图像分割脚本的代码,仅能使用Torch版本的图像分割代码。本实现使用的掩码颜色与其相同。你也可以定义独特的分割模型和掩码颜色,来定制风格迁移系统。
例子
以下是利用TensorFlow实现算法得到的一些示例(以下四列从左到右分别是输入图像、风格图像、Torch效果和TensorFlow效果)
△ Torch实现和TensorFlow实现效果对比
原作者信息
@misc{YangPhotoStyle2017,
author = {Yang Liu},
title = {deep-photo-style-transfer-tf},
publisher = {GitHub},
organization={Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies},
year = {2017},
howpublished = {url{https://github.com/LouieYang/deep-photo-styletransfer-tf}}
}
相关链接
1. 论文传送门: https://arxiv.org/abs/1703.07511
2. 原论文的Torch实现:
https://github.com/luanfujun/deep-photo-styletransfer
3. VGG模型的TensorFlow实现:
https://github.com/machrisaa/tensorflow-vgg
4. VGG-19模型下载:
https://drive.google.com/file/d/0BxvKyd83BJjYY01PYi1XQjB5R0E/view?usp=sharing
- 厚土Go学习笔记 | 04. 导入和导出的不同 用math.Pi来举例
- 厚土Go学习笔记 | 03. 数学运算的随机数
- Nodejs学习笔记(十一)--- 数据采集器示例(request和cheerio)
- 厚土Go学习笔记 | 02. 打印当前时间time.Now()时不我待
- 厚土Go学习笔记 | 01. Hello World开篇
- Golang精编100题
- IntelliJ idea配置Go开发环境
- 仰望PHPSHE1.5漏洞
- Golang负载均衡
- 构建Docker镜像两种方式的比较-Dockerfile方式和S2I方式
- Golang单例模式
- 2018,我要Axublog。
- 厚土Go学习笔记 | 16. go语言有指针 没有指针运算
- 嗤!给你来点fiyocms漏洞喷雾
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- python第三十一课--递归(3.递归的弊端)
- python第三十二课——栈
- linux系统运维企业常见面试题集合(三)
- python第三十二课——队列
- python第三十四课——1.匿名函数的定义和使用
- python第三十四课——2.匿名函数配合容器函数的使用
- 专家专栏|使用agent2自定义插件采集通过MQTT协议发送的数据
- Linux系统双网卡绑定配置教程
- python第三十五课——生成器
- python第三十六课——1.可迭代对象
- Linux系统Shell编程——脚本编写思路与过程
- python第三十六课——2.迭代器对象
- python第三十七课——模块
- Linux系统MySQL数据库主从同步实战过程
- 最火的java8新特性:Lambda 表达式