张东升，我知道是你！如何使用GAN做一个秃头生产器

时间:2022-07-22
本文章向大家介绍张东升，我知道是你！如何使用GAN做一个秃头生产器，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

【飞桨开发者说】刘炫，就职于福建贞仕信息。Python开发工程师2年在职工程师。

最近一部电视剧《隐秘的角落》在网上引起了众多讨论，要说这是2020年全网热度最高的电视剧也不为过。而剧中反派Boss张东升也是网友讨论的话题之一，特别是他的秃头特点，已经成为一个梗了。

看过这部剧后，我突然很想知道自己秃头是什么样子，于是查了一下飞桨官网，果然它有图片生成的模型库。那么，我们如何使用PaddlePaddle做出一个秃头生成器呢。

生成对抗网络介绍

说到图像生成，就必须说到GAN，它是一种非监督学习的方式，通过让两个神经网络相互博弈的方法进行学习，该方法由lan Goodfellow等人在2014年提出。生成对抗网络由一个生成网络和一个判别网络组成，生成网络从潜在的空间(latent space)中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。

判别网络的输入为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能的分辨出来。而生成网络则尽可能的欺骗判别网络，两个网络相互对抗，不断调整参数。生成对抗网络常用于生成以假乱真的图片。此外，该方法还被用于生成影片，三维物体模型等。

飞桨的模型库里用于人脸属性转换的模型主要有三种：

  • StarGAN多领域属性迁移

普通的GAN模型对每一对图像风格域都需要独立地建立一个模型，相比之下，StarGAN就是个多面手了，即单个 StarGAN 模型就可以实现多个不同风格域的转换，它允许在一个网络中同时使用不同风格域的多个数据集进行训练。这导致 StarGAN 的转化图像质量优于现有模型，并且可以灵活地转换输入图像到任何想要的风格领域。

（a）为处理多个域，应该在每一对域都建立跨域模型。

（b）StarGAN用单个generator学习多域之间的映射。该图表示连接多个域的拓扑图。

  • AttGAN利用分类损失和重构损失来保证改变特定的属性

AttGAN算法是基于encoder-decoder结构的，根据所需属性对给定人脸的潜在表征进行解码，实现人脸属性的编辑。现有些方法试图建立一个独立于属性的潜在表示，来编辑属性。然而，这种对潜在表征的属性无关约束过多，限制了潜在表征的能力，可能导致信息丢失，从而导致生成过于平滑和扭曲。

AttGAN没有对潜在表示施加约束，而是对生成的图像应用属性分类约束(attribute classification constraint)，以保证所需属性的正确改变，即“改变你想要的”。同时，引入重构损失来保证只改变特定的属性。还可以直接应用于属性强度控制，并且可以自然地扩展到属性样式操作。

  • STGAN只输入有变化的标签，引入GRU结构，更好的选择变化的属性

STGAN是在AttGAN的基础上做的改进。STGAN中生成网络在编码器和解码器之间加入Selective Transfer Units(STU)，同时引入属性差异向量(只输入需要改变的属性)，这样一来，网络变得更容易训练，相比于目标属性标签，属性差异标签可以提供更多有价值的信息，使属性生成精度明显提升。

STGAN的网络结构

STGAN差不多是AttGAN的升级版，Paddle的StarGAN不包含秃头属性，所以我们使用STGAN。STGAN效果预览如下所示：

STGAN的效果图

上图中每个头像图片对应的属性分别为：original image、Bald、Bangs、Black Hair、Blond Hair、Brown Hair、Bushy Eyebrows、Eyeglasses、Male、Mouth Slightly Open、Mustache、No Beard、Pale Skin、Young。

我们看到了什么？Bald！对，这正是我们想要的秃头属性！

AI Studio是百度飞桨提供的免费云算力平台，具有免费的GPU算力，notebook的UI风格，预装的PaddlePaddle，非常适合我这样的新手炼丹师去随意捣鼓。

下面我们在AI Studio上来开启 “秃头”之旅吧……

实验过程

1. 准备数据集

本项目采用CelebA数据集，CelebA是CelebFaces Attribute的缩写，意即名人人脸属性数据集，其包含10177个名人身份的202599张人脸图片。关于CelebA数据集的具体介绍，请详见https://zhuanlan.zhihu.com/p/35975956。

# 解压数据集
unzip data/data21325/imgAlignCeleba.zip -d dataset/
cp data/data21325/*.txt -d dataset/

2. 获取模型

# 获取GAN模型
# paddlepaddle/models的仓库里含有其支持的所有gan模型
!git clone https://gitee.com/paddlepaddle/models.git -b release/1.8
!cp -r models/PaddleCV/gan/* ./work/

3. 开始训练

# 训练
%cd ~/dataset
!python ../work/train.py --model_net STGAN    # 指定stgan模型网络
--data_dir ../dataset                             # 数据集目录
--dataset .                                         # 数据集相对位置
--crop_size 170                                     
--image_size 128 
--train_list ../dataset/attr_celeba.txt         # 训练集位置
--gan_mode wgan  
--batch_size 32 --print_freq 1 
--num_discriminator_time 5 
--epoch 50 
--dis_norm instance_norm 
--output ~/output/stgan/

4. 开始推理

别着急！在“秃头”之前，我们需要先准备要输入的图片，我把他放在my_dataset里，修改dataset/test1.txt，把图片填进去，并且根据图片的特征输入特征 ：

%cd ~
# 输入的参数可以看看infer_bald.py开头的解释哦，主要需要注意的是
# n_samples：它的个数决定了输出的结果图中含有几张图的结果，我设置为1，那么就会只有一张图的属性变换输出。
# crop_size、image_size最好不要修改，经过我测试会影响效果，因此最好把图片控制在178的宽度
!python ./work/infer_bald.py 
--model_net STGAN 
--init_model ./33/ 
--dataset_dir my_dataset 
--test_list dataset/test1.txt 
--use_gru True 
--output ./infer_result/stgan/ 
--n_samples 1 
--selected_attrs "Bald,Bangs,Black_Hair,Blond_Hair,Brown_Hair,Bushy_Eyebrows,Eyeglasses,Male,Mouth_Slightly_Open,Mustache,No_Beard,Pale_Skin,Young" 
--c_dim 13 
--crop_size 178 
--image_size 128 
--load_height 128 
--load_width 128 
--crop_height 128 
--crop_width 128

5. 秃头效果展示

演员秦昊(张东升饰演者)

就感觉很秃然的样子……

渐变的秃头程度

效果结论

  • 因为stgan只用输入变化的属性，原infer会循环变化每个一个风格属性(Bald，Bangs等)，我把切换风格属性的循环，修改成了只输入秃头属性，然后循环逐渐改变变化程度，使其结果产生渐变效果
  • 这里我发现男性中头发是短发的秃头化效果，明显比长发男性好，头发蓬松就会影响秃头效果，因为蓬松的头发遮盖了脑袋的形状，也有可能是训练集缺少这类男性图片的原因。第一张图是最自然的，看起来也最真，应该是寸头短发的因素。
  • 输入图片的大小接近128x128，或者178x178，效果会比较好，原因可能是训练集的大小都是128x128。官方这里也说明：（http://https//www.paddlepaddle.org.cn/hubdetail?name=stgan_celeba&en_category=GANs）
    • 待处理图片尽量只露脸，当五官是朝向正前方且露出五官时，效果会比较好。
    • 待处理图片的尺寸接近 128 * 128 像素时，效果会比较好。

使用PaddleHub

如果觉得上面的比较繁琐，infer里的代码复杂，那么有一条直接的捷径。Paddlehub里面已经有STGAN的预训练模型可以直接使用预训练模型。

# 安装Paddlehub和stgan_celeba预训练模型
!pip install paddlehub==1.6.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
!hub install stgan_celeba
import paddlehub as hub

stgan = hub.Module(name="stgan_celeba")

test_img_path = ["my_dataset/img_align_celeba/000003.jpg"]
# org_info是一个只有一个元素的列表 如：["Bald,Bangs"]
# org_info要尽可能详细的说明输入图片的特征情况,否则会影响输出效果：
# 必须填写性别（ "Male" 或 "Female"）可选值"Bald", "Bangs", "Black_Hair", #"Blond_Hair", "Brown_Hair", "Bushy_Eyebrows", "Eyeglasses", #"Mouth_Slightly_Open", "Mustache", "No_Beard", "Pale_Skin", "Aged"
org_info = ["Male"]
# 指定要变化的特征：秃头
trans_attr = ["Bald"]

# set input dict
input_dict = {"image": test_img_path, "style": trans_attr, "info": org_info}

# execute predict and print the result
results = stgan.generate(data=input_dict)
print(results)

预训练模型和我自己训练的模型对比：

我自己的

预训练模型

可以看出预训练模型的秃头程度比较固定，而我把秃头程度设置的比较小，看起来可能更逼真一点。

END

随机文章
本站知识点必读
最近更新