一张图实现3D人脸建模!这是中科院博士生入选ECCV的新研究 | 开源
贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI
通过一段视频,来重建人脸3D模型,没什么稀奇的。
但是,如果只有测试者的一张静态图片呢?
来自中科院模式识别实验室的博士生郭建珠和他的团队,提出了一种新的密集人脸对齐(3D Dense Face Alignment)方法。
新的3DDFA方法,最关键的核心,是3D辅助短视频合成方法,它能模拟平面内和平面外的人脸移动,将一幅静止图像转换为短视频。
由此来完成模型的识别和训练。
郭同学的这篇论文Towards Fast, Accurate and Stable 3D Dense Face Alignmen,已经被ECCV 2020收录。
3DDFA-V2:一静一动
这其实是作者发布的3DDFA的第二个版本,两年前,团队已经发表了3DDFA的第一版。
新版本具有更好的性能和稳定性。此外,3DDFA_V2集成了快速人脸检测器FaceBoxes,取代了原来的Dlib,同时还包括由C++和Cython编写的简单3D渲染。
3DDFA能做到“动若脱兔”(面部特征识别、对齐):
还有动态的3D人脸建模:
3DDFA的另一面,“静若处子”(静态照片3D人脸重建):
除了一静一动,3DDFA还能根据照片对人物姿态做出简单估计:
进行深度图像估计:
还能对图像的PNCC、PAF特征提取:
3DDFA-V2可以称得上是一个功能十分强大的面部3D重构工具,同时还集合了其他很多功能。
那么,3DDFA-V2最关键的照片转小视频的功能是如何实现的呢?
3D辅助短视频合成
3D密集人脸对齐方法,需要在在视频上运行,它提供相邻帧间提供稳定的3D重建结果。
所谓稳定,是指在视频的相邻帧中,重建的三维图像的变化应该与真实物体的细粒度移动保持一致。
然而,现有的大多数方法都无法满足这一要求,也难以避免随机抖动的影响。
在二维人脸配准中,时空滤波等后处理是减少抖动的常用策略,但会降低精度,造成帧延迟。
此外,由于没有公开的三维密集人脸配准的视频数据库,采用视频进行预训练的方法也行不通。
那么还有其他什么办法能改善静态图像转化视频的稳定性?
3DDFA-V2中采用的是批处理级的3D辅助短视频合成策略。
将一幅静态图像扩展到多个相邻的帧,由此形成一个mini-batch的合成短视频。
一般来说,一个视频的基本模式可以分成:
1、噪声。我们将噪声建模为 P(X)=x+N(0,2), 其中 E=a2I 2、运动模糊。运动模糊可以表示为 M(X)=K*x,其中K是卷积核(算子*表示卷积)。 3、平面内旋转。给定两个相邻帧 xt和 xt+1,平面 从xt和 xt+1变化可以描述为相似变换 T(·)
其中Δs为比例扰动,Δθ为旋转扰动,Δt1和Δt2为平移扰动。
由于人脸具有相似的三维结构,同理也能够合成平面外的人脸移动。
人脸剖面F(-)最初是为了解决大姿势的人脸对准问题而提出的,它被用来逐步增加人脸的偏航角∆φ和俯仰角∆γ。
具体来说,以小批量的方式对多张静止图像进行采样,对于每张静止图像x0,对其进行稍微平滑的变换,生成一个有n个相邻帧的合成视频:
3D辅助短视频合成帧中,相邻两帧如何合成:
如何上手
目前,团队已经将3DDFA-V2开源,且安装使用都非常简单。
安装指令:
git clone https://github.com/cleardusk/3DDFA_V2.git
cd 3DDFA_V2
安装完成后,需要构建cython版本的NMS和Sim3DR:
sh ./build.sh
运行演示:
# running on still image, four options: 2d_sparse, 2d_dense, 3d, depth
python3 demo.py -f examples/inputs/emma.jpg
# running on videos
python3 demo_video.py -f examples/inputs/videos/214.avi
# running on videos smoothly by looking ahead by `n_next` frames
python3 demo_video_smooth.py -f examples/inputs/videos/214.avi
例如,运行
python3 demo.py -f examples/inputs/emma.jpg -o 3d
将给出以下结果:
跟踪人脸动作的实现只需通过对齐即可。
但如果头部姿势偏角大于90°或运动太快,则对齐可能会失败。可以考虑使用阈值来精细地检查跟踪状态。
加载完成后,可以用任意图像作为输入,运行算法:
python3 main.py -f samples/test1.jpg
如果你能在终端看到输出日志,这说明成功运行,等待结果即可:
Dump tp samples/test1_0.ply
Save 68 3d landmarks to samples/test1_0.txt
Dump obj with sampled texture to samples/test1_0.obj
Dump tp samples/test1_1.ply
Save 68 3d landmarks to samples/test1_1.txt
Dump obj with sampled texture to samples/test1_1.obj
Dump to samples/test1_pose.jpg
Dump to samples/test1_depth.png
Dump to samples/test1_pncc.png
Save visualization result to samples/test1_3DDFA.jpg
3DDFA-V2对计算机的软硬件都有一些要求:
PyTorch 0.4.1版本以上 Python 3.6版本以上(带有Numpy、Scipy、Matplotlib库) 系统:Linux或macOS
研究团队推荐的硬件条件为一块英伟达GTX 1080 GPU和i5-8259U CPU。
当然,除了老黄的卡,你也可以直接在谷歌Colab上体验!
如果这个工具对你有帮助的话,赶紧来试试吧!
3DDFA-V2谷歌Collab: https://colab.research.google.com/drive/1OKciI0ETCpWdRjP-VOGpBulDJojYfgWv
Github项目地址: https://github.com/cleardusk/3DDFA_V2
— 完 —
- 【HCTF】2017部分Web出题思路详解
- 前端MVC Vue2学习总结(四)——条件渲染、列表渲染、事件处理器
- 如何移除Android应用广告
- 前端MVC Vue2学习总结(三)——模板语法、过滤器、计算属性、观察者、Class 与 Style 绑定
- 前端MVC Vue2学习总结(二)——Vue的实例、生命周期与Vue脚手架(vue-cli)
- hive具体操作
- hive中配置hwi
- 从零开始内网安全渗透学习
- hive启动后相关操作
- 开源API测试工具 Hitchhiker v0.10 - 中文版
- 强大的API测试工具Hitchhiker v0.9 基于UI的断言测试,回顾2017
- 开源API测试工具 Hitchhiker v0.8 - 自动化测试结果统计
- 开源API测试工具 Hitchhiker v0.7更新 - Schedule的对比diff
- com.mysql.jdbc.exceptions.jdbc4.CommunicationsE...
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- stm32mp157开发板USB Host 接口&OTG 接口测试
- Centos7安装ovs
- 好用-除了Console.log()之外的JS日志打印输出方式
- 解数独
- python编写断点续传下载软件
- cookie和session
- 自建KMS服务器 | 持续激活Windows
- 路由交换之静态路由
- Java面试基本问题
- 利用redis写webshell
- python富文本XSS过滤器
- PHP Multipart/form-data remote DOS 防御方案研究
- Kubernetes Python Client
- 对JiaThis Flash XSS的挖掘与分析
- Spark 3.0.1 Structured Streaming 提交程序异常解决