弹幕君,别挡着我看小姐姐!
内容来源:本文转自微信公众号—— Crossin的编程教室(ID: crossincode),好文请多支持!感谢您的阅读~
阅读字数:1873 | 5分钟阅读
<head>
某天代码写得老眼昏花,去B站上摸鱼,突然发现奇怪的现象:
</head>
哟呵,B站竟然做了视频前景提取,把弹幕藏到画面人物的后面。识别效果还意外地不错呢。
然后又翻了下,发现这是个叫做“智能防挡弹幕”的功能,我只在部分舞蹈区的视频里找到了开关。
我不知道B站是怎么实现的,但我脑中闪过一个想法:能不能用 Python 实现?简单搜索了一下“python 前景提取”,发现 OpenCV 的 GrabCut 提供了这样的功能。
那么剩下的就好办了。
先放最终实现效果(完整代码见文末):
之前在“每周一坑”里有讲过怎么在图片上加文字:【解答】用代码给图片配上文字。用这个方法,可以模拟弹幕的效果:
再用 GrabCut,提取出图片上的前景部分。核心代码:
import numpy as npimport cv2
mask = np.zeros(img.shape[:2],np.uint8)
bgdModel = np.zeros((1,65),np.float64)
fgdModel = np.zeros((1,65),np.float64)
rect = (10, 10, img.shape[1]-10, img.shape[0]-10)
cv2.grabCut(img,mask,rect,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_RECT)
img
是输入图像,mask
是输出图像,是一个二值化的蒙版(mask),rect
是待检测区域,后面的数字 5 是迭代次数,其他的参数照搬例子即可。输出结果:
有了蒙版之后,就可以对图像进行运算。分别取出带弹幕图像的背景部分,和原图像的前景部分,两个加一起,就是我们最终需要的效果:
核心代码:
img = img * (1-mask)[:,:,np.newaxis] + img * mask[:,:,np.newaxis]
基本功能这样就完成了。将图片的处理方法放到视频中的每一帧,再加上弹幕飞过的效果,就完成了 Python 版的智能防挡弹幕。
更多的一些细节:
1、前景提取的速度比较慢,为了能达到实时效果,我在提取前景时,将图片缩小,获取蒙版之后,再将其放大至原尺寸。蒙版本身的分辨率几乎不影响最终效果,但通过这个方法就可以做到实时。
2、每一帧的处理速度有快有慢,为了稳定帧率,我加入了每帧时间的计算,如果时间不足设定时长,就 sleep 剩下的时间。
3、一些过渡帧的识别效果会比较差,导致中间少数蒙版出现类似“跳帧”的效果。为了平滑这些帧,我在程序里记录每一帧蒙版中前景像素的数量,如果当前帧与之前 20 帧的平均值差距超过 50%,那就认为这一帧的前景提取不合格,直接使用之前的蒙版。
4、为了模拟实际效果,我还去B站抓了下视频相关的弹幕,它是在一个 xml 文件中:
https://api.bilibili.com/x/v1/dm/list.so?oid=9931722
因为只有一个文件,我就直接通过 SublimeText 的正则替换功能对数据进行了整理,没额外再写爬虫和处理的代码。这是个很实用的小技巧。
代码中我只使用了弹幕内容和时间两个值。当到达某条弹幕时间,就把它放入激活列表,添加到图像右侧,随机高度和颜色,然后每一帧将横向位置向左移动。直到图像左侧外部后,从激活列表中移除。
最终效果演示视频:
作为一个 demo,效果勉强可以接受吧。对这种没有预设背景信息,完全靠图像层面计算的话,准确率是不会太高的。所以只有这种背景单一、前景明显的视频效果还不错。而且很明显,白色衣服的效果就不太行。不知道B站的实现方法是怎样,是否有人工干预,是否有预计算。我觉得有的可能性还是很大的,因为毕竟只有少量视频开启了“智能防挡”。如果有了解情况的,欢迎留言。
PS:说来我以前的论文,和这个也算是相关领域。
- JS魔法堂:IE5~9的Drag&Drop API
- mysql 5.7版本目录无data文件夹的解决办法
- 【UML】——为什么要使用UML
- hql中setDate和setTimeStamp的区别
- Spring源码解析——如何阅读源码
- java获取当前时间和前一天日期
- 国内首个二代基因测序 FPGA 加速方案-背后的技术
- Java基础04 封装与接口
- Maven那点事儿(Eclipse版)
- 【Spring开发】—— Spring注入静态变量
- java判断list为空
- Java基础01 从HelloWorld到面向对象
- Java基础02 方法与数据成员
- 【Spring实战】—— 13 AspectJ注解切面
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Istio流量管理实现机制深度解析-基于1.4.0更新
- Istio 运维实战系列(1):应用容器对 Envoy Sidecar 的启动依赖问题
- R语言基于Reactome数据库的富集分析
- WiredTiger存储引擎之五:与事务相关的数据结构以及并发控制机制
- Tomcat NIO(8)-Poller线程的阻塞与唤醒
- 你的第一个React App (一 ) - 项目初始化
- 被JDK坑的没商量?来试试这些方法吧
- k8s 代码走读---client-go 编程交互测试代码
- C#网络类智能开关控制板实例
- Flume拦截器实现按照事件时间接入HDFS
- Day4.Linux用户权限
- 如何使用Canal同步MySQL的Binlog到Kafka
- Go 每日一库之 gabs
- 如何将Flink应用的日志发送到kafka
- 锦囊篇|Java中的SPI机制