基于计算机视觉和OpenCV:创建一个能够计算道路交通流量的应用
本文将介绍如何在不需要大量的深度学习算法的情况下,基于计算机视觉来计算道路交通流量。本教程只使用Python和OpenCV,在背景差分算法的帮助下,实现非常简单的运动检测方法。
本项目所需要的代码:
https://github.com/creotiv/object_detection_projects/tree/master/opencv_traffic_counting
主要内容
1.了解用于前景检测的背景差分算法的主旨 2.OpenCV图像滤波器 3.物体轮廓的检测 4.为进一步的数据操作构建处理管道
项目最终效果视频:https://youtu.be/_o5iLbRHKao
背景差分算法
背景差分有很多不同的算法,但它们的主旨非常简单。假设你有一个你房间的视频,在这个视频里没有出现人或者宠物,所以基本上这个房间是静态的,我们把它叫做背景层。为了获得在视频中移动的物体我们需要做的是:
foreground_objects = current_frame – background_layer(前景物体=当前帧 – 背景层)
但是在某些情况下,因为光线总是在改变,还有一些被人为移动或者本身可以运动的物体,我们不能得到静态帧。在这种情况下我们保存一些的帧数,并试图找出在大多数像素中,它们哪些是相同的,那么这些像素就会成为背景层的一部分。问题是,我们如何得到这个背景层和额外的滤波,从而使选择更加准确。
所以,我们将使用MOG算法来进行背景差分,在处理之后,它看起来是这样的:
原图(上),使用MOG差分前景(带有阴影检测)(下)
可以看到在前景掩模上有一些噪声,我们会用一些标准的滤波技术去除。现在代码看上去是这样的:
代码地址:
https://gist.githubusercontent.com/creotiv/f01ec1a4b7b1d88cad43c36be8fccc96/raw/f7b6ef1d4d13049e0ba28c10112e98b43f39baf0/bg_subtract.py
滤波
对于我们的情况,我们需要这些滤波器:“Threshold”, “Erode, Dilate, Opening, Closing”。请通过阅读下面链接内容查看这些滤波器是如何工作的。
http://docs.opencv.org/3.1.0/d7/d4d/tutorial_py_thresholding.html
http://docs.opencv.org/3.1.0/d9/d61/tutorial_py_morphological_ops.html
现在我们要用它们来去除前景蒙版上的一些噪声。首先,我们将使用“Closing”来移除区域的间隙,然后用“Opening”移除1–2 px点,然后用“Dilate”使物体变得bolder。
def filter_mask(img):
kernel= cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (2,2))
# Fill any small holes
closing= cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)
# Remove noise
opening= cv2.morphologyEx(closing, cv2.MORPH_OPEN, kernel)
# Dilate to merge adjacent blobs
dilation= cv2.dilate(opening, kernel, iterations=2)
# threshold
th= dilation[dilation <240]= 0
return th
然后我们的前景看上去是这样的
物体轮廓的检测
为此,我们将使用标准的带有参数的cv2.findContours方法:
cv2.CV_RETR_EXTERNAL — get only outer contours.
cv2.CV_CHAIN_APPROX_TC89_L1 - use Teh-Chin chain approximation algorithm (faster)
def
get_centroid(x, y, w, h):
x1= int(w/ 2)
y1= int(h/ 2)
cx= x+ x1
cy= y+ y1
return (cx, cy)
def detect_vehicles(fg_mask, min_contour_width=35, min_contour_height=35):
matches= []
# finding external contours
im, contours, hierarchy= cv2.findContours(
fg_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_TC89_L1)
# filtering by with, height
for (i, contour)in enumerate(contours):
(x, y, w, h)= cv2.boundingRect(contour)
contour_valid= (w >= min_contour_width)and (
h >= min_contour_height)
if not contour_valid:
continue
# getting center of the bounding box
centroid= get_centroid(x, y, w, h)
matches.append(((x, y, w, h), centroid))
return matches
构建处理管道
现在我们将构建简单的处理管道:
代码地址:
https://gist.githubusercontent.com/creotiv/6db4c523ae7c64554c3d08ff5edb8e79/raw/3b3a9f7253412dab686fe935808f66eb101057ed/pipeline.py
输入构造函数(input constructor)将会获取一个将按顺序运行的处理器列表。每个处理器都有各自的工作。因此,现在让我们来创建轮廓检测处理器。
代码地址:
https://gist.githubusercontent.com/creotiv/75a84e9a3f634c0f5c399bc495137075/raw/535b048a088e734e7bfcc1d14cb9e5e9cd434ebd/detection.py
把背景差分,滤波和检测的部分合并在一起。现在,让我们创建一个处理器,它将在不同的帧上链接检测到的对象,然后创建路径,并且还将计算出到达出口区的车辆数量。
代码地址:
https://gist.githubusercontent.com/creotiv/da7fca1b237619a756133a1fa816350e/raw/243204ca5d277b20c9addbc3559a69bcdb9d132b/counting.py
这个类有点复杂,让我们通过分部来完成。
图像上的绿色掩膜是出口区,是我们计算车辆的地方。使用掩膜是因为它比使用向量算法更有效,也更简单。只要使用“二进制”操作来检查该区域的那个点就可以了。下面是我们如何设置它的方法:
EXIT_PTS= np.array([
[[732,720], [732,590], [1280,500], [1280,720]],
[[0,400], [645,400], [645,0], [0,0]]
])
base= np.zeros(SHAPE+ (3,), dtype='uint8')
exit_mask= cv2.fillPoly(base, EXIT_PTS, (255,255,255))[:, :,0]
在路径上将点连接起来。
new_pathes= []
for pathin self.pathes:
_min= 999999
_match= None
for pin points:
if len(path)== 1:
# distance from last point to current
d= utils.distance(p[0], path[-1][0])
else:
# based on 2 prev points predict next point and calculate
# distance from predicted next point to current
xn= 2 * path[-1][0][0]- path[-2][0][0]
yn= 2 * path[-1][0][1]- path[-2][0][1]
d= utils.distance(
p[0], (xn, yn),
x_weight=self.x_weight,
y_weight=self.y_weight
)
if d < _min:
_min= d
_match= p
if _matchand _min <= self.max_dst:
points.remove(_match)
path.append(_match)
new_pathes.append(path)
# do not drop path if current frame has no matches
if _matchis None:
new_pathes.append(path)
self.pathes= new_pathes
# add new pathes
if len(points):
for pin points:
# do not add points that already should be counted
if self.check_exit(p[1]):
continue
self.pathes.append([p])
# save only last N points in path
for i, _in enumerate(self.pathes):
self.pathes[i]= self.pathes[i][self.path_size* -1:]
在第一帧,我们只是把所有的点都添加到新的路径中。
接下来,如果len(path)==1,那么对于缓存中的每条路径,我们将尝试从新检测到的对象中找到点(质心),这将是到路径的最后一点的最小的欧氏距离。
如果len(path) > 1,那么在路径的最后两个点上,我们就会在同一直线上预测新的点,并在它和当前点之间找到最小距离。最小距离添加到当前路径的末尾,并从列表中删除。如果在这之后留下一些点,我们将会把它们作为新的路径添加。同时我们也限制了路径上的点的个数。
# count vehicles and drop counted pathes:
new_pathes= []
for i, pathin enumerate(self.pathes):
d= path[-2:]
if (
# need at list two points to count
len(d) >= 2 and
# prev point not in exit zone
not self.check_exit(d[0][1])and
# current point in exit zone
self.check_exit(d[1][1])and
# path len is bigger then min
self.path_size <= len(path)
):
self.vehicle_count+= 1
else:
# prevent linking with path that already in exit zone
add= True
for pin path:
if self.check_exit(p[1]):
add= False
break
if add:
new_pathes.append(path)
self.pathes= new_pathes
context['pathes']= self.pathes
context['objects']= objects
context['vehicle_count']= self.vehicle_count
self.log.debug('#VEHICLES FOUND: %s' % self.vehicle_count)
return context
现在我们将尝试计算进入出口区的车辆。要做到这一点,我们只需要在路径中取两个最后的点,并检查它们在出口区域中的最后一个点,以及之前没有的点,并且检查len(path)是否应该大于限制。后面的部分是防止将新点与出口区的点反向连接起来。
最后两个处理器是CSV写入器,用于创建报告CSV文件,以及用于调试和图片的可视化。
代码地址:
https://gist.github.com/creotiv/2998928abe5ab8606c07450965393261/raw/7b7633492d4ae0e8499e706029ceb452fe44ba60/output.py
CSV写入器是按时间保存数据的,因为我们需要将它进一步分析。因此,我使用这个公式向unixtimestamp添加额外的帧计时:
time = ((self.start_time + int(frame_number / self.fps)) * 100
+ int(100.0 / self.fps) * (frame_number % self.fps))
所以在起始时间=1 000 000和fps=10时,会得到这样的结果 帧1=1 000000010 帧1=1 000000020 …
在得到完整的csv报告之后,你可以按照你的需要聚合这些数据。
这个项目的完整代码:https://github.com/creotiv/object_detection_projects/tree/master/opencv_traffic_counting
- WCF技术剖析之四:基于IIS的WCF服务寄宿(Hosting)实现揭秘
- 简练的视图模型 ViewModel
- 提供智能服务?先迈过数字信任这个坎
- 《天弋夺宝》—01飞船的控制
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(63)-Excel导入和导出
- 核心代码(未注释)
- 从科研角度谈“如何实现基于机器学习的智能运维”
- 用后台代码创建Storyboard
- 十分钟掌握微信小程序开发:高仿电商产品分类功能
- WCF技术剖析之五:利用ASP.NET兼容模式创建支持会话(Session)的WCF服务
- DoubleAnimation方法
- 已经重写,源码和文章请跳转http://www.cnblogs.com/ymnets/p/5621706.html
- 有趣 不用js也能创建silverlight
- Hadoop和Spark的异同
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Python爬虫之mongodb的简单使用
- Java之美-死锁
- 恕我直言你可能真的不会java第4篇:Stream管道流Map操作
- 高工也要补基础,wait,notify,join
- 恕我直言你可能真的不会java第5篇:Stream的状态与并行操作
- 恕我直言你可能真的不会java第3篇:Stream的Filter与谓词逻辑
- 恕我直言你可能真的不会java第1篇:lambda表达式会用了么?
- 接口测试框架接入性能测试实践分享
- 熟悉又陌生的 k8s 字段:finalizers
- python+selenium 外部文件导入操作
- 小书MybatisPlus第1篇-整合SpringBoot快速开始增删改查
- K8S 生态周报| Istio v1.7.1 发布
- MongoDB设计方法及技巧
- 我要以血和泪的经历告诉你,这个 bug 太难解决了
- Loki和Fluentd的那点事儿