用香蕉也能玩电脑游戏—Tensorflow对象检测接口的简单应用
Tensorflow最近发布了用于对象检测的对象检测接口(Object Detection API),能够定位和识别图像中的对象。它能够快速检测图像允许从视频帧甚至网络摄像头进行连续检测。它也可以用于构建鼠标“Tensormouse”,一个使用网络摄像移动光标的应用程序。
你是否曾经想过使用其他物品比如香蕉来移动你的光标?我们现在就可以实现!
TensorMouse是一个小型的开源Python应用程序,它允许你通过在网络摄像头前移动任意物品(如杯子,苹果或香蕉)来移动光标,他可以做电脑鼠标或触控板的替代品。
TensorMouse允许你用香蕉玩游戏
它是如何工作的?
TensorMouse记录来自网络摄像头的图像序列。然后将这些数据输入到Tensorflow对象检测接口中,返回对象的概率和位置的图。然后移动鼠标光标,使光标位置与图像上对象的位置对应。
例如,如果在图像的左上角检测到对象,光标将移动到屏幕的左上角。
应用程序的主要部分按顺序重复以下步骤:
1.使用OpenCV从网络摄像头进行单帧采集
2.使用Tensorflow对象检测接口进行对象检测
3.根据检测到的对象位置移动鼠标光标
帧采集
使用Python OpenCV模块捕获来自网络摄像头的帧。它提供了一个跨平台的工具,用于快速的图像采集和缩放。然后将图像缩放到360p以提高性能。
对象检测
对象检测用于确定网络摄像头框中所需对象的相对位置。它使用在COCO数据集上训练的Tensorflow对象检测接口固有的Mobilenet神经网络图。该数据集由80个不同的对象组成,主要包括杯子,苹果,餐具等家用物品。
检测到的具有带有相应概率的对象
如果检测到的对象相应的概率超过指定的阈值(一般为85%),则TensorMouse会将该对象视为检测对象,并计算检测到对象的方框的中心。
3.移动鼠标光标
Python包的pynput为执行鼠标指针的移动提供了跨平台支持。基于检测到的对象的相对位置将光标移动到该位置。意思是如果在图像的左上角检测到物体,光标将移动到屏幕的左上角。
应用程序然后返回到步骤1以从网络摄像头检索下一个图像并重复此过程。
如何使用它
应用程序的源代码发布在我的Gitlab repo中。
地址:https://github.com/tadejmagajna/TensorMouse
TensorMouse可以在任何主流的(Windows,Linux或MacOS)平台和几乎任何机器上运行,但是要实现良好的帧速率,它需要一个好点的CPU或支持CUDA的显卡。
安装
安装时要确保包依赖关系都已安装好。
1.安装Anaconda(我推荐安装它的变种Miniconda)
2.从Gitlab复制TensorMouse
3.打开终端并导航到项目根目录
4.conda env create -f environment.yml(Linux / MacOS)或conda env create -f environment-win.yml(Windows)
5.source activate tensormouse(Linux / MacOS)或activate tensormouse(Windows)
运行TensorMouse
一旦安装了依赖项并激活环境,我们可以简单地运行TensorMouse:
python tensormouse.py
然后等待约10-20秒,会有绿色消息显示Tensormouse成功启动。这将运行Tensormouse跟踪其默认对象—杯子。但是你可以通过提供可选参数(obect=”OBJECTNAME”)使其与80个COCO数据集对象中的任意一个配合使用。你还可以使用CTRL和ALT执行点击和拖动。
使用说明
- 确保光线充足(Tensormouse在光线不好的情况下表现欠佳)
- 需要对象保持与摄像头的距离,既不能太近导致占用整个摄像头帧,也不能太远导致检测不到
- 如果你的对象检测性能较差,请尝试运行应用程序设置让它来检测杯子,它检测杯子时还是挺准的
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- PyQt5 技术篇-plainTextEdit控件获得文本内容方法、设置文本内容方法。
- PyQt5 技术篇-鼠标移动控件显示提示,Qt Designer控件提示设置方法。
- PyQt5 技术篇-窗口名、窗口图标的设置方法。
- 101个shell脚本
- PyQt5 图片兼容性问题:"libpng warning: bKGD: invalid.",原因及解决办法。
- 编程语言经典小例题—Python版【持续更新】
- Python+selenium 自动化-切换窗口页签、切换iframe框架。确定页面是否包含iframe方法。
- JavaScript 技术篇-js获取iframe内的元素方法。
- QQ二维码登录API源码
- JavaScript 技术篇-js获取document的几种方式,js获取dom元素的常用方法。
- 不好意思,我膨胀了!shader 入门精要!Cocos Creator 3D Shader !
- JavaScript 技术篇-js获取dom节点、html标签自定义属性的值。
- 测试 APP 抓不到数据包该怎么办
- 手把手教你搭建SSM框架(Eclipse版)
- 【手把手教你】使用pyfinance进行证券收益分析