Qt音视频开发37-USB摄像头解码ffmpeg方案
时间:2022-07-27
本文章向大家介绍Qt音视频开发37-USB摄像头解码ffmpeg方案,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
一、前言
用ffmpeg来处理USB摄像头,是前段时间研究视频监控ffmpeg内核的时候搞定的,既然ffmpeg这么牛逼的库可以解析各种音视频,我想处理个本地USB摄像头应该也不是什么难事,果真搜索也是一大堆,当然主要也是因为有个项目的应用需要用到ffmpeg来处理本地USB摄像头,需要拿到每张图片做智能分析,用Qt自带的camera类不大好处理,刚好将ffmpeg的处理流程都搞清楚了,索性直接用ffmpeg来直接处理好了,用上这么强大的解码库,理论上支持各种USB摄像头。本地USB摄像机不需要硬解码,视频流编码类型为 AV_CODEC_ID_RAWVIDEO 像素格式为 AV_PIX_FMT_YUYV422 不经过解码操作直接就可显示。
ffmpeg方案处理流程:
- 引入avdevice.h头文件,调用avdevice_register_all();注册本地设备处理。
- 调用av_dict_set设置分辨率(video_size)、帧率(framerate)等参数。
- 调用av_find_input_format设置输入格式。
- 调用avformat_open_input打开文件。
- 调用av_find_best_stream找到视频流地址。
- 调用avcodec_find_decoder设置视频解码器。
- 调用av_read_frame循环解码读取帧数据。
- 调用avcodec_send_packet avcodec_receive_frame解码数据。
- 处理完以后调用av_frame_free avcodec_close等释放资源。
二、功能特点
- 同时支持windows、linux、嵌入式linux上的USB摄像头实时采集。
- 支持多路USB摄像头多线程实时采集。
- 在嵌入式linux设备上,自动查找USB设备文件并加载。
- 可手动设置设备文件名称,手动设置后按照手动设置的设备文件加载。
- 在嵌入式linux设备上支持人脸识别接口,实时绘制人脸框。
- 具有打开、暂停、继续、关闭、截图等常规功能。
- 可设置两路OSD标签,分别设置文本、颜色、字号、位置等。
- 可作为视频监控系统使用。
三、效果图
四、相关站点
- 国内站点:https://gitee.com/feiyangqingyun/QWidgetDemo
- 国际站点:https://github.com/feiyangqingyun/QWidgetDemo
- 个人主页:https://blog.csdn.net/feiyangqingyun
- 知乎主页:https://www.zhihu.com/people/feiyangqingyun/
- 体验地址:https://blog.csdn.net/feiyangqingyun/article/details/97565652
五、核心代码
void FFmpegThread::initOption()
{
//在打开码流前指定各种参数比如:探测时间/超时时间/最大延时等
//设置缓存大小,1080p可将值调大
av_dict_set(&options, "buffer_size", "8192000", 0);
//以tcp方式打开,如果以udp方式打开将tcp替换为udp
av_dict_set(&options, "rtsp_transport", transport.toUtf8().constData(), 0);
//设置超时断开连接时间,单位微秒,3000000表示3秒
av_dict_set(&options, "stimeout", "3000000", 0);
//设置最大时延,单位微秒,1000000表示1秒
av_dict_set(&options, "max_delay", "1000000", 0);
//自动开启线程数
av_dict_set(&options, "threads", "auto", 0);
//单独对USB摄像机设置参数
if (isUsbCamera) {
//设置输入格式
//av_dict_set(&options, "input_format", "mjpeg", 0);
//设置分辨率
QString size = QString("%1x%2").arg(videoWidth).arg(videoHeight);
av_dict_set(&options, "video_size", size.toUtf8().constData(), 0);
//设置帧率
av_dict_set(&options, "framerate", "25", 0);
}
//本地USB摄像机不需要硬解码,强制改成回调运行和无硬解码
//视频流编码类型为 AV_CODEC_ID_RAWVIDEO 像素格式为 AV_PIX_FMT_YUYV422 不经过解码操作直接就可显示
if (isUsbCamera) {
callback = true;
hardware = "none";
}
//没有启用opengl则强制改为回调
#ifndef opengl
callback = true;
#endif
//rtmp视频流强制改成存储成h264裸流,目前存储成mp4还有问题
if (url.startsWith("rtmp", Qt::CaseInsensitive)) {
saveMp4 = false;
}
}
bool FFmpegThread::initInput()
{
//实例化格式处理上下文
formatCtx = avformat_alloc_context();
//设置超时回调,有些不存在的地址或者网络不好的情况下要卡很久
formatCtx->interrupt_callback.callback = AVInterruptCallBackFun;
formatCtx->interrupt_callback.opaque = this;
//必须要有tryOpen标志位来控制超时回调,由他来控制是否继续阻塞等待打开
tryOpen = false;
//先判断是否是本地设备(video=设备名字符串),打开的方式不一样
QByteArray urlData = url.toUtf8();
AVInputFormat *ifmt = NULL;
if (isUsbCamera) {
#if defined(Q_OS_WIN)
ifmt = av_find_input_format("dshow");
#elif defined(Q_OS_LINUX)
//ifmt = av_find_input_format("v4l2");
ifmt = av_find_input_format("video4linux2");
#elif defined(Q_OS_MAC)
ifmt = av_find_input_format("avfoundation");
#endif
}
int result = avformat_open_input(&formatCtx, urlData.data(), ifmt, &options);
tryOpen = true;
if (result < 0) {
qDebug() << TIMEMS << "open input error" << url;
return false;
}
//释放设置参数
if (options != NULL) {
av_dict_free(&options);
}
//获取流信息
result = avformat_find_stream_info(formatCtx, NULL);
if (result < 0) {
qDebug() << TIMEMS << "find stream info error";
return false;
}
return true;
}
- VXFS启用异步IO导致的严重问题(r2笔记56天)
- 通过sql语句分析足彩(r2笔记55天)
- 关于验证表中有无数据的方法比较(r2笔记54天)
- 海量数据迁移之分区并行抽取(r2笔记53天)
- 海量数据迁移之外部表切分(r2笔记52天)
- 怎样突破表名30个字符的限制(r2笔记51天)
- C/C++——排序
- 关于move tablespace的问题总结(r2笔记50天)
- 一些极度危险的linux命令(r2笔记49天)
- 挑战数据结构与算法面试题——80题全解析(一)
- 关于操作失误的数据修复(r2笔记48天)
- 挑战数据结构与算法面试题——80题全解析(三)
- 巧用rowid简化sql查询(r2笔记47天)
- 算法类面试题解析——美团2016校招:棋子翻转
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Android Animation之TranslateAnimation(平移动画)
- Android自定义View实现箭头沿圆转动实例代码
- Android 中Context的使用方法详解
- Android自定义水平渐变进度条
- Android+SQLite数据库实现的生词记事本功能实例
- Android 设置颜色的方法总结
- Android支付宝支付的示例代码
- 试图解释清楚【JavaScript Event Loop】
- 结合Event Loop谈谈对Vue中nextTick的理解
- Vue3响应式原理
- ClickHouse和他的朋友们(1)编译、开发、测试
- 学会如何学习 - 成为更好的终身学习者
- ToolBar中menu无法同时显示图标和文字问题的解决方法
- Android官方的侧滑控件DrawerLayout的示例代码
- 详解React Native监听Android回退按键与程序化退出应用