新手学习FFmpeg - 调用API计算关键帧渲染时间点
通过简单的计算来,线上I帧在视频中出现的时间点。 完整代码请参考 https://andy-zhangtao.github.io/ffmpeg-examples/
名词解释
首先需要明确以下名词概念:
- I/P/B 帧(具体差异请参看 https://www.jianshu.com/p/18af03556431 )
I帧: 内部编码帧(关键帧)
P帧: 前向预测帧(根据I帧计算差值)
B帧: 双向预测帧(根据I帧和P帧计算差值) - PTS: 帧显示的时间刻度(在哪个时间点显示此帧)
- DTS: 帧解码的时间刻度(在哪个时间点解码此帧)
- Timestamp: 帧在视频内部的时间戳
- Time_base: 视频表示时间的"刻度"
处理流程
视频内没有绝对时间,只有相对时间(相对视频起始位置)。例如在播放器中看到的时间进度条"00:00:05"表示的是当前看到的帧是在相对起始时间点(00:00:00)解码并渲染的。
而"00:00:05"只是为了让用户方便理解而展现出来的,在视频内部则是使用时间戳来保存的,"00:00:05"可能相对的时间戳则是"5000000µs"(不考虑四舍五入)。
那么时间戳又是怎么计算出来的呢?此时就需要通过PTS和Time_base来配合计算。
首先来看Time_base。 Time_base好比一把尺子,上面标满了刻度,例如(1,60)表示时间刻度就是1/60,每个时间单位就是1/60秒。 如果是(1,1000)就表示每个时间单位是1微秒。
上面说到pts是显示的时间刻度, 也就是占用了多少时间刻度。 换算成大白话就是pts占用了多少个刻度,而time_base表示每个刻度是多长。
然而这有什么用呢?Time_base最重要的作用是用来统一”时间节奏"的。 例如视频A编码时采用1/1000的time_base,则某个帧的pts保存为465000。 当对视频A进行解码时,换成了1/9000的time_base,此时时间刻度不一致了,就需要通过pts*encode_time_base来换算成解码时的timestamp,这样才能保证正确解码。
编码实现
上面是理论介绍,下面来看如何通过代码来计算timestamp和换算成time.
这次只需要显示每帧的pts,time_base,time因此不需要初始化output, 只要初始化input即可。
初始化输入源
按照前几篇介绍的初始化思路,只需要按照打开文件
->判断视频流
->初始化解码器
这样的步骤就可以了。
+------------------------+ +-------------------------+
| avformat_open_input | ------------>|avformat_find_stream_info|
+------------------------+ +-------------------------+
|
|
|
\|/
+-----------------------------+ +-------------------------+
|avcodec_parameters_to_context| <---------| avcodec_find_decoder |
+-----------------------------+ +-------------------------+
avcodec_parameters_to_context
尤其需要关注,这个函数会根据输入源的编码信息来初始化用户指定的编码上下文。如果编码信息不匹配或者设置错误时,会出现莫名的解码错误。一般调用这个函数后,大多数的解码错误都能消失。
计算Time
time_base是一个struct
typedef struct AVRational{
int num; ///< Numerator
int den; ///< Denominator
} AVRational;
num 表示的是分子,den表示分母。 对于time_base来说num就是1,den表示每一秒等分了多少份。 上面说过通过pts*time_base
就可以得出时间戳,所以需要计算出每个时间刻度具体代表多少,所以通过av_q2d
得出每个刻度具体值。
在循环读入解码后的帧数据之后,可以直接通过iframe->pts
来读取当前帧的pts值,然后再乘以刻度值就可以得出当前时间戳iframe->pts * av_q2d(_time_base)
。
伪代码如下:
while av_read_frame {
avcodec_send_packet
...
while avcodec_receive_frame {
...
iframe->pts * av_q2d(_time_base)
...
}
}
原文地址:https://www.cnblogs.com/vikings-blog/p/11532546.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 【C++】八大排序算法 :GIF + 亲测代码 +专项练习平台
- 【C++】勉强能看的线程池详解
- 国密SSL协议之Java编程
- 7. Jackson用树模型处理JSON是必备技能,不信你看
- epoll,求知者离我近点
- SOCKET网络编程 (通俗易懂入门篇)
- 进程 · 全家桶
- Posix线程 它们那一大家子事儿,要觉得好你就收藏进被窝慢慢看(2)
- Posix线程 它们那一大家子事儿,要觉得好你就收藏进被窝里慢慢看 (1)
- 种树:二叉树、二叉搜索树、AVL树、红黑树、哈夫曼树、B树、树与森林
- 【Linux内核】进程管理
- Django后台管理界面修改(代码修改)
- OpsnSSH抓包分析 | SSH协议分析
- 搭建简易的物联网服务端和客户端-第三次增补(二十二)
- ReentrantLock源码解析