MediaCodec 编码解码踩坑记录
概述
在MediaCodec的生命周期内存在三种状态:Stopped, Executing or Released,其中
Stopped状态包含三种子状态:Uninitialized, Configured and Error
Executing状态包含三种子状态:Flushed, Running and End-of-Stream
由于MediaCodec在不同的数据处理模式下状态间的转换会有些许差别,故接下来我们分别对同步处理模式及异步处理模式下的状态转换做详细分析
同步模式下的状态转换(Synchronous Processing using Buffers)
首先我们先看一下状态转换的流程图,如下:
1. 当通过 MediaCodec.createByCodecName(...) or MediaCodec.createDecoderByType(...) or MediaCodec.createEncoderByType(...)三种方法中的任一种创建一个MediaCodec对象实例后,Codec将会处于 Uninitialized 状态;
2. 当你调用 MediaCodec.configure(...)方法对Codec进行配置后,Codec将进入 Configured 状态;
3. 之后可以调用 MediaCodec.start() 方法启动Codec,Codec会转入 Executing 状态,start后Codec立即进入 Flushed 子状态,此时的Codec拥有所有的input and output buffers,Client无法操作这些buffers;
4. 一旦第一个input buffer 出队列,也即Client通过调用 MediaCodec.dequeueInputBuffer(...)请求得到了一个有效的input buffer index, Codec立即进入到了 Running 子状态,在这个状态下Codec会进行实际的数据处理(解码、编码)工作,度过它生命周期的主要阶段;
5. 当输入端入队列一个带有 end-of-stream 标记的input buffer时(queueInputBuffer(EOS)),Codec将转入 End of Stream 子状态。在此状态下,Codec不再接受新的input buffer数据,但仍会处理之前入队列而未处理完的input buffer并产生output buffer,直到end-of-stream 标记到达输出端,数据处理的过程也随即终止;
6. 在 Executing状态下可以调用 MediaCodec.flush()方法使Codec进入 Flushed 子状态;
7. 在 Executing状态下可以调用 MediaCodec.stop()方法使Codec进入 Uninitialized 子状态,可以对Codec进行重新配置;
8. 极少数情况下Codec会遇到错误进入 Error 状态,可以调用 MediaCodec.reset() 方法使其再次可用;
9. 当MediaCodec数据处理任务完成时或不再需要MediaCodec时,可使用 MediaCodec.release()方法释放其资源。
异步模式下的状态转换(ASynchronous Processing using Buffers)
首先我们先看一下状态转换的流程图,如下:
异步模式下状态转换与同步模式下大同小异,主要有两点区别:
1. 调用 MediaCodec.start() 方法启动Codec,Codec会直接转入 Running 子状态;
2. 当调用 MediaCodec.flash() 方法进入 Flushed 子状态后,必须调用 MediaCodec.start() 方法Codec才会进入 Running 子状态。
其他情况下均与同步模式下相同,就不在此赘述。
更新于2019.01.17------------------------------
1.录音后开始编码,还没开始给编码器喂数据,编码器已经吐出来2个字节的数据,以为该数据是脏数据,就扔掉了,在解码的时候,没有解析该2byte的数据,导致程序抛出异常;也就是说在初始化完成以后MediaCodec就会吐出2byte字节,这2字节记录了当前编码器的一些信息,编码格式、编码位数,频道数等,是重要的信息不可扔掉。
ByteBuffer outBuf = mMediaCodec.getOutputBuffer(outIndex);
2.解码器解码后给AudioTrack播放,最后1S数据没有播放的问题,因为AudioTrack设置的有缓存大小,是因为缓存没有满没有播放,在播放最后一帧数据后再把缓冲填满来解决该问题。
byte[] bufferTmp = new byte[RealTimeTalkCommon.AUDIO_MIN_BUF_SIZE];
Arrays.fill(bufferTmp,(byte)0);
mAudioTrack.write(bufferTmp,0,bufferTmp.length);
3.MediaCodec在处于end-of-stream的状态时,如何重新回到工作状态(Running),mDecoder.flush();mDecoder.start();要同时调用才起作用。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- pthread的使用
- shell程序设计
- SAP CDS view权限控制实现原理介绍
- shell程序设计的流程控制
- SAP CRM数据库表CRMD_SRV_REFOBJ和CRMD_SRV_OSSET
- 堆和栈的区别
- 用ABAP模拟JavaScript的柯里化语言特性(Curry)
- 使用ABAP并发编程解决一个实际应用场景中的性能瓶颈问题
- SAP Cloud for Customer Oberon视图里的Ruby Scrip
- 干了SAP开发这么多年,我都积累了哪些程序调试技巧
- 谈谈SOCKET
- 使用ABAP实现Mock测试工具Mockito
- 增强版本的自开发SAP WebClient UI Repository Information System
- 最大子序列和的问题的解(1)
- 10-STM32+ESP8266+AIR202远程升级方案-功能3-手机APP控制STM32远程更新固件程序,基于ESP8266