前言
今天为大家介绍一下音视频直播技术中的视频编码。
在移动端通过Camera采集到视频数据后,我们不会直接将它发送出去。
因为采集后的视频数据量非常大,比如 1280x720 分辨率的一帧数据,就有可能达到6M大小(码率越高,图像越清晰)。
这6M数据如果送到网上传输,会给网络带来非常大的负担。
另外,人眼对图像的识别是有限的。
拿手机屏幕来说,1K屏与2K屏对于人眼来说是看不出来它们之间的区别的,视频也是同样的道理。
基于以上理论,就有了视频的压缩编码技术,通过对视频的有损压缩来达到减少数据大小的目的。
目前视频缩码最常用的是 H264。
其它的还有 H265,VP8, VP9等,但用的人还比较少,以后可以专门写一篇文章对他们做些介绍和对比。
编码方式
在Android系统下视频编码有硬编和软编两种方式。
顾名思义,硬编是通过手机提供的硬件模块进行编码;软编就是通过软件程序进行编码。
硬编的好处是编码快,不占用CPU资源。
缺点是Android机型比较多,坑也比较多。
软编正好与硬编相反,它的优点是无论什么机型都一样处理。
缺点则是占用大量CPU资源。
我们今天介绍的是硬件编码,软编的方式我们后面会再做介绍。
如何获取Camera中采集到的数据
从Camera获取视频数据有两种方式,一种是通过向Camera设置预览Callback来读取原始数据;另一种高效的方式是通过MediaCodec的Surface获取数据。
而第二种更高效,更灵活。
今天我们介绍的就是第二种方式。
当然大家可以很容易从网上找到第一种获取数据的方式。
从Camera获取数据的基本方法如下:
1. 创建 EGL 环境(如果使用 GLSurfaceView则可省略该步骤)。
2. 构建 OpenGL ES程序,通过它将原始数据渲染到Surface中。
OpenGL ES程序我们会在外面的文章中再做介绍。
3. 生成纹理,并打开Camera预览。
4. 创建编码器,将编码器中的Surface与EGL关联。
5. Camera捕获数据后,调用 EGL的swapBuffer方法,就可以拿到数据了。
下面我们来详细介绍下每一步:
首先,创建EGL环境
上述代码中的 EglCore 是对 EGL 操作的封装。
这个有对EGL的介绍。
创建 OpenGL ES程序
Texture2dProgram是对 OpenGL ES程序的封装,以后我们会专门对其做介绍。
根据 OpenGL ES产生的外部纹理生成纹理对象,并打开Camera预览
构造H264编码器,将编码器的 Surface 与 EGL环境关联
将渲染后的数据输出到编码器的Surface中
构造H264编码器
构造H264编码器实际就是设置编码器的媒体类型、宽高、帧率、GOF等。
视频编码
视频解码就更简单了,就是一个死循环不断的从解码器中查询解码状态。
如果解码状态大于0, 则说明现在已经有解好的数据了。
小结
通过上面的分析我们可以清楚的知道硬件编码主要就是三大步:
创建编码器。
从Camera获取数据。
循环从编码器中取数据。
参考
Android视频采集(Camera1)
Android视频采集(Camera2)
EGL介绍