开启辅助访问
 找回密码
 立即注册

H.264编码技术

dddssdvvx 回答数1 浏览数752
1.H.264的发展
2.H.264的Profile和Levels
3.H.264的架构
4.H.264的slice,MB
5.H.264预测编码,变换编码,熵编码
6.H.264 SVC

1.H.264的发展
几个名词缩写
VCEG:   Video Coding Experts Group
ITU-T:  International Telecommunication
Union - Telecommunication sector
ISO:International Standardization Organization
MPEG: Moving Picture Experts Group
AVC:Advanced Video Codec
国际上制定视频编解码技术的组织有两个,一台是“国际电联(ITU-T)”,它制定的标准有H.261、H.263、H.263+等,另一台是“国际标准化组织(ISO)”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。
1990世界上第一台视频压缩标准是H.261(ITU),1993MEPG-1(ISO),1995 H.263,1996 MPEG-2。


H.264是1998年由VCEG发起。最早的名子叫H.26L.
1999年10月第一份草案被接收。
2001年12月经过评估发现,H.26L编码技术基本能够满足MPEG的标准需求,因此MPEG中的成员和VCEG中的成员组成了一台新的小组,叫做Joint Video Team(JVT),来推动和管理H.26L的最后标准化开发。
2003年5月H.264发布。
2005年又开发出了H.264的SVC (scalable video coding) 版本。
2009年推出更高级应用标准多视MVC (multiple view coding) 目的是3D视频。
2009到2016年,H264就是朝着 3D-AVC and MFC stereoscopic coding方向了。
ITU-T的H.264又是ISO/IEC的MPEG-4高级视频编码(Advanced Video Coding,AVC)的第10 部分。因此,不论是MPEG-4 AVC、MPEG-4 Part 10,或是ISO/IEC 14496-10,都是指H.264。
H.264/MPEG-4 AVC的成功的原因之一是在于是两个标准化组织的合作或者是妥协的结果。
但两个标准化组织合并标准带来的问题就是对H.264的需求会很多,要满足各种视频应用场景。最终H.264是非常,非常,非常复杂的编码系统。目前商用的H.264仅是系统中的一小部分。
H.264的早期设计动机有两个
1)为得到更高的视频压缩比。要比H.263、MPEG-4的压缩比提高一倍。
2)拥有良好的网络适应性,可适用于各种传输网络。能适应各种高低码率,高低分辨率。
目前看20年前H.264的两个设计动机和目的都完美实现,从H.263的内网切换到了互联网,视频大小从CIF切换成标清,超清。也正因为H.264的伟大,使得我们的互联网从静态文字进化到今天丰富多彩的视频世界。
H.264的设计应用场景
1)Broadcast:cable,satellites, and DSL.
2)Storage:DVD, HD DVD,and Blu-ray.
3)Video Conferencing:over different networks.
4)Multimedia Streaming: live and on-demand.
5)Multimedia Messaging Services.
同样这5个设计需求H.264也是完美实现。目前我们的数字电视机,网络电视机,视频存储,DVD,视频会议,直播点播,移动设备视频,微信里的视频消息都是用的H.264。
网上常常有文章把VP8,VP9和H.264比。其实VP8,VP9设计仅仅是用来作实时视频通讯的,在其他应用场景还有很大局限,和H.264这个全方面的王者我个人认为其实没有什么可比性。
既然H.264有这么多应用场景就会有不同的设计,h.264的Profile就是用来应对不同的应用场景。Profile是H.264标准定义的一套能力集描述,让解码器知道当前码流里有那些视频编码特性。
基本档次(Baseline Profile 66)
利用I片和P片支持帧内和帧间编码,支持利用基于上下文的自适应的变长编码进行的熵编码(CAVLC)。主要用于可视电话、会议电视机、无线通信等实时视频通信。设计重点是实时性,时延低,运算量小,抗网损,错误恢复。应对标清视频。
主要档次(MAIn Profile 77)
支持隔行视频,采用B片的帧间编码和采用加权预测的帧间编码;支持利用基于上下文的自适应的算术编码(CABAC)。主要用于数字广播电视机与数字视频存储。 设计重点是低复杂度,时延无所谓,运算量。应对超清视频。
扩展档次(Extended Profile 88)
支持码流之间有效的切换(SP和SI片)、改进误码性能,支持弹性编码,但不支持隔行视频和CABAC。
高阶档次(Hight Profile 100)
支持Aaptive transform block size. Quantization scaling matrices,支持无损压缩或近无损压缩. 应对超清超超清视频场景。



H.264后续演进出的High 10 Profile (Hi10P, 110),High 4:2:2 Profile (Hi422P, 122),Stereo High Profile (128),Multiview High Profile (118),MFC High Profile (134),Enhanced Multiview Depth High Profile (139)等等很多细分,用于各进化出的场景细分需求。


上面这张表展示的是各profile支持的编码特性,从表中可以发现早期用来抗网损的设计ASO,RS,FMO在后期慢慢被废弃了。为啥废弃呢,这个只有干过的人才能体会,2006左右我们在TI的 DM64X,ADI的Blackfin上做H.264的ASO,RS,FMO,费老大劲还不用网络层的前向冗余和丢包重传的效果好。
Levels是和Profile相关的能力描述。用于解码器的资源分配。levels应用层不需要了解太多,鹏小鹕有机会展开讲。


H.264的结构
1.NAL(Network Abstraction Layer)
2.VCL(Video Coding Layer)


分层的目的是编码层解决编码的问题,网络解决传输的问题。 NAL(Network Abstraction Layer)
可应用于
1.RTP/IP的互联网网络。
2.广播电视机的视频流媒体。
3.用于存储的文件格式。


RBSP(Raw Byte Sequence Payload)


NAL层有两个很重要的参数集SPS,PPS,带SPS,PPS的帧称为IDR帧。
序列参数集SPS(Seq Parameter Set),描述了这段视频流的profile,level,图像宽高,是否裁边,最大参考帧长度,VUI等信息。
图像参数集PPS(Pic Parameter Set),描述了这段视频图像的SPS,PPS关系信息,图像是否做环路滤波,熵编码类型信息,权重预测等信息。




VCL (Video coding Layer)
宏块:MB
条:Slice
帧:frame




宏块:MB


条(片):Slice



视频信息为啥可以被压缩
视频信息之所以存在大量可以被压缩的空间,是因为其中本身就存在大量的数据冗余。其主要类型有:
时间冗余:视频相邻的两帧之间内容相似,存在运动关系
空间冗余:视频的某一帧内部的相邻像素存在相似性
编码冗余:视频中不同数据出现的概率不同
视觉冗余:观众的视觉系统对视频中不同的部分敏感度不同

预测编码
H.264预测编码可以用于处理视频中的时间和空间域的冗余。视频处理中的预测编码主要分为两大类:帧内预测和帧间预测。
    帧内预测:预测值与实际值位于同一帧内,用于消除图像的空间冗余;帧内预测的特点是压缩率相对较低,然而可以独立解码,不依赖其他帧的数据;通常视频中的关键帧都采用帧内预测。
    帧间预测:帧间预测的实际值位于当前帧,预测值位于参考帧,用于消除图像的时间冗余;帧间预测的压缩率高于帧内预测,然而不能独立解码,必须在获取参考帧数据之后才能重建当前帧。
通常在视频码流中,I帧全部使用帧内编码,P帧/B帧中的数据可能使用帧内或者帧间编码。


H264帧4X4内预测9种,16X16是4种预测模式。
帧内预测



H.264帧内预测根据宏块左边和上边的边界像素值推算宏块内部的像素值,帧内预测的效果如下图所示。其中左边的图为图像原始画面,右边的图为经过帧内预测后没有叠加残差的画面。


说完帧内预测再说说帧间预测,H264帧间预测7种块划分模式。H264原算法中,对每幅图像都进行7种模式预测,每个模式下的每个子宏块进行运动估计。最后复用率失真算法对所有可能模式进行比较,选出最佳预测模式。




细节越多,分块越小,低频区域用大块,提高编码效率,减少块效应。


      通过帧间预测算出运动矢量。
变换编码
DCT变换利用傅立叶变换的性质,采用图像边界褶翻将图像变换为偶函数形式,然后对图像进行二维傅立叶变换,变换后仅包含余弦项,所以称之为离散余弦变换。



量化
量化是H.264视频压缩编码中对视频质量影响最大的地方,也是会导致“信息丢失”的地方。量化的原理可以表示为下面公式:
FQ=round(y/Qstep)
其中,y 为输入样本点编码,Qstep为量化步长,FQ 为y 的量化值,round()为取整函数(其输出为与输入实数最近的整数)。
其相反过程,即反量化为:
y’=FQ*Qstep
如果Qstep较大,则量化值FQ取值较小,其相应的编码长度较小,但是但反量化时损失较多的图像细节信息。简而言之,Qstep越大,视频压缩编码后体积越小,视频质量越差。
       在H.264 中,量化步长Qstep 共有52 个值,如下表所示。其中QP 是量化参数,是量化步长的序号。当QP 取最小值0 时代表最精细的量化,当QP 取最大值51 时代表最粗糙的量化。QP 每增加6,Qstep 增加一倍。  


环路滤波(Deblocking Filter )
重建帧(通过解码得到)一般情况下会出现方块效应。产生这种效应的原因主要有两个:
1.DCT变换后的量化造成误差(主要原因)
2.运动补偿
正是由于这种块效应的存在,才需要添加环路滤波器调整相邻的“块”边缘上的像素值以减轻这种视觉上的不连续感。



原始图像



重建图像,没有环路滤波的效果



做了滤波的重建图像更接近原始图,这样差值少压缩效率更高

熵编码
若信息源所产生的符号取自某一离散集合,则该信源称为离散信源。由于信源产生的符号是一台随机变量,而信息量也是一台随机变量。对于一台随机变量,研究它的统计特性便有了意义。
在符号出现之前,熵表示符号集中符号出现的平均不肯定性;在符号出现之后,熵代表接收一台符号所获得的平均信息量。因此,熵是在平均意义上表征信源总体特性的一台物理量。
熵编码是基于信号统计特性的编码技术,是一种无损压缩编码,解码后能无失真地恢复原图像。常用的熵编码方法有Huffman编码,游程编码和算术编码。



游程编码实现了图像压缩





VLC变长编码

VLC(Variable Length Coding)我们以 A-Z 作为例子,A属于高频数据,Z属于低频数据。
CAVLC(Context Adaptive VariableLength Coding)。是在H.264/MPEG-4AVC中使用的熵编码方式。在H.264中,CAVLC以zig-zag顺序用于对变换后的残差块进行编码。CAVLC是CABAC的替代品,虽然其压缩效率不如CABAC,但CAVLC实现简单,并且在所有的H.264profile中都支持。
CABAC(ContextAdaptive Binary Arithmatic Coding) 编码之所以能取得很高的压缩比,是因为
1.根据每一台语法元素的上下文来选取预测模型;
2.使用本地的统计数据来估计概率;
3.使用算术编码而不是变长编码。



CABAC在编码过程中动态调整码表,给高频数据短码,给低频数据长码,实现内容自适应。
概念讲的太累,直接给大家看视频吧,这个视频是Panasoinic松下制作的视频H.264 Compression Technology,把H.264编码技术用动画的形式表现并且没有一句旁白, 但能深入浅出、生动形象讲解H.264最关键的技术点,真是全互联网讲H.264技术最佳视频,没有之一。 所以鹏小鹕这篇文章也是大言不惭的用了《H.264编码技术》标题。

H.264 码率控制
率失真定理



H.264的编码码率越低,视频越失真。码率越高,视频越无损。码率和失真之间是非线性关系。
H.264目前的码率控制有以下几个概念
CBR(Constant BitRate)固定码率  
VBR(Variable Bitrate)可变码率
ABR(Average Bitrate)平均码率
CVBR(Constant Variable BitRate) 固定可变码率
CBR编码:在流式播放方案中并且带宽足够的时候使用CBR编码最为有效。使用CBR编码时,比特率在流的进行过程中基本保持恒定并且接近目标比特率,始终处于由缓冲区大小确定的时间窗内。编码后的文件大小依据时间可知可控。
CBR编码的缺点在于编码内容的质量不稳定。因为内容的某些片段要比其他片段更难压缩,所以CBR流的某些部分质量就比其他部分差。此外,CBR编码会导致相邻流的质量不同。通常在较低比特率下,质量的变化会更加明显。
VBR编码:当编码内容中混有简单数据和复杂数据(例如,在快动作和慢动作间切换的视频)时,VBR 编码是很有优势的。使用VBR编码时,系统将自动为内容的简单部分分配较少的比特,从而留出足量的比特用于生成高质量的复杂部分。在文件大小相同的条件下,VBR编码的输出结果要比CBR编码的输出结果质量好得多。在某些情况下,与CBR编码文件质量相同的VBR编码文件, 其大小可能只有前者的一半。视频监控录像文件用VBR会更小。
无论是 CBR、ABR 或是 VBR 都是属于码率控制,而码率控制是视频编码的开放部分,它不会改变码流结构的合法性,因此无论在 MPEG2、MPEG4 或是 H.263、H.264 当中都没有做规定。



h.264编码模块图



h.264解码模块图

从上面h.264的编码模块和解码模块图可知,解码是包含在编码里的。

h.264 SVC
H.264SVC是以H.264为基础,在语法和工具集上进行了扩展,支持具有分级特性的码流,H.264SVC是H.264标准的附录G,同时作为H.264新的profile。H.264SVC在2007年10月成为正式标准。
分级码流优点是应用非常灵活,可以根据需要产生不同的码流或者提取出不同的码流。有利有弊,分级码流的缺点是:编码效率降低,解码复杂度增加。基本层是AVC兼容码流,编码效率没有影响。在同样的条件下,分级码流比单层码流的压缩效率要低10%左右,分级层数越多,效率下降越多,目前的JSVM编码器最多支持3个空域分级层。在同样的条件下,分级码流比单层码流的解码计算复杂度高。
编码器产生的码流包含一台或多个可以单独解码的子码流,子码流可以具有不同的码率,帧率和空间分辨率。
分级的类型:
时域可分级(Temporal scalability):可以从码流中提出具有不同帧频的码流。
空间可分级(Spatial scalability):可以从码流中提出具有不同图像尺寸的码流。
质量可分级(Quality scalability):可以从码流中提出具有不同图像质量的码流。



可以通过依次丢弃棕色、绿色、蓝色得到不同帧频的码流。




层间预测技术示意图(左)层间帧内预测(中)层间类型预测(右) 层间残差预测

先写这样吧,后续再说。
end.
当贝投影