开启辅助访问
 找回密码
 立即注册

初学H264解析

lucifer1122 回答数6 浏览数1029
H264是一种常用的图像编码格式。
视频图像每秒有几十帧,未压缩的情况下,每帧都有好几M,一部1小时的影片更是多达几十上百G。
对视频进行编码的主要目的就是为了压缩视频存储大小。
视频图像在时间、空间上存在冗余,这一冗余是正是各类编码的压缩依据。
下面将从初学者的角度介绍如何去学习一台完全陌生的编码格式的解析。
了解各种概念

当阅读官方文档,或是网络资料的时候,不免被排山倒海的概念淹没。
建议静下心先过一遍一些数学和信号处理的基础知识,比如什么是熵,什么是算术编码,什么是时域频域,什么是数字图像等等;推荐这位作者的H264系列文章:https://www.jianshu.com/p/9c4f51d4c3ff
然后过一遍H264中的常见术语,如NAL,VCL,Slice,Macroblock等,IDR/I/P/B,图像/场/帧等;推荐这篇文章:
https://blog.csdn.net/andywang201001/article/detAIls/80274886
理解语法

H264官方文档(我看的是《T-REC-H.264-200503》)以表格形式定义了解析语法(在7.1节介绍了它的语法含义)
不过直接看英文的官方文档可能会有点受挫,建议先找网上写的比较全的格式解析看看,比如这篇:http://mamicode.com/info-detail-1215990.html
因为网络资料的作者一般有自个的专注领域,写的文章会有侧重,此时,就需要我们结合自个的工作内容看官方文档深入研究了。
动手实践

虽然我们有很多成熟的开源项目支持H264的解析,如官方的JM,如VLC的x264,但是如果要观察和理解每个字段的含义、变化规律,从最细粒度剖析一台视频文件,或是能自个Coding解析的比较好(何况造轮子是程序员的快乐呢!)
在自个动手”造轮子“的过程中,我突然有一台想法,是不是可以做这样一台工具:

  • 对于任意的(编码)格式,可以按官方文档的语法写几乎逐行对应的代码,完成一台解析插件
  • 这个工具可以同时展示二进制的数据、插件解析的结果、各个字段对应的解释文档
  • 还能对于多次解析的结果建立透视图,查看多次解析过程某个字段是如何变化的
于是我造了一台用于造轮子的工具:
比如:
我们学到H264的nal_unit中有一台nal_unit_type表示的当前nalu的类型,它的值指示了这个unit中的数据是指什么。

nal_unit语法表

部分nal_unit_type

有了工具,就可以根据表格逐行翻译:
def nal_unit(d:Table, bs:BitStream):
    d.add_field('forbidden_zero_bit', bs.read_bits,
                count=1)
    d.add_field('nal_ref_idc', bs.read_bits, count=2)
    d.add_field('nal_unit_type', bs.read_bits, count=5)把文档中关于nal_unit_type的解释摘抄下来,运行工具:

就可以很有成就感地完成了nal_unit_type的解析了,而且还可以实时对照文档查看含义。(图中告诉我们0到6byte的范围是一台nal_unit_type为9的nalu,也就是一台Access unit delimeter)
当然,如果只是造造轮子,还不尽兴。
在学习slice_header中的frame_num的时候有没有被绕晕?那不妨实际拿个文件,看看nal_unit_type、slice_type和frame_num的关系吧:
我们再写个slice_header的解析代码:
def slice_header(d:Table, bs:BitStream):
    d.add_field('first_mb_in_slice', bs.read_ue_golomb)
    d.add_field('slice_type', bs.read_ue_golomb)
    d.add_field('pic_parameter_set_id', bs.read_ue_golomb)
    pps = __find_pps_in_ctx(d.pic_parameter_set_id, d.context)
    if pps == None:
        raise Exception('no pps in ctx, abort!')
    sps = __find_sps_in_ctx(pps.seq_parameter_set_id, d.context)
    if pps == None:
        raise Exception('no sps in ctx, abort!')
    if sps.get_value('separate_colour_plane_flag', 0):
        d.add_field('colour_plane_id', bs.read_bits, count=2)
    try:
        nal_unit = d.context.nal_unit
    except AttributeError as e:
        raise Exception('no nal_unit in ctx, abort!')

    d.add_field('frame_num', bs.read_bits, count = (sps.log2_max_frame_num_minus4 + 4))
比之前的nal_unit略显复杂,因为我们需要引用sps/pps/nal_unit的header.
接下来就可以借助工具对多个nalu创建一台透视图了:

是不是一目了然了?

不知不觉从方法论写出了工具安利,收尾~
gewell
http://iosxxx.com/blog/2017-08-09-从零了解H264结构.html  404 not found error
用PixPix生成超酷炫电视壁纸
回复 赞 踩
使用道具 举报
wait4
咦?我这边访问正常
回复 赞 踩
使用道具 举报
kaiyuanit
也不行 从零了解H264结构.html
回复 赞 踩
使用道具 举报
winit
我在csdn找到了同样的文章,链接已经修改。“从零了解h264”访问不了的,可以试试: https://blog.csdn.net/andywang201001/article/details/80274886
回复 赞 踩
使用道具 举报
9bird
求教:出现这个错误,systemError: parent module plugins.h264 is not loaded,cannot perform  relative import是怎么回事
回复 赞 踩
使用道具 举报
finish84
非常不错的文章,工具也是不错的工具,但是想要运行起来看一下,遇到的问题就比较多了,貌似博主也没在维护这个工具了
回复 赞 踩
使用道具 举报
快速回复
您需要登录后才可以回帖 登录 | 立即注册

当贝投影