开启辅助访问
 找回密码
 立即注册

电视机的运动补偿,是通过解码插帧或是液晶滤片优化实现的 ...

cluAxiGI 回答数4 浏览数1315
我记得一般认为肉眼的视觉刷新率在29hz以内。如果视频源的刷新率和电视机刷新率都在这个以上了,(电视机目前不是都标配60hz了吗),为啥还存在拖影以及为啥拖影还能被改善?
那么,电视机的运动补偿,是通过解码插帧或是液晶滤片优化实现的(软件+强大处理器实现或是液晶硬件实现)?
使用道具 举报
| 来自北京
twl_9404 | 来自上海
我们在选购电视机或手机时,也经常会在商品参数描述中了解到 的MEMC究竟是什么呢?它对画质提升有什么帮助呢?
对于选购大尺寸电视的消费者来说,观感和体验必然是重要的。卓越的MEMC技术能从根本上解决画面的运动不连续和抖动,带来电影院般的流畅感,能在很大程度上影响用户的体验,也是电视参数配置的必然趋势。
MEMC(motion estimation and motion compensation)运动预估与运动补偿,简单而言,就是视频补帧,通过算法识别前后两帧画面的信息,在两帧之间插入计算得到的画面,从而把原本低帧率的视频补偿到高帧率,减少运动抖动和画面拖影,进而提升画质,让画面看起来更流畅。
海思 - 使能万物互联的智能终端在认识MEMC技术前,先来了解下什么是“帧率”,它对视频观感有什么影响?
帧率的单位为 fps(frame per second),即每秒播放多少帧画面。当前主流电影的帧率为24fps,而早期的电影拍摄和播放的帧率是不固定的,一般拍摄帧率在16fps到24fps之间,播放的帧率一般在22fps到26fps之间。比如大家熟悉的卓别林的电影,播放的时候有点像快进,导演有时会用帧率的变化来传递不同的情绪。
1926年有声电影问世时,研究发现人耳对音频的变化更敏感,这在一定程度上降低了人们对电影帧率变化的关注度。而大部分无声电影使用22至26fps播放,大约在1930年,其中间值24fps成为35mm有声电影的标准。
为什么看电视时会遇到画面抖动?
大家常看的电视剧和综艺节目,帧率为25fps或30fps。电视主流的制式PAL(50Hz)和NTSC(60Hz),采用25fps或30fps拍摄正好和电视机的扫描频率成整数倍关系,所以看电视的时候大家不会感觉有明显的抖动,然而在电视上看电影或美剧(多采用24fps拍摄)时,则会不同程度感觉到运动不连续或抖动。
主流消费级显示设备(显示器、电视机、投影仪)的刷新频率一般为60Hz,少数高端产品会有120Hz、144Hz等面板。对于60Hz刷新率而言,去播放一个24Hz的片子,60不是24的整数倍,所以必须采取3:2 pull down的方式进行帧重复(即第一帧重复3次,第二帧重复2次,第三帧再重复3次,第四帧再重复2次……)这样就把24“fps”的视频各帧“相对均匀”地分配到了60Hz的播放设备上。再加之显示设备的响应速度(response time)有制约,导致视频看起来有点不连续和抖动(Judder)。
相比家庭电视机,电影院往往能带来更好的观感,这又是什么原因?
为什么在电影院观影不存在Judder现象?因为放映机就是24Hz的刷新率,不需要 pull up或pull down,保持了24Hz原汁原味,所以电影院的观感会比电脑、电视好很多。目前只非常少的几部电影有采用 48fps 及更高帧率拍摄,如《霍比特人》(48fps)、《比利林恩的中场战事》(120fps)。


这是一个足球的实际运动轨迹

这是用24帧的摄像机拍摄下来的足球轨迹

我们在电视上实际看到的足球

在电视上实际看到的足球轨迹图

从上面的图,明显看出足球实际的运动轨迹和最终电视上看到的轨迹差别比较大。将两张图叠起来大家就更容易看出来。


抖动现象在大尺寸显示屏上会更明显
很多人会发现在手机或PAD这类小的屏幕上足球的抖动就不明显,而在55寸或75寸的大屏幕电视上这个抖动就会非常明显,这是由于屏幕尺寸变大以后运动的不连续会被放大,有些对抖动敏感的人会有眩晕的感觉。
海思MEMC技术,如何有效解决Judder现象?
讲解完这个电视中存在的Judder问题以后,那有没有办法去掉这个Judder呢?OK,那就需要讲到今天我们介绍的MEMC技术了。
在文章的一开始已经提及,MEMC简单的字面解释就是基于物体运动的轨迹进行预测,并根据预测的结果来插入一个运动的中间状态来改善Judder。
运用MEMC技术,就是通过对图像里物体的运动轨迹(运动矢量)检测,在原始帧中间插入运算后的补偿帧来提升画面的流畅性:


1. 精准轨迹计算,智能去除果冻效应
由于所有新增的帧都是运动预测计算出来的,因此预测失误可能会带来“副作用”,预测算法的优劣,直接影响副作用大小,比较明显的就是果冻效应或光环“halo”。


左侧是国内已经上市的某品牌电视MEMC产品的效果图,右侧是海思最新的MEMC算法效果图,通过对人物运动的轨迹精确的计算,可以减少halo的效应。

1. 改善运动矢量算法,避免内容丢失/重叠
另外,在MEMC插帧算法中会出现小物体运动的物体丢失。


大家会发现图2插入的帧足球消失了,为什么呢?大部分的MEMC算法模块中,采用块匹配的方法计算相邻的帧之间物体的运动相关性,也就是把图像切成16x16或32x32像素矩阵的块,再根据物体的运动矢量(mv)进行插值,由于算法是基于图像的块进行计算而非像素级(每个像素进行计算,计算量成几何级数上升,从芯片成本和可实现性上来看无法实现)导致对于小物体的运动矢量估计不准确,会导致小物体的丢失或出现重叠的现象。
海思算法让“消失的足球”回来啦
为了改善小物体的运动,海思芯片算法基于当前帧的频率特征计算图像块的运动矢量,这样就能改善小物体的运动矢量计算,大家看图3,消失的足球又回来了。


1. 8K MEMC融合Soc芯片,大屏也流畅
8K技术产业趋势 | 技术价值 | 相关产品 | 海思官网很多人有在手机端看视频没有卡顿的感觉,但在电视上看会发现有明显的视频不流畅的问题。这是由于大部分网络视频流都是24/25/30fps帧率,而在手机屏上由于物体相同时间内从位置A到位置B的移动距离远远小于电视屏幕,通常液晶电视屏的尺寸一般是手机屏的8-10倍,导致低帧率的视频在电视侧更需要MEMC技术来消除Judder。
8K电视是4K电视分辨率(像素点)的4倍,而且8K电视的主流尺寸是70-90寸,还有土豪喜欢的110寸,所以MEMC效果的好坏直接影响到电视用户的观影体验。
海思最新的8K芯片Hi3751V900是第一家把8K MEMC整合到8K SoC内的芯片,把MEMC内置到8K主SoC里面可以和8K画质模块更好的配合,为消费者完美呈现8K身临其境的画质体验。
8K解决方案(AI+8K+IoT 智慧芯科技) | 海思官网
回复
使用道具 举报
no0dle | 来自北京
运动补偿是根据上下两帧图像中物体的变化来生成中间帧,跟面板无关,属于数字图像处理功能的一部分,全靠芯片性能和算法。目的是提升动态清晰度,问题是带来肥皂剧效应和图像边缘劣化、错误的图像等,因为视频尤其是高速运动画面,每一帧都不是清晰的,这对算法分析物体边缘带来了干扰,所以比较适合体育、动画片,电影最好不开。

运动补偿效果和错误示意图
https://www.zhihu.com/video/1249646584188555264
硬件上唯一的区别是60hz和120Hz。
视频帧率常见的有24 30 50 60(23.976同理),面板工作刷新率一般要么是50/60hz,要么是100/120Hz,具体用哪个看厂家的算法和策略了,120Hz有空间补更多的帧,更好的动态清晰度,以及插黑帧BFI功能不会那么闪,当然60Hz面板貌似没有带BFI的。
实时补帧需要强大的硬件性能,用非线性编辑软件做补帧效果很好,但非常慢。
如何合理的评价运动补偿的效果非常困难,如果是CG画面或者动画片,每一帧都有清晰的边缘,不容易出错。但视频受限于快门速度,本身运动模糊就很多,区分模糊和补偿错误实在是困难啊。
回复
使用道具 举报
feitain321 | 来自上海
动态补偿是由电视硬件实现的!所以是解码插帧!
回复
使用道具 举报
czw7788 | 来自北京
首先运动补偿一般是通过插帧算法实现的,目前技术成熟,基本上都是插“计算帧”,也就是在两帧原图中间,预测计算出一个(甚至多个)新图像,使得低帧率视频提升到高帧率,显著提升画面流畅度。
然后题主提到拖影问题,有些液晶电视屏幕响应时间较长,像素点从亮到暗花费的时间甚至有十几毫秒,这是造成画面拖影的主要原因(降噪算法带来的拖影不提了),通过快速断电关闭背光(插黑帧?)尽量减轻响应时间过长带来的问题(960/720/240/120HZ  pwm调光),高端电视用的比较多,比如三星和索尼高端机型普遍采用pwm调光。
随便写写,我觉得这是好问题,后续我再仔细补充修改。
回复
使用道具 举报
快速回复
您需要登录后才可以回帖 登录 | 立即注册

当贝投影