研究进展

  首先推荐这方面的大牛——雷霄骅,刚开始接触这个领域时,他的博客让我学习到好多。遗憾的是他已经离开我们。大家可以从他的博客中找学习很多基础性的知识。

一 视频质量评价大致可以按照以下方法划分:

    (1)依据对原始视频的参考程度分类:全参考、半参考以及无参考;

    (2)依据特征的来源:像素域,压缩域等;

        (3)依据采用方法:传统机器学习方法、深度学习方法;回归、分类等;

    (4)依据研究对象划分:压缩视频(只有拍摄过程中的抖动等以及压缩失真)、用户看到的视频(压缩失真+传输失真);

    (5)依据是否有“人”的参与:客观评价、主观评价。

二 就上述5个部分,介绍其经典的方法:

    (1)关于全参考、半参考以及无参考的介绍,参照下面链接:

                   http://yunxin.163.com/blog/video14-0809/

    (2)关于像素域,压缩域,统计信息等的研究:

     像素域:在深度学习出来以前,像素域的研究较少,深度学习出来之后,视频质量评价跟随深度学习的脚步,主要有以下几种框架:

        CNN提取帧级特征,之后送入LSTM中做回归(CNNCNN系列的网络框架,如Resnet等);

        3DCNN直接做回归(速度较慢);

        双流网络,CNN+光流信息等等。

     压缩域:将视频进行压缩后,统计其I帧,P帧位置,DCT域中不同宏块的比例等作为影响因素。

        统计信息:特意把统计信息拿出来,是因为有些研究是针对用户看到的视频,统计卡顿时长、位置、次数等信息作为影响因素。

    (3)采用方法:传统机器学习方法如随机森林、LASSO、最小二乘回归等等;深度学习方法如CNN等系列架构;

    (5)依据是否有“人”的参与:客观评价中引入一些列客观指标,如SSIM,PSNR,SSIMplus,VMAF等等,主观质量评价,即用户主观打分(MOS),分为0-5或者0-100不同的打分方法。






最后编辑:2020年06月07日 ©著作权归作者所有

发表评论

正在加载 Emoji