《一种3D图像和视频质量评价算法介绍讨论班课件.pptx》由会员分享，可在线阅读，更多相关《一种3D图像和视频质量评价算法介绍讨论班课件.pptx（39页珍藏版）》请在三一办公上搜索。
1、ALGORITHMIC ASSESSMENT OF 3D QUALITY OF EXPERIENCE FOR IMAGES AND VIDEOS,董全武2011年5月26日,目录,背景- 3D 影视质量评价测试环境3D QoE 质量评价算法性能评估,2,背景- 3D 影视质量评价,3,电视发展的趋势,黑白 - 彩色 - 高清今后是什么？,4,5,6,3D电视产业链日趋成熟,7,3D电视走入家庭,8,QoE非常重要！,3D QoE 评价研究情况,传统的视频质量评价分为FR, RR,NR因为没有相应的3D的参考视频，我们能够获得的仅仅是左右两个view，因此只能通过它们来预测QoE，所以3D Qo
2、E天然就是NR的,9,文章背景,Title: ALGORITHMIC ASSESSMENT OF 3D QUALITY OF EXPERIENCE FOR IMAGES AND VIDEOS事件IEEE Digital Signal Processing Workshop Sedona, Arizona时间：January 04-07, 2011作者来自：The University of Texas at Austin, LIVEAnish Mittal、Anush K. MoorthyJoydeep Ghosh、Alan Conrad Bovik,10,测试数据集,11,常见视频测试库,V
3、QEG FR-TV Phase 1 Test SequencesLIVE：University of TexasEPFL: SwitherlandMiddlebury ：Middlebury college，USTID 2008,12,EPFL 图像/视频采集设备,13,EPFL Datasets,3D图像库图像大小：1920X10809个场景，每个有6种深度1个用于训练主观受试者,14,EPFL Datasets,3D视频库图像大小：1920X10806个场景，每个有5种深度每个场景时长10秒，25fps,15,主观评测,观看距离：2米打分：5分制测试人数图像库：17人视频库：20人,16,
4、3D QoE 质量评价算法,17,主要思路,18,Left view,Right view,Disparity Map,Spatial activity,Magnitude of motion,统计特征提取,特征选择,计算视差图（disparity map),19,20,计算空间活动特征,The NTIA General ModelNTIA ：The National Telecommunications and Information AdministrationVQEG：Phase II Full Reference Television (FR-TV)测试性能很好,21,计算运动特征,运
5、动特征提取算法介绍block-matching algorithm,BMA通过一种快速的宏块匹配的运动估计算法获取每个宏块的运动估计每个宏块的运动估计与前一帧求差值在帧内对所有宏块求平均值,22,提取统计属性（1）,23,平均值,中位值,标准差,峰度值,偏度值,D即视差图（disparity map),插1：解释“峰度”和“偏度”,峰度（Kurtosis）衡量实数随机变量概率分布的峰态。峰度高就意味着方差增大是由低频度的大于或小于平均值的极端差值引起的偏度（Skewness）衡量实数随机变量概率分布的不对称性。例如，偏度为负（负偏态）就意味着在概率密度函数左侧的尾部比右侧的长，绝大多数的值（包
6、括中位数在内）位于平均值的右侧。,24,提取统计属性（2）,25,平均值,标准值,峰度值,偏度值,视差图的微分值的统计特性使用Laplacian 算子对视差图进行计算用于捕获深度信息的变化,插2：为什么计算视差图的微分值,原始图像人眼在关注点区域附近的亮度对比度和梯度（gradient）高于其他区域解释：HVS是为了使获得的信息最大化视差图人眼在关注点区域附近的对比度和梯度（gradient）低于其他区域解释：HVS是为了简化对立体视觉的计算度,26,Pooling 策略,图像（15个维度）5 disparity4 disparity gradient6 spatial activity（左右
7、图像分别计算）视频（25个维度）除以上15个维度，增加：10 motion compensated disparity difference （左右图像分别计算）Pooling策略：一个视频内部所有帧求平均,27,特征选择,因为维度太多，要考虑缩减两种多元统计分析方法PCA：principal component analysisFFS：forward feature selection,28,PCA介绍,将多个变量通过线性变换以选出较少个数重要变量主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标
8、作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求 Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，第P个主成分,29,FFS介绍,主要步骤先从训练集中选择与主观值相关度最强的特征然后再选一个新的特征与它联合，使得联合以后的主观相
9、关度最高如此继续。,30,用特征值计算分数,采用线性回归方法进行计算,31,特征值向量权重因子向量常数参数,与主观评价方法进行对比,采用SROCC方法进行相关性分析 Spearman 等级相关系数（Spearmans rank order correlation coefficient, ）Spearman秩相关系数是一个非参数的度量两个变量之间的统计相关性的指标，用来评估当用单调函数来描述是两个变量之间的关系有多好。在没有重复的数据的情况下，如果一个变量是两外一个变量的严格单调的函数，则二者之间的Spearman秩相关系数就是+1或-1，称变量完全Spearman相关,32,实验结果,33,
10、3D Image QoE,9个场景X 6种镜头深度4（X6）个用于训练training2 （X6）个用于验证validation3 （X6）个用于测试testing场景选取遍历所有组合 =98种进行测试,34,35,对3D Image QoS起重要作用的特征,视差图平均值,视差图中位值,视差图标准差,视差梯度图平均值,视差在3D图像体验中起重要作用！,3D Video QoE,6个场景X 5种镜头深度3（X6）个用于训练training1 （X6）个用于验证validation2 （X6）个用于测试testing场景选取遍历所有组合 =15种进行测试,36,37,对3D Video QoS起重要作用的特征,空间活动图偏度值（左）,空间活动图峰度值,空间活动图偏度值（右）,运动估计图偏度值（左）,运动对3D视频体验非常重要,谢 谢 大 家 ！,38,39,
