《无线网络中视频点播业务的QoE评价机制及分析.doc》由会员分享，可在线阅读，更多相关《无线网络中视频点播业务的QoE评价机制及分析.doc（9页珍藏版）》请在三一办公上搜索。
1、无线网络中视频点播业务的 QoE 评价机制及分析曾怀东，邱雪松5101520253035（北京邮电大学网络技术研究院，北京 100876）摘要：Quality of Experience(QoE)是从用户角度出发，应用或者服务的总体可接受度。由于以 QoS 参数为基础的服务质量评价体系以技术为中心，具有忽略用户真实需求的局限性，该体系以及基于该体系的优化机制无法满足当前用户的需求。我们需要建立以用户为中心的服务质量评价和优化体系，即 QoE 评价和优化体系。伴随着终端迅猛的发展，终端上集中了大量表征用户偏好的第一手数据，而对此类终端信息的利用还不够充分。本文针对无线网络的多媒体业务提出了涵盖终
2、端影响因素，网络因素以及原始服务质量因素的综合 QoE 指标集合，基于该集合的 QoE 评价机制以及相应的 QoE 优化分析。QoE 的优化机制主要涉及在终端能力限制条件下对原始服务质量调整以及对网络资源的充分使用。本文同时给出了在 NS2仿真环境下对视频点播业务 QoE 的评价机制和优化效果的验证。关键词：QoE；视频点播业务；QoE 评价中图分类号：TP319A Novel QoE Assessment Scheme and Analysis for Video onDemand Application in Wireless NetworkZENG Huaidong, QIU Xueso
3、ng(State Key Laboratory of Networking and Switching Technology , Beijing University of Posts andTelecommunicaiton, Beijing 100876)Abstract: With the rapidly development of terminals, multimedia services for mobile device suchas Video on Demand (VOD) have become a focus. The management of VOD quality
4、 is one of thekey problems. As the QoS-based service quality assessment is technique-centered, it hasdifficulties in satisfying the customers real needs. Therefore, a novel user-centered scheme isneeded. Quality of Experience (QoE) which is the overall acceptance of the applications from theusers pe
5、rspective can meet users requirements. Problems in QoE assessment are the lack ofconsidering of the terminals impact as well as a large quantity of information which representsthe users preference concentrated on the terminal has not been fully utilized. In this paper, weproposed a comprehensive met
6、rics set including the original service quality factor, the networkfactor and the terminal factor, as well as a novel QoE assessment scheme based on the metric setwe build. This scheme includes function describing the relationship between QoE and theinfluence factors. The validation of the QoE asses
7、sment scheme is carried out through aquestionnaire survey and ns2 simulation. We utilize this function to assess the QoE of VOD. Thesimulation results prove that all the three type factors have impact on QoE and they haverelationship with each other. Additionally, our scheme performs well in real-ti
8、me QoE assessingand could be extended to other multimedia services.Keywords: QoE metrics; QoE assessment; VOD400 引言网络和终端技术的持续演进使得用户个性化定制服务成为可能，服务提供商越来越关注用户群体的细分以及用户使用服务的体验。良好的服务体验能够极大的提升服务的附加价值。用户体验质量（QoE）是从用户角度出发，应用或者服务的总体可接受度1。无线网络45中视频点播业务作为最为吸引用户的业务之一，其 QoE 的评价机制和优化分析具有非常重作者简介：曾怀东，（1986-），男，硕士研究
9、生，网络管理。通信联系人：邱雪松，（1973-），男，教授，网络管理与通信软件. E-mail: xsqiu-1-要的作用。从对视频点播业务质量造成影响的位置角度进行划分，影响视频点播业务 QoE 的因素主要由三部分构成，第一部分是视频服务本身的质量，我们称之为原始服务质量因素，例如视频点播业务中视频的分辨率，清晰度以及压缩比等。第二部分是视频点播业务在传输过程50556065707580中受到的影响，称为网络影响因素，例如网络的延时抖动以及丢包等，第三部分是终端本身的展示能力，称为终端影响因素，例如终端 CPU 的运算能力，编解码的支持能力，屏幕尺寸，所能支持的视频格式等。针对原始服务质量因
10、素和终端影响因素的优化，具有极大的关联性。由于用户所持的终端的性能参数大多是不可配置的，如果想针对终端因素进行服务 QoE 优化，需要针对原始服务质量因素的优化策略予以支持，即在终端性能的限制条件下，向用户提供能够带来最佳用户体验质量的服务。举例来说，在使用视频业务时，用户的终端为手机，其解码能力和CPU 计算能力不同，那么不同编码方式和压缩率的视频在手机播放用户的体验不同。服务提供商应当根据终端能力向用户提供合适编码方式和压缩率的视频。如果用户的终端能力较低，而服务提供商提供的视频需要的处理能力高，这样服务在终端上的展示就会遇到延迟视音频不同步等问题。尽管在服务提供商看来是提供了高品质的视频
11、服务，但是在用户看来其服务的 QoE 却会很低。所以我们应当收集用户终端的能力信息，为用户量身打造服务，提升服务的 QoE，这也就是说为了满足用户的需求，对服务的评价应当是 per-service 和per-person 的。针对网络影响因素的优化机制研究已经获得一些成果，这些研究主要针对的是网络中具有代表性 QoS 参数，例如丢包，时延，抖动，拥塞等等。针对第二部分的优化并非完全独立的。在带宽受限的情况下，多用户竞争带宽资源，为了避免拥塞，我们可以借助针对第一部分的优化策略，将业务转换为较低比特率的类型。然而，低比特率的业务一般会造成 QoE降低，这时我们将面对业务完成质量和业务内容质量的取
12、舍。我们需要找到一个折中方案，使业务内容质量以及业务完成质量的组合最大限度的满足用户要求。如果希望获得对 QoE优化的全局最优策略，我们需要综合考虑这三部分因素的影响。现有的 QoE 评价及优化机制应用于无线网络中多媒体业务场景中，主要面临以下几个问题：1).缺乏具有通用性的视频点播业务指标体系，现有的指标体系中对终端因素的考虑不足，进而影响 QoE 评价结果同真实用户感受的契合度。2）现存视频点播业务 QoE 优化的过程中采用针对单一因素的优化方法，如果针对两个或者两个以上因素进行优化，优化的效果还有很大的提升空间。为了解决这些问题，首先我们提出了包括原始服务质量因素，网络影响因素和终端影响
13、因素在内 QoE 指标体系。其次我们以该指标体系为基础给出了无线网络中视频点播业务 QoE的评价机制。本文的后续部分组织如下：在第二部分，我们对多媒体业务 QoE 相关工作进行了介绍。在第三部分，我们建立了无线网络中视频点播业务的综合 QoE 指标体系。在第四部分，我们提出了基于我们建立的指标体系的 QoE 评价机制。对视频 QoE 评价和分析在论文的第五部分。第六部分是结论和未来的工作。-2-1 相关工作1.1 QoE 指标及采集方法859095100105QoE 指标的主要来源是之前定义的 QoS 模型的指标集合。经常被引用的模型包括 3GPPQoS 模型，ETSI QoS 模型等。3GP
14、P QoS 模型2将业务分为四类，分别是会话级、流级、交互级和后台级。ETSI 从终端用户的角度也就是用户体验的角度对 QoS 规则进行了解释3。根据采集 QoE 指标类型，即主观 QoE 指标和客观 QoE 指标，我们将采集方法分为主观QoE 指标采集方法和客观 QoE 指标采集方法。主观 QoE 指标的采集通过收集用户使用服务后填写的体验报告实现，文献4描述了一种在用户终端上安装代理软件，实现收集用户对服务的评价的主观 QoE 指标的方法。客观 QoE 指标通常指时延抖动等网络性能参数，终端能力参数等间接反映用户体验的指标。网络性能参数的采集方法同 QoS 指标采集方法类似，终端能力参数的
15、采集可以通过终端上安装的代理软件上报实现。1.2 QoE 评价机制目前 QoE 测量相关的业务对象主要集中在语音业务和视频业务。语音业务的 QoE 测量机制相对成熟。ITU-T 针对传统电话网络提出了 PSQM5，并在在PSQM 基础上提出了 PESQ6。PSQM 和 PESQ 不适用于在数据网络上分析语音质量。为了克服 PSQM 和 PESQ 的缺点，ITU-T 在 G.107 标准中提出 E-model，它关注数据全面的网络损伤因素，更适应在数据网络中语音质量的评估。ITU 提出了针对视频 QoE 主观评价机制的草案7-9，给出了标准观测条件，选择测试者和测试素材的标准，评价过程和分析方法
16、，包括了 DSCQS, DSIS 等多种评价模型。在视频QoE 客观评价机制方面，除了 mean squared error (MSE) ，peak signal-to-noise ratio(PSNR)这两种已经被广泛地应用方法以外， VDP, JND,MPQM 这些基于 HVS 的模型也有很好的评价效果。1.3 QoE 优化方法随着 QoE 评价机制研究的深入，QoE 的优化方法也得到了越来越多研究者的关注。文献10引入覆盖路由，带宽管理以及动态编码转化机制。文献12提出了 QoE 自主优化的闭环机制。文献13提出由服务管理实体和移动性管理实体组成的 QoE 优化框架以及相应的优化算法。1
17、10115120综合应用跨层优化方法提高 QoE 优化效果是未来 QoE 优化研究的趋势。2 无线网络中视频点播业务的 QoE 指标传统的 QoE 指标被划分为主观 QoE 和客观 QoE。二者的主要区别在于，前者以用户为中心，从用户本身感受出发，后者以技术为中心，以网络参数指标为基础。就二者在真实反映用户体验这个角度来看，主观 QoE 毫无疑问更贴近用户，其评价结果也更接近用户的真实感受。缺点在于主观 QoE 时效性不强。而客观 QoE 尽管在反映用户真实感受这点上不如主观 QoE，但是它对用户的感受进行实时的反映，进而可以随时对服务进行调整。在主观客观 QoE 指标的基础之上，我们对客观
18、QoE 进行了进一步细分，客观 QoE 指标被细分为终端 QoE 指标（DQoE）和网络 QoE 指标（NQoE）。如引言所述，对视频点播业务 QoE 造成影响的因素从源到宿应当包括三部分，分别是原始服务质量因素，网络影响因素，终端影响因素。网络影响因素和设备影响因素分别对应-3-采取推送服务任务调度和信道选择策略对 QoE 进行优化。文献11采用的优化策略包括于 NQoE 和 DQoE。我们增加了一类新的客观 QoE 指标，即原始服务质量因素。为了表述的清晰，我们称原始服务质量因素为 O-Factor。2.1 无线网络中视频点播业务的原始服务质量因素原始服务质量因素是指服务提供商提供的多媒体
19、服务本身的质量。在视频点播业务中是125130135140145150155指服务提供商发送的视频的质量参数。例如视频的发送比特率、分辨率、清晰度以及压缩比等。O-Factor 对视频点播业务 QoE 的影响作用体现在两方面。一方面是 O-Factor 直接影响视频质量，另一方面是 O-Factor 通过 N-Factor 间接影响视频点播业务 QoE。直接影响是指在不考虑网络影响因素和终端影响因素的情况下，视频的发送比特率、分辨率以及清晰度等指标越优秀，用户感知的视频点播服务质量越高。也即 O-Factor 决定了用户体验视频点播业务质量的上限。间接影响是指 O-Factor 集合中的指标越
20、优秀，传输视频所占用的网络资源也越多，当O-Factor 中的指标高于某个数值时，N-Factor 中的指标会出现下降。因此，在网络资源有限的情况下，不能通过无限制的提升 O-Factor 集合中的参数来提升 QoE。例如，我们可以通过提升 O-Factor 中的发送比特率来提升视频 QoE14,随之而来的是带宽占用的增加，在带宽资源有限的情况下，N-Factor 中的丢包率会出现上升，从而对 QoE 的提升发生反作用，QoE又会有相应的下降。2.2 无线网络中视频点播业务的网络影响因素网络影响因素是指视频业务在网络上传输的过程中受到的影响。由于影响无线信道传输质量的因素较多，无线网络服务质量
21、波动较大，网络影响因素对视频 QoE 的影响非常明显。我们并不关心造成网络传输质量波动的具体原因，我们所关心的是对视频点播业务有直接影响的网络 QoS 指标，例如网络的延时抖动、丢包率以及接入方式等。网络影响因素对视频 QoE 的影响可以概括为对用户使用视频点播业务质量的降低。优秀的网络状况使得视频经过网络传输后质量下降的程度低，从而给用户带来良好的用户体验，糟糕的网络状况会造成点播视频传输后质量大幅度降低，例如造成语音不同步，画面质量降低等后果。2.3 无线网络中视频点播业务的终端影响因素终端本身的展示能力，称为终端影响因素，例如终端 CPU 的运算能力，编解码的支持能力，屏幕尺寸，所能支持
22、的视频格式等。N-Factor 对的视频 QoE 的影响通过其与原始视频所需的终端展示能力的匹配程度来体现。采用匹配度这一指标来衡量 N-Factor 对视频 QoE 的影响的原因是：终端作为用户体验服务的设备需要考虑便携性移动性等要求，其对服务的处理能力是有上限的，高质量的视频通常都需要高的处理运算能力予以支持，超出终端处理能力的高质量服务对用户来说是没有意义的。也就是说从用户的角度出发，原始视频的质量并不是越高越好，而应当与终端能力相匹配。之前的 QoE 研究工作中很少涉及对终端影响因素的考虑，其中一个重要的原因是终端的异构性导致终端影响因素的抽象建模比较困难。本文为了解决这一问题提出了一
23、种描述终端影响因素的方法，该方法将在后文详细介绍。综上所述我们可以得出这样的结论：如图 1 所示，O-Factor, N-Factor, D-Factor 三者共同-4-160165170175180185影响了最终的用户体验到的视频点播业务的 QoE，并且这种影响作用并不是孤立的。图 1 各种因素对视频 QoE 的影响3 无线网络中视频点播业务的 QoE 评价本文提出的视频点播业务 QoE 的评价方法评价方法主要包括如下步骤：1.对有代表性的 D-Factor 建模。通过数据训练出 D-Factor 同 O-Factor 之间的匹配度函数。2 选择有代表性的 O-Factor 和 N-Fac
24、tor。通过软件仿真建立指标集合与视频 QoE 之间的映射关系。3.通过 D-Factor 同 O-Factor 的匹配度函数以及 O-Factor 和 N-Factor 指标集合与 QoE 的映射关系构造综合的 QoE 评价函数，利用此函数对无线网络视频点播业务的 QoE 进行评价。3.1 D-Factor 与 O-Factor 匹配度函数在第 2 节中我们对 D-Factor 影响视频 QoE 的机制进行了分析，并提出了 D-Factor 同O-Factor 的匹配度这一概念用于定量描述 D-Factor 对视频 QoE 的影响效果。我们将 D-Factor与 O-Factor 的匹配度定
25、义为对视频 QoE 最终结果的加权影响因子。本节将详细讨论 D-Factor与 O-Factor 匹配度的建模方法。令 = 1, 2 ,., n 代表 D-Factor 的集合。 i 为 D-Factor 的指标或指标的集合，例如终端每秒可处理视频的比特量（即终端的计算能力），终端屏幕支持的最大分辨率和终端支持播放的视频格式的集合。 = 1, 2 ,. m 代表 O-Factor 的集合， j 为 O-Factor 的指标，例如视频点播服务的发送比特率，视频分辨率和视频格式。为了分析的简单，我们假设 与 中的元素映射关系为一一映射， i 与 i 为对应的元素或集合。通常情况下 D-Factor
26、 保持不变（因为用户终端的参数一般不发生改变），随着 O-Factor 的变化，二者的匹配度会达到一个最佳值，在达到最佳值之后，匹配度可能出现两种情况，一种是保持不变，另一种是逐渐降低。因此我们令 i = i / i 。则单一元素的匹配度可以表示为以 i 的函数 f ( i ) 。f ( i ) 通过用户调查所得实验数据拟合得出。参考 MOS 的定义， f ( i ) 1,5 ，数值越大匹配度越高。 f ( i ) 由 f ( i ) 归一化所得， f ( i ) = 0.25* f ( i ) 。总的匹配度为单一元素匹配度的累乘，其公式如下：F = f ( i )（1）3.2 N-Facto
27、r 和 O-Factor 与 MOS 的映射关系N-Factor 和 O-Factor 中的元素与全参考模型评价值之间存在着映射关系，这种映射关系190可以通过实验仿真得出。全参考评价模型评价值与人类对视频质量的主观感受（MOS 值）最为接近，但是全参考评价模型需要原始视频的完整序列同用户侧接收视频进行对比分析，-5-该模型需要占用额外的带宽资源，并且需要一定时间的分析后才能得出结果。在视频点播业务 QoE 的实时评价上显然不适合采用全参考模型。为了同时满足最终评价结果的准确性和时效性，我们结合全参考模型贴近用户感受的优195点以及 N-Factor 和 O-Factor 映射时效性高的优点，
28、以全参考模型为桥梁，建立 MOS 与N-Factor 和 O-Factor 的映射关系。假定 = 1, 2 ,., l 代表 N-Factor 集合， i 为 N-Factor 指标，例如网络丢表率，网络时延等指标。则全参考模型评价值 K 和 , 的映射关系为：K = h(, )(2)200全参考模型评价值 K 和 MOS 值之间的映射关系为:MOS = g(K )由此可得 N-Factor 和 O-Factor 与 MOS 的映射关系：MOS = g(h(, )(3)(4)在实时评价视频点播业务 QoE 之前，将相对稳定的映射关系 MOS = g(K ) 和 K = h(, )205确定下来
29、，进而获得 MOS = g(h(, ) 对业务进行实时评价。MOS = g(K ) 通常在新的全参考评价模型提出后就会给出，例如 MOS = g(PSNR) 等。K = h(, ) 可以通过搭建网络环境仿真，用仿真数据训练得出，具体的构造过程在第四节描述。我们将考虑终端影响因素匹配度的视频点播业务 QoE 的 MOS 值定义为 MOS D ，则最终的 QoE 评价函数为：210MOS D = F * MOS = f ( i ) * g (h(, )(5)4 无线网络中视频点播业务 QoE 评价的仿真验证4.1 匹配度函数 F 的验证我们选用用户终端每秒可处理视频的比特量与视频发送比特率这二者的
30、匹配度进行了用户体验的实验，并根据实验的数据通过非线性拟合算法计算二者的匹配度函数。由于用户215220终端每秒可处理视频的比特量表征的是终端的运算能力，该能力需要量化，所以我们选用终端 CPU 处理速度代替该参数。即终端 CPU 处理速度为 1 ，视频比特率为1我们选择了 50 名用户参加实验，参与实验的人员在三部终端上观看不同比特率的视频并根据自己的体验对视频评分。为了排除终端其他因素和网络因素的干扰，我们选择的终端除处理能力以外其他的技术指标（例如屏幕尺寸，播放软件等）尽量相同或相近，并且播放的视频事先存储于终端上。 1 的取值分别为 300MHz，525MHz，570MHz，720MH
31、z 和800MHz。图 3 展示了使用不同终端情况下用户给出的视频匹配度的归一化评分与1 之间的关系。图 4 中的离散点表示 1 = 1 / 1 与匹配度 f ( i ) 的关系(异常数据已被剔除)，连续曲线是指数拟合的结果。最终拟合所得的匹配度函数如下：F = f ( i ) = q1 * exp(q2 * 1 ) + q3 * exp(q4 * 1 )-6-(6)225图 2 视频码率和 CPU 计算能力匹配度拟合曲线函数 F 的参数取值如表 1 所示。拟合函数的置信区间为 95%，SSE 值为 0.03046，拟合曲线效果良好。230表 1 拟合函数参数值CoefficientValue
32、q1 q2 q31.106 -0.1845 -0.6033q4-0.60334.2 N-Factor 和 O-Factor 与 MOS 映射关系的验证现有的对视频质量进行评价的全参考模型有很多，我们选择错误！未找到引用源。提出235的 SSIM 模型作为我们的实验模型，即公式(3)中 K = SSIM 。我们对错误！未找到引用源。提供的实验数据进行了多项式拟合，并针对 MOS 取值为离散值的特点，对拟合结果进行了简化处理，得到如表 2 所示映射关系。表 2 MOS=g(SSIM)SSIMMOS0,0.5010.5,0.85 0.85,0.93 0.93,0.982 3 40.98,15240为
33、了获取无线环境下 VoD 业务的 SSIM 值同映射关系，我们参考文献错误！未找到引用源。使用 NS-2错误！未找到引用源。搭建了如图 5 所示的仿真环境。节点 A 代表向用户提供 VoD 服务的内容服务器；节点 B 代表其他内容服务器，用于提供仿真的背景流量；节点 C 代表无线路由器，节点 D 代表接入无线网络的用户终端。C 与 D 之间通过 802.11 无线245250通信协议进行通信，最大速率为 11Mbps。图 3 仿真环境拓扑图我们选择了 N-Factor 中的误报文率（PER）和 O-Factor 中的视频比特率（BR）作为 QoE指标。通过使用非线性拟合算法，我们获得了如公式(
34、7)所示的 MOS 映射函数。2(7)函数拟合过程中的 RMSE 值为 0.04294， Correlation Coef 值为 0.9397.公式(7)中的相-7-MOS = p1 + p2 * BR + p3 * BR + p4 * exp( PER / p5 )255关参数如表 3 所示。表 3 映射函数系数CoefficientValuep10.4733P2 P3-1.7966E-4 -1.9618E-6P40.3940P50.1283图 4 展示了不同 PER 和不同 video bitrate 情况下的 MOS 值曲线。图 4 不同 PER 下的 MOS-video bitrate
35、 曲线图(带宽=1Mbps)260通过图我们可以得出如下结论：1）.当视频比特率远小于无线带宽时，MOS 值会随着视频比特率的增大而增大；当视频比特率接近无线信道带宽时，MOS 值达到峰值。在带宽没有限制的情况下，MOS 值和视频比特率有正相关关系。2652702）.当视频比特率达到一定值之后，MOS 值随着视频比特率的增加而下降。造成这一现象的原因是带宽无法满足高比特率视频传输的需求。网络资源的有限性降低了传输后视频的质量。3）.MOS 值同 PER 值的关系是约为反比的。高 PER 对高视频比特率视频质量的影响要大于低视频比特率的视频。通过对比图四和图五，我们可以发现当 PER 达到某个确
36、定的值时（例如，PER=0.08），PER 对视频 QoE 的影响将占据所有影响因素的主导地位，其他因素的影响可以忽略不计。根据公式(6)和(7)我们得到了最终的 QoE 评价公式：MOS D = F * MOS = q1 * exp(q2 * 1 ) + q3 * exp(q4 * 1 ) *2（8）5 结论(1= BR / CPU Clock Speed )275280本文提出了一种新的 QoE 评价机制并对无线网络中的视频点播业务 QoE 进行了分析。这种新的评价机制引入了终端的影响。我们通过匹配度这一参数量化终端对 QoE 的影响。我们得出 O-Factor, N-Factor and
37、 T-Factor 均对 QoE 有着影响，并且这些因素之间还有着相互制约和影响。在实际网络中，O-Factor 应该根据相关 T-Factor 和 N-Factor 进行调整。我们还得到了当 PER 大于一定值之后，其他因素 QoE 的影响可以忽略不计这一实验结论。另外，我们的方法在实时评价性和应用于其他多媒体评价的通用性方面都有较佳的性能。未来的工作中，我们将把本文提出 QoE 评价机制扩展到其他多媒体应用例如 IPTV 和VoIP 上。另外，无线网络中视频点播业务的 QoE 优化方面的课题也亟待研究。如何建立面-8-+ p * BR + p * BR + p * exp(PER / p
38、p1 2 3 4 5 )向用户的 QoE 评价和优化闭环需要进一步的深入研究。285290295300305310参考文献 (References)1 P.Brooks, B.Hestnes, User Measures of Quality of Experience: Why Being Objective and Quantitative IsImportant, IEEE Network, March-April 2010, v24, n2, 8-13,2 3GPP, TS 23.107 V3.6.0 (2001-04) QoS Concept and Architecture3 ET
39、SI,TS 202250,Speech Processing Transmission and Quality Aspects(STQ);QoS Aspects for PopularServices in GSM and 3G Networks,v.1.2.1.4 Jon Froehlich, Mike Y. Che, Sunny Consolvo, Beverly Harrison, and James A.Landay，MyExperience: ASystem for In Jon Froehlich, Mike Y. Che, Sunny Consolvo, Beverly Harr
40、ison, and James A.Landay,MyExperience: A System for Tracing and Capturing of User Feedback on Mobile Phones, MobiSys07, p 57-70,20075 ITU-T P.861 Perceptual Speech Quality Measure6 ITU-T P.862 Perceptual evaluation of speech quality (PESQ): An objective method for end-to-end speechquality assessment
41、 of narrow-band telephone networks and speech codecs7 ITU-R Recommendation BT.500-11, Methodology for the subjective assessment of the quality of televisionpictures, International Telecommunication Union, Geneva, Switzerland, 20028 ITU-T Recommendation P.910, Subjective Video Quality Assessment Meth
42、ods forMultimedia Applications,International Telecommunica-tion Union, Geneva, Switzerland, 1999.9 ITU-T Recommendation P.911, Subjective Audiovisual Quality AssessmentMethods or MultimediaApplications International Telecommunication Union, Geneva, Switzerland, 1998.10 Randeep Bhatia, Girija Narlikar, Ivica Rimac, and Andre Beck, UNAP: User-Centric Network-Aware Pushfor Mobile Cont
