《云视频平台总体技术规范.doc》由会员分享,可在线阅读,更多相关《云视频平台总体技术规范.doc(29页珍藏版)》请在三一办公上搜索。
1、云视频平台总体技术规范编制单位:深圳市融创天下科技股份有限公司版本号:0.1.0目录1 范围22 规范性引用文件23 术语、定义和缩略语24 业务概述34.1. 业务描述34.2. 业务分类34.2.1. 流媒体业务34.2.2. 视频下载业务44.2.3. 视频上传业务44.2.4. 远程视频监控业务45 平台支持的视频格式参数45.1. 输入参数定义45.2. 输出参数定义66 技术方案76.1. 概述76.2. 平台架构76.2.1. 整体架构76.2.2. 总体接口96.2.3. 典型应用场景116.2.3.1. 与宜居通业务平台对接116.3. 内容管理系统126.4. 转码系统12
2、6.5. 流分发系统126.6. 网络部署126.6.1. 逻辑组网126.6.2. CDN组网126.7. 方案亮点127 配置计算128 业务流程128.1. 内容注入128.1.1. 静态内容注入128.1.2. 直播流注入128.2. 内容预分发128.3. 内容路由128.4. 存储管理128.5. 缓存管理128.6. SP开户138.7. HTTP Progressive Download138.8. DASH138.9. 手机用户登录流程139 系统安全1310 编制历史13附录A 平台接口错误码定义13附录D 图像分辨率定义141 范围本文档定义了云视频平台的子系统组成、子系
3、统的功能职责、关键技术参数要求和业务流程、接口流程、子系统之间的接口协议以及平台与外围系统的接口协议。云视频平台各子系统和基于该平台的业务系统均需遵循该规范进行建设和对接。2 规范性引用文件下列文件中的条款通过本方案的引用而成为本方案的条款。表2-1 规范性引用文件序号标准编号标准名称发布单位123456783 术语、定义和缩略语表3-1 术语、定义和缩略语缩略语英文全称中文含义DASHDynamic Adaptive Streaming over HTTP基于HTTP的动态自适应流1)4 业务概述4.1. 业务描述视频平台通过流媒体技术为用户提供视频播放业务基础能力引擎,业务平台基于该基础能
4、力引擎技术规范开发和对接从而实现可运营的流媒体方式业务。具体而言,流媒体方式是指把连续的影像和声音信息经过压缩处理后放到网络服务器上,使移动终端可以边下载边播放。流媒体技术是网络视频技术和通信技术发展到一定阶段的产物,它融合了多种网络技术,涉及到流媒体数据的采集、压缩、存储以及网络通信等各个方面。视频下载业务是指用户将整个多媒体文件完全下载到终端后,再选择任意时间播放视频文件。视频上传互动是指用户通过无线网络将自有视频文件上传到网络服务器上,分享给其他用户的业务。远程视频监控是指用户通过手机、平板和PC等终端通过网络连接到远程IP摄像头或网络视频采集设备观看现场实时视频或点播录像。4.2. 业
5、务分类根据业务使用方式不同,本业务分为:流媒体业务、视频下载业务、视频上传业务、远程视频监控业务、广告插播业务、图片浏览业务和云存储业务。4.2.1. 流媒体业务广告插播生成视频图片缩略图图片上传和浏览存储业务终端播放器实时从视频平台上获取流媒体数据,边下载边播放,流媒体内容不在终端设备上存储。如果同一内容需要多次重复播放,需要每次播放时从视频平台上重新下载数据。根据流媒体内容的来源,流媒体业务可分为点播、直播、直播回放/时移、滚播等以下几种:1. 流媒体点播内容提供者预先对一段多媒体内容进行编辑、压缩编码,形成指定格式的文件,然后存储到手机视频业务平台上。用户根据需要选择视频平台上的内容文件
6、进行播放。2. 流媒体直播终端播放器播放流媒体直播内容时,内容的播放时刻与内容源事件的发生时刻相同,即流媒体编码服务器对内容源进行实时的压缩编码,经由手机视频业务平台发送到用户终端。流媒体业务是一个内容边下载边播放的过程,内容编码速率要与网络带宽相匹配。流媒体内容的播放质量与内容编码速率有关,因此流媒体业务的质量会受到网络带宽的制约。3. 流媒体直播回放/时移流媒体直播回放是指将近期播放过的直播业务的媒体内容进行重复播放,以便错过直播的用户可以再次收看。4. 流媒体轮播流媒体滚播是指将特定的业务内容(如热点新闻等)进行重复播放,以便用户可以再次收看该业务内容。4.2.2. 视频下载业务视频下载
7、业务是指用户将视频内容先下载并存储到本地终端中,然后再进行播放。对于视频下载业务,内容编码速率与网络无关,为提高内容播放质量,可以提供较高速率的内容,但同时要考虑到终端的处理能力和存储能力。4.2.3. 视频上传业务视频上传业务是指用户将事先录制的视频文件上传至网络侧平台,供其他用户播放,分享。4.2.4. 远程视频监控业务指用户通过网络访问远程摄像头的监控现场视频或点播摄像头的监控录像。4.2.5. 广告插播业务广告插播指的是在视频片头、片尾或播放过程可进行广告插放。目前网络视频广告最常见的表现形式有:前置式广告、视频贴片广告(PRE-ROLL视频插播广告)、浮层广告(OVERLAY视频覆盖
8、广告)、播放器背景广告(COMPANION视频伴随广告)等。前置式广告:这是一种视频区域内的强制性广告形式,在视频播放之前,附上一段数秒钟的视频广告。该方式很好地利用了视频下载缓冲的时间。视频贴片广告:这是一种视频区域内的强制性广告形式,在播放广告时,视频内容就要停下。它一般分为前、中、后三种播放形式。用户在网上观看一个节目或一段视频之前,将会看到一段数秒钟的广告,即“前播”广告;有时候广告插播在节目中间等待缓冲的时间,即“中播”广告;有时候广告插播在节目播放完毕后,即“后播”广告。视频浮层广告:此类广告的特点是广告与视频内容可以同步进行。当播放视频内容时,广告或图像广告会在短时间内浮现在视频
9、顶端或底部,当用户将鼠标指向或点击广告时,会弹出更大的广告幅面,或者打开新网站。这种广告不会打断用户的观看过程,被很多网站采用。播放器背景广告:这是一种视频区域外的广告形式,当用户打开视频节目时,广告会以精美的海报图片形式展现在视频区域周围,作为视频页面的背景。播放器背景广告在视频播放的整个过程中都在传达品牌信息,并邀请用户点击其他广告,访问广告主网站。4.2.6. 图片浏览业务根据图片的来源不同,又分为两类:一类指内容提供商或用户按平台要求规格把原始图片上传到云视频平台,由平台编辑生成多种规格的图片,并输出可供用户在终端进行浏览。另一类指平台通过提取视频文件的关键帧从而生成视频一系列的缩略图
10、,并通过平台编辑为缩略图生成多种规格的图片,最后输出可供用户在终端进行浏览。5 平台支持的视频格式参数视频平台支持高清(HD)标准、标清(SD)标准和流畅(FD)标准同步进行播出的需求,对主流的视频压缩格式支持编解码与传输,并具有对多种分辨率与码率的兼容性能。5.1. 输入参数定义表5-1-1 输入传输协议定义表分类传输协议URI格式点播文件本地文件/data/video/file.extCIFS/NFS/data/video/file.extHTTPhttp:/serverip:port/path/file.extHTTPShttps:/serverip:port/path/file.ext
11、FTPftp:/serverip:port/path/file.extFTPSftps:/serverip:port/path/file.extSCPscp:/serverip:port/path/file.extAmazon S3s3:/buket/object低优先级vStorage VMFSHDFShdfs:/serverip:port/path/file.ext直播源AV口模拟电视信号源色差分量接口数字电视信号源可选HD-SDI、HDMI数字电视信号源UDPMPEG2-TS流RTPMPEG2-TS流表5-1-2 输入容器格式定义表容器类型文件扩展名Window Media*.wmv;*
12、.avi;*.asfMPEG-1 System Steam*.mpg;*.mpegMPEG-2 Elementary Stream*.m2v/m1vMPEG-2 Transport Stream*.m2t2;*.m2t;*.mts;*.ts;*.trp;*.tpMPEG-4*.mp4;*.m4v3GP*.3gp;*.3g2DVD video object*.vobReal Media*.rm;*.rmvbApple QuickTime media*.mov;*.qtFlash Media*.flv;*.f4v;*.swfMatroska Media*.mkvOthers*.divx表5-1-3
13、 输入视音频编码定义表视频解码音频解码MPEG 1/2/4AC3H.264 high/main/baseDTSVC-1MPEG-1 layer 1/2/3WMV 7/8/9WMAMJPEGAAC HE/LCOn2 VP6AMRRealVideoRealAudioH.261/262/263AIFF;OGG audio;QCELPApple ProRes 4225.2. 输出参数定义表5-1-4 输出格式定义表分类容器格式/媒体流协议(视音频编码)文件输出.mp4(TIVC;TIAC-H/TIAC-L).mp4(H.264;AAC,AAC-LC,AMR-NB,AMR-WB).F4V(H.264;A
14、AC,AAC-LC,AMR-NB,AMR-WB).TS(H.264;AAC,AAC-LC,AMR-NB,AMR-WB)TMSS流输出TMSS(多路)RTSP流输出RTSP(多路)MS流输出WMS(多路)IIS smooth streaming(多路自适应) FLASH流输出RTMP(单路)HTTP dynamic streaming(多路自适应)Apple流输出HLS(多路自适应)表5-1-5 输出清晰度定义表清晰度编码标准分辨率帧数I帧间隔编码模式码率(Kbps)流畅(FD)TIVC176X144(QCIF)10VBRCBR30TIVC/H.264320X240(QVGA)15VBRCBR8
15、0标清(SD)H.264640X480(VGA)25VBRCBR300500H2.64720X576(D1)25VBRCBR500750高清H.2641280X720(720P)30VBRCBR10002000H.2641920X1080(1080P)24VBRCBR4000H.264(1080P)30VBRCBR5000H.264960X540(QHD)30VBRCBR10006 技术方案6.1. 概述云视频平台基于开放架构,遵循松耦合和可扩展原则对子系统进行划分,并对各子系统之间的接口和协议进行标准化。设计上平等对待我司与第三方提供的组件,使得各组件可替换可增加。云视频平台遵循公司T3平台
16、的TIVC流体系架构,并在T3基础上进行标准流扩展,结合分布式集群、云计算和云存储技术从而丰富我司视频平台的能力,使之在视频接入层能适应更多格式的视频源接入,在视频压缩计算上提供更高效可控的转码能力,在视频存储和流分发上支持成熟的云存储和CDN方案,在输出格式上满足当前各类DASH流和RTSP流规范,从而使平台达到海量视频源接入并为大规模用户提供可运营的多媒体服务。6.2. 平台架构6.2.1. 整体架构接入系统承担媒体流转发加入接入管理系统:设备、直播频道、上传转出的内容要备份到另一个物理服务器内容管理系统考虑视频分析功能云视频平台整体架构 整体架构描述云视频平台包含五大子系统:内容管理系统
17、、接入系统、转码系统、分发系统和网管系统。内容管理系统与接入系统属于云视频平台重要的前端系统,负责对接信源,属于平台上层系统,主要处理复杂的信源结构,实现多重信号、码流及元数据的规范化。分发系统负责响应用户的不同内容请求,控制媒体流从前端传输至客户端,为视频点播、直播、时移、精彩回放等业务提供后台服务。转码系统属于平台的密集计算单元,负责根据平台要求对输入的视频源进行压缩编码,输出多种码流的视频流和视频文件给分发系统。内容管理系统主要包含内容元数据采集、内容管理、内容分发和广告管理。内容元数据采集负责提供多种采集协议,并对采集到的元数据进行校验和存储,内容元数据至少包括视频标题、简介、海报、媒
18、体文件或媒体流URL、内容源容器格式、视音频解码规范、内容输出容器格式、视音频编码规范。内容管理负责内容状态监测、内容分类组织和内容生命周期管理。内容分发负责内容元数据、媒体文件和实时流推送和注入控制,把内容元数据推送给业务门户,是面向下一级系统的功能模块,通过该模块实现与CDN的对接和多级CMS的组网。广告管理负责广告生成、广告审核、广告下载、广告播放管理和广告价格管理等。云视频平台的内容管理系统属于基本的媒体资产管理,不负责内容在业务门户展现形式的编排,不负责内容的产品定义和鉴权控制。接入系统负责IP摄像头等终端的接入,系统主要包括:信令控制、信令转发、摄像头状态监控、摄像头接入认证和协议
19、转换。信令控制指的是接入系统可接收业务控制系统的命令,从而控制摄像头等终端的动作。信令转发指的是接入系统为摄像头终端与业务控制系统提供信令传输通道功能。摄像头状态监控负责把摄像头终端的各种状态报告给业务控制系统,这些状态包括:终端离线、终端在线。摄像头接入认证负责对摄像头接入云视频平台的请求认证,只有认证成功的摄像头才允许接入云视频平台。协议转换负责信令协议转换,如把基于SIP的信令协议转换为webservice协议等。转码系统主要包含转码调度模块、内容切片模块、内容转码模块和内容合片模块。转码调度模块负责转码任务的内容定义、任务状态监控、任务执行计划定义、任务生命周期管理,负责当前系统各分布
20、式计算资源的管理,这些计算资源信息包含切片、转码和合片三类单元的能力信息、CPU、内存和IO使用率等,并根据这些资源信息对转码任务进行调度安排。转码调度模块应提供转码过程内容的可预览、可编辑(如加台标、文字信息等),并通过任务的自动化和流水线程序降低处理成本,减少人为干预,达到降低错误、提高工作效率、运营效率的目的。内容切片根据转码调度模块的指令信息和视频源信息,按解码的需求完成内容的切片分段处理,并向调度模块进行反馈。内容转码模块负责根据转码调度模块的指令,遵循具体的转码参数定义,执行视音频解码和编码压缩处理,并向调度模块进行进度反馈。内容合片根据转码调度模块的指令负责把转码后的内容片段进行
21、合并,对相邻两个片段重复的视频帧进行删除从而达到无缝的合并,并向调度模块进行反馈。转码系统在存储技术上应支持NAS、SAN和云存储,其中云存储主要支持Amazone S3、VMware vStorage VMFS、Hadoop HDFS。分发系统主要包括流分发模块、缓存模块、时移录制模块、TMSS流服务模块、标准流服务模块、图片下载服务模块以及控制实现模块。其中流分发模块负责对转码系统或内容提供商CMS系统注入的直播流提供流分发并能推送给多个流服务模块,该模块支持多级组网。缓存模块对媒体文件进行缓存处理,以减轻视频平台存储设备IO压力,在缓存策略上各流服务模块可根据二八原则(80%用户主要观看
22、20%的内容)进行用户播放统计从而挑选出热点内容进行缓存,缓存设备应采用SSD固态硬盘或采用RAID5阵列。时移录制模块负责对实时直播流采用循环队列技术,进行分段存储,从而为用户提供直播的回看服务,建议时移录制有效时段控制在24小时内。TMSS流服务模块主要为用户在带宽不理想的环境下提供流服务,支持TPlayer的接入播放。标准流服务模块通过实现当前的标准流或大企业常用流协议,为用户提供媒体服务,标准流服务模块应能支持当前主流播放器的接入播放,这些播放器包括:Windows Media Player、Silverlight 3+、QuickTime player、Flash Player、IP
23、TV set-top boxes、VideoLAN VLC player和Mobile devices (3GPP)。流服务模块作为整个架构中接近用户端,压力大的设备,其性能、稳定性、可扩展性与用户体验息息相关,在组网时该模块数量应根据接入用户数而定,并可扩容。图片下载服务模块提供基于HTTP的图片下载服务,图片的规格可由下载请求时指定。控制实现模块主要与AAA、认证系统、计费系统、客户管理系统及服务策略控制系统实现用户接入认证、计费和管理。网管系统NMS负责管理云视频平台各服务器设备,包括错误侦测,状态监控和配置,并提供报警通知功能。系统采用标准SNMP协议作为网管接口协议,管理的各信息元采
24、用MIB定义。在系统问题排查时,系统可以为关键的平台模块提供事件日志来进行更详细的诊断和分析。 云视频平台与外围系统关系描述与内容提供商关系:内容提供商可通过自己企业建设的内容管理系统与云视频平台对接,把内容注入给云视频平台。对没有内容管理系统的内容提供商,可通过FTP或WebDAV软件工具把内容注入给云视频平台。视频源格式需要遵循云视频平台的输入参数定义。与业务运营系统关系:当内容注入云视频平台后,经过云视频平台处理,达到可播放状态时,云视频平台负责把内容元数据信息发布给业务运营系统,由业务运营系统负责内容的产品定义和审核发布。业务运营系统负责内容的计费和业务控制,并以接口协议方式提供给云视
25、频平台调用,云视频平台的流分发系统作为计费点。与CDN关系:CDN实现对整体内容资源的存储及分发,通过边缘缓存等技术降低骨干网或中心节点压力,提高系统的吞吐量和响应速度。云视频平台的内容管理系统通过与CDN对接,实现内容媒体向CDN注入,从而在基础网络之上形成一个内容媒体分发网,此时云视频平台的流分发子系统设置为工作于CDN模式,当本地缓存没有相关视频时,会与CDN中的缓存网关CG通讯,从缓存网关获取视频,并以流方式提供给用户。与云计算关系:云平台IaaS层提供了硬件资源的虚拟化,从而实现硬件资源的弹性分配,云视频平台通过与云平台的IaaS层结合,从而充分利用云平台的计算资源和存储资源。云视频
26、平台除了某些需要使用GPU硬件资源的转码模块外,其他各模块均可部署于云平台的虚拟机之上运行,并支持主流的云存储方案(包括Amazone S3、VMware vStorage VMFS、Hadoop HDFS),真正做到支持大规模视频源接入、转码和为海量用户提供流服务,并实现服务位置的透明化。云视频平台各子系统进行了接口的标准化定义,平台的视频接入能力、转码能力和流服务能力通过这些标准化接口可开放给媒体业务平台和应用系统,实现云计算的PaaS层。6.2.2. 总体接口总体接口视图接口总体列表如下:接口名称接口描述遵循协议媒体资产通讯接口A1内容元数据分发接口,内容提供商通过该接口把元数据传给CM
27、S,或CMS使用该接口把元数据发布给业务系统HTTP+XMLA2CMS对外提供的内容获取接口,可对内容状态查询和管理HTTP+XML、RestfulA3CMS与流分发系统之间的内容传输管理接口HTTP+XMLSOAP,A4转码系统可以通过该接口把实时源元数据反馈给CMSHTTP+XML控制实现接口C1流分发系统向CDN缓存网关请求内容接口C2流分发系统调用业务运营系统AAA实现播放鉴权CAAP,Radius,Diameter视频播放接口V播放器与流分发系统接口TMSS,RTSP,HTTPSSO单点登录协议,CMS与转码系统统一登录认证SAML2.06.2.3. 存储架构平台应根据不同的应用环境
28、选用不同的存储架构,这些存储架构包括:DAS、NAS存储、SAN存储、SAN+NAS存储、云存储。 DAS特点:适用于小型网络、带宽低、性能低、集中存储访问、成本低,扩展受硬件主板限制。 NAS存储特点:适用于中小型网络、带宽低、性能低、集中存储访问、成本低,扩展受盘阵带宽影响。 NAS+SAN存储特点:适用于中型网络、带宽较低、性能较低、集中存储访问、成本较低,扩展灵活。 SAN存储特点:适用于大型网络、带宽高、性能高、集中存储访问、成本高,扩展灵活。 云存储特点:采用NAS集群,适用于大型网络、带宽高、性能高、分布式虚拟存储访问、成本较高,扩展灵活,但有些云存储方案需要使用私有API。6.
29、2.4. 典型应用场景6.2.4.1. 与宜居通业务平台对接上图为云视频平台作为物联网基地视频能力平台架构方案,该方案接入了宜居通业务,摄像头的接入管理仍由宜居通业务平台负责,当用户需要观看远程摄像头的视频监控时,由宜居通业务平台向云视频平台获取转码系统端口信息,并通知摄像头向云视频平台该端口推送视频流,接着用户向云视频平台请求该路视频,云视频平台向宜居通业务平台请求鉴权,鉴权通过后用户即可获得视频监控服务。6.3. 内容管理系统6.3.1. 系统逻辑架构分段内容系统架构6.3.2. 系统物理架构6.3.3. 模块描述6.3.3.1. 内容采集 内容录入提供点播类视频元数据的录入功能和各类直播
30、频道元数据的录入功能。 导入管理提供上载工具上传的视频文件管理和为这些视频文件添加元数据信息。 采集任务管理提供采集任务的创建、状态查询、任务状态操作(停止、启动)。采集任务类型包括:内容录入时由后台自动创建的下载任务和自动扫描任务。6.3.3.2. 内容管理 媒资库管理为方便扩展媒资库有多个,不同的媒资库用途不一样,有些是用于备份,有些是用于不同分类的生产库。库的管理应统一提供windows资源树方式的管理视图,通过资源树导航方式,用户可方便浏览库里各频道下的视频内容。视频内容包括两部分:一部分是视频文件,另一部分是视频元数据,用于对视频索引。库的管理包括频道栏目管理、频道栏目分类管理、频道
31、栏目下的内容管理,内容检索,频道栏目的各类转码策略管理。 图片库管理提供windows资源树方式的管理视图,提供图片上传、下载、替换、修改图片标题和简介、删除、移动、检索、裁减、缩放和加水印功能。 内容审核 频道管理 统计报表 节目单管理 分类管理6.3.3.3. 内容分发6.3.3.4. 广告管理6.3.3.5. 存储管理6.3.3.6. 系统管理6.3.3.7. 内容后台服务6.4. 接入系统6.5. 转码系统6.5.1. 系统逻辑架构 概述云转码平台包括云转码调度子系统和转码器两大部分,其中云转码调度系统包含模板管理、任务管理、计划管理、计算资源管理、系统管理和调度后台服务等模块。 原理
32、云转码调度系统通过对源文件执行合理的切片,把一个大的源文件分为多个小文件,然后通过科学的调度算法把这些小文件分别安排给各个转码器执行转码,待各个转码器完成转码工作后,再由云转码调度系统把各个小的转码输出文件合成一个大的目标文件。可见云转码调度系统与各转码器构成了一个分布式集群转码平台,通过充分调用各个服务器计算资源以缩短转码工作时间,达到提高转码效率的目的。 云转码调度系统与外围系统关系与转码器关系:云转码调度系统属于转码控制单元,转码器属于转码执行单元。云转码调度系统通过开放接口可控制转码器对媒体文件进行转码计算,转码器需要向云转码调度系统上报转码的结果,同时转码器需要定时通过网管接口向云转
33、码调度系统上报服务器资源信息,这些信息包含:CPU、内存、IO使用率和当前并发转码任务数等。与媒资系统关系:云转码系统属于能力层,云转码调度系统通过开放接口向媒资系统开放转码能力。媒资系统负责内容媒体资产的管理,这些资产包括原始媒体资产和转码后的成品媒体资产。云转码调度系统不负责媒体资产的管理,媒资系统可通过存储共享的方式把存储空间开放给云转码调度系统和转码器,从而避免系统间通过网络进行文件拷贝。6.5.2. 系统物理架构通过上图可看出,云转码系统包括调度管理系统、TaskNode任务执行单元和转码器执行单元。并且转码系统与媒资系统在组网时可共享NAS存储柜。6.5.3. 模块描述6.5.3.
34、1. 模板管理模板管理包含任务模板管理和转码策略管理,其中“任务”指的是云转码调度系统通过与转码器交互完成的一次转码工作;而“任务模板”是对常用任务参数的抽象,通过修改任务模板中的部分参数即可快速创建一个新任务。任务模板管理包含任务模板的定义和已定义模板列表的查询、修改等操作。任务模板的定义参数包含:输入源路径信息和类型(本地文件或网络文件)、输出类型(流或文件)、输出路径信息、输出流容器类型、视频编码器参数、音频编码器参数和执行优先级定义。其中视频编码器支持H.263编码器、H.264编码器、TIVC编码器等。一个任务模板的输出支持多个输出定义,以达到一个输入源,多种码率格式或大小的输出。转
35、码策略管理包含转码策略的定义和列表管理。转码策略定义指的是对某种编码器参数的设定,通常一个编码器参数包含如下:编码器类型(H.263、H.264、TIVC、MPEG2)、帧率、分辨率、码率、码率控制模式(VBR、CBR等)、关键帧发送的频率。6.5.3.2. 任务管理任务管理是云调度管理系统的核心功能单元,提供转码任务的定义、转码任务的启动和注销、转码任务查看。转码任务的定义可通过任务模板达到快速定义,转码任务定义完成后可通过启动操作,执行源文件的切片,并调度给相应转码器进行转码,然后再对转码器的转码输出进行合片,从而完成任务的执行。转码任务查看包括任务执行的当前阶段信息和转码详细信息查看,这
36、些信息包括源文件的格式、大小、时长、分辨率、帧率、码率,转码后文件的格式、大小、分辨率、帧率、码率以及转码速度等。转码任务定义时,其中输入源参数定义支持到具体媒体文件的定义和媒体文件所在目录的定义两种。当输入源定义为媒体文件所在目录时,系统通过对目录的扫描,获取该目录下所有符合某后缀名要求的媒体文件进行转码。转码任务的执行优先级参数用于指示转码器对任务在队列中的排序,优先级至少支持高、中、低三种,高优先级的值=16,中优先级的值=8,低优先级的值=0。相同优先级的任务使用FIFO先进先出的队列技术。6.5.3.3. 计划管理计划管理包括计划定义、启动和查看。计划管理的目的是实现转码任务的定时执
37、行,把重复性的工作交由计算机执行,实现自动化功能,从而降低内容编辑员的工作量。计划任务的定义包含任务模板的选择和计划参数定义。任务模板定义了该计划任务的输入源、输出源和编码器参数。计划参数定义了该任务计划执行的周期。定义一个计划的参数包含:任务开始时间、结束时间(可选)、是否周期性任务,如果是周期性任务还应包含:重复周期定义,重复周期的单位时间应支持按天、按周和按月,当重复周期为按天时,可设定多少天执行一次;当重复周期为按周时,可设定每周星期几执行一次;当重复周期为按月时,可设定每月几号执行一次。6.5.3.4. 计算资源管理计算资源管理包括转码器信息管理、转码器的服务器资源查看和存储空间管理
38、。转码器信息管理包括转码器的厂家信息、转码器型号信息、支持的音视频编码器信息、支持输出的容器格式、所属的转码器群组、是否分配给某CP专用。定义转码器群组目的是为了更科学合理地对转码任务进行分布式均衡调度,满足CP对某些转码任务要求使用特定的转码器进行转码。转码器的服务器资源信息包括CPU使用率、内存使用率、IO吞吐量、任务队列大小等。这些信息由转码器通过网管接口上报给云转码调度系统。存储空间管理仅负责云调度管理系统所用到的存储空间管理,该存储空间用于给云调度管理系统存储中间格式媒体文件,中间格式媒体文件是为了实现对各类格式的输入源进行容器格式转换,从而统一一种容器格式,达到方便管理和以后的需求
39、扩展。存储空间管理包含总空间大小、已用空间大小、未用空间大小等信息的管理,以及为CP分配不同的存储目录。6.5.3.5. 系统管理系统管理包括CP信息管理、权限管理、系统日志管理、系统配置参数管理。CP信息管理主要是为CP在云调度管理系统中分配账号;权限管理是通过角色权限模型实现为不同账号分配系统不同的功能操作;系统日志管理包含CP转码操作日志和系统调度日志、转码运行日志等,以帮助系统运维人员更容易对系统维护和对CP转码操作审计。6.5.3.6. 后台调度服务后台调度服务包含:容器格式转换、内容切片、内容合片、内容预览、内容上传/下载等服务,同时提供开放API以实现与媒资系统对接和与转码器进行
40、对接。容器格式转换服务:负责对各类输入源格式统一转换为一种中间容器格式,考虑到TS格式在工业的成熟性、普及性和易解析等特性,故系统使用TS格式为中间文件格式,容器格式转换是一种无损转换。云调度系统统一把TS格式文件输入给转码器进行转码。内容切片:根据要求对输入的大文件进行分段,每段都具有关键帧信息,并实现基本上均匀切分,再由云调度管理系统把各段文件调度给转码器进行转码。内容合片:对各转码器输出的文件进行合并,对相邻两个片段重复的视频帧进行删除从而达到无缝的合并。内容预览:提供对输入源进行预览和转码后输出文件进行预览,同时提供转码过程关键帧图片观看。内容上传/下载:该功能为可选功能,目前云调度管
41、理系统、转码器与媒资系统共享存储所以不需要使用网络上传和下载。考虑到以后存在如下业务场景,当内容文件所在的存储设备没共享给云调度管理系统和转码器时,系统即通过提供上传服务接口,由需要转码的业务系统把内容上传给云调度管理系统,待转码完毕后,业务系统或应用系统再从云调度管理系统通过下载接口把内容文件下载下来。目前上传/下载协议采用FTP协议。6.5.4. 切片机制系统预配置单个切片文件的大小为T1,待切片的文件大小为T,当前可用资源N1. 如果NT/T1,意味着可用资源有富余,则文件切成T/T1片,切片大小=T16.5.5. 排队机制单个CP的任务排队:1、所有任务先按任务优先级排队(高中低)2、
42、优先级相等的任务按任务创建时间排序CP间的任务排队1、按CP的权重对CP间的任务进行排队6.5.6. 调度机制任务调度策略包括:简单轮询策略,权重随机策略,权重轮询策略。6.5.6.1. 简单轮询策略各个CP轮流分配,每次只分配一个任务;6.5.6.2. 权重随机策略根据各个CP的权重值,划分一些CP段,然后随机取一整数,判断该数位于哪个CP段,则取那个CP中的任务;理想情况下取到某个CP的概率为其权重占总权重的百分比;举例:有3个CP,其中CP1的权重为5,CP2的权重为10,CP3的权重为7.即CP可按下图划分段,这样我们通过对22进行随机数计算即可得到6.5.6.3. 权重轮询策略根据各
43、个CP的权重值,设置CP的当前权重值为当前权重值加上CP权重值,依次轮询取当前权重值最大的CP队列,并将该CP队列的当前权重值置为当前权重值减去总权重值。1) 根据CP的权重进行调度2) 有转码资源的时候才切片3) 一路输出转码完成后马上合片4) 保证一个任务的所有文件优先转完,才对下一个任务进行转码5) 一个任务的切片Task失败,会自动重试两次(重试Task优先级最高),切片Task重试失败则设定任务为失败;6) 转码Task和合片Task失败后,会自动重试两次(重试Task优先级最高)7) 同一个任务的各路输出倒序排列,复杂输出的转码Task优先进行转码8) 切片、转码、合片的task都
44、是公平发送到各台tasknode和转码器6.5.7. 开放API转码平台的开放API包含三部分接口,功能职责如下:1) 云调度系统与转码器的接口通过该层接口,云调度系统通知转码器执行转码任务、转码器反馈转码结果,并定时上报转码器的服务器资源信息及转码队列大小。2) 云调度系统与媒资系统或第三方应用系统的接口通过该层接口,云调度系统向外围系统提供转码调用能力,包括内容上传下载接口、内容转码任务提交接口、转码任务状态查询接口和转码结果通知接口。3) 云调度系统与基础云计算管理系统的接口通过该层接口,云调度系统向云计算管理系统申请虚拟机资源,并对虚拟机进行按需启动。6.5.8. 存储技术要求系统在存
45、储技术上应支持NAS、SAN和云存储,其中云存储选择一种存储方案的接口进行实现,如VMware vStorage VMFS。6.6. 分发系统6.6.1. 直播分发架构架一个简易分发模块,延时控制在30秒内6.6.2. 标准流服务器模块结构6.7. 网络部署6.7.1. 逻辑组网6.7.2. CDN组网6.7.3. 软件清单6.8. 系统性能指标6.8.1. 单机性能指标目标项下限值上限值说明流服务器点播并发数20004000单机流服务器支持同时输出码流数,该码流标准为:320X240,15帧,80K码流,和D1,1015帧:250K500K码流;流服务器出流能力(Mbps)接入服务接入并发数40006000单机接入服务器支持同时接入摄像头数量;摄像头推送的码流标准为:320X240,15帧,80K码流和D1,1015帧:250K500K码流;接入服务器信令转发