《视频镜头边界检测系统的设计与实现.doc》由会员分享，可在线阅读，更多相关《视频镜头边界检测系统的设计与实现.doc（6页珍藏版）》请在三一办公上搜索。
1、精品论文推荐视频镜头边界检测系统的设计与实现曾幸 1，赵志诚 1，刘涛 1，蔡安妮 11 北京邮电大学信息与通信工程学院，北京（100876）E-mail: zengxing08摘要：随着信息技术的快速发展，各种形式的视频数据越来越多，对于视频数据的查询和检索也日渐成为一个重要的研究课题。镜头是视频的基本单元。为了对视频内容进行有效的 组织和访问，需要将视频分解为镜头。视频镜头边界检测是视频分析和检索的基础。本文设 计并实现了一个基于支持向量机的视频镜头边界检测系统。该系统通过对 MPEG 视频解码 数据提取适当的特征，以支持向量机分类器为主要方法进行镜头检测，同时利用边缘检测和 运动检测来减
2、少视频切变和渐变检测中闪光、画中画和运动等情况造成的不利影响。实验结 果表明本系统采用的方法对视频进行镜头边界检测取得了较好的效果。关键词：视频检索镜头边界检测支持向量机 中图分类号：TP3911引言视频图像的一个特点是数据量很大，但同时其视觉内容常有较大的冗余。为访问视频 内容，需要对视频进行浏览和对视频信息定位，这需要将视频分解。对视频节目，一般可将 其分解为一系列基本的单元镜头。在这分解的基础上可对视频进一步组织，以进行非线 性浏览和基于内容的查询检索。镜头检测也是进一步对视频进行分析（如更高层次分段、情 节检测等）的基础1。镜头之间的转换方式主要有两大类：切变和渐变。其中渐变的方式类型
3、很多，但实际 中绝大多数的镜头编辑方法都可归为 3 类：切变、叠化和淡入淡出。切变是镜头间的突然变 化，在相邻的两帧图像间完成。渐变则是从一个镜头缓慢变化到另一个镜头，常延续十几到 几十帧。镜头检测中，选取抗干扰（如果图像噪声、亮度变化和物体运动等）效果好的特征和 通用有效的检测方法是研究的重点。为了达到快速有效地检测视频镜头边界，本文设计并实现了一个基于支持向量机（SVM）的视频镜头检测系统。此系统包括五个部分，分别是 MPEG 解码与特征提取模块、 切变（CUT）检测模块、淡入淡出（FOI）检测模块、渐变（GT）检测模块和运动检测模块。 切变检测模块和渐变检测模块分别使用了一个 SVM 分
4、类器。2系统框架系统框架如图 1 所示。系统检测流程可以分为五步。1）MPEG 视频解码。为了达到实 时检测，我们设定了一个滑动窗来控制处理的视频帧数量。2）特征提取。对解码得到的视 频数据提取视觉特征，如灰度块差值、HSV 直方图、RGB 直方图、分块灰度排序、摄像机 运动参数、主导运动矢量等。相邻两帧的特征被用于一些距离度量公式来计算帧间的不相似 度，即得到帧间差特征。另外，根据镜头内部和镜头之间的图像内容的相关性，我们为切变 检测器和渐变检测器分别构造了切变特征向量和渐变特征向量。3）各个检测器对输入特征 进行检测，得到候选的切变渐变检测结果，以及运动检测和边缘变化结果。4）候选切变渐
5、变结果过滤与融合。5）为了避免连续多个渐变帧被分离在两个不同的滑动窗中，滑动窗起 始位置滑动至最后一个渐变位置，再进行下一个滑动窗内的视频处理与镜头检测。下面将详-1-细介绍特征提取与切变渐变检测方法。3. 帧间差特征提取解码得到的视频数据体积庞大，而提取得到的特征数据体积较小。为减少空间占用， 将算法用到的所有特征在此模块中提取并保存。为了减少数据计算量，图像经过了像素域下 采样。分析解码得到的各种数据，提取了以下几个特征。特征 1. 前后两帧图像的灰度分量分块差值 yDiff。具体公式：yDiff = 1 Y (i, j) Y (i, j) maxY (i, j) Y (i, j)-6-8
6、 i j 1 0i j 1 0其中 i 表示第 i 个块；j 表示第 j 个像素。MPEG视频解码 滑动窗特征提取边缘检测器切变特征向量渐变特征向量运动检测器FOI检测器切变检测器渐变检测器摄像机运动物体运动FOI检测结果边缘变化过滤过滤 候选切变位置候选渐变位置融合 切变与渐变结果图 1 视频镜头边界检测系统框架Fig.1 Structure of video shot boundary detection system特征 2. HSV 彩色空间的不相似度 hsv_sigma。计算公式2：Var1 + Var0 + ( Ave1 Ave0 )2 2 LR = 2 2 Var1 Var0hs
7、v _ sigma = 1 min(LR, LR1 )Var 和 Ave 是图像量化后的 HSV 的方差和平均值。特征 3.8 位 RGB 分块累积直方图的 Kolmogorov_Smirnov 检验 RGB_alpha.公式：RGB _ alpha = maxi H1 (i, k ) H 0 (i, k ) max k maxi H1 (i, k ) H 0 (i, k )k特征4.基于分块灰度排序的图像不匹配度OrdinalUnmatchK3.将灰度图像分成若干块，计算每块的平均灰度值，对各块的平均灰度值进行排序；利用 相邻两帧图像的排序计算匹配相似度 K。特征 5. 摄像机运动参数：缩放
8、参数、水平位移、垂直位移。通过仿射模型分析运动矢量得到的特征。特征 6. 主方向运动矢量平均值。对 B/P 帧图像的宏块运动矢量统计方向直方图，取其 中三个运动矢量数目多的方向的运动矢量模值的平均值。4. 切变检测目前，研究人员已经提出了许多镜头切变的检测方法，而且取得了不错的效果。但是， 很多方法都对闪光和画中画比较敏感，导致出现误检。为此，本文提出了一种后处理方法来 减少闪光和画中画对切变检测的影响。4.1 切变特征向量的构造 切变检测使用了上面提到的前四个特征。 一个镜头内部的相邻帧之间的相似度比较高，而在镜头边界处的帧间相似度比较低。考虑到这样一种帧间差特征序列在时域上的结构特点，我们
9、对四个相邻图像帧的帧间差特征采 用下面的方法组成了代表第 i 帧图像的 SVM 的输入向量： f1 (i 2), f1 (i 1), f1 (i), f1 (i +1), f1 (i + 2), f4 (i 2), f4 (i 1), f4 (i), f4 (i +1), f4 (i + 2)其中 f1 (i 2) 表示第 i-2 帧的帧间差特征 1. 就是将每一个特征在时域扩展为 5 维，总的输入向量就是 20 维。将一个滑动窗内的 1500 帧的 SVM 输入向量组成的输入矩阵传递给支持向量机进行分类（分为渐变与非渐变两类），就可以得到切变发生的候选位置。4.2 基于图像边缘改变率的切变过
10、滤闪光和画中画的出现都容易造成切变误检，两者的共同点在于前后帧图像内容的边缘改 变小。利用这点就可以去除闪光和画中画对切变检测造成的影响。计算边缘改变率 ECR 的方法是：首先对切变前后帧的灰度图像高斯滤波；Canny 算子求 每幅图像的边缘；对每幅图像的边缘进行膨胀处理；然后计算退出边缘和进入边缘的比例，取二者最大值为边缘改变率。计算公式如下4：E x, yE x, y1x, y ;1E x, yE x, yx, y out = E x, yin = E x, yx, yx, y ECR = max(out , in )其中， E x, y 表示一帧二值图像的像素值，值为 1 表示像素点(x
11、, y)是边缘像素点，值为2 表示(x, y)是非边缘像素点。 E x, y 表示相邻帧图像的像素值； E x, y 表示膨胀处理 后的图像像素值。4.3 切变检测的方法最终的切变检测处理包括以下几个步骤：1.训练：对测试视频提取切变特征向量，形成多达 20000 个训练样本，其中正样本（切 变）与负样本（非切变）的数量比例为 1:5。用支持向量机（SVM）对测试样本进行训练， 得到切变的 SVM 分类器，即切变检测器。2.测试：用训练好的 SVM 分类器对一个滑动窗内的所有切变特征向量进行分类，就得 到了候选切变位置。3.过滤：使用边缘检测器得到的边缘变化结果对候选切变位置进行过滤。也就是说
12、，判定边缘变化小的候选切变位置为误检。5. 渐变检测相对切变检测而言，目前对渐变的检测仍然是一项具有挑战性的工作。尽管针对渐变的 检测也出现了许多方法，但是这些检测方法的结果还远不能令人满意。这种情况的主要原因 在于渐变检测对运动非常敏感，渐变检测中许多误检都是由运动造成的。因此，本文利用运 动特征来检测摄像机运动和物体运动，试图减少运动对渐变检测造成的影响。另外，因为淡 入淡出（FOI）与其他渐变相比，具有一定的特殊性，所以本文设计了一个单独的 FOI 检测 器。5.1 FOI 检测淡入淡出 FOI 的变化形式是：亮度逐帧变暗到黑帧，黑帧持续若干帧后再逐帧变亮。与 其他渐变形式不同，FOI
13、的帧间变化不连续，相邻黑帧可以认为没有变化，所以 FOI 需要单 独检测。FOI 的检测可以分为 2 个步骤：A.识别连续黑帧。取 48bin 的 RGB 直方图的每通道的前4bin 累加，超过阈值判定为黑帧（bin_sumThresh1）。B.检测 FOI 边界帧。从连续黑帧的 前 一 帧f向 前 搜 索 ， 计 算bin_sum(i) 和bin_sum(i-1), 直 到|bin_sum(i)-bin_sum(i-1)| TOM 阈值，则认为存在物体运动。最后，对 IOM 在时域上进行连续性检测，得到存在物体运动的连续帧； 将原检测到的候选渐变结果中的运动连续帧剔除。6. 测试与结论本系统
14、的训练测试视频数据包括 04、05 和 06 年 TRECVID SBD 评测中的部分视频，还包 括其他一些广告、体育和电影视频。系统中的支持向量机使用的是 LIBSVM 工具5。经过对 训练样本的交叉验证（cross-validation）,我们选定了最佳的参数设置：RBF kernel,惩罚 因子 C 和核参数 。通过调整正负样本惩罚因子 C 的比例，检测结果的准确率和查全率也会 相应变化。本系统对 TRECVID2007 SBD 测试视频集合进行了 40 轮测试。其中的 10 轮测试结果见表 1。表 1 提交的 10 轮测试结果Tab.1 Testing results of submi
15、tted 10 runs测试 轮次全部切变渐变查全率查准率查全率查准率查全率查准率帧查全率查准率10.9130.9000.9650.9560.3450.3210.6480.83220.9140.8850.9660.9380.3400.3200.6530.83030.9020.9330.9620.9690.2380.3550.6600.85240.8940.8560.9320.9850.4810.2270.5760.81550.8920.9370.9650.9440.0920.5140.8940.82460.9390.7450.9640.9580.6650.1640.5700.79270.937
16、0.7580.9650.9640.6410.1670.7330.73280.9480.7060.9650.9590.7520.1500.6750.71690.9460.7020.9650.9550.7430.1470.6440.723100.9350.7880.9650.9630.6120.1900.5750.811从上面测试结果可以看到，本系统的切变检测算法可以得到比较满意的结果，但是渐变检测却没有预想的好。经过与工作组提供的切变和渐变位置结果对比分析，可以找到一些渐 变检测结果不佳的原因：1.系统对渐变出现了许多误检。主要原因是系统中的运动检测算法没有预想的好。以后 需要进一步改进运动检测
17、算法。2.对镜头渐变训练样本的标记存在问题。对渐变的判定没有统一的标准，而且训练视频 中出现了许多编辑效果，对一些编辑效果究竟是渐变还是非渐变，我们也存在疑问。因此，如何设计一种更好的运动检测的算法来减少运动对渐变检测造成的不利影响有待 进一步的研究。参考文献1 章毓晋 基于内容的视觉信息检索M 北京：科学出版社，20032 Jess Bescs. Real-Time Shot Change Detection over Online MPEG-2 Video J. IEEE Trans. CircuitsSyst.Video Technol., vol. 14, no.4 pp. 47548
18、4, April 2004.3 D. N.Bhat, S K.Nayar. Ordinal measures for image correspondence J. IEEE Trans. on Pattern analy. and machine Intell.,vol.20, no.4, 1998, pp: 415-423.4 R. Zabih, J. Miller, and K. Mai. A Feature-Based Algorithm for Detecting and Classifying Scene Breaks J.Proc.ACM Multimedia 95, San F
19、rancisco, CA, pp. 189-200, Nov. 1995.5 C.C. Chang, C. J. Lin LIBSVM: a library for support vector machine. 2001. Software available at http:/www.csie.ntu.edu.tw/cjlin/libsvm.Design and Implementation of Video Shot BoundaryDetection SystemXing Zeng1，Zhi-Cheng Zhao1，Tao Liu1，An-Ni Cai11 School of Info
20、rmation and Communication Engineering, Beijing University of Posts andTelecommunications, Beijing, China (100876)AbstractWith the rapid development of information technology, more and more video data are being produced, and video query and retrieval is becoming an important research subject. Shot is
21、 a basic unit of video. Video needs to be broken down into shots so that video content can be effectively organized and accessed to. Therefore, video shot boundary detection is the basis of video analysis and retrieval. This paper provides a shot boundary detection scheme based on support vector mac
22、hine (SVM). The scheme adopts SVM classifiers as the main method of shot boundary detection by extracting features from decoded MPEG video data. In the scheme, image edge detector and motion detector are designed to eliminate adverse affects to shot boundary detection caused by flashlight, video-in-video and motion. The testing results show that this scheme performs well in shot boundary detection.Keywords: Video Retrieval, Shot Boundary Detection, Support Vector Machine
