《通信论文基于序列模式挖掘的田径视频分类.doc》由会员分享，可在线阅读，更多相关《通信论文基于序列模式挖掘的田径视频分类.doc（3页珍藏版）》请在三一办公上搜索。
1、基于序列模式挖掘的田径视频分类 基于序列模式挖掘的田径视频分类(西南大学)方园肖国强代毅摘要:现有的体育视频分析方法大多都专注于重要事件的提取,而忽视了如何对这些事件进行组织和语义分析。本文提出了一种基于序列模式挖掘的田径视频镜头分类算法。本文主要围绕两个问题展开特征提取和语义规则的定义。在特征提取阶段,自动的将田径视频镜头分割为一系列可识别的运动事件序列,然后使用机器学习的算法对每类行为事件进行识别。在语义规则定义阶段,使用序列模式挖掘方法发现其中的频繁序列,在此基础上进行。实验选用了上千段田径视频镜头进行测试,结果显示了本文算法进行田径视频镜头分类的有效性。关键词:语义;田径视频;频繁序列
2、模式;视频分类中图分类号:TP391.41文献标识码:A 1引言随着网络和高容量储存设备的快速发展,多媒体技术越来越多地应用于各个领域。因此如何对视频进行有效地存储、分类、检索和利用,已成为当今迫切需要解决的问题。目前研究者已经提出了很多视频分类的方法。这些算法首先对每个视频提取一系列与视频类型相关的特征,然后通过机器学习算法训练分类器,从而在特征和视频类型之间建立对应关系。然而,现有的视频管理系统和交互系统面临的一个巨大的挑战,就是如何跨越“语义鸿沟”。所谓的“语义鸿沟”,就是指从视频中所提取出的底层特征,与人们思维中习惯使用的高层语义概念相差甚远。因此,视频语义分析也就逐渐成为视频应用中一
3、个热门研究方向。 田径作为体育运动中常见项目之一,是研究体育视频分类的重要分支。本文以田径视频为例,实现了一个三层推理模型来完成视频的分类。为了标注运动事件,实验中将视频按0.5秒划分为一个单元事件,建立了一个包括11类动作事件(单人跑、持杆跑、持枪跑、跨越、上升、下落、投掷、标枪空中飞行、多人跑、单人走、多人走和其它,并依次用1-11和0表示)的模型,并介绍了与事件相关的特征提取方法,构建了视频分割和事件标注的框架,如图1所示。在第一层,提取视频中的多类底层特征,从而更准确地表示出视频中的内容。在第二层,采用基于SVM输出概率的方法来对运动事件进行有效的分类。在第三层,把连续的事件序列通过预
4、先提取出的序列规则进行视频分类。 2田径运动事件分类 根据田径运动的规则,运动事件在以下三个方面有明显的差别:背景运动变化、背景光照变化、目标数量。下面就每一方面及其提取的特征向量进行详细介绍:(i)背景运动变化:田径运动中由于运动员的快速运动或者方园投掷物的飞行,背景的运动变化较大且方向多样。因此实验着重对背景运动进行分析。比如根据背景的运动(水平或垂直),从而可以判断运动员是在做前进还是跳跃运动,同时背景的运动速度还可以反映出运动员的运动速度。本文定义了运动特征来表示背景的运动,其定义如下:假设视频大小为MNT,M、N表示视频分辨率,T表示视频序列长度。帧图像分为KL块,每块大小为hv,其
5、中h=M/K,v=N/L,以C表示每个块内的宏块数目,如图2(a)所示(K=L=5),对每块作如下处理:(a)建立直角坐标系统,将运动矢量映射到此坐标系中,如图2(b)所示。其中MVi,j表示坐标为(i,j)位置的宏块运动矢量,0,2)表示运动矢量的方向,若以cx表示第c个宏块运动矢量在水平方向(x)上的分量,cy表示该宏块在垂直方向(y)上的分量,表示宏块c的运动强度,则:,将连续视频帧的坐标系统按时间顺序排列,并从0度开始,将分成Q(本文取8)个等角扇形,将(0,max)量化到R(本文取8)个等间隔区间,再分别对、作直方图:(1)(2)其中n(t,q)表示第t帧坐标系内区间q中运动矢量的数
6、目,n(t,r)表示第t帧坐标系中量化到第r区间内的的数目。 (b)对块内的运动矢量,通过计算x、y方向的期望值()、方差(s),从而对块内的运动强度进行评估,如下所述:,(3)表示在第t帧时块内第i个宏块的运动矢量在x方向上的分量。对y方向做同样的处理。 (ii)背景光照变化:在某些运动事件中,光照变化是非常明显的。比如在投掷标枪的时候,镜头对准标枪从地面到空中,而空中飞行时的光照与在地面相比明显地偏暗。实验中,我们使用块亮度比较编码(Block Intensity Comparison Code,BICC)来表示这种变化,其定义如下:设帧大小为MN,将每帧分为KL块,每块大小为hv,其中h
7、=M/K,v=N/L,xi表示块内第i个象素点的亮度值,每个块的亮度均值为,则:(4)则帧图像的BICC编码可用式(5)表示,其中,。 (5) (iii)目标数量:由于项目的区别或视频镜头地调整,会造成视频中运动目标的数量不同。本文定义了分块的颜色直方图特征来区别目标数量,其定义如下:假设帧大小为MN,将帧分为KL块,每块大小为hv,其中h=M/k,v=N/L,xir、xig、xib分别表示块内第i个象素点对应的R、G、B分量的值,P表示直方块的数目,以HISTm,n,p表示帧中第n块的颜色直方图,其中mr,g,b,n1,kk,p1,P,pm表示p直方块对应的颜色分量m的量化范围,则:(6)3
8、运动事件标注本文采用Platt提出的SVM后验概率建模方法,对运动事件进行标注:预先定义运动事件。对每一个单元(0.5S)提取视频特征,得到SVM后验概率,通过设计合适的准则,从而对此单元进行事件标注。比如完成一个完整的撑杆跳过程,整个过程可能持续6S(被划分为12个单元)。这样整个撑杆跳过程就可以用一个运动事件的序列来表示:单人走,单人走,持杆跑,持杆跑,持杆跑,持杆跑,持杆跑,持杆跑,上升,上升,下落,下落,对应的序号为10,10,2,2,2,2,2,2,5,5,6,6。同样对于跳远、标枪等其他项目也可以用类似的序列来表示。因此通过分析它们的序列特点,能够挖掘分类规则。 4基于序列模式的分
9、类 4.1序列挖掘基本概念设I=i1,i2,in是所有项的集合。项集是项的非空集合,即非空集合称为项集。 定义1:事件是非空的无序的项集,序列是项集的有序集,即序列是事件的有序列表。一般记序列,其中事件s1出现在s2之前,就表示为s1的集合,记作|SDB|,其中SID是序列ID,s是一个序列。 定义2:假设存在序列,序列。 假如存在一个一对一的保留次序的函数f将a中的事件映射到b中的事件,即,并且如果,则有,就说是序列是序列b的子序列,或序列b包含序列。 定义3:在一个序列数据库S中,如果序列是s的子序列,则称元组包含序列。序列在S中的支持度就是数据库中包含的元组的个数,记作support(,
10、S)。支持度大于用户定义的最小支持度(min_sup)的k-序列,称为S上的频繁K-序列。 4.2序列模式规则库的建立 首先,将一个训练视频通过上述方法进行标注,形成一个序列s,即由多个运动事件组成的一个有序列表。这样,大量的训练视频标注后就形成一个序列数据库S。同时在这些分类数据集中,每个序列都有一个类标志c,这样就得到一个已分类的训练视频序列集(实验中有6类)。然后利用序列模式挖掘为各个类视频挖掘出所有的特征频繁序列模式,实验中,我们通过GSP算法,为每个分类视频集挖掘出所有满足最小支持度的频繁K-序列。当找出所有的频繁序列以后,利用频繁序列生成序列规则。 采用if-then的形式进行判断
11、。规则的左边是特征序列模式,右边是视频所属分类。假设是一个特征序列,c是一个类标志,分类规则就是形如的规则。 一旦分类规则库形成,就可利用它对视频序列进行分类匹配了。通过计算输入序列中包含各个类的特征序列的次数,从而确定视频属于该分类的置信度。计算公式如下:confidence(ci)=support(mi,)/count(ci)(7)设各个类的类标志为ci(i=1,2,n)。其中mi表示类ci特征技术创新序列集中的一个特征序列。表示输入序列。support(mi,)就是序列包含mi的次数,count(ci)表示类ci的特征序列集中总共具有的特征序列的个数。 5实验结果与分析 本文选取了田径视
12、频中的六类视频进行实验,包括跳远,撑杆跳,标枪,跨栏跑,短跑和竞走。实验是基于视频镜头进行的,从收集的视频中截取了1435个视频镜头,每个镜头持续时间为5s30s,视频分辨率为352*240,每类视频选取100个镜头作为训练样本。 实验过程如图1所示,包括以下三个步骤:1)特征提取:将视频按0.5秒划分为一个单元,每个单元包含15帧图像。按照第2节所述方法分别提取每一帧(每隔1帧进行处理)的运动特征、BICC、块颜色直方图。 图3跳远视频分类结果 2)运动事件标注:如第3节所述,图3(a)表示一段跳远视频的各帧通过各个SVM分类器输出的后验概率值。图3(b)所示为SVM后验概率建模方法对每帧进
13、行标注,通过式(8)对此单元进行标注。其中it表示第t单元的标注,n(i,t)表示在第t单元中标注为i的帧数。 i0,1,11(8) 3)基于序列模式的视频分类:对测试视频进行特征提取后,通过各个SVM分类器输出的后验概率值完成事件的标注后,将得到的序列通过式(7)计算出序列中包含各个类的特征序列的次数,从而确定视频属于该分类的置信度。 如表1是本文方法进行视频分类的结果,并与文献(即通过BICC特征和HMM模型对视频进行分类)的方法进行了对比。 实验结果验证了本文方法的有效性。 表1对比实验结果 6结束语本文作者创新点:提出了一种基于序列模式的视频分类方法,该方法通过三层结构的模型对视频进行
14、语义上的分析,在视频分类上,具有很好的效果。 作者对本文版权全权负责,无抄袭。 参考文献 谢毓湘,栾悉道,徐建军,吴玲达,刘洋.基于统计与可视化的新闻视频挖掘J.微计算机信息,2006,6-3:206-208. M.Kalaiselvi Geetha,S.Palanivel.A novel block intensity comparison code for video classification and retrieval.Expert Systemswith Applications,2009(36),6415-6420. 3Platt J.Probabilities for svm machinesA.In:Advances in LargeMargin ClassifiersC.Cambridge,MA,MIT Press,2000:61-74. 4Jiawei Han,Micheline Kamber.数据挖掘概念与技术.机械工业出版社,2007. 5Mohammed J.Zaki,Sequence Mining in Categorical Domains:Algorithms and Applications,Computer Science Department Rensselaer Polytechnic Institute,Troy,NY.
