《中国移动增值业务内容监测.ppt》由会员分享，可在线阅读，更多相关《中国移动增值业务内容监测.ppt（24页珍藏版）》请在三一办公上搜索。
1、中国移动集团重点/联合研发项目结题汇报报告,项目名称：增值业务内容监测项目编号：,一.开题计划完成情况,目 录,二、主要研究成果,1.1 研究背景及目标,背景中国移动通信集团已在现网上开展了众多的自有及合作类数据增值业务，包括短信、彩信、手机视频等，该类业务中目前已经出现了一些色情、反动等内容，这些违规内容既有个人用户的行为，也有SP为了商业利益的行为，违规内容引起了用户投诉以及相关监管部门的高度关注，严重损害公司形象，因此需要对短信、彩信、视频信息中的不良内容进行监管。目前尚没有实际有效的增值业务内容监管技术手段，因此迫切需要重点研究增值业务内容监测技术，对移动自有增值业务及梦网业务的业务内
2、容进行有效监测，维护增值业务产业的健康发展。目标本项目的研究成果，可达到对增值业务内容的监管，拦截色情、反动等不良内容，有效的净化移动增值业务的业务环境，减少社会不良影响，从而实现“绿色”移动增值服务。本项目的研究成果，可为公司建设移动增值业务内容监管系统形成核心技术支撑，并为进一步的新型网络媒体内容监管体系的建设完成必要的技术探索与积累。,1.2 主要研究内容及分工,研究内容关键技术研究及实现：针对目前增值业务的主要内容类型：文本、图片、视频进行内容监测方法的基础研究与试验，建立在移动增值业务环境下最有效的内容监测技术方案。对前期研究得到的内容监测技术方案进行系统设计，程序开发及测试优化，实
3、现该技术方案。关键技术的应用：探索将增值业务内容监测技术的研究成果，应用于梦网短信、彩信、手机视频等业务，能根据不同增值业务的业务处理逻辑及业务流程，形成不同的业务内容控制方案，确保各个增值业务的质量。分工,1.3 开题计划完成情况总结,计划完成情况：项目按照开题计划执行，截止目前，各合作单位已完成既定的工作内容，研究成果基本 达到课题研究要求及目标。,存在不足：文本内容监测技术的研究深度还不够；视频样本库中反动、暴力等内容样本较少，还需收集扩充；各监测子系统的处理性能还有待提高；对外接口还不够丰富。,一.开题计划完成情况,目 录,二、主要研究成果,文本内容监测技术研究,文本表示及特征提取文本
4、的表示及其特征项的选取是文本识别的关键问题。通过将文本中选取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息，即对文本进行科学的抽象，建立它的数学模型，用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。,（1）预处理：将原始语料格式化为同一格式，便于后续的统一处理；（2）索引：将文档分解为基本处理单元，同时降低后续处理的开销；（3）统计：词频统计，项（单词、概念）与分类的相关概率；（4）特征选取：从文档中抽取出反映文档主题的特征；（5）分类器：分类器的训练；（6）评价：分类器的测试结果分析。,文本内容监测技术,短信
5、文本分类统计学习方法已经成为了文本分类领域绝对的主流，同时实际表现良好。因此本项目选择统计学习法中朴素贝叶斯算法进行短信业务内容的辅助识别。,文本内容监测技术应用-梦网业务内容监测系统,梦网短信内容监测系统，主要分为内容测试层、逻辑判断层、结果输出层三部分构成。,内容测试层主要实现对自动拨测物理设备的管控，完成梦网短信业务内容的测试。逻辑判断层主要根据知识库及判断规则，筛选出可能的违规业务。结果输出层主要实现测试结果的输出及预警。,梦网业务内容监测系统业务测试层,1、业务拨测调度逻辑拨测设备在测试同一SP的业务时，由于返回的短信端口号相同，因此很难进行业务内容的区分，容易产生同一SP间业务的交
6、叉干扰。为解决此问题可采用如下测试方法：如拨测设备的端口数为N，则按顺序先测试第1家SP的第1-第N项业务，然后再测试第2家SP的第1-第N项业务，以此类推。确保同一端口测试同一SP间的业务间隔时间最大化。,2、业务测试逻辑 根据从SIMS系统导入的数据，实现业务信息的关键信息判断，确定最终的业务测试流程。,梦网业务内容监测系统逻辑判断层,逻辑判断层根据以上研究的文本内容监测技术以及知识库及判断规则，筛选出可能的违规业务。由于合作伙伴内容违规主要有以下四类，通过收集合法与非法业务内容，建立训练集和违规规则知识库，提高违规辅助识别的准确率，训练集类型如下：,梦网业务内容监测系统结果输出层,为确定
7、违规内容的及时处理，采用WEB的方式输出异常的测结果，并通过短信方式进行提醒。方便管理人员及时登录系统，对疑似违规行为进行判定，暂停业务并通知SP整改。SP整改后，由系统再次进行自动验证，经管理人员核实后，完成违规处理。,图像内容监测技术,色情图片检测,肤色检测,大人脸检测,露点检测,输入图片,检测结果,图片中出现明显的人脸也可以被检测器检测到，需要应用人脸检测技术判断是否是人脸；如果不是人脸，在后续的检测中将不予考虑，从而减少了误判情况的发生。,在肤色检测的基础上，运用特定目标检测技术,进一步判断是否有人体特定器官的出现，最终判断是否有露点情况出现。,首先，通过大量样本统计建立非参数化肤色直
8、方图模型，然后通过高斯混合模型建立参数化肤色模型。同时，为了进一步区别人体部分裸露图像和色情图像，对人体关键部位通过视觉关键词技术建立模型，从而避免人体部分裸露图像被大量误检为色情图像。,样例图片检测,粗特征匹配,细特征匹配,输入图片,检测结果,采用SIFT算法得到全部特征点，然后采用注意力模型得到显著区域，最后基于显著区域信息进行特征点过滤，支持图片变形（旋转、水印、色度改变）后仍可精确匹配；采用高维索引结构来表示SIFT视觉不变量特征，能够实现大容量样例的快速匹配；采用分级匹配策略：第一级用全局的颜色特征进行粗匹配，第二级采用SIFT视觉不变量特征进行精细匹配，可以显著加快匹配速度；,已知
9、图像监测流程系统在进行初始化时，先产生特征值比对结构；系统不断的读取已知图像库中的图像，根据特征值提取算法，将图像的特征值提取出来；在提取出特征值后，将特征值存入特征值比对结构中；当系统接收到待监控的图像时，采用同样的特征值提取算法，将待监控图像的特征值提取出来；系统将此特征值送入特征值比对结构中进行比对；如命中特征值，就会得知此图像是否为垃圾图像，如果该图像具有垃圾属性则被监管，否则将准确认定其为正常图像。,图像监测流程,未知图像监测流程系统在进行初始化时，先产生图像识别结构；系统不断的读取训练样本库中的图像，根据智能分析算法，将训练结果存入图像识别结构中；在进行图像识别时，只需将图像送入图
10、像识别结构中，即可提出此图像的可疑度，可根据配置，将可疑度超过指定门限的图像加入到疑似库中；在进行人工仲裁时，首先由管理员将指定疑似图像查询出来，然后进行人工仲裁，以确定此图像最终的类别；当判断为垃圾图像后，可将此图像加入到已知图像库垃圾图像中；经仲裁后，无论是非法图像还是正常图像，都可以将此图像加入到训练样本库中，然后使其进行反馈学习，从而不断提高智能分析的准确度。,图像监测流程,图像内容监测技术应用-不良彩信监控系统,不良彩信监控系统实现自动接收下发的审计策略，对彩信数据进行实时审计，对不良彩信进行智能分类，上报审计日志。管理服务器负责审计策略下发、数据收集与查询，同时对收集的数据进行统计
11、与分析。,视频内容监测技术,基于图像的视频内容监测技术基于图像的视频内容监测技术是基于色情图像监测算法（根据对色情图片的分析，包括皮肤区域的暴露程度、人脸识别、特征区域及形状作为重要的判定信息），结合视频的时域特征进行设计的。首先，在离线的状态下，对已有视频库中的视频进行结构化分析，拆分提取视频关键帧，通过关键帧的帧间信息分析从而完成对镜头的分割。根据对镜头间的关联性分析，特别是背景的相似性分析，获得对视频场景的分割，最终通过结构化分析汇总得到视频结构树信息。在每一层分析时，完成对该层的建模，为分析决策提供依据。在实时检测时，同样对输入视频进行拆帧、镜头分割、场景提取和结构化操作，并将获得的结
12、果分别与相应层的模型进行分析决策，并按照结构粒度从小到大的优先顺序提交决策结果，从而保证决策的精度和实时性。,视频内容监测技术,视频拷贝监测技术对于反动、暴力类视频采用视频拷贝检测算法，基于内容的视频拷贝检测是根据视频自身的内容信息，通过测量从参考视频和测试视频中提取的唯一标识视频内容的特征序列之间的距离值来判断测试视频是否是参考视频的一个拷贝，容许适度的信号特征畸变，例如图像尺寸与清晰度变化，帧率变化等。一般来说，基于内容的视频拷贝检测主要包括三个过程：镜头分割、关键帧提取、特征值比较。,视频内容监测流程,（1）建立不良内容视频库，根据内容不同分类为色情视频库，反动视频库，暴力视频库。（2）
13、对需要识别的视频先进行拷贝检测，看不良视频库中是否有和该视频相似的副本。若有则直接返回该不良视频库的类别，作为待识别视频的识别结果。（3）若拷贝检测没有发现待识别视频的副本，则再根据色情视频分类算法对该视频进行识别。最终得出最后识别结果。,视频内容监测技术应用-手机视频内容离线监控系统,手机视频内容离线监控系统通过接入参数配置方式，能够访问手机视频内容库，实现对内容库中的内容进行自动监测，并对不良视频内容进行分类，提供监测信息统计及告警功能。另外，还提供视频分类训练功能，用于建立不良视频特征库。,增值业务内容监测成果,研究成果文本监测技术重点研究文本表示及其特征选取、基于朴素贝叶斯算法的分类，
14、能有效提高对于短信息类的文本内容的监测准确率。图像监测技术采用色情检测技术和样例检测技术，包括改进多肤色模型，区域级肤色检测，分级检测机制以及视觉不变量特征，分级匹配策略等，能在图像尺寸与清晰度变化的情况下，仍能保证图像监测准确率。视频监测技术在充分考虑传统的基于图像内容识别的视频内容识别方法的基础上，引入不良视频拷贝检测技术。通过综合两方面检测结果，可提高系统的检测准确性。,应用成效四川公司建设梦网业务内容监测系统后，梦网短信业务的拨测速度达到每小时500项，全量拨测周期从一个月缩小到1天，大大降低人工审核任务量，提升对梦网业务内容掌控，确保及时发现梦网内容违规行为。四川公司实现了对不良彩信的发现与拦截，有效降低了用户对不良彩信的投诉，净化了彩信业务，提升了网络的服务“软质量”。上海公司应用手机视频内容离线监测，能对手机视频内容库中的内容进行离线监测，能及时的发现违规内容，并且减少业务运营人员的人工审核工作量。基于本项目所研究技术实现的梦网短信业务内容监测系统、不良彩信监控系统以及手机视频内容离线监控系统，能有效的实现对于文本、图像以及视频内容的监测，本项目研究成果还能应用到其他各个增值业务的内容监测中。,24,结束,谢谢大家！,
