《DB45_T 2715-2023 公路车辆影像分析测试与评分技术规程.docx》由会员分享，可在线阅读，更多相关《DB45_T 2715-2023 公路车辆影像分析测试与评分技术规程.docx（22页珍藏版）》请在三一办公上搜索。
1、ICS03.220.20CCSR80DB45广西壮族自治区地方标准DB45/T27152023公路车辆影像分析测试与评分技术规程Technicalregulationsforroadvehicleimageanalysistestingandscoring2023-08-10发布2023-09-30实施广西壮族自治区市场监督管理局发布目次前言I1范围12规范性引用文件13术语和定义14测试目的、对象和原则24.1 测试目的24.2 测试对象24.3 测试原则25测试流程25.1 测试项目25.2 整体流程36测试方法66.1 测试内容66.2 功能测试方法66.3 性能测试方法77评分方法87
2、.1 评分指标87.2 功能测试评分方法97.3 性能测试评分方法10附录A（规范性）车辆影像分类附表12附录B（规范性）测试模板附表15参考文献17DB45T27152023-A-刖百本文件按照GBT1.12020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由广西壮族自治区交通运输厅提出并宣贯。本文件由广西交通运输标准化技术委员会归口。本文件起草单位：广西交科集团有限公司。本文件主要起草人：陈静、马高琳、陆璐、刘彬、梁杏、龙思颖、唐文娟、王玲容、兰良、陈趁翱、梁莫柱、韦科宇、李秀琼、陈海军。公路
3、车辆影像分析测试与评分技术规程1范围本文件界定了公路车辆影像分析测试与评分技术的术语和定义，规定了公路车辆影像分析测试项目、测试对象、测试原则、测试流程、测试方法和评分方法。本文件适用于广西壮族自治区行政区域内公路机动车辆影像分析测试与评分工作。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1视频图像分析系统VideOandimageanalysissystem对视频和图像进行分析及处理，识别视频和图像的内容，提升视频和图像质量，快速发现和定位关注信息的系统。来源：GA/T1399.12017,3.1.13.2车辆检测vehicledetection对视
4、频图像中的机动车辆及其位置进行辨识。来源：GA/T1399.12017,3.1.16,有修改3.3车辆基本特征识别basiccharacteristicofvehiclerecognition对视频图像中机动车辆的车牌号码、颜色、车辆类型等进行辨识.来源：GA/T1399.12017,3.1.17,有修改3.4正检truepositive视频或图像中出现应该被正确检测或分类的目标或事件，且视频图像分析系统输出正确的检测结果。来源：GB/T301472013,3.1.193.5误检falsepositive视频或图像中未出现相应的目标或事件，但视频图像分析系统输出了检测结果。来源：GB/T301
5、472013,3.1.203.6漏检falsenegative视频或图像中出现应该被检测的目标或事件，但视频图像分析系统未输出检测结果。来源：GB/T301472013,3.1,214浦试目的、对象和原则4.1 涌试目的确保测试结果对公路机动车辆影像分析系统、平台或算法给出客观定量的评价。4.2 测试对象测试对象应包括具备公路机动车辆影像分析功能的系统、平台或算法。4.3 测试原则4.3.1 实用性车辆影像分析测试方法应能够产生积极效果。4.3.2 公平性车辆影像分析测试方法应通过指定规则和指标进行比较。4.3.3公正性在测试过程中，应以客观的科学的测试数据为依据。4.3.4一致性在不同的测试
6、环境对同一被测对象进行测试时，其测试结果应保持一致。5测试流程5.1 测试项目5.1.1 功能涌试项目功能测试应至少支持以下项目中的一种或几种：a)车辆检测：对图像或视频中的车辆的位置用检测框标出，且能对视频中车辆位置进行跟踪：b)车辆基本特征识别：对图像或视频中的车辆进行识别，包含车牌号码、车辆颜色、车辆类型，车辆类型按附录A表A.4;c)车辆数量分析：对图像或视频中的道路车流量、车辆类型分布统计；d)车辆行为分析；对视频中车辆行为的分析，包含车辆交通事件中的停车、逆行、变线、倒车、超速、抛洒物、碰撞、隧道火灾、隧道水灾，分类按附录A表A.1;e)车辆行驶环境分析：对图像或视频中的车辆行驶环
7、境识别，包含道路路面情况及天气情况，分类按附录A表A.2和表A.3。5.1.2性能测试项目性能测试应支持以下项目中的几种：a）负载测试：评估被测对象在预期变化负载下的性能表现，具体见6.3.2.1;b）压力测试：评估被测对象在指定容量负载下的性能表现，具体见6.3.2.2;c）并发测试：评估被测对象在指定性能指标下的最大处理能力，具体见6.3.2.3。5.2整体流程5.2.1 流程图测试流程如图1所示。测试机构图1测试流程图5.2.2测试申请测试前，由测试需求方向测试机构提交测试申请。5.2.3选取测试项目由测试需求方选取测试项目。功能测试项目共5种，性能测试项目共3种，应符合5.1的一项或几
8、项。5.2.4申请审核测试机构对测试需求方提交的测试申请进行审核。5.2.5测试大纲测试机构根据测试需求方所选取的测试项目，编写测试大纲。5.2.6测试准备5.2.6.1提供测试对象由测试需求方向测试机构提供测试对象。5.2.6.2数据源准备5. 2.6.2.1测试机构应根据测试项目匹配数据源，具体格式要求如下：a)图像格式包括但不限于：1) CIF(352288).4CIF(704X576)、Dl(720X576)、720P(1280720).1080P(1920X1080)等分辨率；2) JPEG、JPEG2000、BMP、PNG等格式；b)视频格式包括但不限于：1) CIF(352288
9、).4CIF(704X576)、Dl(720X576)、720P(1280720),1080P(1920X1080)等分辨率的视频；2) PS、MP4、AVKF1.V等视频封装格式；3) SVAC、H.264、H265、MPEG-4等视频编码格式。5.2.6.2.2数据源符合以下要求：a) 视频或图像应能识别出目标检测标的物；b) 视频或图像应包含不同光照及气象条件下的拍照条件，如白天、黑夜、雨雪雾天气条件下的视频或图像；c) 视频应包含车辆的整个运动流程：d) 车辆行驶环境应包含周边道路的视频图像信息；e) 数据规模应不少于5000张。5.2.6.2.3测试机构应对数据源进行标注，标注内容如
10、表1所示。表1数据源标注内容序号测试项目数据类型标注内容1车辆检测图像/视频车辆位置框2车辆基本特征识别图像/视频车辆位置框、车辆颜色类别、车辆类型3车辆数量分析图像/视频车辆位置框、车辆数量值（单位时间内）4车辆行为分析视频车辆位置框、车辆行为类别5车辆行驶环境分析图像/视频环境类别5.2.6.3测试环境测试机构应提供相适应的软硬件环境，测试环境如图2所示，测试环境的相关配置按附录B表B.1的要求。图2测试环境示意图5.2.7测试测试工作包括功能测试和性能测试，功能测试的测试方法按6.2,性能测试的测试方法按6.3。5.2.8测试报告测试机构对测试结果进行评分。功能测试的评分方法按7.2,性
11、能测试的评分方法按7.3。完成评分工作后，测试机构应输出测试报告，功能测试报告的模板按附录B表B.2,性能测试报告的模板按附录B表B.3。6测试方法6.1 测试内容各测试项目对应的测试内容见表2。表2测试内容序号测试项目测试内容测试要求图像视频1车辆检测目标检测能用检测框标出能用检测框标出并跟踪位置2车辆基本特征识别车牌号码识别能识别能识别车辆颜色识别能识别能识别车辆类型识别能识别，类型按附录A表A.4能识别，类型按附录A表A.43车辆数量分析车流量统计能统计能统计车辆类型分布统计能统计，类型按附录A表A.4能统计，类型按附录A表A.44车辆行为分析交通事件识别无能识别，类型按附录A表A.15
12、车辆行驻环境分析道路天气情况分类能识别，类型按附录A表A.2能识别，类型按附录A表A.2路面状态分类能识别，类型按附录A表A.3能识别，类型按附录A表A.36负载测试模拟真实场景下测试对象的运行状况功能测试正常，且测试对象运行正常7压力测试在CPU占用率50乐60%、70M80*的前提下，测试对象的运行状况功能测试正常，且测试对象运行正常8并发测试在满足1万个测试数据体量以及CPU占用率不超过70%的前提下，测试对象的运行状况功能测试正常，且测试对象运行正常6.2 功能测试方法6.2.1 测试条件根据5.2.6准备相应测试条件。6.2.2 漓试步骤测试步骤如下：a）任务启动；b）通过流媒体服务
13、器将数据流实时输出至测试服务器；c）测试对象在测试服务器内进行测试：d）测试服务器输出结果至分析服务器，分析服务器输出评分指标结果。6.2.3返回结果输出测试报告，报告模板按附录B表B.2。6.2.4评分根据评分标准进行评分，指标参照表3。6.3性能澧I试方法6. 3.1测试条件根据5.2.6准备相应测试条件。7. 3.2测试步哪8. 3.2.1负载测试测试步骤如下：a）任务启动；b）流媒体服务器模拟真实场景将实时数据流输出至测试服务器；c）测试对象在测试服务器进行测试：d）记录处理时间、CPU占有率、内存占有率等相关指标；e）分析服务器输出评分指标结果。9. 3.2.2压力测试分别测试CPU
14、占用率在50$、60%、70%、80%,观测测试对象是否正常运行并评分。10. .2.3并发涌试在满足1万个测试数据体量以及CPU占用率在不超过70$的前提下，并发执行负载测试，观测测试对象的检测效率并评分。11. .3返回结果输出测试报告，报告模板按附录B表B.3。6.3.4评分根据评分标准进行评分，指标参照表4。7评分方法1.1.1 指标1.1.2 1.1准确率(PreCiSion)视频或图像检测系统输出目标或事件后，按照式(1)进行计算。Precision=100%(1)式中：TP正检数，即被系统正检的目标或事件的数目；FP一误检数，即被系统误检的目标或事件的数目。1.1.3 召回率(R
15、ecall)视频或图像检测系统输出目标或事件后，按照式(2)进行计算。Recall7Q0%式中：TP一一正检数，即被系统正检的目标或事件的数目；FN一一漏检数，即被系统漏检的目标或事件的数目。1.1.4 交并比(IoU)视频或图像检测系统输出目标后，按照式(3)进行计算。式中：BlnB2检测框Bl与标注框B2的交集面积；BlUB2测框Bl与标注框B2的并集面积。1.1.5 平均准确率(AP)视频或图像检测系统输出目标后，按照式(4)进行计算。AP=J：P(r)dr,式中:P(r)一一不同召回率r下对应的准确率。1.1.6 平均准确率均值(mAP)视频或图像检测系统输出目标后，按照式(5)进行计
16、算。mAP三戈卢(5)式中:DB4527152023k数据源中包含的所有类别的总数；AP一一第i个类别对应的平均准确率。1.1.7 1.6R2分数（R2-score）视频或图像检测系统输出数量后，按照式（6）进行计算。RZ二1（6）式中：R2R2分数；n第i个样本中检测出的目标数量值；hi第i个样本中的真实目标数量值；11所有样本的真实目标数量值的平均值；m样本个数。7.1.7每秒帧率（FPS）单位时间内处理的图像数量或视频帧数。7.2 功能测试评分方法根据6.2功能测试方法，输出测试报告，报告根据测试项目按照表3输出评分指标及评分结果。表3功能测试评分方法测试项日评分指标评分标准（满分为5分
17、）（白天或晴天）评分标准（满分为5分）（黑夜或阴雨雪雾天）条件得分值条件得分值车辆检测InAP和IOUmin(loU,mAP)(0,0.5)0min(loU,mAP)(0,0.4)0min(loU,mAP)(0.5,0.6)min(loU,mAP)(0.4,0.5)min(loU,mAP)(0.6,0.7)2min(loU,mAP)(0.5,0.6)2min(loU,mAP)0.7,0,83min(loU,InAP)E(0.6,0.7)3min(loU,mAP)0.8,0.94min(loU,11AP)0.7,0.84min(loU,mAP)0.9,15min(IoU,mAP)0.8,15车辆
18、基本特征识别准确率(Precision)、召回率(Recall),mAPmin(Precision,Recall,mAP)(0,0.5)0min(Precision,Recall,mP)(0,0.4)0min(Precision,Recal1,InAP)E(0.5,0.6)min(Precision,Recall,nAP)E(O.4,0.5)min(Precision,Recal1,mP)E(0.6,0.7)2min(Precision,Recall,mP)E0.5,0.62min(Precision,Recal1,mAP)E0.7,0.83min(Precision,Recall,mAP)E
19、0.6,0.73min(Precision,Recall,mAP)E(0.8,0.9)4min(Precision,Recall,mAP)E(0.7,0.8)4min(Precision,Recall,mAP)0.9,15min(Precision,Recall,mAP)0.8,153功能漏试评分方法（续）测试项目评分指标评分标准（满分为5分）（白天或晴天）评分标准（满分为5分）（黑夜或阴雨雪雾天）条件得分值条件得分值车辆数量分析R2分数(R2)R200R2000R20.3510R20.21O.35R20.620.2R20.420.6R20.7530.4R20.630.75R20.940.6R
20、20.7540.9R2l50,75R215车辆行为分析准确率(Precision)、召回率(ReCal1)、mAPmin(Precision,Recall,mAP)(0,0.5)0min(Precision,Recall,mAP)(0,0.4)0min(Precision,Recall,mAP)0.5,0.61min(Precision,Recall,mAP)(0.4,0.5)1min(Precision,Recall,mAP)EO.6,0.72min(Precision,Recall,mAP)0.5,0.62min(Precision,Recall,mAP)EO.7,0.83min(Prec
21、ision,Recall,mAP)E0.6,0.73min(Precision,Recal1,mP)E(0.8,0.9)4min(Precision,Recall,mP)E(0.7,0.8)4min(Precision,Recall,mAP)0.9,15min(Precision,Recall,11AP)0.8,15车辆行驶环境分析准确率(Precision)、召回率(ReCal1)、mAPmin(Precision,Recall,mAP)(0,0.5)0min(Precision,Recall,mAP)(0,0.4)0min(Precision,Recall,mAP)(0.5,0.6)1mi
22、n(Precision,Recall,mAP)(0.4,0.5)min(Precision,Recall,mAP)(0.6,0.7)2min(Precision,Recall,mAP)0.5,0.62min(Precision,Recall,mP)E0.7,0.83min(Precision,Recall,mAP)(0.6,0.7)3min(Precision,Recal1,mAP)0.8,0.94min(Precision,Recall,mAP)0.7,0.84min(Precision,Recall,mAP)E0.9,15min(Precision,Recall,mAP)E0.8,157.
23、3 性能测试评分方法在满足功能测试运行正常的前提下，根据6.3性能测试方法，输出测试报告，报告根据测试项目按照表4输出评分指标及评分结果。表4提供了使用单卡具有12TF1.oPS算力的4卡GPU服务器作为测试服务器下的性能指标。4性能测试评分方法测试项目测试步骤评分指标评分标准（满分为5分）条件得分值负载测试执行6.3.2.1所示测试步骤CPU占用率（1.CPu）、内存占用率（1.ran1）、检测帧速率（FPS）FPSFPS0FPSNFPSimay1.cpu,1.ram)0.8,1max1.cpu,1.ram)E0.6,0.82ma1.cou,1.ram)0.4,0.63max1.cpu,1.
24、ram)E(0.2,0.4)4ma:1.cpu,1.ram)(0,0.2)5压力测试执行6.3.2.2所示测试步骤在CPU占用率50%,60%,70%,80%前提下，记录检测帧速率（FPS）FPSFPSi00FPS-FPSi22WFPS-FPSi424FPS-FPSi636FPS-FPSi84FPS-FPSi285并发测试执行6.3.2.3所示测试步骤检测帧速率（FPS）FPSFPSi00FPS-FPSi22FPS-FPSi424FPS-FPSi636FPS-FPSi84FPS-FPSi85注：FPS;为数据源视频的原始帧率。附录A翎范性）车辆影像分类附表A.1交通事件分类表A.1规定了交通事
25、件的分类。表A.1交通事件分类车辆行为事件ID分类图片或视频车辆停车视频2车辆逆行视频3车辆变线视频4车辆倒车视频5车辆拥堵视频6车辆超速视频7车辆低速视频8抛洒物视频9车辆间碰撞视频10车辆与固定物碰撞视频11车辆火灾视频12隧道火灾视频13隧道水灾视频A.2道路天气情况的分类表A.2规定了道路天气情况的分类。拓1.2道路天气情况分类道路环境ID分类图片或视频晴图片2阴图片3雨图片4雪图片表A.2道路天气情况分类（续）道路环境ID分类图片或视频5雾图片6冰帽图片A3路面状态的分类表A3规定了路面状态的分类。表A.3路面状态分类路面状态ID分类图片或视频1冰雪图片2坑槽图片3塌陷图片4路障图片
26、5平整图片6积水图片7湿滑图片8其他图片A.4车辆分类测试项表A.4规定了车辆分类测试项。表分类测试项序号分类说明1载客汽车大型车长大于或等于6000mm或者乘坐入数大于或等于20人的载客汽车2中型车长小于6000Inm且乘坐人数为1019人的载客汽车3小型车长小于600Omln且乘坐人数小于或等于9人的载客汽车，但不包括微型载客汽车4微型车长小于或等于350Omm且内燃机气缸总排量小于或等于100Om1.（对纯电动汽车为驱动电机总峰值功率小于或等于15kW）的载客汽车5载货汽车重型总质量大于或等于12000kg的载货汽车6中型车长大于或等于600OnInl的载货汽车，或者总质量大于或等于45
27、0Okg且小于12000kg的载货汽车：但不包括重型载货汽车和低速货车A.4机动车辆分类测试项（续）序号分类说明7载货汽车轻型车长小于600Omm且总质量小于4500kg的载货汽车，但不包括微型载货汽车和低速汽车（三轮汽车和低速货车的总称）8微型车长小于或等于350Onlm且总质量小于或等于180Okg的载货汽车，但不包括低速汽车9三轮（三轮汽车）以柴油机为动力，最大设计车速小于或等于50kmh,总质量小于或等于2000kg,长小于或等于4600mm,宽小于或等于1600mm,高小于或等于2000mm,具有三个车轮的货车。其中，采用方向盘转向、由传动轴传递动力、有驾驶室且驾驶人座椅后有物品放置
28、空间的，总质量小于或等于3000kg,车长小于或等于5200mm,宽小于或等于1800mm,高小于或等于2200mm。三轮汽车不应具有专项作业的功能10低速（低速货车）以柴油机为动力，最大设计车速小于70kmh,总质量小于或等于4500kg,长小于或等于600011m,宽小于或等于2000mm,高小于或等于2500mm,具有四个车轮的货车。低速货车不应具有专项作业的功能11专项作业车专项作业车是指装置有专用设备或器具，在设计和制造上用于工程专项（包括卫生医疗）作业的汽车，如汽车起重机、消防车、混凝土泵车、清障车、高空作业车、扫路车、吸污车、钻机车、仪器车、检测车、监测车、电源车、通信车、电视车
29、、采血车、医疗车、体检医疗车等，但不包括装置有专用设备或器具而座位数（包括驾驶人座位）超过9个的汽车（消防车除外）。专项作业车的规格分为重型、中型、轻型、微型，具体按照载货汽车的相关规定确定附录B(SBStt)测试模板附表B.1测试环境表B.1规定了本文件的测试环境。表B.1测试环境序号名称功能硬件环境软件环境1流媒体服务器提供数据源，应具备高并发实时流式分发的能力，能随机分发图像或视频CPU:4核心2.6GHz或相同性能内存：16G以上硬盘：1T以上操作系统：不限于CentOS7流媒体服务：不限于HeIiX122测试服务器对被测系统软硬件进行测试，应具备功能和性能测试工具CPU:4核心2.6
30、GHz或相同性能内存：16G以上硬盘：500G以上操作系统:不限于CentoS7运行时库：不限于JaVa1.8数据库：不限于MySQ1.5.73影像分析服务器对被测系统输出的结果进行汇总计算，应具备评分指标计算能力CPU:4核心2.6GHz或相同性能GPU:4卡,单卡12TF1.OS或相同性能内存：16G以上硬盘：500G以上操作系统:不限于CentOS7运行时库：不限于Python3.94网络带宽：100MbPS以上5推理框架框架：不限于TensorFlow2.0B.2功能渊试报告表B.2规定了功能测试报告的模板。表B2功能测试报告测试需求方测试机构测试对象版本Vx.X.X测试项目功能名称类
31、型功能测试测试用例ID测试用例名称测试内容表B.2功能测试报告（续）数据源测试步骤预期输出返回结果测试评分测试员：复核：测试日期：B.3性能测试报告表B.3规定了性能测试报告的模板。M3性能测试报告测试需求方测试机构测试对象版本Vx.X.X案例ID案例名称类型性能测试测试用例ID测试用例名称测试内容数据源测试步骤测试评分测试员：复核：测试日期：参考文献1 GB/T29100-2012道路交通信息服务交通事件分类与编码2 GB/T301472013安防监控视频实时智能分析设备技术要求3 GA8022019道路交通管理机动车类型4 GA/T1399.1-2017公安视频图像分析系统第1部分：通用技术要求
