《智能语音电子设备互联互通评价技术规范编制说明.docx》由会员分享，可在线阅读，更多相关《智能语音电子设备互联互通评价技术规范编制说明.docx（8页珍藏版）》请在三一办公上搜索。
1、智能语音电子设备互联互通评价技术规范团体标准编制说明智能语音电子设备互联互通评价技术规范标准制定工作组二零二四年一月一、工作简况1.1任务来源随着互联网的迅猛发展，互联网和电子电器领域的企业纷纷建立了自己的智能家居开放互联互通平台。但由于缺少统一的行业标准，各平台间无法实现快速兼容，智能语音交互功能实际效果的良莠不齐也阻碍了智能家居行业的良性发展。针对行业痛点和市场需求，本标准提出了智能语音电子设备互联互通评价技术规范。目前，国内外智能产品企业已从智能语音需求出发，快速步入了全新的技术融合阶段，整合多模式识别、大数据、物联网、云服务等技术，形成综合技术解决方案，多维度触达行业核心需求，提供标准
2、化行业解决方案成为智能语音服务商的破局之道。随着智能语音的不断发展，国内外的各个厂家均开始从不同维度布局智能语音相关的产业链。国外企业以谷歌和苹果为例，谷歌打造开发者生态链，推出GoogleHome,试图建立物联网时代安卓系统。而苹果基于智能硬件定标准，做平台、获数据，重视物联网时代生态控制权。国内的科技巨头则是通过开放语音生态系统，以产业内合作的方式，将语音技术植入产品和或应用于相关业务场景，构建全产业生态链厂。在广州超高清视频产业促进会的指导下，工业和信息化部电子第五研究所成立专门的标准工作小组起草智能语音电子设备互联互通评价技术规范团体标准。本规范规定了智能语音电子设备的互联互通性能及语
3、音交互性能的评价方法。适用于单相设备额定电压不超过250V,其他设备额定电压不超过480V的应用了网络技术的具备语音交互功能的智能语音电子设备和类似用途电器。工业和信息化部电子第五研究所、科大讯飞华南有限公司、科大讯飞华南人工智能研究院（广州）有限公司、华南理工大学、广州市新能源智能汽车发展促进会1.2主要起草单位及起草人序号标准起草单位起草人备注1工业和信息化部电子第五研究所黄林轶、韦胜钮、刘斌辉、蔡佳、赵凯、童国烯、刘惟凡、黄璇、周循道等负责标准制定工作，资料查询、标准正文及编制说明草案、方法验证、组织协调等工作。2广州超高清视频产业促进会/负责标准制定工作，资料查询、标准正文及编制说明草
4、案、方法验证、组织协调等工作。3科大讯飞华南有限公司黄飞云，杜轶锋，叶国伟等参与资料查询、标准正文及编制说明草案修改、方法验证等工作。4科大讯飞华南人工智能研究院（广州）有限公司周国华，程大龙，杜倩云等参与资料查询、标准正文及编制说明草案修改、方法验证等工作。5华南理工大学邢晓芬等参与资料查询、标准正文及编制说明草案修改、方法验证等工作。6广州市新能源智能汽车柯研等参与资料查询、标准正文及编制说明草发展促进会案修改、方法验证等工作。1.3主要工作过程1、提案立项阶段（2024年1月2024年2月初）由工业和信息化部电子第五研究所牵头，确定标准提案后，公开征集标准参编单位，成立标准起草小组，组织
5、标准编制和协调工作，并收集和分析国内外相关标准和技术资料。2、预研起草阶段（2024年2月）收集各类代表性文献，征集专业资料，对技术指标和方法进行充分调查研究，并进行试验验证，确定相关技术指标及参数，形成标准草案。3、征求意见阶段（2024年2月2024年3月初）标准编制小组内部讨论和广泛征求全行业意见，汇总和处理反馈意见，修订文稿。4、审查、报批阶段（2024年3月）针对公开征求意见，标准小组对标准草案进行进一步修改完善，并形成标准送审稿。二、标准的编制原则和依据本标准编制遵循“统一性、实用性、一致性和规范性”的原则，尽可能的与国际通行标准接轨，注重标准的适用行和可操作性。本标准严格按照GB
6、/T1.1-2020标准化工作导则第一部分：标准化文件的结构和起草规则的规定编制起草；充分考虑到本行业的发展现状与特点，将技术限量指标控制在一个适宜的范围与程度，从而提高标准贯彻实施的可操作性。本标准为首次制订，没有现行的相关国家、行业标准，使该标准在较长时间内，具有一定的先进性和前瞻性。三、标准的主要内容、技术论证与效果3.1标准的主要内容本标准规定了智能语音电子设备互联互通评价技术的范围、规范性引用文件、术语和定义、规格、技术要求、测试方法、标志、包装、运输、贮存。3.2技术指标表1智能语音电子设备互联互通能力评分表（模式一、模式二）测试项目满分值得分指标取得分值分值比例合计分值配网成功率
7、100A90%10020%80%A90%8070%A80%6060%A70%40A60%判定不合格通信成功率100295%10020%90%95%9080%W90%7070%80%5070%判定不合格响应时间100参考5.6中的表320%重新联机成功率100S90%10020%80%590%8070%580%60S70%20总辐射功率和总全向灵敏度100参考5.8中的表4、表5总辐射功率和总全向灵敏度的得分值相加20%表2智能语音电子设备互联互通能力评分表（模式三）测试项目满分值得分指标取得分值分值比例合计分值配网成功率100A90%10015%80%A90%8070%A80%6060%A70
8、%40A60%判定不合格互联功能完整率10080%10025%60%o80%8040%60%5020%a40%30o20%判定不合格通信成功率100295%10015%90%95%9080%90%7070%万80%5070%判定不合格响应时间100参考5.6中的表315%重新联机成功率100S290%10015%80%590%8070%580%60Sy90%9090%y85%8090%y80%60P,h285%9085%PQ80%8080%PG75%60P,hV75%40误唤醒率100P.W3次/24小时10020%5次/24小时WP、3次/24小时808次/24小时WP.8次/24小时20交
9、互拒识率100Pwl0%10020%10%VPtWI5%8015%Pt20%203. 3测试方法3.1 通信安全1)设备认证核对厂商提供的设备信息是否一致，验证其是否具有唯一网络身份标识，测试是否可以通过抓取设备与智能语音电子设备服务平台之间收发的数据包，满足则符合要求。2)信息安全使用抓包工具抓取设备与智能语音电子设备服务平台之间收发的数据包，验证其是否使用了TLS加密手段，满足则符合要求。如果设备使用了其他安全策略，经验证确认为可靠的安全策略则符合要求。3.2 电气安全对设备在互联互通模式下运行时发生的状态和参数改变进行评估，经评估后确认对防电击保护、电击危险、绝缘要求、爬电距离和电气间隙
10、等电气安全项目的符合性有影响，则按照GB8898或GB4943.1和相应特殊标准要求进行检测。3.3 配网成功率将设备置于通信信号良好的环境下并配网完成后，对设备进行以下测试：按照厂商提供的说明书进行配网并完成设备绑定，完成绑定后记为配网成功，在成功绑定后进行设备解绑。重复以上操作，则配网成功率。3.4 互联功能完整率将设备置于通信信号良好的环境下并配网完成后，对设备进行以下测试：使用公共控制终端对设备进行控制，同时可以在公共控制终端和厂商控制终端上实现的功能被称为互联功能，将原厂商的控制终端功能数目与公共控制终端功能数目进行对比，得到互联功能完整率。3.5 通信成功率将设备置于通信信号良好的
11、环境下并配网完成后，对设备进行以下测试：使用控制终端对设备进行控制，对设备控制终端上提供的所有功能进行通信成功率测试，从控制终端发出控制命令后，可以触发设备做出正确的响应，则通信成功。3.6 响应时间将设备置于通信信号良好的环境下并配网完成后，对设备进行以下测试，并根据表3进行评分：(1)使用厂商控制终端对设备进行控制，从发出指令开始计时，到触发设备响应停止计时，每个功能重复测试10次，计算出每个功能的平均耗时，若单个功能的平均耗时均不大于2s,则为符合要求的功能。(2)使用公共控制终端对设备进行控制，从发出指令开始计时，到触发设备响应停止计时，每个功能重复测试10次，计算出每个功能的平均耗时
12、，若单个功能的平均耗时均不大于3s,则为符合要求的功能。（3）公共控制终端停留在设备状态界面，从使用厂商控制终端发出指令开始计时，到公共控制终端的设备状态发生变化停止计时，每个互联功能重复测试10次，计算出每个功能的平均耗时，若单个功能的平均耗时均不大于5s,则为符合要求的功能。3.7 重新联机成功率将设备置于通信信号良好的环境下并配网完成后，对设备进行以下测试：将设备成功配网后进行断电操作，若设备重新上电后，在控制终端的设备列表中再次上线，则重新联机成功。3.8 总辐射功率和总全向灵敏度以设备主要的通讯方式为依据进行分类。主要通讯方式为WIFI的设备，其总辐射功率（TRP）和总全向灵敏度（T
13、IS）应达到相应的等级要求，不同等级得分不同。3.9 远场语音识别能力在低躁条件下，将智能语音电子设备调至待命状态，在距离待测设备3m处使用回放设备播放10条语音识别测试语料，记录被测系统是否给出正确响应，计算语音响应准确率。3.10 低噪环境下语音唤醒准确率在低噪测试环境下，将智能语音电子设备调至待命状态，在距离待测设备Iln处使用回放设备20条播放条语音唤醒测试语料，记录被测系统是否给出正确响应。3.11 高噪环境下语音唤醒准确率在高噪测试环境下，将智能语音电子设备调至待命状态，在距离待测设备Im处使用回放设备播放条语音唤醒测试语料，记录被测系统是否给出正确响应。3.12 误唤醒率误唤醒测
14、试：将智能语音电子设备被测系统调至待命状态，在距离待测设备Im处使用回放设备播放语音误唤醒测试语料，测试时长为24h,记录被测系统被误唤醒的次数，统计误唤醒频度。误唤醒测试集包含6小时电视节目，6小时新闻节目，6小时人声对话（可选择谈话节目模拟），6小时音乐播放。3.13 交互拒识率1 .13.1交互方式智能语音电子设备宜实现多轮语音交互，即通过两轮及两轮以上的对话完成一个任务。3 .13.2交互拒识率定义交互拒识率是指在智能语音电子设备在语音交互过程中，交互目的不能够在既定交互轮次内完成，被判定为交互失败的测试比率。5.13.3交互拒识率测试方法在低噪环境下，将智能语音电子设备调至待命状态，
15、使用回放设备在Im拾音距离内播放语音识别测试语料，记录当次语音交互会话是否成功和有效，计算各测试场景下的语音交互拒识率。四、与有关的现行法律、法规和国家、行业标准的关系本标准符合现行相关法律、法规、规章及相关标准要求。对于智能语音电子设备互联互通评价技术，无对应的国际标准或国外先进标准，无相关的国家或行业标准。五、标准实施建议此标准为团体标准，制定的技术指标符合大多数企业的实际情况，部分指标优于行业现状，该标准可直接在行业大多数企业贯彻实施。对本标准的采用实施，可提高本行业的技术水平，建议尽早实施。六、标准编制过程中重大分歧意见的处理和依据本标准在草案征求意见过程中无重大分歧。七、其他应与说明的事项本标准的制定过程中，标准制定工作组查阅了国内外相关的标准和技术资料,对国内部分企业进行调研，广泛征求意见。由于受时间以及其他条件所限，工作中可能存在的问题，希望各位专家和领导批评指正。
