《老年人语音情感识别系统设计与实现课件.ppt》由会员分享，可在线阅读，更多相关《老年人语音情感识别系统设计与实现课件.ppt（33页珍藏版）》请在三一办公上搜索。
1、,老年人语音情感识别系统设计与实现,目 录,课题研究背景与意义,Background And Significance Of The Selected Topic,1,CONTENTS,系统总体方案设计,系统相关算法研究,系统详细设计与实现,测试结果与工作总结,Test Result and Future Work,2,3,4,5,Detail Design and Implementation,Related Technologies Analysis and Algorithm Design,Overall Project Design,1,研究背景与意义,4,校企合作项目“重庆市XX区智
2、慧养老系统研发”,人口老龄化问题,我国已经步入老龄化社会，且养老资源短缺，分布不均预计到2020年，独居和空巢老人将达到1.18亿人国家大力支持依托“互联网+”的智慧养老产业发展,语音情感识别,通过对语音信号的分析和处理得出情感状态情感计算领域有代表性的方向与深度学习模型的结合取得了不错的进展,存在的问题,现有智慧养老系统较少涉及独居老人情感关怀，大多只是功能的整合针对老年人设计的单独的语音情感识别系统很少,智慧养老,使用现代化信息技术构建的新型养老体系解决养老问题的创新途径政府、学者、专家陆续投入智慧养老方面的建设,OVERALL PROJECT DESIGN,5,2,系统总体方案设计,6,
3、独居老年人,后台管理员,老年人子女,(1)用户管理：管理自己的账户信息和基本信息，包括登录时身份验证、修改登录密码等。(2)语音留言：给子女进行语音留言。(3)语音上传：将采集的语音信号通过网络上传至后台服务端进行情感识别。,(1)用户管理：管理自己的账户信息和基本信息，包括登录时身份验证、修改登录密码等。(2)语音留言：查看父母留言及给父母语音留言。(3)父母情感报告中心：查看父母情感报告及心理疏导机构提供的建议。,(1)用户管理：管理自己、老年人用户及子女用户的账户信息和基本信息，管理用户权限。(2)语料存储：存储管理老年人语料。(3)语音增强：对带噪语料库进行增强。(4)特征提取：对语料
4、库进行预处理、生成语谱图特征、尺度规范化调整及格式转换等操作。(5)模型训练：将语谱图特征输入模型进行训练。(6)分类识别：对语料或采集的语音进行情感分类。(7)信息推送：定期推送识别结果至子女端。,软件功能需求,2,系统总体方案设计,7,老年人语音情感识别系统总体方案,老年人语音情感识别系统组织结构图,2,总体方案设计,8,提供用户交互的窗口，由手机客户端和后台服务端组成,数据分析处理1.老年人语音增强2.语谱图特征提取3.CNN训练识别4.消息推送,数据来源,老年人语音情感识别系统总体方案,数据请求,数据返回,数据请求,数据返回,老年人语音情感识别软件总体结构图,C/S价格便宜，成本低系统
5、安全性好，响应速度快具有强大的数据操作和事务处理能力,Linux、java支持多用户、多任务可跨平台免费开源,Android免费开源易开发性使用较为主流的开发语言Java,RESEARCH BACKGROUNDS,2,系统总体方案设计,9,系统开发工具选择,手机终端，数据库,MySQL可跨平台移植融合性良好开源免费适合中小项目开发,系统相关算法研究,RELATED ALGORITHMS ANALYSIS,10,3,系统相关算法研究,11,老年人语音情感识别系统整体流程,基于先验信噪比的维纳滤波改进算法,基于CNN的老年人语音情感识别算法,系统相关算法研究,12,3,基于先验信噪比的维纳滤波算法
6、流程,基于先验信噪比的维纳滤波改进算法,通过先验信噪比和后验信噪比构造增益函数,传统算法的不足,传统算法的改进,1.噪声估计的方法过于简单（前120ms），只适用于稳定或变化不大的噪声。,利用语音活动期间的无声帧对估计出来的噪声功率谱进行更新,算法不足,改进方法,2.噪声增益函数对带噪信号过度抑制，引入大量的语音失真，造成信号畸变。,在基于先验信噪比的维纳滤波增益函数的基础上开平方，引入门限修正,引入语音活动检测算法,增益函数开平方,改进算法实现框图,改进算法实现框图,系统相关算法研究,13,3,实验设置,b.火车噪声下的输出信噪比以及基于帧的分段信噪比结果,a.高斯噪声下的输出信噪比以及基于
7、帧的分段信噪比结果,c.几种语音信号的时域波形比较,3,系统相关算法研究,14,卷积层,降采样层,全连接层,卷积神经网络基本结构图,每层卷积核尺寸单一固定，导致提取的特征信息不充分。,基于CNN的老年人语音情感识别算法,基本网络的不足,基本网络的改进,同层多卷积核CNN结构图,卷积层选用两种不同尺度的卷积核，提取不同分辨率下的语音情感特征。,3,系统相关算法研究,15,基于CNN的老年人语音情感识别算法,实验分析,语料库融合性能对比分析,多卷积核CNN,语谱图64*64,多种卷积结构对比实验,多种分辨率语谱图对比实验,老年人语音情感识别系统详细设计与实现,DETAIL DESIGN AND I
8、MPLEMENTATION,16,4,系统详细设计与实现,17,4,系统详细设计与实现,18,概念模型设计,数据库表设计,4,系统详细设计与实现,19,通信时序图设计,数据协议设计,老人语音留言时序图,子女查询老人情感状况时序图,4,系统详细设计与实现,20,手机客户端,4,系统详细设计与实现,21,后台服务端核心模块示意图,4,系统详细设计与实现,22,执行算法,判断语音长度,格式转换,生成语谱图,4,系统详细设计与实现,23,执行算法,修改配置,测试结果与工作总结,TEST RESULT AND FUTURE WORK,24,5,测试结果与工作总结,25,测试环境,测试环境网络拓扑图,系统
9、软硬件环境,系统测试项,ANALYSIS AND DISCUSSION,5,测试结果与工作总结,26,注册,登录,个人中心,密码修改,语音留言,父母情感报告中心,手机客户端功能测试,5,测试结果与工作总结,27,用户管理,查询用户成功,查询用户失败,修改管理员密码,添加新用户,添加新用户成功,后台服务端功能测试,5,测试结果与工作总结,28,基于先验信噪比的维纳滤波改进算法测试,人工试听增强前后语音 观察语音增强前后语谱图：功率谱能量更加集中，白噪声得到明显抑制,语音增强前语谱图,语音增强后语谱图,5,测试结果与工作总结,29,CNN训练识别测试,模型训练,系统分类结果,5,测试结果与工作总结
10、,30,系统级功能测试,上传的老年人语音,语音情感识别结果,5,测试结果与工作总结,31,测试环境,手机客户端性能测试,手机客户端兼容性测试,手机电量变化趋势,CPU,整机CPU,测试机型分布,兼容性测试结果,内存变化趋势,5,测试结果与工作总结,32,后台服务端性能测试,AB测试页面,AB测试结果,5,测试结果与工作总结,工作总结,已完成工作,完成了老年人语音情感识别系统的需求分析和总体设计提出并解决了系统设计中存在的关键问题完成了老年人语音情感识别系统各功能的详细设计与实现测试验证系统正确性和可行性,系统语音情感识别准确率还有待提高。情感识别的准确率受到众多因素的影响，单一考虑语音的老年人情感识别准确率有待提升。系统应考虑如何使用移动设备进行语音情感识别，提高在移动终端上的使用率。,33,感谢各位答辩老师和评审专家,
