随着人口老龄化和家庭空巢化问题日益加剧，独居老人的心理问题受到广泛关注。由于独居老人与子女通常不在一个空间范围内生活，双方容易缺少感情交流，现有的智慧养老系统又大多存在智慧化程度不高、情感关怀缺失等问题。基于此，本文以语音情感识别技术为核心，设计并实现一种可以智能检测老年人情感信息与自动推送情感状态的老年人语音情感识别系统，为老人提供优质、个性化的养老关怀服务。
本文根据系统需求分析，提出基于C/S软件开发框架的系统总体方案，对系统设计过程中需要解决的关键问题提出算法进行研究，并将其应用于系统中，完成系统功能模块的详细设计。本文主要工作如下：
1. 设计系统总体方案，包括数据采集层、数据处理层与应用层。数据采集层负责采集老年人的语音信号，由数据处理层处理后进行语音情感识别，应用层则为老年人、子女及后台管理员提供交互平台。
2. 为了从采集的老年人带噪语音中提取纯净语音信号，改善语音质量，本文提出基于先验信噪比的维纳滤波改进算法。通过估计与改正噪声功率谱及修正谱增益函数来改进算法，仿真结果表明改进的算法对语音背景噪声的抑制效果优于传统算法；对基于卷积神经网络的语音情感识别算法做出改进，通过采用多尺度卷积核的方式使卷积神经网络充分提取特征信息。实验表明，本文提出的改进算法相对于传统卷积神经网络效果更优。
3. 对系统软件进行了详细设计与实现。本系统由后台服务端、老年人客户端及子女客户端三部分组成：后台服务端负责计算量较大的语音情感识别；老年人客户端面向老年人用户，负责与子女交互及老年人语音采集；子女客户端面向老人子女，负责与老年人交互及查看老人情感状况。
最后，本文对系统进行详细测试。设计测试方案和测试内容，搭建实验室测试环境，完成了老年人语音情感识别系统设计方案可行性和正确性测试。测试结果表明：系统能够稳定可靠地运行，满足预期的功能需求和非功能需求。
关键词：智慧养老，语音增强，语音情感识别，卷积神经网络
图录 VII
表录 IX
注释表 X
第1章 绪论 1
1.1 研究背景与意义 1
1.2 国内外发展现状 2
1.2.1 智慧养老发展现状 2
1.2.2 语音增强技术发展现状 3
1.2.3 语音情感识别技术发展现状 3
1.3 本文研究内容 5
1.4 论文组织结构 5
第2章 老年人语音情感识别系统总体分析与设计 7
2.1 系统需求分析 7
2.1.1 业务场景分析 7
2.1.2 功能需求分析 8
2.1.3 非功能需求分析 9
2.2 系统总体方案设计 10
2.2.1 系统组织结构 10
2.2.2 系统软件总体结构设计 11
2.3 软件开发方案分析与选择 13
2.3.1 操作系统的选择 13
2.3.2 软件开发平台分析与选择 14
2.3.3 数据库管理系统分析与选择 15
2.4 关键技术分析 16
2.4.1 语音增强技术 16
2.4.2 语音情感识别技术 17
2.4.3 消息推送技术 18
2.5 本章小结 19
第3章 系统相关算法分析与研究 20
3.1 基于先验信噪比的维纳滤波改进算法研究 20
3.1.1 算法应用场景分析 20
3.1.2 维纳滤波基本原理 20
3.1.3 基于先验信噪比的维纳滤波改进算法 22
3.1.4 算法改进前后性能对比分析 24
3.2 基于CNN的老年人语音情感识别算法研究 28
3.2.1 CNN基本原理 28
3.2.2 基于CNN的语音情感识别算法研究 30
3.2.3 改进的情感识别卷积神经网络 31
3.2.4 实验 32
3.3 本章小结 35
第4章 老年人语音情感识别系统详细设计与实现 36
4.1 系统整体流程 36
4.2 软件功能模块概述 37
4.3 系统通信协议设计 39
4.3.1 协议设计分析 39
4.3.2 数据协议格式设计 41
4.4 数据库设计与实现 42
4.4.1 数据库概念模型设计 42
4.4.2 数据库表结构设计 43
4.4.3 数据库操作设计与实现 44
4.5 老年人客户端模块设计与实现 45
4.5.1 用户管理模块 45
4.5.2 语音留言模块 47
4.6 子女客户端模块设计与实现 48
4.6.1 用户管理模块 49
4.6.2 语音留言模块 49
4.6.3 父母情感报告中心 50
4.7 后台服务端模块设计与实现 52
4.7.1 用户管理模块 52
4.7.2 老年人语音增强模块 53
4.7.3 语谱图特征提取模块 55
4.7.4 CNN训练识别模块 57
4.7.5 消息推送模块 60
4.8 本章小结 61
第5章 软件测试与结果分析 62
5.1 测试方案分析与设计 62
5.1.1 测试方法选择 62
5.1.2 测试流程设计 62
5.1.3 测试目标 63
5.2 测试环境搭建 64
5.3 测试内容及结果分析 64
5.3.1 手机客户端功能测试 64
5.3.2 后台服务端功能测试 66
5.3.3 系统级功能测试 71
5.3.4 性能测试 73
5.3.5 非功能测试 76
5.4 本章小结 76
第6章 总结与展望 77
6.1 全文总结 77
6.2 展望 78
参考文献 79
致谢 84
攻读硕士学位期间从事的科研工作及取得的成果 85
绪论
1.1 研究背景与意义
语音作为人类沟通的主要方式之一，是最直接、最有效且最便捷的信息传递手段。语音所具有的交流媒介特性，使得它不仅能传达丰富的信息，而且能携带说话者大量的情感因素[1]。在智慧养老系统中，通过使用语音情感识别（Speech Emotion Recognition，SER）技术分析和识别独居老人在日常生活中的情感状态，并及时反馈给远方的子女，可以实现智慧养老系统的智能化和人性化。
智慧养老是物联网技术快速发展背景下涌现出的一种崭新养老概念，即日常生活中老人脱离时间与空间的限制，通过信息技术手段在家中享受高水平的养老服务[2]。“智慧养老”的目的是更大程度地提升老人晚年的生活质量，改善空巢老人的情感问题。经过一段时间的快速成长，“智慧养老”的概念逐步获得了政府、民众以及社会各界的认可。
然而，现有智慧养老系统包含的功能大多形式单一，内容匮乏，且多为休闲娱乐功能，并没有涉及独居老人情感关怀方面。关于同子女的沟通方式，目前的系统往往通过一键拨号或子女网上查询父母的健康状况等方式来实现[3]。如何真正建立独居老人与远方子女沟通的桥梁，有针对性地改善老年人情感关怀现状，已经成为智慧养老中一个新的研究热点。针对上述问题，本研究提出语音情感识别技术和智慧养老系统相结合，构建一个具有老年人语音情感识别功能的系统。
语音情感识别作为情感计算领域具有代表性的技术，已成功应用在电子教育、客服系统、游戏互娱、刑事调查等多个领域[1],[4]。深度学习的发展为语音情感识别技术赋能，其众多模型在解决语音情感识别和分类问题上取得了不错的进展。本系统将深度学习引入老年人语音情感识别系统中，跟踪老年人的情感状态，提供针对性服务，同时根据老年人的情感变化及时调整关怀计划，提升老年人的养老质量和体验，最大程度地改善老年人的情感状况。因此基于深度学习的语音情感识别技术与智慧养老系统相结合具有重要的现实意义和广阔的市场前景。
1.2 国内外发展现状
1.2.1 智慧养老发展现状
老龄化问题是各国发展所面临的重要社会问题，“智慧养老”概念的提出有利于解决人口老龄化问题。传统的养老方式一般局限于家政服务和生活护理等方面，“智慧养老”和信息技术相结合，可以提供更高质量的护理保健服务，其核心在于先进的管理与信息技术手段，包括物联网、移动通信、云计算、大数据等技术，从而将老年人与子女、社区、医疗机构，甚至政府相关部门等紧密联系起来[5]。
国外相关领域的专家对智慧养老持有独特的见解和观点。2009年，法国图卢兹大学Chan等人通过研究得出智能家居在改善老年人与残疾人的家庭护理状况，实现老年人的独立性，维持身体健康及避免社会孤立方面具有前景[6]。2004年，瓦尔多斯塔州立大学Eastman等人针对老年人使用互联网进行研究，研究结果表明老年人进行网上购物的欲望与收入水平紧密相关，老年消费者对网上学习与使用互联网有比较强烈的意向[7]。2009年，英国利兹大学Godfrey等人对老年人使用信息化手段进行了研究，建议在社会网络中加入新技术与模型，促进老年人在社交网络中创新和分享自己的创作内容[8]。2013年，法国雷恩第一大学Lemlouma等人提出了依赖型智慧养老服务体系框架，使用该框架对老人进行依赖型评估确定适合的老年人服务时间，为老人提供更贴心的信息化服务[9]。
我国国内针对智慧养老的研究起步较晚，开始于物联网养老信息系统及功能模块设计，后续逐渐对养老方式、养老体系建设及城市建设等方面[10]开展研究，并结合智慧养老的具体实例分析我国智慧养老实施中存在的具体问题。2014年，清华大学孟凡兴等人运用多种评估方法对中国某老年人社交网站进行评估，评估结果发现此类网站存在多种问题需要改进[11]。2014年7月，北京市朝阳区借助智慧社区服务管理平台，承载了智慧养老指挥大厅和智慧养老呼叫互动中心[12]，协同线上与线下业务，建成的智慧居家养老服务中心包括业务咨询、业务办理及养老服务。2017年，浙江省杭州市政府利用物联网、大数据等技术手段改造传统养老服务，大力推动“智慧养老”建设[13]。
1.2.2 语音增强技术发展现状
语音增强技术的目的是为了从带噪信号中提取出原始、纯净的语音，抑制背景噪声，以改善语音的质量。语音增强技术广泛应用于各种语音处理系统，包括语音情感识别系统、通信系统、人工耳蜗等，目的是减少语音畸变带来的影响，提升系统的体验效果。
语音增强算法的研究从20世纪60年代的贝尔实验室起步，Schroeder率先通过模拟方法实现了经典的谱减法[14]。1979年，Boll重新在数字域中重新实现了此方法[15]。1979年，Berouti在经典的谱减法中加入了修正系数和阈值进行改进[16]。实验证明，改进后的谱减法仍然有一定的音乐噪声残留[17]。针对这个问题，许多研究人员提出了不同的方法，其中Oppenheim和Sim提出的维纳滤波（Wiener Filter）算法在一定程度上提高了语音增强后的输出信噪比（Signal-to-noise Ratio，SNR）[18]。维纳滤波技术是一种典型的基于短时谱分析的语音增强算法，具有复杂度低，易实现等优点。此算法基于统计估计，以均方误差最小为设计准则，在平稳的噪声条件下被证明噪声抑制效果良好。1999年，贝尔实验室Malah等人提出一种基于增益函数加权修正的算法，此算法依赖于对噪声及先验信噪比的估计[19]。2001年，爱立信Gustafssson等人提出一种方法：搜索并去除语音增强后频谱中的尖峰部分。这种方法的缺点是搜索的不准确影响语音频谱，使增强后的语音失真[20]。随着大规模集成电路和计算机软硬件技术的革新，语音增强算法的实验仿真和应用得到了进一步的发展，语音增强研究进入了更实用的应用研究阶段。
语音增强技术与时刻变化的噪声紧密相关，环境不同导致对应噪声的类别和特性不同。对噪声信号进行分类时，可以分为窄带信号和宽带信号、白噪声和有色噪声、声学信号和电学信号、加性噪声和乘性噪声[21]。噪声的特性与产生环境密切相关，在对实际问题的研究中，通常根据特定的噪声环境选择匹配的增强算法。
1.2.3 语音情感识别技术发展现状
情感识别主要是通过计算机对用户的生理信号进行分析和处理，得出用户的情感状态。语音作为人类交流的重要方式，包含了人类对情感的理解和表达。因而，如何让计算机从说话者的语音中自动识别情感状态是情感识别领域的重点研究内容。
针对语音情感识别的相关研究已有二十多年的历史[1]。20世纪80年代后期，麻省理工大学情感计算研究人员借助采样识别人类情感，并让机器对不同的情感做出响应[22]。耶鲁大学与犹他大学学者在病人的抑郁情绪领域进行合作，通过将语音情感识别应用于检测病人情绪，从而减少自杀。2000年，麻省理工学院Picard等人证明了声学特征参数和情感的关联[23]。2002年，南加州大学Narayanan等人研究了语音情感相关的声学特征参数，主要针对情感合成和语义信息情感识别做了研究[24]。2009年，慕尼黑工业大学Schuller等人针对情感识别框架提出了许多构想[25]。
随着深度学习及情感计算的飞速发展，语音情感识别的研究迎来了巨大的发展契机。2000年，日本的Nicholson团队使用神经网络对情感进行识别[26]，在包含8种情感的日语语料库上获得了50%左右的识别率。2002年，韩国的Park等人构造RNN（Recurrent Neural Network，循环神经网络）进行语音情感识别，取得了良好的效果[27]。2015年，日本软银公司推出了具有情感理解能力的机器人“Pepper”，通过说话人表情及说话声调推测出说话人的情感。
我国国内学者针对语音情感识别的研究开始于本世纪初。2004年，东南大学赵力首先提出了针对语音中包含的情感信息的研究，采用GMM（Gaussian Mixed Model，高斯混合模型）识别方法，提取了9个情感特征，对4种情感进行了成功识别[28]。国内的互联网巨头也纷纷在深度学习领域不断发力。2008年，合肥工业大学石瑛通过提取MFCC（Mel-frequency Cepstral Coefficients，梅尔频率倒谱系数）和∆MFCC（One Order Difference Mel-frequency Cepstral Coefficients，一阶差分梅尔频率倒谱系数），结合原有BP（Back Propagation）人工神经网络模型进行语音情感识别，取得了较为满意的结果[29]。2013年，百度创办深度学习研究院，将深度学习应用在语音情感识别，图像识别和无人驾驶等领域。2017年，阿里巴巴宣布成立达摩院，涵盖机器学习、自然语音处理等多个领域。
1.3 本文研究内容
本课题来源于校企合作项目“重庆市XX区智慧养老项目”中的老年人情感关怀模块。该模块中老年人和远方子女通过手机APP进行亲情互动，后台服务器对老年人语音进行分析，定期将生成的情感报告发送给子女，以此帮助远方子女更有针对性地对老年人进行情感关怀，从而改善老年人养老质量和体验。
本课题主要完成老年人语音情感识别系统的设计与开发，结合实际应用场景，采用项目开发标准中的模块化设计思想，实现一个界面友好、性能稳定、符合老年人养老需求的语音情感识别系统。本课题的研究内容如下：
1. 对国内外语音情感识别系统的研究背景、相关技术及发展现状进行调研与分析。
2. 完成老年人语音情感识别系统的需求分析，提出系统总体设计方案，进行软件开发方案的选择，分析系统相关关键技术，包括语音增强技术、语音情感识别技术和进程间通信技术。
3. 研究基于维纳滤波的语音增强算法和基于CNN（Convolutional Neural Network，卷积神经网络）的老年人语音情感识别算法。根据本课题的需求提出了基于先验信噪比的维纳滤波改进算法，对改进前后的算法进行性能对比和复杂度分析。
4. 基于系统总体设计方案，对本系统软件的各个功能模块及数据库进行详细设计与实现，包括客户端和后台服务端。
5. 设计测试方案，搭建测试环境，对各模块及系统进行功能测试、性能测试及非功能测试。对测试结果进行分析并完成相关文档的梳理和撰写。
1.4 论文组织结构
本文主要研究内容围绕老年人语音情感识别系统的设计与实现，共分为六个章节，具体组织结构如下：
第一章：绪论。阐述本课题的研究背景与意义，相关技术的国内外发展现状，对本课题的研究内容和论文组织结构进行介绍。
第二章：系统总体分析与设计。首先对老年人语音情感识别系统进行需求分析，在需求分析的基础上，设计系统总体方案。结合系统软件总体结构选择软件开发平台及数据库，并对系统设计与实现中涉及到的关键技术进行分析。
第三章：系统相关算法分析与研究。基于系统总体方案，对系统使用的算法进行分析与研究。研究基于维纳滤波的语音增强算法，针对老年人情感语料库带噪的问题，提出基于先验信噪比的维纳滤波改进算法，从带噪语音中提取纯净语音。针对语音情感识别，完成了基于CNN的老年人语音情感识别算法的研究。
第四章：系统详细设计与实现。结合系统总体方案、关键技术及算法研究，对系统的功能流程及各功能模块进行详细设计，包括手机客户端和后台服务端。
第五章：系统的测试与验证。分析与设计系统测试方案，搭建测试环境，进行各模块和系统级功能测试、性能测试及非功能测试，对测试结果进行分析。
第六章：总结与展望。总结本课题所做工作，指出老年人语音情感识别系统存在的不足之处，并对今后的研究方向进行展望。
第2章 老年人语音情感识别系统总体分析与设计
本系统采集老年人语音信息后，通过网络将语音文件传输至后台服务端。后台服务端对语音信号进行相应的处理，提取其情感特征，进行语音情感识别，得到老年人当前的情感状态，进而提供更加个性化、更自然的关怀服务。本章在分析老年人语音情感识别系统应用场景、功能需求及非功能需求的基础上，进行系统总体方案设计及软件开发方案的分析与选择，并详细阐述语音增强技术、语音情感识别技术及信息推送技术。
2.1 系统需求分析
老年人语音情感识别系统的设计是为了满足广大老年人与第三方（如老人子女）的使用需求。为保证设计出的系统具有较高的实用价值，本节首先明确系统的业务场景，在此基础上提出系统设计中应满足的功能需求和非功能需求。
2.1.1 业务场景分析
老年人语音情感识别系统主要包括语音采集、语音处理及语音情感识别三个部分，在不同的业务场景下需求不尽相同。本节在前期项目基础上进一步延伸和拓展系统的应用范围、应用场景，包括针对老年人的远程医疗、特殊疾病诊疗及远程网络课堂（E-Learning）等领域，如图2.1所示。
图2.1 老年人语音情感识别系统业务场景图
1. 远程医疗。远程医疗可帮助偏远地区的老年人享受大城市的优质医疗服务。本系统有助于在远程医疗中配合医生全方位了解老年病患的身心状况，对病情诊断及制定治疗方案起到辅助和支持作用。
2. 远程网络课堂。针对借助远程网络课堂学习的老年人，本系统可对老年学员在上课过程中的情感状态进行监控，帮助老师关注到每位学生，从而及时调整上课进度，改善授课方式。
3. 特殊疾病诊疗。本系统可以及时跟踪抑郁症、老年痴呆等特殊疾病患者的情感变化，并将其作为疾病全面诊断和治疗的依据。
2.1.2 功能需求分析
本课题来源于“重庆市XX区智慧养老项目”的老年人情感关怀模块，项目前期所研发的老年人情感关怀模块功能尚不完善，性能有待改进。在前期工作的基础上，本研究针对老年人情感关怀模块现存的功能和性能问题，将对已有功能模块进行优化和改善，从而提高对老年人语音情感识别的准确率，并增加信息推送的功能。
1. 后台服务端软件功能需求
后台服务端面向后台管理员，是整个系统最核心的部分。后台服务端的主要功能包括用户管理、预料存储、语音增强、特征提取、模型训练、分类识别及识别结果推送[30]等，功能需求分析见表2.1。
表2.1 后台服务端软件功能需求分析
功能需求 功能描述
用户管理 管理老年人及老人子女的账号信息，用于用户登录时的身份验证
语料存储 将采集的老年人语料存储在数据库中，便于进行语音信号处理与情感识别
语音增强 针对带噪老年人语音信号，通过基于先验信噪比的维纳滤波改进算法对其进行去噪，得到纯净的语音信号
特征提取 对语料库进行分帧，加窗，FFT（Fast Fourier Transform，快速傅里叶变换）等预处理工作，使用Matlab生成语谱图，进行语谱图尺度规范化调整，转换为lmdb格式，生成均值文件
模型训练 调整CNN参数及结构，将特征提取步骤生成的均值文件输入CNN进行训练
分类识别 输入分类器进行情感分类
信息推送 将老年人语音情感识别结果定时推送至老人子女端及心理疏导机构
2. 手机客户端软件功能需求
手机客户端包括老年人客户端和子女客户端。老年人客户端面向老年群体，老年人可通过客户端与子女进行语音交互。同时，老年人客户端还可作为老人语音采集装置，定时将语音上传至后台服务端进行情感识别。子女客户端面向老人子女群体，子女通过客户端与远方父母进行语音交互及接收定期推送的父母情感识别报告。老年人客户端及子女客户端软件功能需求分析见表2.2和表2.3。
表2.2 老年人客户端软件需求分析
功能需求 功能描述
用户管理 用于登录时身份验证，可查看用户基本信息及修改登录密码
语音采集 通过手机麦克风或其他语音采集装置采集老年人语音信号
语音留言 在子女工作忙碌时，给子女语音留言
语音上传 将采集的老年人语音信号通过网络上传至后台服务端进行情感识别
表2.3 子女客户端软件需求分析
功能需求 功能描述
用户管理 用于登录时身份验证，可查看用户基本信息及修改登录密码
语音留言 查看父母语音留言及给父母留言
父母情感报告中心 查看父母情感报告及心理疏导机构提供的建议
2.1.3 非功能需求分析
在老年人语音情感识别系统中，除了要满足所需的功能需求，设计时还应考虑以下非功能需求，以保证系统能长时间可靠稳定地运行。
1. 响应时间。考虑实时在线人数和操作次数，软件需支持500个用户规模级别的并发请求。为了适应业务功能和频繁的数据查询请求，在并发量达到500的情况下，要求业务处理响应时间不超过3 s，数据查询响应时间不超过6 s。
2. 稳定性。系统软件需日常不间断地为老年人和子女提供服务，为确保服务质量，软件需保证稳定性。在200个用户的负载下，所有业务需求应可用且稳定，支持72小时不间断运行。
3. 实时性。考虑到系统软件利用训练好的模型对语音进行分类识别，后台服务端针对语音的情感识别响应时间不应超过8 s。
4. 易用性。本系统主要目标用户之一是老年人，因此功能上要简单易用，基本操作和使用流程要确保老年人易于上手；界面设计方面要考虑老人的视力情况，字体大小、颜色要有针对性。
5. 安全性。本系统涉及老年人及其子女的个人信息，要保证信息的安全性。系统需对用户基本信息、账户信息和老年人情感状况进行安全加密，对网络中传输的数据进行封装，以防用户隐私信息被窃取。
6. 可扩展性。便于系统软件后期进行业务更新，软件应在现有功能模块的基础上预留多种接口，如医疗服务接口、第三方支付接口、视频播放接口等。
2.2 系统总体方案设计
老年人语音情感识别系统各功能模块主要基于C/S（Client/Server，客户端/服务器）软件开发架构设计实现[31]，由手机客户端及后台服务端组成，结合各组成部分在系统中的位置，实现系统组织结构及软件总体结构的分层设计。
2.2.1 系统组织结构
结合本课题研究目的及系统需求分析，本节主要梳理老年人语音情感识别系统组织结构。图2.2为老年人语音情感识别系统组织结构图。
图2.2 老年人语音情感识别系统组织结构图
本系统的主要角色有独居老人、老人家属及管理人员，系统组织结构按照以上三类角色设计。本系统的服务对象为独居老人和老人家属，系统管理人员需要对后台服务端进行管理。下面介绍三种角色在系统中的使用权限。
1. 独居老人。系统的核心服务对象之一。独居老人可使用客户端与子女进行语音交互。与此同时，作为一种语音采集装置，客户端可将老人的语音信号通过3G/4G或Wi-Fi上传至后台服务端进行情感识别。
2. 老人子女。系统的核心服务对象之一。子女可使用客户端与父母进行语音交互及查看老年人情感状态。子女可针对父母的情感状态进行关怀，或及时咨询心理疏导机构。
3. 后台管理人员。系统的管理维护人员。后台管理人员主要通过后台PC机管理用户信息及业务信息，对上传至后台服务端的老年人语音进行情感识别等操作。
老年人语音情感识别系统的核心工作流程如下：采集老年人语音信号，传输至后台服务端并存储在语料库中。后台服务端对语料库进行语音情感识别分类得出老年人情感状态，并及时发送至心理疏导机构与子女客户端。子女可针对父母的情感状态进行针对性地关怀或及时咨询心理疏导机构。另外，心理疏导机构针对老年人的情感状态得出分析报告，一旦老年人情绪状况不佳，心理疏导机构可以及时介入，对老年人进行心理疏导。
2.2.2 系统软件总体结构设计
