随着经济、社会的不断发展，交通运输业得到快速发展，我国的汽车数量正在迅速增长，随之而来，交通事故问题急剧增加并呈上升趋势。由于在交通事故中，85%是人为因素造成的，可见对驾驶员的状态进行实时监测，并进行及时预警具有重要意义。目前驾驶员状态检测应用还比较少，普遍存在实时性差、准确度低、环境要求高、检测方式单一、繁琐等问题。针对上述问题，本文对国内外研究现状进行研究分析，设计并实现了基于Kinect的驾驶员状态检测系统，能够实时地对驾驶员异常状态进行预警，具有很好的车载实用价值。
驾驶员状态检测系统主要解决了夜间检测、检测方式以及检测性能三个关键问题。本文采用Kinect摄像头作为图像采集设备，具有不受光照条件影响的特性，可以在白天和夜间同时进行检测。在检测方式方面，本文对驾驶员的眨眼频率、闭眼时间以及打哈欠频率进行综合检测判断，有效的提高了检测的准确性。在检测性能方面，本文对AAM人脸特征点定位算法进行研究，并提出改进方法，以解决特征点定位不准确和实时性不高的问题。
本文设计的驾驶员状态检测系统分为Kinect图像采集终端，状态检测终端和后台管理端三个部分。主要工作包括对系统需求进行分析，制定系统的总体方案，然后根据总体方案采用层次化和结构化的思想，对系统功能模块进行详细设计与实现。功能模块包括状态检测终端的图像采集模块、人脸识别模块、状态分析模块、报警模块和后台管理端的用户管理模块、实时显示模块、图片管理模块。
最后为了验证系统的可行性，对系统进行功能和性能测试，并对结果进行分析。测试结果表明，不同场景情况下，系统对驾驶员状态检测的准确率达到了80%，并且能够在1s时间内对驾驶员的状态做出判断并采取相应措施。
关键词：Kinect，人脸检测，人脸定位，状态
目录
图录 VII
表录 IX
第 1 章 绪论 1
1.1 研究背景及意义 1
1.2 国内外研究现状 2
1.2.1 国外研究现状 2
1.2.2 国内研究现状 4
1.2.3 目前存在的问题 5
1.3 本文研究内容 6
1.4 论文组织结构 6
第 2 章 系统的总体方案设计 8
2.1 系统总体架构 8
2.2 系统需求分析 9
2.2.1 系统功能需求分析 9
2.2.2 系统性能需求分析 11
2.3 系统的总体方案设计 12
2.4 系统开发平台的分析与选择 13
2.4.1 摄像头设备分析与选择 13
2.4.2 软件开发平台分析与选择 15
2.4.3 数据库分析与选择 17
2.5 本章小结 18
第 3 章 人脸特征点定位算法研究 19
3.1 人脸特征点定位算法介绍 19
3.1.1 常用的人脸特征点定位算法 19
3.1.2 人脸特征点定位的挑战 20
3.2 AAM人脸特征点定位算法 21
3.2.1 模型建立 22
3.2.2 模型匹配 25
3.3 改进AAM算法研究 25
3.3.1 改进方法 25
3.3.2 实验结果分析 26
第 4 章 系统详细设计与实现 29
4.1 系统的总体流程 29
4.2 系统功能模块总体设计 30
4.3 通信协议设计与实现 31
4.3.1 协议消息时序设计 31
4.3.2 信息传输方式实现 32
4.4 数据库设计与实现 33
4.4.1 数据库总体设计 34
4.4.2 数据库操作 35
4.5 状态检测终端设计与实现 36
4.5.1 图像采集模块 36
4.5.2 人脸识别模块 38
4.5.3 状态分析模块 42
4.5.4 报警模块 45
4.6 后台管理端设计与实现 45
4.6.1 用户管理模块 46
4.7 本章小结 47
第 5 章 系统测试与结果分析 48
5.1 测试方案分析与选择 48
5.1.1 测试方法选择 48
5.1.2 测试流程设计 49
5.2 测试环境的搭建 49
5.3 系统功能测试 51
5.3.1 状态检测终端测试 51
5.3.2 后台管理端测试 59
5.4 系统性能测试 62
5.4.1 系统实时性测试 63
5.4.2 系统准确性测试 64
5.5 本章小结 66
第 6 章 总结与展望 67
6.1 全文总结 67
6.2 展望 67
参考文献 69
致谢 73
攻读硕士学位期间从事的科研工作及取得的成果 74
第 1 章 绪论
1.1 研究背景及意义
随着社会经济的不断发展，人民生活水平显著提升，城市车辆与日俱增。2009年，中国首次成为汽车产销第一大国，到2017年，中国已经连续9年蝉联榜首。根据中国汽车工业协会2018年1月11日发布的《汽车工业产销情况简析报告》，2017年我国汽车总销量已突破2800万辆，达到2887.9万辆，另根据公安部交管局统计，截止2017年6月底，中国汽车驾驶员数量达到3.28亿人，这一系列的数据都显示了我国汽车行业的蓬勃发展[1]。然而，交通监督管理手段及安全防范设施的滞后，带来了严重的交通安全问题，严重危害着群众的人身安全。表1.1为《国家安全总局》和《交通运输部》对我国2014年-2017年道路交通事故统计结果。
表 1.1 我国2014-2017年道路交通事故统计表
年份 2014年 2015年 2016年 2017年
事故次数(万起) 19.78 18.86 21.28 23.87
死亡人数(万人) 5.82 5.79 6.30 7.32
受伤人数(万人) 21.0 19.95 22.6 25.35
直接经济损失(亿元) 10.9 10.8 12.1 13.67
由上表数据可知，近几年我国交通事故发生次数居高不下，每年都在20万起左右，事故所造成的人员死亡人数、受伤人数，都数以万计，造成直接经济损失高达数十亿元，给人们生命、财产安全带来了巨大的伤害，随时威胁着人们的出行安全，是各国都面临的一个棘手问题。虽然各国都制定了各项交通措施来预防和减少交通事故的发生，但是效果不尽理想，交通事故数不降反增，降低交通事故伤害任重道远。
在导致交通事故发生的各项原因中，人为因素是最主要的。欧洲一项专门针对交通事故起因的研究表明，交通事故起因80%-90%是人为因素造成的。同时，美国印第安纳大学对交通事故的研究表明，85%左右的交通事故是由于驾驶员的原因导致的，约10%的交通事故是由于车辆原因造成的，剩下5%则主要是因为环境因素的影响[2]。统计表明，交通事故产生前，如果驾驶员的反应速度能够比往常快上0.5秒，60%左右的交通事故便可得以幸免[3]。由此可见，交通事故的治理应“以人为本”，重心放在人身上。如果能通过先进的科学技术手段，检测驾驶员的驾驶状态，当驾驶员出现异常状态如疲劳、不专心时，提前预警，就可以很大程度上减少交通事故的发生。因此，为降低交通事故，保障驾驶安全，运用现代科技技术，开发出一套驾驶员状态检测系统具有十分重要的意义。
1.2 国内外研究现状
驾驶员状态检测是一个复杂的问题，随着计算机技术、传感器技术和数字分析技术的不断发展，出现了很多驾驶员状态检测的原理和方法[4]。按照检测原理的不同，大体上分为以下三种：一种是基于生理指标的检测方法，其原理是从医学角度出发，借助医疗设备对驾驶员的脑电波EEG(Electroencephalograph)、心电波ECG(Electrocardiogram)、肌电波EMG(Electrocardiogram)、心率和呼吸进行监测，通过综合驾驶员的生理指标信息来确定驾驶员的精神状态；另一种是基于车辆行为特征的检测方法，其原理是从车辆角度出发，对车辆在道路上的行驶位置、方向盘操作状况、行驶速率等情况进行监测，来观察驾驶员的注意力集中状态；第三种是基于计算机视觉的检测方法，对驾驶员的眼部活动、嘴部状态等人脸特征进行监测，运用图像处理技术对状态进行分析，确定驾驶员的精神状态。
1.2.1 国外研究现状
在国外，该领域的研究可以追溯到20世纪30年代。许多公司、大学在该领域投入大量人力物力。至今，取得了很大的进展。
(1) 基于生理指标方法的研究。1994年，日本Pioneer公司根据心跳速率变化规律，率先推出防瞌睡装置，来判断驾驶员是否疲劳。该系统的核心是一个贴于方向盘上的纸状心跳感应器，驾驶员在行车时，顺势用手握住该装置即可，它能够实时监测驾驶员的心跳速率。通常，人在疲劳时，心跳速率会下降，根据这一特点，该系统在检测到驾驶员心跳速率持续变慢一段时间后，便进行预警，通常能够在驾驶员疲劳前15分钟进行预警。进一步，2013年日本的Delta公司开发的ECG防瞌睡装置，同样通过对驾驶员心率进行检测，来分析驾驶员驾驶状态。该系统由驾驶坐垫和监控系统组成，驾驶坐垫内置心率感应器，对驾驶员心率进行监视，能够在驾驶员疲劳前约十分钟进行预警提示[5]。
生理指标方法中，EEG信号被视为驾驶员状态检测的黄金标准。EEG信号清晰地反应了人脑的活动状态，日本Canon公司据此开发的KK防瞌睡装置，通过检测分析人脑EEG信号，来判断驾驶员处于清醒状态还是疲劳状态，当驾驶员处于疲劳状态时，外接的语音报警装置便会进行报警。
(2) 基于车辆行为特征方法的研究。一般情况下，驾驶员感到疲劳时，方向盘操作灵活性下降，方向盘存在转动速度慢，转动幅度小的现象。2014年，美国Electronic Safety Products公司依据方向盘的转动情况开发出一种转盘监控系统S.A.M(Steering Attention Monitor)。该系统时刻监控方向盘的转动状态，当方向盘连续四秒不转动时，就认为方向盘存在非正常操作，系统就会对驾驶员做出提醒，持续到方向盘恢复正常操作为止。
同样是基于车辆行为特征的方法，2015年，美国埃里森研究实验室研制出一款DAS2000型路面警告系统(The DAS2000 Road Alert System)，对道路交通标线进行实时检测，来判断车辆的运动状态[18]。驾驶员在疲劳状态下，行车不稳，车辆会左右晃动，该系统在检测到车辆偏离道路中线或车道标志线数秒后，向驾驶员发出语音提示，注意安全驾驶。
(3) 基于计算机视觉方法的研究。1994年美国联邦公路管理局采用PERCLOS技术对驾驶员的眼睛状态进行检测，从而判断驾驶员的精神状态。在此基础上，2014年1月美国Minnesota大学的Nikolaos P和Papaniko lopoulos教授成功研制出一款驾驶员眼睛追踪系统。该系统通过在汽车内安装CCD(Charge Coupled Device)摄像机来捕获追踪驾驶员眼部状态。系统通过简单算法计算能够快速准确地定位出驾驶员眼部位置，并且通过分析连续多帧的驾驶员正面与侧面图像，判断出驾驶员的挣闭眼情况。
1.2.2 国内研究现状
相比于国外，国内在该领域的研究起步较晚。随着目前汽车数量、驾驶人员数量的不断增多，交通事故日益频繁，交通事故的危害性越来越受到重视，国内在这方面的研究也越来越多。
(1) 基于生理指标方法的研究。1998年，深圳市天童实业有限公司研发出一款疲劳预防器，该仪器可佩戴于驾驶员的小腿或者手腕处，通过检测分析驾驶员的心率变化来判断驾驶员的状态。仪器在检测到驾驶员处于疲劳状态时，能够在1到2小时内帮助驾驶员清醒头脑，为驾驶员保驾护航，帮助降低交通事故的发生概率。
2011年，上海交通大学的吕宝粮教授与其他学科教授组成的交叉团队，设计出一款驾驶员状态“检测帽”。驾驶员头戴“检测帽”行驶时，“检测帽”能够检测驾驶员的点头情况，以此来分析驾驶员的运动状态。驾驶员的运行状态可根据显示屏上灯光颜色情况来判断，当驾驶员犯困时，显示屏上的窗口会由绿色变为黄色，再由黄色变为红色，当红色持续一段时间后，就表明驾驶员便处于疲劳状态。
在EEG信号分析方面，国内也有不少学者进行研究。2012年，王利、艾玲梅等学者通过对驾驶员的EEG信号进行分析，研究驾驶员疲劳时的EEG信号特点，来判断驾驶员的当前行车状态[5]。
(2) 基于车辆行为特征方法的研究。2013年，华南理工大学交通学院提出了车辆行为检测预警技术。通过安装相应的传感器对车辆的起步行为、停车行为，行驶过程中的行为进行数据采集并与设定的阈值进行比较，对车辆行为进行判断，来间接对驾驶员的状态进行判断，驾驶员处于疲劳状态时，预警系统就会进行预警，提醒驾驶员安全行驶[37]。
(3) 基于计算机视觉方法的研究。2015年，大连海事大学的陈萍利用摄像头和PC机设计了一个简易的驾驶员状态检测系统，通过分析驾驶员的眼睛开闭情况，判断驾驶员的状态[46]。系统中，摄像头实时采集驾驶员的脸部图像，并发送到PC端，在PC端，利用局部Haar小波变换对驾驶员脸部图像进行处理，定位驾驶员脸部轮廓，并进一步确定驾驶员的眼睛位置。在此基础上，分析驾驶员眼睛的开闭情况，来判断驾驶员的运行状态。
同样是基于人眼状态的检测方法，2010年，南京远驱科技有限公司推出疲劳驾驶预警系统gogo50，该系统通过安置在汽车内的传感器采集驾驶员面部红外图像，来对驾驶员的眼睛状态进行分析，具有较好的性能，无论是白天或者夜间，驾驶员戴眼镜与否都能正确判断驾驶员状态，并且在检测到驾驶员疲劳驾驶时，能一直发出刺激声，来“强迫”驾驶员及时休息。
1.2.3 目前存在的问题
经过几十年的发展，国内外驾驶员状态检测系统研究取得了不小的进步，每种方法都有其先进之处，并且有的系统已经在商业领域小规模商用。然而，目前的检测方法都具有一定的缺陷。
(1) 基于生理指标研究的方法具有说服力与科学性，但在真实场景下实现起来具有很大挑战与较高要求。在依据生理指标对驾驶员状态进行判定时，大多数装置要求身体接触，例如在人体贴上电极等，这对驾驶员的正常操作会产生很大的干扰，反而会产生额外的交通负担。而且，不同的人的生理信号的阈值参数不同，很难选取统一的阈值，并且生理信号的评价指标易受心理情绪因素的影响，所以，此方法在实际应用中具有很大的局限性。
(2) 基于车辆行为研究的方法过于灵活，容易受天气、路况、车型以及个人的驾驶习惯影响。天气、路况、车型、驾驶人员的不同，都会导致检测结果迥异，容易产生误判，具有很大的局限性。就目前上市产品来看，都具有阈值难以界定的问题，而且检测的灵敏度一般，需要进一步提高。未来，在如何动态地设置阈值参数方面具有很大的研究空间。
(3) 基于计算机视觉研究的方法，具有较高的可靠性和较高的准确性等优点，在实用性上要强于基于生理指标的检测方法，具有无接触无干扰的特性，驾驶员更易于接受。此类方法的缺点是目前检测的方式比较单一，只是对眼睛等状态进行检测，而且此类方法对视频处理以及目标检测技术要求比较高，在系统的实时性和检测的准确性等方面有进一步的空间。
在总结现有状态检测方法不足的基础上，本文确定了以计算机视觉方法对驾驶员状态进行检测。
1.3 本文研究内容
本系统建设的目的是针对现有驾驶员状态检测方法的不足，开发一种能够实时并准确对驾驶员进行状态检测的预警系统，以此来达到减少交通事故发生的目的。本文主要完成了基于Kinect的驾驶员状态检测系统设计与实现工作。根据一般项目的开发标准，采用模块化和层次化的设计思想，结合Kinect摄像头、运用图像处理技术、计算机网络技术、数据库技术开发一种功能完善、性能较好的驾驶员状态检测系统，具体研究内容如下：
(1) 对驾驶员状态检测系统的国内外研究现状进行研究分析，总结现有系统存在的缺陷，明确本文的研究内容和意义。
(2) 分析系统的功能需求和性能需求，在此基础上，完成系统总体方案的设计，然后根据系统的总体方案设计，对系统的开发平台进行分析选择。
(3) 对AAM人脸特征点定位算法进行研究。结合系统的场景，对算法进行改进，并对改进后的算法进行性能分析，以满足系统实时性和准确性的要求。
(4) 根据系统的总体方案设计，分析系统业务数据流程，完成系统各个功能模块的详细设计与实现。功能模块包括：状态检测终端的图像采集模块、人脸识别模块、状态分析模块和报警模块；后台管理端的用户管理模块、实时显示模块和图片管理模块。
(5) 设计系统测试方案，对系统进行功能和性能测试，并对测试结果进行分析，完成相关文档的撰写和整理工作。
1.4 论文组织结构
本文的主要工作是完成基于Kinect的驾驶员状态检测系统设计与实现，本文内容划分为六章，论文的组织结构安排如下：
第一章：绪论。介绍本课题的研究背景及意义，对国内外发展现状进行概述，深入分析各种检测方法的优势与不足，并阐述本文的研究内容和组织结构。
第二章：系统的总体方案设计。首先从系统的功能需求和性能需求两个方面，完成系统的需求分析。在系统需求分析的基础上，设计系统的总体方案和体系结构，最后根据系统总体方案设计，完成系统开发平台的分析和选择。
第三章：人脸特征点定位算法研究。首先对常用的人脸特征点定位算法进行介绍，指出人脸特征点定位存在的挑战，然后结合系统的需求，对人脸特征点定位算法进行改进，解决特征点定位不准确和实时性不高的问题。
第四章：系统详细设计与实现。在系统总体方案设计以及算法研究的基础上，设计系统的业务数据流程，并采用模块化设计的思想，对系统的各个功能模块进行详细设计与实现。
第五章：系统测试与结果分析。首先对系统的测试方案进行分析选择，然后搭建测试环境，对系统进行功能和性能测试，并对测试结果进行分析。
第六章：总结与展望。对本课题所做工作进行总结，并对下一步工作进行展望。
第 2 章 系统的总体方案设计
随着科技的不断发展，驾驶员状态检测系统设计方案层出不穷，本系统将在计算机视觉方法的基础上，对系统的总体方案进行设计。本章首先设计了系统的总体架构，在此基础上，对系统的需求进行了分析。然后根据系统的需求完成系统软件总体方案的设计。最后，对系统开发平台进行选型。
2.1 系统总体架构
本系统的目的是设计一种驾驶员状态检测系统，通过对驾驶员状态进行实时监测，来达到减少交通事故发生的目的。现有的驾驶员状态检测系统架构主要分为两种：C/S架构和车载本地化架构。
C/S架构的驾驶员状态检测系统主要分为车载终端系统和后台管理系统两个部分。摄像头设备采集驾驶员人脸图像，车载终端系统对图像进行处理，获取驾驶员的状态信息，进行实时预警。同时将视频实时上传给远程服务器，实现远程监控。C/S架构要求车载终端对图像处理能力强，且局限于网络信号良好的区域使用[6]。
车载本地化架构，对数据的处理和存储都是在本地进行[8]，没有与服务器进行通信。这种架构免除了进程间通信的繁琐，满足驾驶员状态检测系统实时性的要求，但是缺乏后台人员的监管，安全性降低，数据存储空间有限，适用于私家车车主使用。
本系统设计的出发点是面向出租车公司和运输公司，既要满足系统实时性的要求，又能实现远程监控和数据的存储。所以本文设计的驾驶员状态检测系统采用的是C/S架构。系统总体架构如图2.1所示。
图 2.1 系统总体架构
2.2 系统需求分析
2.2.1 系统功能需求分析
结合目前驾驶员状态检测系统的不足，制定系统的功能方案。整个系统分为状态检测终端和后台管理端。先对本系统功能需求进行说明。
1. 状态检测终端功能需求
状态检测终端主要负责对摄像头设备采集的图像数据进行处理，并将处理之后的数据上传给后台管理端进行实时显示和保存，同时，发现驾驶员状态异常时，实时驱动报警设备进行预警。状态检测终端应具备以下几个功能：图像采集功能、人脸识别功能、状态分析功能和报警功能。具体说明如下：
(1) 图像采集功能：图像数据是系统数据的来源，图像质量的高低直接影响着驾驶员状态的准确率。因此要求摄像头设备能够采集高清的视频图像，并且受光照强度影响较小，能够同时采集彩色图像和红外图像。
(2) 人脸识别功能：获取图像之后，需要对图像进行数据处理，提取出驾驶员面部特征信息，为状态分析功能做准备。这部分是整个系统的核心，包括人脸检测功能，人脸特征点定位功能。本文将在第三章对人脸定位算法进行重点研究，需要对人脸特征点定位算法进行研究，实现特殊场景下，人脸特征点的提取。
(3) 状态分析功能：提取出人脸特征之后，需要对特征点进行分析，制定状态判定的标准，对驾驶员的眼部和嘴部状态进行判断。同时，将检测的数据信息实时上传给后台管理端，实现远程监控。受限于网络带宽，以及终端数据处理能力的影响，实时上传的数据是检测驾驶员状态异常的图片和相关参数信息。
(4) 报警功能：驾驶员状态检测的目的是实时的给予驾驶员提醒，因此需要报警功能，报警功能包括界面报警和语音报警，既可以通过界面与驾驶员实现视觉交互，又能通过语音进行听觉交互。
为了更好的对功能需求进行说明，下面给出功能用例如图2.2所示。
