随着视频监控智能化的逐步发展以及嵌入式芯片处理能力的与日俱增，人们对嵌入式智能监控设备的研发需求空前高涨。嵌入式监控设备的智能化可以有效减少视频监控系统的成本投入，提升系统的监控效率。本文在研究视频监控中的目标检测与异常行为识别的基础上利用B/S软件架构在嵌入式平台上设计并实现了一套智能监控系统。
本文在研究视频中运动目标检测算法的基础上，计算得到了可以表征行为的光流特征和图像能量，并以此为依据在嵌入式平台中实现了对监控场景中非法入侵、快速通过以及暴力事件的智能检测。本文主要的工作内容如下：
1. 完成开发工具的选择与开发平台的搭建。首先在分析本文系统功能需求的基础上完成了系统总体架构的设计，然后对系统开发过程中的重要工具进行了选型，并最终完成了系统软硬件开发平台的搭建。
2. 研究监控视频中运动目标检测算法。视频中的运动目标的检测是异常行为识别的关键步骤，其检测效果的好坏直接影响了后续异常行为识别的准确度。在众多运动目标检测算法中，ViBe算法在得到良好检测效果的同时拥有较小的计算量，特别适合作为本文嵌入式平台上的运动目标检测算法。但原始ViBe算法有“鬼影”现象及对光照突变敏感的缺陷，本文通过在ViBe算法中结合帧间差分法有效解决了这一问题，最终在时间复杂度牺牲不大的情况下提升了算法的检测精度。
3. 对系统的软件进行详细的设计与实现。本文系统的软件采用B/S架构进行开发，从整体上将其分为负责视频图像处理和负责控制系统运行并与用户交互的两大核心部分，二者又包含多个功能模块，本文对这些模块进行了详细的设计与实现。
4. 对系统进行测试。首先搭建实验室内部测试环境，并按照标准的测试方法对系统的功能和性能进行测试。通过对测试的结果进行分析可知，本文所设计的嵌入式智能监控系统能够满足系统的开发需求。
关键词：嵌入式系统，智能监控，ViBe算法，运动目标检测
图录 VII
表录 IX
注释表 X
第1章 绪论 1
1.1 研究背景及意义 1
1.2 国内外发展现状 2
1.2.1 智能监控国内外研究与应用现状 2
1.2.2 嵌入式监控系统的发展现状及存在问题 3
1.3 本文主要研究内容和结构安排 4
第2章 系统总体方案分析与设计 6
2.1 系统总体架构 6
2.2 系统需求分析 7
2.3 系统总体方案设计 8
2.4 系统开发平台分析与选择 10
2.4.1 硬件平台选择 10
2.4.2 嵌入式操作系统选择 11
2.4.3 嵌入式Web服务器选择 12
2.4.4 嵌入式数据库选择 13
2.5 本章小结 13
第3章 运动目标检测算法研究 14
3.1 帧间差分法 15
3.2 改进帧间差分法 16
3.3 背景减除法 18
3.3.1 高斯背景模型 19
3.3.2 ViBe检测算法 21
3.4 改进ViBe检测算法 23
3.5 仿真实验及结果分析 25
3.5.1 改进帧间差分法实验仿真 25
3.5.2 改进ViBe检测算法实验仿真 27
3.6 本章小结 29
第4章 系统软件详细设计与实现 30
4.1 系统开发平台搭建 30
4.1.1 嵌入式操作系统移植 30
4.1.2 Web服务器移植 34
4.1.3 OpenCV库的移植 34
4.2 系统软件功能模块总体设计 36
4.3 视频处理子系统 38
4.3.1 视频采集模块 38
4.3.2 视频编码模块 39
4.3.3 异常检测模块 41
4.3.4 数据存储模块 50
4.4 Web服务子系统 51
4.4.1 用户权限认证模块 51
4.4.2 监控视频传输模块 53
4.4.3 交互消息控制模块 57
4.5 系统多线程编程 58
4.6 本章小结 59
第5章 系统测试与验证 60
5.1 测试方案分析及设计 60
5.1.1 测试方案设计 60
5.1.2 测试流程设计 60
5.1.3 测试内容分析 61
5.2 测试平台搭建 61
5.3 整体功能测试及结果分析 62
5.3.1 用户登录功能测试 63
5.3.2 实时预览功能测试 64
5.3.3 用户管理功能测试 65
5.3.4 视频管理功能测试 66
5.3.5 异常查询功能测试 68
5.3.6 参数设置功能测试 68
5.3.7 短信报警功能测试 69
5.4 性能测试与分析 70
5.4.1 实时性测试 70
5.4.2 视频传输的可靠性测试 71
5.4.3 运行稳定性测试 72
5.5 本章小结 72
第6章 总结与展望 73
6.1 总结 73
6.2 展望 73
参考文献 75
致谢 79
攻读硕士学位期间从事的科研工作及取得的成果 80
表录
表2.1 核心板核心参数 10
表2.2 常见嵌入式数据库比较 13
表3.1 原始三帧差分法与改进后算法处理速度对比 26
表3.2 改进前后算法处理效果对比 28
表3.3 改进前后算法处理速度对比 28
表4.1 报警日志表结构 49
表4.2 报警类型表结构 49
表4.3 OpenCV中主要函数接口 49
表4.4 异常检测模块主要函数接口 50
表4.5 用户信息表结构 52
表4.6 用户权限表结构 52
表4.7 CGI主要环境变量说明表 57
表5.1 白盒测试与黑盒测试对比分析 60
表5.2 测试流程及目前所处测试阶段 61
表5.3 用户登录功能测试方法 63
表5.4 用户管理功能测试方法 65
表5.5 视频管理功能测试方法 66
表5.6 视频传输测试结果 71
第1章 绪论
1.1 研究背景及意义
图像中蕴藏的信息量远远多于文字和声音中蕴藏的信息量，同时它对信息描述的准确度也是文字和声音不能比拟的，人类从自然界获取的信息超过七成是通过双眼得到的图像信息。通常所看到的视频实则为以一定频率不断刷新显示的图像序列，它为我们描述了丰富且生动的客观世界。与此同时，人们的安全意识以及对财产保护的需求随着生活水平的提高而与日俱增，视频监控系统逐渐被人们所重视，越来越多的监控摄像头出现在了我们的生活中。
视频监控系统也跟随科学技术的发展与时俱进，大体上经历了从模拟到数字、从本地监控到网络远程监控以及从人工监控到智能化监控的重大变革。随着视频监控系统的日渐智能化，在完成监控画面实时传输的基本需求后，需要利用先进的图像处理技术在监控系统中增加智能检测模块，从而可以自动判定指定区域是否有非法入侵、打架斗殴、行人跌倒、快速通过等行为的发生，并自动报警通知相关人员进行处理。如此，不仅可以将繁重的人力投入从视频监控工作中解放出来，而且也避免了因监控人员长时间工作造成视觉疲劳而引起的漏判、误判。与此同时，传统的监控系统不经过任何处理就将采集得到的全部监控视频数据存储起来，但其中大部分数据是用户不关心的无用信息，浪费了大量的存储空间。而且在需要回看监控视频时，视频检索需要大量的时间、效率低下，在视频监控系统中加入智能检测模块可以很好地克服这些缺陷。
近些年，嵌入式芯片的处理能力突飞猛进，使得其在工业生产、安防、交通管理、私人终端设备等领域得到了广泛应用，扮演着越来越重要的作用。越来越多的研发人员开始研究如何在监控前端进行一定的智能化处理以省去监控中心的巨额投入，嵌入式智能监控设备的研发已然成为了监控系统研究中的热点。
本课题通过研究解决传统视频监控系统中存在的一些弊病，从而使得视频监控系统的整体性能获得全面的提升。除此之外，和其它较成熟领域不同的是嵌入式智能监控技术起步较晚，且当下正处于高速发展阶段，并拥有广阔的市场前景，因此本文对嵌入式智能监控的研究具有显著的现实意义。
1.2 国内外发展现状
视频监控系统的前端智能化将是视频监控领域日后发展的重要趋势[1]。本节将从智能监控国内外研究与应用现状和嵌入式智能监控的发展现状及存在问题两方面介绍本课题相关研究的发展现状。
1.2.1 智能监控国内外研究与应用现状
自上世纪九十年代起，视频监控的概念一经提出就吸引了众多学者的关注，并迅速成为了研究的焦点，对视频中运动目标检测算法和视频中人体行为分析算法的研究在每次IEEE国际会议中都扮演着重要的角色[2-4]。IJCV（国际计算机视觉期刊）、PAMI（IEEE模式分析和机器智能汇刊）等国际重要期刊中都出版过大量与之相关的文章。卡梅隆大学和戴维SARNOFF研究中心等知名院校和企业在DARPA（美国国防高级研究计划局）的资助下联手启动了智能监控系统VSAM项目。该项目在研究监控视频内容理解、传感器融合等技术的基础上，意在开发一套能够用于战争中高危区域以及军事重点保护区域的自动监控系统。
与之相应的，美英法日等国都投入了大量的资金进行这一领域的研究，并取得了一定的成果。美国麻省理工学院（MIT）研发的Pfinder系统能够实时检测出监控场景中运动目标的边框，并且能辨别出监控视频中人体的不同肢体动作。美国马里兰大学（UMCP）研发的W4系统通过外观匹配能够有效地区分出监控视频中人体的不同部位，进而完成了监控视频中人体间简单交互行为的检测。英国雷丁大学（UOR）研发的VIEWS系统能够对交通监控场景中的车辆进行检测，并且能够分析得到交通场景中的危险情景，从而降低交通事故带来的损失，同时这一系统在车辆防盗等领域也得到了广泛的应用。欧盟信息社会技术（IST）的Framework5委员会推出了监控优化检索项目，主要是为了解决当下交通压力日益增长的问题而开发一套能够高效管理的交通监管系统。该系统能够自动分析交通监控场景中人体和群体的行为，以及实现了对交通流量的有效统计。法国计算机自动化与科学研究所（FIRCSA）联手法国格勒诺布大学（UG）开展了对视频监控中运动目标感知、行为检测与识别、运动目标形态分析等多个交叉领域的研究。日本也发起了CDVP项目，旨在实现居民小区和人员密集的公共区域的智能安全防护。
相较于国外智能监控的研究与发展水平，虽然我国在这一领域起步较晚，但最近几年在政府大力支持下，各大高校、研究机构、企业投入大量的资金进行智能监控系统的研究与应用开发，我国在这一领域突飞猛进并取得了一定的成果。
在理论研究方面，上海交通大学、清华大学、浙江大学等国内高水平院校针对智能监控领域进行了深入研究，并多次在该领域国际高水平期刊上发表了重要文章。与此同时，《全国智能视觉监控学术会议》、《基于公共动态信息视频的智能判断技术及应用示范研究》、《社会治安动态预警和综合防控技术体系研究》以及智慧城市建设等重大项目在国家的大力推动下蓬勃开展[5]。中国科学自动化研究所研发的智能交通监管系统（Vstar）依靠三维模型和改进的卡尔曼滤波跟踪算法能够快速准确地识别及实时跟踪交通监控场景中的可疑车辆，并以语音的形式向工作人员报警。2014年3月，中科院合肥物质科学研究院和西安交通大学共同从事了基于视听觉认知机理的无人驾驶车辆关键技术集成与综合验证平台的研究。2013年10月，华中科大学和深圳辉锐天眼科技有限公司提出了基于多支点骨豁模型的实时行为识别方法。
在产品方面，某些科研机构针对交通应用开发了相应的智能监控系统，例如杭州海康威视，该公司专注于监控领域软硬件设备研发，近几年的研究方向也是朝着智能化、联网化发展。海康威视也开发了一些民用智能监控系统，用于老人的看护，或者用于家庭安防的智能监控系统。对于民用智能监控，还有一些软件公司也加入研究行列之中，开发一套基于个人计算机的智能监控系统软件，来降低智能监控系统的开发和使用成本。近几年，随着物联网的发展，智能监控正在逐渐成为物联网技术不可或缺的组成部分。包括小米科技在内的新兴智能设备公司，利用一个小巧的摄像头，搭载智能操作系统，配合各种软件算法实现各种人性化的功能，并且和小米路由一起连接互联网，实现远程监控的目的。
1.2.2 嵌入式监控系统的发展现状及存在问题
随着网络技术、通讯技术以及电子集成技术的高速发展，带有前端处理功能的嵌入式监控系统，已经被广泛应用于各个领域。例如曾海峰在文献[6]中设计了一种基于ARM11的智能入侵检测系统，该系统使用C/S架构进行设计，并且通过Surendra算法实现了对监控场景中运动目标的检测，从而自动对监视区域内的入侵行为进行报警；白文江在文献[7]中利用图像处理相关知识在嵌入式平台上实现了对交通运输中的运动车辆检测、车流量统计、运动车辆跟踪、车辆违规行为判定等智能分析；蒋涛在文献[8]中使用ARM平台通过对火焰图像的诸如蔓延增长、边缘抖动以及相似度等特征提取，综合判定监控场景中是否发生火灾，并自动地实现了火情的报警。就像这样的例子还有很多，一般而言，这种在嵌入式前端就集成了智能识别算法的监控系统，能够对监控场景中的行人或者机动车辆的状态进行自动判别，并在满足报警条件时及时向管理人员发出报警信号。与此同时，嵌入式监控系统不仅缩减了监控中心设备开发和维护的开销，而且其还可以利用现有的网络设施进行监控视频的传输，从而省去了昂贵的布线成本。
虽然嵌入式视频监控系统具有很多的优点，但由于嵌入式系统往往是面向特定场景而设计开发的，在硬件方面对嵌入式处理器的运算能力、能耗高低都有着较高的要求，这导致系统应用软件的开发难度相应增大，以及程序的移植、扩展也变得更加复杂。
本文所设计的嵌入式智能监控系统能够自动地对监控场景中的非法入侵、快速通过以及暴力事件进行检测，当监控场景中出现上述行为则通过报警模块提醒管理员进行处理，同时进行视频编码、本地化存储、监控视频的传输等任务。上述的这些过程往往都有着较大的运算量需求，因此针对嵌入式平台的资源有限性，如何合理地设计系统应用程序的逻辑结构与执行流程，以及如何在满足实时性的前提下提高异常行为检测算法的准确度也是本文的研究重点。
1.3 本文主要研究内容和结构安排
本文以监控设备的智能化为出发点，在嵌入式平台上基于B/S模式设计并实现了一套能够对监控场景中异常行为自动识别的监控系统。首先在设计系统总体架构的基础上完成了系统开发所需软硬件资源的选择工作。紧接着对本文智能监控系统中的核心算法即监控视频中的运动目标检测算法进行了分析与改进。然后进行了目标硬件平台上系统软件的移植工作，并以此为依托在系统的应用层对软件的各功能模块进行了详细的设计与实现。最后通过搭建实验室内部测试环境对系统软件从功能和性能两方面进行了测试。全文分为以下六章：
第一章 绪论。首先在分析智能监控系统研究背景的基础上阐明了本文课题的选题目的和研究意义，并从整体上介绍了智能监控系统的发展历程和国内外现状。
第二章 系统总体方案分析与设计。在对本文嵌入式智能监控系统所需功能分析之后设计了系统的总体架构，其次对系统开发所需的一些软硬件资源进行分析和选择。
第三章 运动目标检测算法研究。在分析监控场景中常用运动目标检测算法原的理及缺点的基础上，首先在传统三帧差分法中融入边缘检测算子，提升了算法检测得到目标区域的完整性。然后结合改进三帧差分法解决了ViBe算法中存在的“鬼影”现象以及对光照突变敏感的缺陷，并最终作为本文系统中的运动目标检测算法。
第四章 系统软件详细设计与实现。首先完成系统平台的搭建，在此基础上按照监控系统的功能设计可将整个系统划分为视频处理子系统和Web服务子系统两大部分，其下又各包含多个相对独立的子功能模块，本章将对这些模块进行详细的设计与实现。
第五章 系统测试与验证。首先分析制定了测试方法，测试流程以及测试目标，并搭建了测试平台。然后按照标准流程对系统从功能和性能两方面进行测试。最后对测试结果进行分析。
第六章 总结与展望。对本文的研究工作进行了总结，并指出本文研究工作的不足之处和进一步的研究方向。
第2章 系统总体方案分析与设计
随着视频监控行业的不断发展以及相关科技领域的不断进步，人们对嵌入式智能监控系统进行了大量的设计工作，其设计方案层出不穷。本章在分析系统功能需求的基础上，给出了本文系统的总体设计方案并对系统开发过程所需的软硬件资源进行了选型工作。
2.1 系统总体架构
根据传统监控系统的不足，本文构建了一套部署方便、成本低廉、扩展性强的嵌入式智能监控系统。该系统主要由具有智能分析能力和数据本地存储功能的嵌入式后台服务器以及任何一个带有标准浏览器的用户监控终端两部分组成。系统的总体架构如图2.1所示。
图2.1 嵌入式智能监控系统架构图
嵌入式服务器在本文设计的智能监控系统中处于核心位置，是整个监控系统的“大脑”。不仅负责监控画面的实时传输、异常事件的智能检测，同时还要与用户终端进行一定的交互。
整个智能监控系统的工作模式为：首先嵌入式设备通过摄像头实时采集监控画面，再由智能分析模块对实时视频的画面进行分析，如果发现监控场景中存在运动目标则将相应视频片段本地化存储，与此同时如果判定监控场景中有非法入侵、快速通过、暴力事件的发生，则通过GSM模块将报警信息发送给工作人员，工作人员在对报警确认后便可进行相应处理。在用户端可通过任何带有浏览器的终端查看实时监控、对已保存的异常视频进行查看和管理，以及通过交互控制模块对保存在嵌入式服务器上的参数进行设置。
2.2 系统需求分析
本文所设计的嵌入式智能监控系统的根本目的是利用计算机视觉的相关技术自动地理解监控内容、实现异常情境下的自动报警，从而减少传统监控行业中的人力投入以及提升监控的时效性。为了保证本文所设计的嵌入式智能监控系统具有良好的实用价值，本节将从功能需求角度对系统进行分析。
根据实际需求，本文系统所需的功能主要有实时监控、智能分析、视频本地存储、存储视频管理、用户交互控制、用户管理六大功能。以下是对智能监控系统提出的具体功能需求：
(1) 实时监控功能：当用户请求观看实时监控视频时，嵌入式服务器首先通过摄像头采集实时监控画面，接着将采集得到的监控视频进行压缩编码后通过搭建在嵌入式平台中的视频流服务器以用户数据报的形式发送给客户端浏览器，如此用户就可以通过任何带有浏览器功能的终端实现对实时监控画面的播放。
(2) 智能分析功能：智能监控区别于传统监控的重要一点是智能监控能够发现监控视频中的异常行为并能够自动报警。随着嵌入式芯片的处理能力突飞猛进，在本文中我们将智能检测功能移至嵌入式前端。嵌入式设备首先对采集得到的视频中的运动目标进行提取，在此基础上计算目标光流等信息实现对视频中是否有用户关心的非法入侵、快速通过、暴力事件的发生做出判断，进而更新异常事件列表并将异常信息通过GSM模块通知相关工作人员实现快速报警。
(3) 视频存储功能：当智能分析模块检测到监控场景中出现运动目标时，则将相应的视频片段利用外接的SD卡实现本地化保存，同时在本地数据库中添加异常事件发生时的时间戳、事件类型、视频大小、视频存储位置等信息，以方便日后的视频查询与维护管理。同时，由于SD卡存储容量有限，因此在SD卡容量不足时需要按照监控录像创建的时间先后对存储空间进行自动地清除和管理。
(4) 存储视频管理功能：客户可以在任何时间利用带有浏览器的终端查询存储在嵌入式服务器上的视频信息，同时可以支持监控视频的正常播放，而且可以在拥有管理员权限时对存储的视频片段进行删除操作。
(5) 交互控制功能：为了方便用户能够灵活地根据实际监控的不同环境设定不同的检测参数，其中包括了对感兴趣区域的划定和对各项检测开关的选择。管理员可通过安装有浏览器的客户端与服务器进行控制消息的传递，随时随地的进行远程控制从而实现整个系统的协调工作。
(6) 用户管理功能：为了提高系统的安全性，本文在嵌入式服务器中特意增设了用户管理模块。用户在浏览器端登陆系统时，系统会根据保存在服务器端数据库中的用户名和密码表对用户身份进行校验。系统设置两种不同的操作权限分别为管理员权限和普通用户权限，当用户处于管理员权限时可以进行用户管理、删除存储数据等操作，而处于普通用户权限时只能对信息进行查询而不能修改。
2.3 系统总体方案设计
在系统功能需求分析的基础上，本节将对嵌入式智能监控系统的总体结构进行分层设计。设计方案如图2.2所示，整体上可将系统划分为硬件层、系统软件层以及应用软件层三部分。
1. 硬件层
硬件层作为整个智能监控系统功能的实体承载，采用模块化的设计思想，各个模块在操作系统的管理与协调下高效稳定的运转。系统的硬件部分主要包括：控制系统运转的主控芯片、负责监控视频存储的外接SD卡模块、完成监控画面采集的摄像头模块、当异常行为出现的时候进行报警的GSM模块、负责通信重任的以太网模块、以及为系统供能的电源模块、还有为方便后期系统扩展而预留的其它硬件接口。
