空地一体化建筑物精细三维重建方法研究

 当前，“数字城市”盛行的当下，城市的精细三维模型具有非常重要的作用。它不仅具有传统虚拟现实的高度真实感，能够给用户提供视觉上的真实感受，同时它也是城市中很多信息表达的载体，能够使城市的规划、基础设施的建设更加科学合理。随着倾斜摄影测量的快速发展，目前常用航空或无人机拍的垂直或倾斜影像来完成建筑物的三维重建，然而由于远距离的拍摄加上地面遮挡物的影响使得建筑物一些细致的结构及其纹理无法获取，从而影响后续建筑物模型的重构。常用的多视图图像三维重建的方法有轮廓法、亮度法、明暗法、纹理法等，由于它们都是快速自动的完成三维重建，多多少少会存在着三维模型的瑕疵。
SLAM技术是移动机器人常用的一项技术，它融合了定位和地图创建两大方面，它通过自身的定位来构建地图，同时通过自身构建的地图来实现精确定位。奠定了移动机器人导航的基础，自此以后SLAM被大家认为是实现真正的自主移动机器人的关键。
基于以上两点，本文提出了一种基于SLAM思想的空地一体化的建筑物精细建模方法。“空”指的航空影像，“地”指的是地面影像。本文采用基于EKF的视觉SLAM技术通过航空影像辅助其共同完成地面影像的定姿问题，以图像相互匹配获取的特征点作为种子点通过密集匹配获取密集点云模型。在此基础上再次结合航空影像通过人机交互式的方式进行建筑物细致结构的建模和相应的纹理映射得到建筑物的精细模型。在整个建筑物精细建模的技术流程中，通过SLAM完成地面影像的稀疏重建和位姿确定是一项非常重要的技术环节，也是本文重点讨论的部分。最后，本文通过实验，验证了基于SLAM思想的空地一体化的建筑物精细建模方法的可行性。

关键词：三维重建；SLAM；特征提取；匹配
1 绪论 1
1.1 研究的目的和意义 1
1.2 国内外研究现状 2
1.2.1 基于多视图图像的三维重建技术研究现状 2
1.2.2 SLAM技术研究现状 3
1.3 本文的内容、创新点和组织结构 5
1.3.1 本文的研究内容 5
1.3.2 本文的创新点 6
1.3.3 本文的组织结构 6
2 SLAM基本原理和方法介绍 7
2.1 SLAM过程的一般定义 7
2.1.1 SLAM过程的简单描述 7
2.1.2 SLAM过程的数学模型 8
2.2 SLAM的方法分类 9
2.2.1 基于粒子滤波器的SLAM 9
2.2.2 基于概率的SLAM 10
2.2.3 基于卡尔曼滤波的SLAM 10
2.3 SLAM的技术难点 11
2.3.1 不确定性信息处理 11
2.3.2 数据关联 12
2.3.3 环境地图表达 12
2.4 本章小结 13
3 基于EKF的单相机SLAM方法 14
3.1 成像模型 14
3.1.1 坐标系的介绍 14
3.1.2 相机成像模型 15
3.1.3 摄像机标定 17
3.2 自定位和视觉路标 17
3.2.1 相对定位与绝对定位 18
3.2.2 人工路标与自然路标 19
3.3 特征提取与匹配 19
3.3.1 SIFT算法 20
3.3.2 SURF算法 24
3.3.3 Harris角点提取与匹配算法 25
3.3.4 密集匹配介绍 26
3.4 基于EKF的单相机SLAM实现 27
3.4.1 基于卡尔曼滤波的SLAM过程 27
3.4.2 基于扩展卡尔曼滤波的SLAM过程 29
3.5 本章小结 30
4 基于SLAM思想的空地一体化精细建模方法 32
4.1 相机标定 32
4.2 SLAM过程 33
4.3 空地一体化过程 34
4.3.1 航空影像辅助地面影像定位 34
4.3.2 地面影像结合航空影像的精细建模 34
4.4 纹理映射 37
4.2.1 纹理映射的概念 37
4.2.2 纹理映射的原理 37
4.2.3 纹理映射的方法 38
4.5 本章小结 40
5 实验与分析 41
5.1 相机标定实验 41
5.2 单相机的SLAM过程 41
5.3 密集点云重构实验 43
5.4 精细建模与纹理映射 44
5.5 精度评定 47
5.6 本章小结 48
6 总结与展望 49
参考文献 51
致谢 56
随着倾斜摄影测量技术的发展，航空以及无人机拍摄的垂直和倾斜影像由于其具有的分辨率高，建筑物的部分侧面、顶部的信息加上大部分的附属物信息被真实呈现等特征而被广泛应用。但由于远距离拍摄以及受树木等其他地面物体的遮挡原因，建筑物侧面的细节部分的位置、轮廓及纹理信息无法得以体现，这势必对建筑物的精细三维重建造成重大的影响。为了获取更加真实的感官效果，将建筑物的真实纹理信息体现出来，城市景观更加突出，使得用户更加易识别出地物，更加形象、直观地体现地物及其周围地物景观的相对位置等，因而需要获取更加细致的地物表面纹理数据。为了解决航空影像所带来的这些弊端，得到建筑物被遮挡区域的真实几何和纹理信息，常采用手持相机针对性地拍摄被遮挡区域的近景影像。因此将航空影像和地面近景影像结合在一起即空地一体化模式，对建筑物精细三维重建提供了可能性。
建筑物精细的三维模型在“数字城市”盛行的当代有着不可替代的作用，不仅如此，我国的古建筑数量很多，而有一些有价值的古老建筑正面临毁坏边缘，一旦损毁，难以重建，而建筑物的精细三维模型与古老建筑的保护方面起着不可
磨灭的作用。因此，研究空地一体化建筑物精细三维重建方法有着极其重要的意义。
本文在移动机器人常用的SLAM技术的基础上，借助航空影像辅助有针对性拍摄的地面影像进行定位和定姿，利用匹配过程中的稀疏匹配点生成建筑物的密集点云模型，利用点云模型中能反映建筑物细致结构的点，进一步的修饰，完成建筑物的三维重建得到建筑物的精细模型。本文采用相关的影像进行了实验，重建了建筑物的精细模型，取得了良好的效果，验证了该方法的有效性。
本文的研究内容
本文主要研究的是空地一体化建筑物精细三维重建方法。通过了解目前多视图影像三维立体重建的基本原理与基本方法后，确立了当前建筑物在精细重建方面存在的一些问题后，提出借鉴机器人同时创建地图和定位（SLAM）来对建筑物进行重建的方法。在SLAM技术上，又不停留在其本身，而是加上了航空影像对其进行辅助。并且通过实验表明本方法在建筑物的精细三维重建上能达到很好的效果。因此本文的具体研究的内容主要包括以下几个方面：
（1）介绍了当前多视图影像进行三维重建常用到的几种方法的基本原理，了解目前对建筑物进行三维重建多数用到的只是倾斜摄影中的航空影像，存在着建筑物侧面或者被遮挡处的细致结构无法表达出来的问题。为了实现对建筑物精细的三维重建，必须加入地面影像，因此本文提出了利用移动机器人同时创建定位和创建地图（SLAM）的方法来实现对地面影像的重建。
（2）机器人的同步定位与建图问题（SLAM）利用传感器获取的外部数据，计算出移动机器人在某一时刻的位置，同时建立所依赖的地图模型。本文在介绍SLAM的基础上，提出了利用航空影像对手持摄像机拍摄的地面影像进行辅助，实现摄像机的定姿定位。
（3）为了后续结合航空影像的重建，得到建筑物地面细致结构，因此还需要对其进行密集匹配得到其点云模型。对得到的建筑物的点云模型，利用模型的特征点，对其进行点、线、面的推拉、勾勒等几何处理获取建筑物的精细模型。
1.3.2 本文的创新点
SLAM（同时定位和地图构建）技术当前主要利用的是摄像机拍摄的地面影像，定位主要依靠的是当前数据库或者检测到的路标。
而当前建筑物模型主要运用的影像来自航空影像，由于远距离拍摄，同时受地面遮挡物影响，要对建筑物精细建模必须用到地面影像。
所以本文的难点和创新点在于：
（1）空地一体化的过程中，使用移动机器人常用的SLAM技术来实现对地面影像的重建。
（2）在使用SLAM方法的过程中，航空影像辅助地面影像，实现对地面影像的定位。
（3）航空影像和地面影像点云模型的结合通过三维建模人机交互的方式得到建筑物的精细模型。
1.3.3 本文的组织结构
第一章简述了论文研究课题的背景，课题研究的目的和意义，简述了多视图三维重建技术和SLAM技术的国内外发展现状，并介绍了论文的主要研究工作和结构。
第二章系统地介绍了SLAM基本原理和方法。详细阐述了何为SLAM技术，给出了SLAM技术的数学模型、 SLAM实现的常用方法以及SLAM中的技术难点。
第三章详细地描述了基于扩展卡尔曼滤波的单目视觉的SLAM过程。介绍了SLAM实现过程中的坐标系的介绍、相机成像模型以及特征提取与匹配。
第四章针对得到的密集点云，结合相应的航空影像，实现建筑物的表面重建，并进一步通过精细修饰及通过纹理映射，得到建筑物的精细且具有真实感的表面模型。
第五章通过实现一种基于SLAM思想的空地一体化的精细建模方法。采用相关的影像进行了实验，重建了建筑物的精细模型，取得了良好的效果，验证了该方法的有效性。
第六章对本文的工作进行了总结，对利用SLAM技术，航天影像辅助地面影像实现三维重建，并获取建筑物精细模型的整个技术流程讨论了相关的问题和不足。