基于NoSQL的城市三维管网系统数据存储与调度方法研究

 建设三维一体的城市地下管网系统对管网信息普查工作有重要的实用价值。
面对数据量越来越大、数据越来越多源的管网系统，本文利用目前十分流行的NoSQL，结合城市三维管网系统中多源空间数据的特点，深入探讨了基于NoSQL的多源空间数据的存储和调度机制。本文主要包含以下四个方面的内容：
（1）针对多源空间数据的特点，提出了分层分块的空间数据组织策略，构建了金字塔模型。共同分析了NoSQL的主流之一MongoDB的空间索引和其它常见空间索引，提出了新的索引方法。
（2）设计了适合非关系型数据库MongoDB的三维管网数据结构，实现了海量多源空间数据在MongoDB中的存储、查询等功能。
（3）设计了基于分页的动态调度策略，对视景体剔除、三级缓存框架、多线程并行机制等技术进行了探索性研究。
（4）在对理论方法研究的基础上，设计了城市三维管网数据库管理系统和三维可视化平台，实现了地上地下一体化的场景绘制。
关键字：NoSQL；三维管网；多源空间数据；存储与调度
目 录

摘 要 I
ABSTRACT II
1 绪论 1
1.1 研究背景和意义 1
1.2 国内外发展现状 1
1.3 研究内容和结构 2
1.3.1 研究内容 2
1.3.2 论文结构 3
2 相关技术分析 4
2.1 城市管网GIS 4
2.1.1 城市管网GIS特点 4
2.1.2 三维城市管网GIS 4
2.1.3 城市管网类型 5
2.2 空间数据组织与管理 6
2.2.1 基于元数据的组织方式 6
2.2.2 基于地图分幅的组织方式 6
2.2.3 基于金字塔的组织方式 7
2.3 非关系型数据库 8
2.3.1 NoSQL 8
2.3.1.1 NoSQL概述 8
2.3.1.2 NoSQL与关系型数据库的对比 8
2.3.1.3 NoSQL的数据模型 9
2.3.2 MongoDB 10
2.3.2.1 MongoDB概述 10
2.3.2.2 MongoDB内部存储结构 10
3 三维空间索引 12
3.1 B树索引 12
3.2 空间索引 12
3.3 ArcGIS的索引 14
3.4 MongoDB的索引 14
3.4.1 MongoDB的空间索引 14
3.4.2 Geohash 15
3.5 基于Geohash的混合空间索引 16
3.6 实验与分析 17
4 城市管网多源空间数据的存储 18
4.1空间数据 18
4.1.1 空间数据概念 18
4.1.2 空间数据结构 18
4.1.3 多源空间数据 19
4.1.3.1 多数据来源 19
4.1.3.2 多存储格式 19
4.2三维管网系统数据结构 21
4.2.1栅格数据 21
4.2.2矢量数据 21
4.2.3三维模型 22
4.3多源空间数据的组织 23
4.3.1地形数据组织 23
4.3.2三维模型数据组织 24
4.3.3管网数据组织 25
4.4 MongoDB对多源空间数据的存储 25
4.4.1 元数据的存储 25
4.4.2 栅格数据的存储 26
4.4.3 矢量数据的存储 28
4.4.4 三维模型的存储 31
4.5 实验与分析 33
5 大规模场景数据的快速调度 35
5.1 概述 35
5.2 视景体剔除技术 35
5.3 基于分页的动态调度策略 35
5.4 三级缓存体系 36
5.5 多线程机制 37
6 基于NoSQL的城市三维管网系统设计与实现 39
6.1 系统设计 39
6.1.1 开发环境及开发工具 39
6.1.2 系统整体框架 39
6.2 系统实现 40
6.2.1 数据库管理系统 40
6.2.2 可视化平台功能模块 45
6.2.3 存储与调度机制结合 48
6.3 三维实时动态漫游效果 49
6.4 实验与分析 52
7 结论与展望 54
7.1 研究总结 54
7.2 创新点 54
7.3 未来展望 54
参考文献 55
致谢 59
地下管网担负着保证城市正常运行的众多职能，与我们的生活息息相关。随着我国经济条件的不断提高，地下管网的建设也在飞快发展，但随之而来的是管理上的混乱与有限的地下空间的浪费。我们经常能在各种新闻报道上看到城市内涝、管道爆炸等类似的新闻，这些现象都与地下管网的混乱建设、无序管理有很大关系。
高效的数据处理，包括数据的存储、查询等可以极大解决管网管理无序、建设混乱等问题。同时，建设可视化性能良好的三维管网平台，能够更好地辅助决策者们处理管网建设、维护等问题。
为此，国务院发布了《关于加强城市地下管线建设管理的指导意见》，明确要求 “开展城市地下管网普查，建立和完善三维管线管理信息系统”。国家测绘地理信息局于2015年6月26日批准发布了《管线测绘技术规程》、《管线要素分类代码与符号表达》、《管线信息系统建设技术规范》等几项测绘地理信息行业标准。以上这些都表明了国家对建设标准、统一、准确的管网信息系统的重视。
目前国内外已经有相当一部分比较成熟的地上地下一体化的三维管网平台解决方案，但这些系统或平台仍有很多问题，比如海量数据处理速度慢、可视化效果不好、数据存储方式复杂等。
相比于传统的关系型数据库，目前十分流行的非关系型数据库NoSQL恰好在海量数据处理上具有更好的效果，数据存储也比较简单，本文的研究如果能利用NoSQL更好地建设管网信息系统，对未来智慧城市的建设相信也会有很大的帮助。
基于以上背景，本文将深入研究基于NoSQL的城市三维管网系统数据的存储和调度方法。具体内容包括以下几个方面：
1. 海量多源空间数据的组织与存储方法
研究基于NoSQL的多源空间数据的组织、存储，保证数据高效查询访问。将包括DEM、DOM、三维模型数据、地下管网数据及元数据等三维场景空间数据，以分层分块的组织结构存储到数据库中。
2. 大规模场景的快速调度方法
在前文的基础上研究如何有效地建立动态调度策略，研究大规模场景高效的调度。
3. 城市三维管网数据库管理系统与可视化平台的设计与实现
针对地上地下一体化三维管网系统的特点，将存储、调度方法加以实现，搭建一个高效的数据库管理系统和可视化平台。
1.3.2 论文结构
本论文主要由五大章节组成，具体结构组织如下：
第一章描述了论文的研究背景与研究意义。
第二章主要介绍了本文的相关技术背景。
第三章分析了常见三维空间索引，提出适合NoSQL的空间索引。
第四章深入研究了海量多源空间数据在NoSQL系统的存储机制。
第五章对大规模场景数据如何进行快速调度进行了探索。
第六章为基于NoSQL的城市三维管网系统开发实例以及结果展示，简单介绍该系统建设过程及实验成果。
第七章为总结与展望。总结本文大概的研究内容，并发现当前研究的不足，并作出下一步的展望。