鱼眼镜头的标定及应用

 摘要
随着现代科技的飞速发展，相对于传统透视相机的视野局限性，具有超广角镜头的鱼眼相机越来越受到关注和认可。鱼眼镜头在获得大范围的拍摄视角时，也不可避免的引入了很大的图像（特别是桶形畸变）。为了更好的将鱼眼相机投入生产研究，必须解决相机标定、图像畸变校正和全景图的拼接这三个关键问题。
鱼眼相机标定主要分为两个步骤：第一步需要拟合出将鱼眼图像转换为透视投影图像的逆变换模型，通过球面投影校正鱼眼图像畸变。第二步是根据普通相机的标定方法，迭代计算相机的畸变参数，再用算出的畸变参数对透视投影图像校正。如此即可得到相机的畸变参数和畸变校正后的鱼眼图像。
完成畸变参数解算和校正后，可以利用校正后的鱼眼图像来实现全景图的拼接。针对图像拼接中容易出现的接缝明显、光照不均等问题选择合适的拼接算法。全景图拼接完成后需要对图像修补并上传到全景图展示平台。
关键词：鱼眼镜头；透视投影；相机标定；畸变校正；全景拼接
目 录
摘要………III
ABSTRACT……IV
1. 绪论 1
1.1 课题研究的背景和意义 1
1.2 鱼眼镜头概述 2
1.2.1 鱼眼镜头介绍 2
1.2.2 鱼眼镜头分类 4
1.3 国内外研究现状 7
1.4 论文研究主要内容 9
2. 鱼眼相机标定与图像校正 11
2.1 鱼眼相机标定原理 11
2.2 透视投影成像模型 12
2.3 鱼眼镜头成像模型 13
2.4 常规镜头的标定方法概述 14
2.4.1 常规镜头标定原理 14
2.4.2 常规镜头标定实例 18
2.5 鱼眼图像畸变校正 20
2.5.1 获取点坐标 20
2.5.2 拟合椭圆模型 21
2.5.3 图像灰度内插 22
2.6 鱼眼相机畸变参数解算 25
2.6.1 标定原理 25
2.6.2解算流程 29
2.7 小结 32
3. 全景影像拼接 33
3.1 全景影像拼接简介 33
3.2 全景影像采集 34
3.3 影像拼接算法 36
3.3.1 图像预处理 36
3.3.2 基于SIFT特征匹配 39
3.3.2.1 特征向量生成 39
3.3.2.2 特征的向量匹配 43
3.3.3 图像变换 44
3.3.3.1常用的图像变换模型 44
3.3.3.2图像变换的线性求解和非线性优化 45
3.3.4 图像融合 46
3.4 全景图拼接实例 47
3.5 小结 48
4. 全景图的修补及应用 50
4.1全景图修补 50
4.2全景图展示 52
5. 总结与展望 55
参考文献……56
致谢……59
随着计算机视觉和摄影测量学的发展，对影像数据的要求越来越高，超大视场的图像视域开阔，一些需要使用及时性、准确性视觉信息来做决策的领域就需要这种影像数据。为采集超大视场图像目前可用的方法包括多相机组同时拍摄、普通相机旋转拍摄（俗称“摇拍相机”）和配备超广角鱼眼镜头的相机拍摄等。相对于多相机组或者旋转拍摄相机来说，鱼眼相机的结构更紧凑，操作更方便。因此配备鱼眼镜头的相机在各个领域都获得广泛的应用，如虚拟景观建设、室外监控系统、地图街景功能、工程施工监测、艺术摄影等等。
鱼眼相机在带来大视场角的同时，也不可避免的引入了很大的图像畸变。为了广泛应用鱼眼相机采集的图像，使得解决由鱼眼相机带来的相机畸变，成像误差等问题也越来越必要。小孔成像相机标定一般是基于透视投影模型，利用中心投影的共线方程来解算畸变参数，而鱼眼相机不同于一般的针孔成像相机。因为鱼眼镜头的成像面是曲面，成像是非线性的，而普通镜头的成像面是平面，所以鱼眼相机不能单纯的用透视投影成像模型来进行图像畸变校正和解算相机畸变参数。
国内外学者对鱼眼图像畸变矫正和图像复原算法进行了大量研究，目前常见的鱼眼镜头矫正模型有球面模型、对数极限模型、多项式变换模型等。不同光学结构的镜头需要不同的矫正模型，一些鱼眼镜头的标定方法仅仅适用于视场角小于180°的鱼眼镜头，或者仅仅针对圆形鱼眼镜头，这些标定方法都不能普遍适用于所有镜头。本文分析了鱼眼镜头成像模型和普通小孔成像相机透视投影成像模型之间的关系，还有两种图像的转换模型，将鱼眼图像通过球面投影转换为透视投影图像。透视投影图像即可用一般的相机标定方法来解算畸变参数。由于现在普通相机的标定算法较为成熟，标定精度也较高，所以鱼眼相机的标定通过转换为透视投影图像后用普通相机标定方法标定可以保证标定的精度，也可以将不同类型的相机标定方法统一，而且在相机标定的过程中校正了鱼眼图像畸变，具有广泛使用的价值。
鱼眼图像畸变校正完成后，如何实现影像拼接是本文要讨论的第二个问题。全景影像拼接是将不同视角采集的具有一定重叠度的影像拼成一幅大场景的图像。一般相机采集的影像数据量大，耗时，实时性低，特别是对于动态影像的采集效果不好，比如在拍摄过程中，物体的移动会造成拼接图中物体的错位、模糊等现象。而鱼眼镜头采集的影像具有大视野，数据信息量大的特点，一般只需几幅影像就能完成360°×180°的全景图拼接。本文的影像拼接主要利用了基于SIFT特征匹配的影像拼接完成鱼眼图像拼接过程。并做了后期的修补和全景图展示。
本文完成了鱼眼镜头的标定、鱼眼图像的采集、鱼眼图像畸变校正和鱼眼图像的拼接以及最后全景图的展示等流程。通过原理说明，算法及实例实验结果论证了这种相机两步法标定的可实施性和应用价值。
本文研究内容主要是关于鱼眼相机的标定问题，以及全景图的采集、生成和应用。论文首先简述了鱼眼镜头的类型和成像模型，通过不同类型的镜头对比可以知道其成像模型是有差异的，针对不同的成像模型建立的标定算法也不能通用。为了能标定所有类型的镜头，本文提出一种两步标定法。涉及到的主要算法：
1.椭圆参数拟合：通过手动选取的椭圆弧上的控制点用最小二乘平差解算椭圆的6个参数。
2.双线性插值：最邻域线性内插法会造成边缘失真，而双三次内插法太耗时，计算量太大，综合考虑，选用双线性内插法完成图像重采样。
3.光束法平差：常规相机标定方法将畸变参数列入共线方程后，可以通过光束法平差迭代计算畸变参数。
对于全景图拼接过程，本文主要是基于SIFT特征匹配的影像拼接。涉及到的主要算法：
1.面积统计法：在图像预处理阶段需要对圆形鱼眼图像边缘的黑框进行裁切，涉及的算法就是利用图像R、G、B三色统计后并设置阈值完成。
2.平滑和锐化滤波器：为了降低图像的噪声，使细节部分增强，分别对图像做了平滑和锐化处理。
3.LM算法：LM算法主要用来解决非线性最小二乘问题，通过使目标函数取最小值来确定最佳拟合参数。
4.加权平均值融合:在图像融合阶段，综合考虑算法效率和效果选择加权平均值融合算法。
本文的主要内容主要包括5个章节：
第一章是绪论,首先是关于鱼眼镜头标定的研究背景和意义，还有相机标定的国内外研究现状，并对不同的标定方法优劣进行了比较。还对鱼眼镜头的成像模型、分类做了详细的介绍。
第二章是鱼眼相机的标定。鱼眼相机不同于普通针孔成像相机的投影方式，所以针对鱼眼相机这种非线性的投影模型，我们需要分两步来进行标定。首先将鱼眼图像根据球面投影模型转换为透视投影图像，论文也分节对透视投影成像模型和鱼眼镜头成像模型分别说明。第二步就是将转换后的透视投影图像按照常规镜头标定方法标定。第四小节详细的说明了常规镜头的标定原理，并通过实例分析了该标定方法的可靠性。鱼眼图像转换为透视投影图像算法是本文的核心点，通过此算法可以将鱼眼镜头或超广角镜头拍摄的图像转换为透视投影图像，从而用常规方法标定。这样间接的统一了所有类型的镜头标定方法，具有推广性。
第三章是全景影像拼接。全景影像拼接使用面非常广泛，所以相关的算法非常成熟，应用型软件也很多。但是没有一种算法是可以非常完美的实现全景图的拼接，而不出现任何接缝或者光照不均等问题。因此对于鱼眼或广角镜头拍摄的图像如何有效的拼接，既要考虑拼接效果又尽量节省拼接时间。本文选择的基于特征匹配的拼接算法不算是拼接效果最好的，但综合考虑可以广泛适用于外景全景影像拼接。
第四章是全景图的修补及应用。全景图拼接完成后有时候需要补天补地，特别是补地。因为鱼眼镜头的视场角很大，所以常常把脚架和云台也摄入图像中。后期制作时需要将脚架挡住的地面部分补齐。对于需要特殊处理的人脸或车牌也要进行后期模糊处理。全景图的应用主要是在相关应用平台的展示，并且实现了全景图的量测功能和地图定位功能。
第五章总结与展望。归纳了本文的主要内容和解决的相关技术难题，并针对文章中出现的一些难以攻克的问题进行了探讨，希望后期予以解决或完善。