摘要： Android 系统是中国市场现今移动应用平台应用最广泛的操作系统之一，全球各地的无数公司将 android 操作系统安装在自己生产的手机上，android 系统广泛的应用给许多软件公司在软件兼容性测试造成了很大的压力。同时大多数中小型创业公司有许多临时嵌入 app 的 wap 页小项目，这些 wap 页有的是来自客户公司的广告，有的是外包的活动 H5，还有可能是自己开发的 wap 页项目。这些 wap 项目来源不同，质量也是良莠不齐。大多数中小型创业公司通过测试人员手动测试的方法进行兼容性测试，结果导致效率低下，浪费了大量的人力资源。
为了解决这个问题，本文设计并实现了一个基于图像对比技术的 UI 自动化测试框架，通过将连接的手机屏幕分成 M*N 个最小点击模块，依次遍历各个点击模块实现点击类功能的覆盖。通过基于特征点以及对应特征向量的 SIFT 算法将所获得的截图与标准功能截图互相匹配来判断是否出现崩溃或者出现 bug 。最后输出测试结果报告来辅助测试人员进行 wap 页项目与客户端小模块的兼容性自动化测试。
本文按照软件生命周期模型，分别详细介绍了从解决方案选择开始直到测试应用的工作内容以及最后的运行效果以及总结讨论。现在本系统已经在本公司得以实际应用，提高了测试人员的工作效率。
关键词：自动化测试 图像对比 UI 自动化 软件测试
ABSTRACT
ABSTRACT: Android is one of the most widely used operating system in the Chinese market of mobile application platform today. And the android operating system has been installed on the mobile phones producted by countless companies around the world .This made a lot of software companies under too much pressure when they are doing Compatibility testing. At the same time, most of small and medium-sized start-up companies have to deal with many temporary embedded wap pages in the apps. Some of them are the company's advertising clients,others may be the H5 developmented by own company or outsourcing companies. These project quality are not the same.But most of the small and medium-sized companies startup compatibility test by manual testing. This leads to low productivity and wasting a lot of human resources.
In order to solve this problem, this paper designs and realizes a UI testing automation framework based on the technology of image contrast.Cutting the mobile phone screen into M
* N minimum click modules and clicking on all the modules in turn. Getting the screenshots and compared them with standard screenshots by SIFT to find bugs. At last Output test report to help the software tester with their job.
According to the software life cycle model, this paper introduces the solutions in detail until the testing and final effec. Now this system has been used by my company and it improves the efficiency of the tester.
KEYWORDS： Automated Testing Image contrast Code UI test Software testing
目 录
中文摘要 i
ABSTRACT ii
1第一章 引言 1
1.1论文研究背景与意义 1
1.2论文的研究内容与目标 2
1.3论文组织结构 3
2第二章 相关知识背景 5
2.1自动化测试概述 5
2.1.1什么是自动化测试 5
2.1.2自动化测试的目的与原则 5
2.1.3自动化测试的分类 6
2.2相关技术国内外研究现状 7
2.2.1图像对比算法简介 7
2.2.2自动化测试工具与框架简介 7
2.3本章小结 9
3第三章 系统分析 10
3.1业务逻辑介绍 10
3.1.1移动应用测试的关注重点 10
3.1.2移动应用测试的基本流程 10
3.1.3“我只在乎我自己”项目测试实例 12
3.2为什么选择基于图像对比的 UI 自动化测试 14
3.2.1可选的解决方案介绍 14
3.2.2解决方案对比 15
3.2.3解决方案选择 16
3.3系统功能与模型分析 17
3.3.1系统功能需求 17
3.3.2用例模型 17
3.3.3系统工作流程分析 18
3.4系统的非功能性需求 19
3.4.1可靠性需求 19
3.4.2效率需求 19
3.4.3适用性兼容性需求 20
3.5本章小结 20
4系统总体设计 21
4.1系统结构设计 21
4.1.1系统基本流程 21
4.1.2系统模块划分 23
4.1.3系统分层结构 23
4.2系统交互设计 24
4.2.1接口设计 24
4.3相关重要技术研究 27
4.3.1图像哈希对比算法 27
4.3.2基于特征点的图像对比算法 27
4.3.3自动化测试工具 appium 研究 29
4.4系统开发应用平台 30
4.5本章小结 31
5详细设计与实现 32
5.1登录模块的设计与实现 32
5.1.1登录模块的核心流程 32
5.1.2登录模块的设计思路 33
5.1.3登录模块的实现效果 34
5.2界面计算点击模块的设计与实现 35
5.2.1界面计算点击模块的核心流程 35
5.2.2界面计算点击模块的设计思路 36
5.2.3界面计算点击模块的实现结果 37
5.3图片对比模块的设计与实现 38
5.3.1图片对比模块的核心流程 38
5.3.2图片对比模块的设计思路 38
5.3.3截图对比模块的实现结果 39
5.4崩溃检测模块的设计与实现 40
5.4.1崩溃检测模块的核心流程 40
5.4.2崩溃检测模块的设计思路 41
5.4.3崩溃检测模块的实现效果 41
5.5生成测试报告模块的设计与实现 42
5.5.1生成测试报告模块的核心流程 42
5.5.2生成测试报告模块的设计思路 43
5.5.3生成测试报告模块的实现效果 43
5.6生成页面树模块的设计与实现 44
5.6.1生成页面树模块的核心流程 45
5.6.2生成页面树模块的设计思路 45
5.6.3生成页面树模块的实现效果 46
6 结论 47
参考文献 48
致 谢 49
1第一章 引言
1.1论文研究背景与意义
做为一种汹涌而来的行业潮流，移动互联网产业在可以预见的未来仍然是一种不可阻挡的发展趋势。对互联网行业的创业者而言，质量保证工作是软件开发最重要的部分之一[1]。更好的产品质量意味着更高的用户留存转化率，用户粘度，更少的用户投诉。从而实现更低的推广成本，最终在竞争日益激烈的市场中赢得先机。但是，大多数移动互联网创业团队在创业初期，并不具备完整的测试团队和质量管理能力。所以针对移动互联网产品的测试一直是很多软件质量从业人员的困扰[2]。
对于所有的 IT 企业来讲，每开发出一款应用（app／PC／web）之后，都需要在正式发布之前对它进行全面而又详细的测试。在开展测试工作的时候，他们一定会面临以下问题：
1.如何在人力资源与经济资源满足的前提下，尽可能多的覆盖测试兼容机型。
2.在人力资源与经济资源有限时，应该选择那些设备进行测试。
3.怎样制定高效，可靠，节约，符合实际的测试策略。
4.怎样尽可能全面的覆盖所有测试功能点。
5.如何开展有效的自动化测试技术等。
6.如何在需求快速变更的环境下，选择合适的测试方法与测试技术等。
针对上述问题，美国知名移动应用质量管理平台”Perfecto Mobile”对超过 1500 家客户企业进行了调查，研究如何结合本公司产品制定高效的测试策略。通过 Perfecto Mobile发布的研究报告，可以总结出移动应用测试需要重视的以下几点内容:1.统计用户常用的系统平台;2.统计用户最常用的手机生产公司，手机品牌与型号;3.重视操作系统版本的更新;4.收集留存没有彻底退市的旧设备;5.掌握常用手机的屏幕尺寸与分辨率情况;6.灵活使用自动化测试技术与测试框架。
根据以上思路分析可以发现，Android，ios，windowsphone 是现今中国市场上排名前三的移动应用操作系统。其中以 android 操作系统的用户数目最多。同时 android 系统的应用也最为广泛，作为一个最受中国用户接受的开源的操作系统，许多公司选择在自己生产的手机上装配 android，许多大大小小的移动应用开发公司选择开发 android 软件。这也使得 android 操作系统版本繁多，应用数目更多，质量良莠不齐。相比于用户数目稀少的 windowsphone 系统与只能有苹果公司开发的 ios 系统，无疑 android 应用在质量保证帮面更加棘手，因此兼容性测试就成为了 android 软件测试的重点与难点。需
要软件开发公司在测试领域投放更多的人力物力。
现在大多数公司在app 兼容性测试尤其是app 内嵌wap 页项目的测试时采用人工手动测试的方法，手工测试虽然有准确度高，bug 反馈清晰等特点，但是本人在友乐活网络科技实际阶段工作时发现， 随着公司的不断发展与 app 用户的迅猛增长，客户端测试的工作量越来越大，与此同时，广告项目，有奖活动，外包工程等 APP 内嵌 wap 页项目的数目也会逐渐增加，在手动测试成本日益增加且在自动化趋势已经无法阻挡的今天，使用自动化技术对人工手动工作进行简化已经十分必要。
现在大多数公司在自动化测试时采用接口自动化测试，本公司的 app 产品需求变化极为频繁，本公司的接口自动化测试框架仅能覆盖一些常年不变的接口，如登录注册，计算经期，健康贴士等。但是每个新版本中的新功能才是测试人员的工作重点，接口测试在这方面编写脚本往往会拖累项目进度。同时 wap 页项目多为外包工程，许多项目存在生命周期短暂，接口不明确，后台数据不可查的特点，而传统思路的接口自动化需要获取接口数值等信息，因此无法使用。而现在采用的主流UI 自动化测试技术也多是Junit/基于系统事件的自动化测试，相应出现了 Instrumentatin 等自动化测试框架。但是，这种测试方法虽然适用于客户端测试但对于 wap 小项目测试却并不合适。因为这些框架需要对每个项目进行特殊的调整，编写对应的脚本，这对于上线时间紧急，生命周期短暂
(一般不超过一周)，android 兼容性测试要求高，覆盖广的 wap 项目明显是不合适不划算的，因此不能满足这类项目的测试需求。所以我们需要更高效，更先进，更具有普遍适应性的的测试技术指导测试工作。
1.2论文的研究内容与目标
通过对于公司移动应用在 app 端小项目测试所面临的困难的研究，本文针对自动化测试黑盒零散项目的技术空白，设计了一种基于图像对比技术的 UI 自动化测试工具来辅助测试工作。通过获取标准功能截图与点击所获取的截图进行对比来判断是否出现
bug 或者页面兼容性不适配的结果，从而提高测试效率，节约人力资源成本。本文的研究内容有以下重要部分:
1.通过模拟点击的方法模拟用户的操作，计算每个点击位置的坐标并且点击对应位置，从而实现点击功能的自动化测试。并且可以使测试人员查看到点击结果
2.计算手机屏幕大小，根据连接的测试机的分辨率，将手机屏幕分成 m*n 个最小点击事件模块。通过依次饱和点击屏幕所有区域的方法来实现覆盖全部点击类功能点
3.在每次点击的时候获取一张界面截图，通过与标准功能截图对比的方法来判断程序是否正确运行。通过图像哈希的方法与程序自截图比较快速筛选淘汰点击过后没有变化的点击事件与点击截图。以此作为测试 app 内嵌 wap 页应用与客户端小模块项目的技
术基础，
4.以 openSURF/SIFT 算法为基础，根据不同分辨率截图中的特征像素点，对应做特征向量，以此获得图片相似度，匹配不同分辨率机型的同一功能截图。从而解决因图片尺度缩放而造成的图片对比误差来实现不同分辨率机型的兼容性测试设计。
5.通过访问 android 系统 log 日志的方法来判断该次点击是否造成了应用崩溃。
6.选取一个手动测试通过的 app，通过图像对比的方法，获取点击之后页面发生变化的图片，与子功能截图对比，如果仍然无法匹配则创建为新的子功能节点，依次遍历整个屏幕之后，依据广度优先遍历的顺序依次遍历各个子节点，从而实现对于小型项目自动构建页面节点树的功能，在兼容性测试时可以进行树与树之间的整体比较。
本文根据以上思想，设计一种相应适宜的 UI 自动化测试工具。要求实现点击类功能覆盖率为 100%，并反馈出所有因点击造成的系统崩溃。不跨分辨率的功能截图比较准确率要求达到 98%，跨分辨率功能截图比较要求错误发现率为 80%，其余可由测试人员简单截图确认发现。实现内嵌 Wap 页与 app 小模块的功能性测试，页面兼容性测试，实现测试过程的半自动化，减少人工测试的工作量，提高测试效率。
1.3论文组织结构
本文的研究内容是，基于公司测试组开展测试工作时所面临的实际困难与工作瓶颈，提出一种基于图像对比的 UI 自动化功能测试框架，辅助测试人员在 app/内嵌 wap页项目功能测试与兼容性测试时的半自动化测试。本文共包括 7 章，主要由以下内容组成:
第一章主要介绍的是论文研究的背景，阐述移动互联网创业中小型公司的生存现状与在开展自动化测试时所面临的困境。并以根据这样的现状进行分析讨论，从而引出提出的相应解决方案，以此体现论文的意义与价值，并说明本文的主要工作原理与论文内容组织结构以及论文的研究目标。
第二章介绍本文的相关知识背景，主要包含自动化测试概述(定义，目的，原则，特点，分类等);国内外自动化测试技术的最新研究成果以及研究方向;图像对比算法当今的研究成果与在自动化测试领域的研究现状;相关测试框架与测试工具的简介等。
第三章主要为需求分析，介绍移动互联网创业公司测试工作的得基本业务流程，为什么选择基于图像对比的 UI 自动化测试技术作为解决问题的方法，系统工作流程，本框架的系统功能性需求与非功能性需求(如准确性需求，效率需求，兼容性需求等)。
第四章的主要内容为系统架构设计，其中包括解决方案分析研究与比较，系统使用平台与整体工作流程，系统层次结构，用例模型，系统模块划分与接口及其之间的调用关系等。以及系统重要技术要点的研究，包括但不限于:图像哈希比较，基于特征向量的
相似图像匹配算法，手机屏幕的分割计算方法，树的广度优先遍历方法，自动化测试工具 appium 等。
第五章为具体的设计与实现，包括整体的设计架构，重要模块的具体实践方案如:界面计算模块，UI 点击与截图模块，崩溃处理模块，图片对比模块，图像匹配模块，自动构建页面树与页面树自动对比等模块的具体设计与实现。
第六章是总结与讨论模块，总结本项目的研究结果，结合以上内容对本框架进行总结与讨论，分析本项目有哪些优势与劣势，并对未来可供优化的模块提出展望。
2第二章 相关知识背景
本章会介绍相关的知识背景，自动化测试简介，国内外相关技术应用现状，以及相关技术如图像对比的简介。
2.1自动化测试概述
2.1.1什么是自动化测试
移动互联网产品迭代速度非常快，所以对整个项目的测试效率的要求也十分之高。如果仅仅依靠纯手工的测试执行，很快测试就会面临瓶颈。因为每一个功能的测试大多数都不是一次通过的，需要 bug 修复，回归验证等过程。另外有很多测试工作仅仅依靠手工完成会非常的繁琐与不便，比如针对接口协议的验证。因此自动化测试就应运而生了。
自动化测试，顾名思义就是软件测试过程的自动化，为了节省人力，时间空间等资源[3]，通过事先设计的预设条件(正常条件/异常条件)，设计对应的测试程序或测试脚本，去代替测试人员手工操作待测应用程序，模拟用户行为并反馈测试结果。自动化测试在回归测试大量重复测试，模拟大量用户单位时间内访问以及软件性能(内存占用，电量消耗，流量消耗)测试方面都有广泛的应用。
2.1.2自动化测试的目的与原则
自动化测试的目的是为了提高测试效率，减少测试人员的手动工作量，但是什么样的项目适合采用自动化测试技术那[4]?现在公认的适合采用自动化测试技术的项目都具有以下特点:
1.测试任务明确，有着唯一的输入输出结果
2.需求稳定且不会频繁变动，界面稳定
3.需要在多平台上从事相同的测试案例，大量重复的任务。
4.项目进度压力不大，项目生存周期长，维护周期长
5.被测软件开发规范，就有全面详细的测试文档。
6.自动化测试还适用于每日构建后的测试验证以及频繁的回归测试。
因此在开展自动化测试工作的时候要紧密结合自己公司的项目，从中选择需要大量
重复且变化不剧烈的部分进行自动化测试。本文所研究的基于图像对比的 UI 自动化功能测试就是基于对本公司 app 客户端及其内嵌 wap 页的大量实际项目，整理总结出来的可以提高测试效率的解决方案。
2.1.3自动化测试的分类
自动化测试从整体来讲分为功能自动化测试与性能自动化测试。
功能自动化测试:是把人力驱动的测试行为转化成以机器驱动的测试行为的过程。通过相应的测试框架或测试工具，录制或编写测试脚本，执行脚本从而实现对软件项目的功能测试。目的是验证测试操作的结果是否正确，代替部分手工测试工作，从而节约人力成本与时间成本[5]。
性能自动化测试:通过响应的性能自动化测试工具模拟单位时间内成千上万的虚拟用户向系统发送请求，从而判断系统在一定压力之下正常工作的能力[6]。
从测试对象分类可以将测试分层，敏捷大师 Mike Cohn 首次提出测试的三层金字塔结构:分别是 UI 自动化测试(用户交互测试/功能测试)，模块接口测试(集成测试)，单元测试。测试中投入的精力也应该逐级提高。下图为三种测试方法的优缺点，测试人员与最佳耗费时间比。
图 2-1 自动化测试分层示意图
本文主要研究的是功能自动化测试中的 UI 自动化测试。UI 层是产品的入口，所有功能与信息全部都是通过 UI 层展示给用户，所以说 UI 层直接会影响到用户的体验，现在大多数测试人员都集中在这一层，但是他们绝大多数时候采用的都是黑盒测试，图 2-1中显示 UI 层应该占有较少的时间比例，但是因为测试技术的陈旧使得绝大多数测试人员采用手动测试的方法，从而占用了大量的测试资源。本文所研究的基于图像对比的
UI 自动化测试工具就是为了实现UI 测试方面的半自动化，从而减少测试人员的工作量，把他们从大量重复的手动测试工作中解放出来[7]。
2.2相关技术国内外研究现状
2.2.1图像对比算法简介
图像对比算法是指，通过对图片的基本元素、特点、线条结构、像素点之间的关系、纹理及灰度等关联对应关系，进行相同或者相似之间的匹配联系，匹配相似(相同)图片的方法，现在常见的匹配算法有以下几种:
1.感知哈希算法: 感知哈希算法简称 PHA 是哈希图对比方法家族中的一员， 它把图片所包含的特征抽象改变成为一组指纹[8]，可以通过对比图片与图片之间的指纹关系来匹配图片。这种算法是将图片存到一个 64 位的数组之中，可惜的是图像哈希这类算法一般情况下只能用来对比完全相同的两张图片，分辨率不同的两张全等的图片或者相似图片是无法通过这种算法匹配的。
2.SIFT 算法: SIFT 算法，SIFT 的意思是尺度不变特征改变，是应用较为广泛的相似图片对比算法，依据不同分辨率图片按比例伸缩导致的不变性进行图片匹配。 SIFT算法的特征是图片的部分特征，对图片旋转、尺度收缩扩张、亮度改变保持不变，对分辨率变化，视角变化、仿射变换、噪声也保持一定程度的稳定性[9]。SIFT 算法还有许多变种，论文后面还会详细说明这种算法在本设计中的应用。
3.经典灰度匹配算法: 常见的经典灰度匹配法是归一化的灰度匹配方法，基本原理就是逐个像素点的把一个以一定大小的实时图片窗口的灰度矩阵，与对比图片的所有可能窗口灰度排列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术[10]。
利用经典灰度图片匹配算法的主要缺点就是需要系统进行大量的计算，结果导致占用较多的系统资源，一般情况下，大量多次的匹配会造成耗时过长，所以这些方法很少被使用。现在的研究成果已经可以通过一些相关的算法，比如幅度排序相关算法，FFT相关算法或分层搜索的序列判断算法等来实现目的。
2.2.2自动化测试工具与框架简介
国外互联网企业对自动化测试方向重视较早，也投入更多人力物力，一般情况下，单元测试任务由开发自己完成，而后续的测试任务则有独立于开发团队之外的测试团队进行，主要任务是接口测试与 UI(用户交互)测试，相应的自动化测试技术也分为接口自动化测试与 UI 自动化测试以及性能类的自动化测试。现今国内外软件测试应用比较广泛的自动化测试框架与技术如下:
1.JMeter: Jmeter 是一种轻量级的接口自动化测试方法，主要应对的是紧紧依靠模
拟用户的界面操作，仅仅从 UI 上发起相关的调用请求，在程序的实际应用中，往往会出现这样做导致效率低下而且不稳定的后果。与此同时，小公司缺乏足够的测试资源去开发一个独立的接口自动化测试框架，于是采用开源测试工具 Jmeter 作为引擎，把发送接口请求，结果解析以及断言的的工作都交给了 Jmeter 基础功能来实现。
Jmeter 作为接口测试工具有许多优点，如自带许多类型的接口协议支持，无论是协议方法，请求参数还是选项，代理等方面都较强的支持 HTTP 协议，即使出现其他的非支持的私有接口协议也可以通过拓展来实现。同时，它还支持大量丰富的断言，可以内嵌自定义脚本以及直接连接 DB 检查数据库，第三方命令行。它还支持文本的输入输出，支持启动图形用户界面与命令行双途径执行。因此，作为一个轻量级的接口自动化测试工具，Jmeter 对于中小型的创业公司有较大的帮助。
2.Selenium: Selenium 是一个用于 Web 应用程序的测试工具，是一款免费的，具有支持多平台 (Linux/Windows/Mac) ， 多浏览器 (FireFox/ 谷歌 /IE/Opera) ， 多语言
(Python/Java/Ruby)等优点，可以说 selenium 是 web 领域之中最成功也是应用最广泛的自动化测试框架之一。
Selenium 家族有着许多成员，selemiun 经历了两个版本，拥有许多插件和类库，每个部分都拥有其独特的应用场景，如:Selenium IDE 支持录制与回放脚本功能;Selenium Grid ，Selenium RC 等。如图 2-2 就显示了 selenium 家族丰富的成员。
图 2-2 selenium 家谱
3.Instrumentation: Instrumentation 是一种由谷歌早年推出的 UI 自动化测试框架，基于 Junit，可以用来进行黑盒与白盒测试。因为它面世较早，所以具有较强的向后兼容性，可以用来测试较早的 android app。但是它也有相应的缺点就是只支持在本 app 上运行，无法支持如第三方登录，分享等跨 app 的交互测试。
4.UIAutomator: UIAutomator 是谷歌公司新推出的自动化测试框架，只支持 API
level 16 和以上的操作系统才可以应用。他可以支持如第三方登录，分享等跨 app 的交互测试。但是它也有一定的缺点，因为较新所以还存在一些不健全的地方导致在测试工作中可能出现某些控件很难定位到的现象。最大的缺点就是其不支持 WebView 自动化测试，但是现今的移动互联 APP，许多变化较多或者产品设计后期版本将会修改的功能页面会做成 WAP 页面嵌入到本公司的 app 中，经统计，如本公司的 app 自带 wap 页的
数目高达 40%左右，这些页面是都不支持 UIAutomator 的。而且为同一款产品准备两套自动化测试框架是不划算的，成本过高，因此 UIAutomator 想要在中小企业之间广泛应用还有很长一段路要走。
5.Appium: appium 是由 Sauce Labs 提供并开发的一个开源免费的 UI 自动化测试框架，支持原生，混血以及移动 web 应用，可以通过导入 webdriver 协议来驱动 app 内嵌
wap 页的测试。本文所设计的基于图像对比的 UI 自动化测试工具就是基于 appium 导入
selenium webdriver 的环境下实施的。
Appium 测试人员不用重新编译应用或者修改它，可以直接使用标准的 API，测试人员可以使用自己喜欢的任何开发工具，任何兼容 webdriver 的语言开发脚本，尤其是
appium 导入 selenium webdriver 兼容性极好。同时测试人员可以使用多种测试框架对
Appium 进行测试实施。
2.3本章小结
本章讲述了本文所研究设计的基于图像对比的 UI 自动化测试框架所需要的相关知识背景。第一节讲述了自动化测试的定义，意义，内容与目的，对自动化测试的分类进行了详细的说明。第二节则是结合本项目，重点说明了图像对比技术国内外的研究现状与最新研究成果，以及当下世界上广泛引用的自动化测试工具们的工作优缺点，并重点说明了本设计是 appium 导入 selenium webdrive 的应用方式，为下面进一步阐述项目的设计与实施提供了基础。
