有赞单元测试实践
一、概述
单元测试是指对软件中的最小可测试单元进行检查和验证。单元在质量保证中是非常重要的环节,根据测试金字塔原理,越往上层的测试,所需的测试投入比例越大,效果也越差,而单元测试的成本要小的多,也更容易发现问题。
1.1 有赞单元测试1.0架构
以有赞中台某应用为例,应用部署是微服务架构,对外提供dubbo服务,当前的单元测试,采用了分层测试框架,根据代码的分层,分为 Service 层测试,Biz 层测试,外部服务访问层测试,DAO 测试,Redis 访问层测试,每一层均使用 mock 框架屏蔽下层的具体实现。
1.2 单元测试的过程
单元测试的编写,主要包含以下几个阶段:
- 数据准备:在编写测试用例前,需要依赖到一些数据,数据来源一般是数据库,而构造数据,又不能依赖 DAO 层的代码,需要使用原生jdbc 去插入数据,测试代码编写效率低。
- 构造参数及打桩(stub):调用方法需要传递入参,有时候一个入参十几个参数需要 set,set 方法写完,代码已经写了十来行了。
- 执行测试:这一步比较简单,直接调用被测方法即可。
- 结果验证:这里除了验证被测方法的返回值外,还需要验证插入到数据库中的数据是否正确,某外部方法被调用过n次或未调用过。
- 必要的清理:对打桩进行清理,对数据库脏数据进行清理。
二、 痛点
2.1 重构代码需要改写大量单元测试用例
对外的 Service 接口在不变的情况下,对内部实现进行重构,这时候头痛的问题来了,大量的 Service 层单元测试,biz 层单元测试都要重写;有时候 Service 调用 biz 层接口时,参数传错了,而由于开发人员编写单元测试时不规范,参数匹配使用了 anyxxx(),导致参数传错的 bug 未被发现。
2.2 测试库数据随意修改导致的单元测试不稳定
DAO 层单元测试直连测试库,由于测试库的数据可以被任意修改,从而导致测试依赖的数据被更改,单元测试不通过,另外开发在编写单元测试时,没有清理意识,导致测试库大量垃圾数据。
2.3 单元测试结果校验缺失
例如一个 SaveItem() 接口,执行完成后除了要验证执行成功以外,还应该验证落库数据的正确性,而编写这部分测试代码需要大量的使用原生 jdbc 接口查询 sql,并逐字段验证正确性,代码编写效率低下。
三、几个常用的测试框架的简介
3.1 数据层单元测试框架 DbUnit
可以优雅的构造 DB 层的初始化数据,例如:
<?xml version='1.0' encoding='UTF-8'?>
<dataset>
<employee employee_uid='1'
start_date='2001-11-01'
first_name='Andrew'
ssn='xxx-xx-xxxx'
last_name='Glover' />
</dataset>
其中 employee 是要构造数据的表名,后面的键值对是列名及对应的值,需要注意的是,第一行必须包含完整的字段名,否则加载的数据中全部会缺失某些字段。
3.2 嵌入式的内存数据库H2
非常适合在测试程序中使用,程序关闭时自动清理数据,H2 数据库的表结构初始化是通过 jdbc:initialize-database
标签实现的,单元测试中使用 H2 数据库非常简单,仅需修改 jdbc 连接即可。 引入依赖:
<dependency>
<groupId>com.h2database</groupId>
<artifactId>h2</artifactId>
<version>1.4.191</version>
<scope>test</scope>
</dependency>
数据源连接:
spring.datasource.url=jdbc:h2:mem:test
spring.datasource.driver-class-name=org.hsqldb.jdbcDriver
spring.datasource.username=root
spring.datasource.password=
schema 初始化:
<jdbc:initialize-database data-source="dataSource" ignore-failures="NONE">
<jdbc:script location="classpath:h2/schema.sql" encoding="UTF-8"/>
</jdbc:initialize-database>
3.3 Spring 小扩展 springockito
它简化了在集成测试的相关上下文XML文件中创建 mockito mocks 的方法。
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:mockito="http://www.mockito.org/spring/mockito"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.0.xsd
http://www.mockito.org/spring/mockito http://www.mockito.org/spring/mockito.xsd">
...
<mockito:mock id="accountService" class="org.kubek2k.account.DefaultAccountService" />
..
</beans>
3.4 spring 官方测试框架 spring-test
目前主流的开发框架都在使用 spring 框架管理 bean,在测试代码中,我们通用期望能够使用 spring 框架,spring-test 框架帮助我们解决 bean 的注入问题。
@ContextConfiguration(locations = "/test-context.xml",
loader = SpringockitoContextLoader.class)
public class CustomLoaderXmlApplicationContextTests {
// class body...
}
"/test-context.xml"
指定了测试类运行需要加载的 spring 配置文件路径, SpringockitoContextLoader
指定了加载配置的类,这两个一起用可以支持在使用 spring xml 配置的同时可以将 mockito 生成的 mock 对象 bean 注入 spring 上下文中。
3.5 支持静态方法 mock 的 mock 框架 powermock
支持静态方法 mock,同时兼容 mockito,powermock 示例:
@RunWith(PowerMockRunner.class)
@PrepareForTest( { YourClassWithEgStaticMethod.class })
public class YourTestCase {
...
}
四、有赞基于 springtest+ut+powermock 的测试框架
有赞单元测试框架,数据库层使用 h2 数据库代替测试库,隔离单元测试数据与测试库数据,在单元测试结束后自动清理数据,避免污染测试库数据及被测试库数据影响,基于 DbUnit
可以通过 xml 构造 DB 层初始化数据,实现测试代码与测试数据分离,依赖 spring jdbc
的初始化脚本初始化 h2 数据库的表结构。
4.1 数据准备
单测依赖的 Db 数据,通过添加测试方法监听器,在 Junit 执行前通过 DbUnit 工具类,加载初始化文件,写入 H2 数据库;单测的入参,通过 param.json 文件,以 json 格式编写入参数据,利用工具类读取文件并 json 反序列化为目标 Class 实例。
H2 数据库的表结构,则是通过上文提到的 jdbc:initialize-database
初始化的,开发同学必须保证此 schema 与线上结构的一致性,否则会导致单测失败。
添加方法监听器
@TestExecutionListeners({JunitMethodListener.class})
这是自定义的监听器,在执行前后执行自定义逻辑,包括数据准备、验证和清理。
public class JunitMethodListener extends AbstractTestExecutionListener {
@Override
public void beforeTestMethod(TestContext testContext) throws Exception {
Method jdkMethod = testContext.getTestMethod();
if (jdkMethod == null) {
return;
}
Object classInstance = testContext.getTestInstance();
if (!(classInstance instanceof JunitRunner)) {
return;
}
TestMethod testMethod = jdkMethod.getAnnotation(TestMethod.class);
if (testMethod == null) {
return;
}
JunitRunner runner = (JunitRunner) classInstance;
runner.init();
if (testMethod.enablePrepare()) {
TestRunnerTool.prepare(testMethod, runner);
}
}
@Override
public void afterTestMethod(TestContext testContext) throws Exception {
boolean hasException = (testContext.getTestException() != null) ? true : false;
Method jdkMethod = testContext.getTestMethod();
if (jdkMethod == null) {
return;
}
Object classInstance = testContext.getTestInstance();
if (!(classInstance instanceof JunitRunner)) {
return;
}
TestMethod testMethod = jdkMethod.getAnnotation(TestMethod.class);
if (testMethod == null) {
return;
}
JunitRunner runner = (JunitRunner) classInstance;
if (!hasException && testMethod.enableCheck()) {
TestRunnerTool.check(testMethod, runner);
}
if (testMethod.enablePrepare()) {
//清理数据
TestRunnerTool.clean(testMethod, runner);
}
}
}
以下是单元测试代码示例,enablePrepare 声明需要准备数据,prepareDateConfig 声明数据准备的文件路径,prepareDateType 是数据准备的类型,xml -> DB,当然也支持更多的文件类型,如 csv,xls。
@TestMethod(
enablePrepare = true,
prepareDateType = PrepareDataType.XML2DB,
prepareDateConfig = {PREPARE_XML_FILE_USER}
)
@Test
public void test_updateUser(){
... 具体代码省略
}
4.2 桩代码相关框架
为了使被测代码能够独立运行、并控制被测代码的执行路径,我们需要对外部依赖(包括中间件、静态函数、外部服务)进行 mock,mock 框架依赖的是 PowerMock
及 mockito
,利用 spring-test
集成 springockito
将 mock 的 bean 注入到 Spring 上下文中。
使用 PowerMock 运行 Junit 单元测试
@RunWith(PowerMockRunner.class)
@PowerMockIgnore({ "javax.management.*", "javax.net.ssl.*"})
PowerMock 集成 Spring TestContext 框架
@PowerMockRunnerDelegate(SpringJUnit4ClassRunner.class)
@ContextConfiguration(
loader = SpringockitoContextLoader.class,
locations = {
"classpath:applicationContext-test.xml" })
4.3 结果验证
结果验证,包括两部分,一个是被测函数的返回值,这个需要编写者自行验证,另一个是写入数据库的值,这部分是通过在方法上添加注解,告诉单元测试框架要验证的语句,执行验证语句并与期望值比较。 单元测试方法示例:
@TestMethod(
enablePrepare = true,
prepareDateType = PrepareDataType.XML2DB,
prepareDateConfig = { PREPARE_XML_FILE_USER},
enableCheck = true,
checkConfigFiles = {"/saveUserCheck.json"}
)
@Test
public void test_updateUser() throws IOException {
UserParam param = MockUtil.fromFile(
"/param.json",
UserParam.class);
...
}
saveUserCheck.json 文件内容示例
{
"check.type": "DB_CHECK",
"check.desc": "检查 更新结果正确性",
"check.sql.query": "select status from user where user_id=1",
"check.expected.data": [
{
"status": 1
}
]
}
4.4 以下是单元测试基类的示例代码
五、总结
第二部分提到的几个痛点,通过我们的 zantest 测试组件,我们完美的解决这几个问题,通过注解方式,实现了配置数据与测试代码的分离,简化测试代码编写,隔离测试环境数据库,并编写了一套测试示例进行推广。
5.1 关于内部重构的痛点,我们基于有赞单元测试框架解决了这个问题
在单元测试 1.0 版本时,我们分别对 Service,innerBeanA,innerBeanB,UserDAO 写单元测试,当 Service 层输入输出不变,内部重构时,这几个类的单元测试都要重构,而在单元测试 2.0 版本时,由于被测函数只有 Service,通过桩代码控制 Service 对 innerBeanA,innerBeanB,UserDAO 的调用,从而覆盖 inner 层和 DAO 层,重构时只需要改写 Service 层代码即可。
5.2 测试库数据被随意修改
数据准备不再依赖测试库,而是通过文件构造测试数据,例如上文的 xml 格式,为方便测试数据的构造,同时也支持更多的数据格式,例如 csv,可以方便的将线上数据导出作为测试用例。
5.3 单元测试结果校验
一方面开发仍然需要自行校验函数的返回值,校验 mock 函数是否被执行,另一方面对数据库数据更改的验证可以直接通过注解声明校验的 sql 文件路径即可。
相关链接
DbUnit:http://dbunit.sourceforge.net/howto.html
H2:http://www.h2database.com/html/quickstart.html
springockito:https://github.com/springockito/springockito
spring-test:https://docs.spring.io/spring/docs/current/spring-framework-reference/testing.html#testing
powermock:https://github.com/powermock/powermock
-The End-
- 由sqlplus中的一个小细节所做的折腾(r5笔记第11天)
- 浅析多线程的对象锁和Class锁
- 使用strace诊断奇怪的sqlplus登录问题(r5笔记第29天)
- 读书笔记 之《Thinking in Java》(对象、集合、异常)
- 深度解析dba_segments和sys.seg$中的细节差异(上) (r5笔记第27天)
- 【大牛经验】26种语言输出HelloWord
- 深度解析dba_segments和sys.seg$中的细节差异(下) (r5笔记第28天)
- Linux命令(面试+工作版)
- 纠结的paste格式问题(未解决) (r5笔记第26天)
- 由MySQL中的falcon存储引擎引申的八卦杂谈(r5笔记第23天)
- 12.观察者/状态模式
- 数据补丁中需要注意的几个问题(r5笔记第21天)
- 简单对比MySQL和Oracle中的一个sql解析细节 (r5笔记第40天)
- 关于Oracle和MySQL中的无密码登录 (r5笔记第39天)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 使用 Sunny-Ngrok 将内网程序发布到外网
- Leetcode 17. 电话号码的字母组合 (dfs)
- Java实现md5和base64加密解密的示例代码
- Spring 基于 XML 的 AOP
- SpringBoot 集成 Apache Camel FTP 实现文件同步
- Spring 基于 XML 的 IOC
- 初识 Spring
- Leetcode 55. 跳跃游戏 (贪心)
- SpringBoot 报 No operations allowed after connection closed 异常解决办法
- Leetcode 15 三数之和(双指针,去重)
- 洛谷 P1886 滑动窗口 /【模板】单调队列 (单调队列、线段树、RMQ(ST表))
- SpringBoot 整合 JMSTemplate
- Leetcode 3. 无重复字符的最长子串 (滑动窗口+HashMap)
- MQ 系列之 JMSTemplate
- Leetcode 76. 最小覆盖子串 (双指针,map)