温故知新--G行EverDB自动化混沌测试之路

数据库 其他数据库
为尽早发现系统薄弱点,做出弥补改进,我们在分布式数据库测试中引入了混沌工程理论。通过在系统环境中模拟故障,来观察故障的发生对系统产生的影响,以期提前发现系统潜在的问题与风险,针对性的对系统进行加固防范,这种测试方法被称为混沌测试。本文为大家分享基于GitLab CI的自动化混沌测试实践。

EverDB是G行自有知识产权、与合作伙伴共研的一款基于中间件的分布式数据库产品。在分布式架构优势下实现了数据库的可扩展性,但与优势并存的是,分布式架构组件多,集群规模大,组件或节点间有着各种调用或相互依赖,使得系统异常事件的发生概率大幅攀升。

为尽早发现系统薄弱点,做出弥补改进,我们在分布式数据库测试中引入了混沌工程理论。通过在系统环境中模拟故障,来观察故障的发生对系统产生的影响,以期提前发现系统潜在的问题与风险,针对性的对系统进行加固防范,这种测试方法被称为混沌测试。本文为大家分享基于GitLab CI的自动化混沌测试实践。

混沌测试技术架构

为实现混沌测试的敏捷性、灵活性和自动化,我们选择了云原生技术方案,整个混沌测试运行于k8s平台,使用容器化技术Docker实现EverDB集群的容器化部署、Chaos Mesh实现故障注入、Argo workflow实现混沌测试流程编排、Prometheus+Grafana实现监控数据采集存储和可视化。它们在k8s上的部署及连接关系如下图1所示。

图片

图1 EverDB混沌测试部署架构图

其中,Argo workflow是整个混沌测试流程的总调度单元,无论是集群拉起还是故障注入,任何一个任务环节都在Argo workflow中进行规范定义。Argo-server会依据我们定义的任务流程调度k8s资源(包括job,Statefulset,Chaos等)。

自动化流程设计实现

当前,EverDB代码库托管于GitLab平台。EverDB每次发版前通过GitLab CI进行功能回归测试。为保持技术方案统一,我们将混沌测试集成到GitLab CI,由开发人员在代码提交后自动触发执行,实现了EverDB发版前的自动化混沌测试。同时,考虑bug触发的偶发性,混沌测试也被配置为周期性任务,通过重复实验验证数据库的可靠性。

图片

图2 EverDB混沌测试流程设计

上图2即是EverDB的混沌测试流程设计,实现依托于GitLab和k8s两大平台,Chaos Mesh、Argo workflow两个关键技术组件。主要包括Gitlab CI配置、EverDB集群部署、测试用例拉起、故障注入、测试报告生成和可视化跟踪六个部分。 

Gitlab CI配置

EverDB容器化集群及Chaos Mesh故障注入等组件均布置在k8s环境中,为了方便调度,我们将CI任务的执行器(GitLab CI runner)也部署到k8s环境中,由它在k8s环境中调起测试流程。GitLab CI runner任务如下图3。

图片

图3 Gitlab CI任务流程

GitLab CI任务实际是执行了一个python脚本调起了一个混沌测试工作流。该脚本完成的工作有四部分:

图片

参数解析处理,读取用户在CI任务中的设定的实验参数、配置文件并解析;

图片

  1. 工作流模板渲染,利用第一步读取的配置参数,按照工作流模板渲染生成工作流;

图片

  1. 工作流部署,将工作流部署到k8s平台运行;

图片

  1. 持续检查工作流状态,将工作流的运行状态,成功与否反馈到CI平台。

EverDB集群部署

源代码提交时触发CI任务进行EverDB集群部署,包括源代码编译、制作镜像上传至镜像仓库、使用最新镜像在k8s平台上部署EverDB集群。对于混沌测试周期性任务,则从镜像仓库中拉取最新的EverDB镜像进行部署。

图片

图5 EverDB源码编译打包上传

测试用例拉起

EverDB集群部署完成后,CI任务会按照实验编排有序拉起测试用例。测试用例分为功能、性能和高可用三类,通过对比EverDB在正常运行态和故障注入后运行态的各项测试指标,验证数据库对各种异常场景的处理能力和健壮性。


测试用例

测试内容

压力测试

Sysbench

OLTP基准测试

数据库一致性测试

Bank

并发转账,验证测试完成后账户余额总数

Bank2

增加事务竞争度控制的Bank测试

Pbank

记录每次读写事务的操作以及返回结果

Tpc-c

五种事务模型并发执行

数据库隔离级别测试

Elle

并发读写寄存器,检查是否违反一致性模型

高可用测试

Hatest1-18

测试各种故障场景,验证数据库高可用性是否符合预期

表1 测试用例表

故障注入

故障注入通过调用PingCAP开源的混沌测试工具Chaos Mesh实现。Chaos Mesh使用Kubernetes CRD来定义Chaos对象资源,在EverDB混沌测试中,可以直接调度这些Chaos资源,模拟简单的故障场景,也可以对这些基础Chaos资源进行编排,构造更复杂的故障场景。

图片

图6  故障注入支持类型

测试报告生成

测试用例在整个测试周期内持续运行,实现数据库能力测试方案的同时,也会采集测试指标数据并进行转储。测试结束后,测试报告生成模块会进行数据收集、分析、报告生成及归档。目前测试报告包括测试结论、环境参数和EverDB集群配置等信息,后续会随着混沌测试实践的深入,对结果信息进行丰富和优化。

图片

图 7 测试结果收集

可视化跟踪

除了输出测试报告以外,我们也可以使用可视化的Dashboard、监控系统等工具,对整个混沌测试过程进行实时跟踪和观察。

图片

图8 一个EverDB混沌测试工作流示例

总结与期待

EverDB通过引入混沌测试,已在可靠性提升上有了一定的测试成果,同时我们对混沌测试的未来也进行了思考与规划。在测试扩展方面,不断丰富测试用例、编排更复杂的故障场景、完善测试报告内容;通过建设混沌实验平台使混沌测试常态化、便捷化;同时建立混沌测试文化,使其在G行分布式架构转型中发挥更大的作用。

责任编辑:武晓燕 来源: 匠心独运维妙维效
相关推荐

2021-11-09 10:00:02

EverDB自动化数据库

2022-10-25 07:23:45

2022-11-15 07:30:04

EverDB云端alive

2022-10-18 07:17:31

2022-11-01 07:25:27

EverDB数据库SQL

2019-01-14 15:31:42

HTTP23

2018-11-09 11:10:11

微软沈向洋人工智能

2013-08-20 10:40:54

EIGRPOSPF区别

2022-02-17 10:37:16

自动化开发团队预测

2014-04-16 14:15:01

QCon2014

2012-02-27 17:34:12

Facebook自动化

2021-09-03 09:56:18

鸿蒙HarmonyOS应用

2013-05-16 10:58:44

Android开发自动化测试

2020-07-13 11:00:06

前端JavaScript自测清单

2015-11-09 14:27:36

Ansiblelinux自动化运维

2021-06-30 19:48:21

前端自动化测试Vue 应用

2011-12-23 17:09:57

自动化测试

2022-12-01 09:12:49

CodeQL自动化审计

2020-04-14 11:48:59

密码网络攻击网络安全

2011-06-03 17:24:48

自动化测试
点赞
收藏

51CTO技术栈公众号