注册 / 登录

大数据平台质量保证最后一公里探索与实践

分会场:  质量管理/智能运维/DevOps

分享时间: 2017年11月9日 - 12日

案例来源 :

案例讲师

Tim Shen

Splunk engineering manager

沈立彬,曾就职于Autodesk负责建筑解决方案部门的自动化测试框架的设计与实现。领导部门多条产品线的自动化测试工作。现任Splunk上海研发中心测试经理,主要负责旗舰产品Splunk企业版的系统级别测试。拥有10年以上大型软件以及大数据产品的质量保证经验,在大数据产品测试,分布式系统测试以及自动化测试方面有深入研究。

扫描二维码分享案例

 

案例简述

 

大数据产品不同于以往传统软件的区别之一是数据的吞吐量巨大,必然采用分布式架构来解决海量数据处理请求以及高并发的计算处理需求。产品在用户的生产环境部署的方式也是千差万别,如何用有限的资源来保证最终的产品质量一直是业界探寻与追求的。该案例主要介绍Splunk中国研发中心QA团队如何在旗舰产品Splunk企业版发布之前最后一公里即Feature Complete到发布这段时间所做的系统级测试的探索与实践。

 

案例目标

 

Splunk中国研发中心成立于2014年,成立之初就设立了旗舰产品的QA团队,我们在接手Splunk的测试任务过程中发现逐渐发现以下问题:
•我们有数以万计的测试用例在执行,可是每次发布之后客户上报的各种问题依旧层出不穷。
•Splunk产品的部署灵活多变,如何用有限的资源来保证最终的产品质量,让产品团队放心我们的产品可以很好的运行在每一个客户的部署里。
•用户日处理数据量从MB到PB,拓扑从一个节点到几千个节点,如何能更好的模拟用户场景进行测试。
随着团队对产品的逐渐熟悉我们不断地探索了一些Splunk特色的质量保证方法与实践。主要有如下方面:
•根本原因分析(Root Cause Analysis)
整理,分析客户的问题,分析根本原因,然后反馈到我们的测试设计当中,逐渐削弱测试设计和实际使用中的缺口
•系统测试优化
o灾难恢复测试
o迁移测试
o版本兼容性测试
o用户案例驱动的探索性测试
•海量数据与部署生成
o数据构建与生成
o容器技术的应用
o部署配置生成与推送
•监控工具
o性能监控
o崩溃分析
o环境健康指数监控

 

成功(或教训)要点

 

我们的以上实践活动都对Splunk旗舰产品的质量提高起到了积极的作用,让越来越多的客户场景下的问题在我们的测试环节就被提前发现。

 

案例ROI分析

 

更新中...

 

案例启示

 

更新中...