注册 / 登录

软件重构的大数据转型过程

分会场:  数据科学/人工智能/数据驱动

分享时间: 2017年11月9日 - 12日

案例来源 :

案例讲师

范钢

航天信息股份有限公司 架构师

航天信息股份有限公司首席架构师,《大话重构》作者,哈工大软件工程硕士,软件架构及重构的客座讲师。从需求分析、软件开发到项目管理、架构设计都有丰富的从业经验。大型遗留系统改造专业户,长期关注大型业务系统的品质保证、防止腐化以及技术改造等困扰软件企业的问题,进而提出了许多实用而有效的解决方案,在遗留系统优化与改造方面有丰富的经验。

扫描二维码分享案例

所在软件研发中心介绍

航天信息金税产业部

 

建议该分享案例适用范围:

架构师、CTO、研发经理

 

为什么这个案例值得分享?

分享大数据转型中的痛点及其解决方案

 

 

案例简述

 

随着各行各业的互联网转型,数据量的迅猛增长已经成为各个软件企业不得不面对的难题,也就是开始大数据转型。但是,大数据转型并非如此容易,它涉及到遗留系统改造、架构演进、技术选型等诸多难题。该案例将分享一次大数据转型的过程,它通过讲解给大家了如下启示:
1、如何运用软件重构降低转型的难度与风险;
2、如何解决一边技术研究一边开发的难题;
3、如何开展大数据选型并有效地进行架构演进;
4、如何通过大数据转型快速进入市场。

 

案例目标

 

去年大家都在探讨互联网转型:
1、我们进入了互联网快速发展的时代
2、互联网给我们的生产生活带来了巨大的变革
3、各个传统行业也在推进互联网转型的步伐
但是,互联网发展带来了新的问题:
1、随着互联网的发展,数据量呈爆炸式增长
2、传统的关系型数据库已经不能适应大数据的增长
3、未来所有的行业都面临着大数据转型
然而,大数据转型并不是想象中那么容易:
1、首先面对的是遗留系统技术改造的阵痛
2、团队大数据0基础,不得不一边技术研究一边开发
3、必须快速进入市场,不能慢慢进行技术研究

 

成功(或教训)要点

 

1、遗留系统改造的困局
a、精要点出遗留系统改造困局的关键:重做 vs. 重构
b、演化式重构的改造思路
2、不得不面对的问题:研发团队大数据0基础
a、一边技术研究,一边软件开发
b、小步快跑的开发过程
3、不得不面对的问题:快速进入市场
a、将改造的长周期变为短周期
b、更快地交付,更快地反馈,更早地产生价值

 

案例ROI分析

 

1、项目背景及其挑战:大数据0基础、快速进入市场
2、选用合理的技术架构:SparkSQL + Hive
3、演化式技术改造过程:
a、在原有的BI系统的基础上进行改造
b、第一阶段改造:ETL过程的大数据转型
运用小步快跑解决Sqoop、Spark、Hive等技术的难题
运用重构逐步优化大数据层次结构
c、第二阶段改造:解决海量明细数据的快速查询
在原有程序基础上引入ElasticSearch技术
d、第三阶段改造:数据仓库的大数据转型
在Kylin上开展大数据多维模型
e、逐步开展深度大数据应用
4、最终的大数据转型效果

 

案例启示

 

正在更新中……

 

案例在团队中的意义

 

分享大数据转型中的痛点及其解决方案