注册 / 登录

如何构建完整的企业级大数据业务开发IDE

分会场:  数据科学/人工智能/数据驱动

分享时间: 2017年11月9日 - 12日

案例来源 :

案例讲师

刘杰

科大讯飞 大数据研究院平台研发部研发主管

目前担任科大讯飞大数据研究院平台研发部研发主管,高级架构师,曾就职深圳中兴通讯、深圳腾讯科技,2013年就职科大讯飞。主导科大讯飞开放平台、讯飞移动广告平台、智件云等多条业务线整体大数据运营分析研发管理工作。个人对storm、spark、mapreduce主流分布式计算框架有深度的研究与实践,对SQL on Hadoop、MPP数据库有广泛关注及实践。

扫描二维码分享案例

所在软件研发中心介绍

科大讯飞股份有限公司成立于1999年,是一家专业从事智能语音及语言技术、人工智能技术研究,软件及芯片产品开发,语音信息服务及电子政务系统集成的国家级骨干软件企业。

 

 

案例简述

 

针对大数据分析环境构建困难的窘境,本次分享主要把我们在大数据平台构建之路上的心得体会,大数据平台IDE建设的思路及方法论进行讲解讨论

 

案例目标

 

随着移动互联网高速的发展,及IoT物联网快速的覆盖,企业内部数据量日益攀升,基于大数据的数据业务分析任务快速膨胀,大数据开发人员迅速被庞杂的异构数据存储,复杂而简陋的工作流控制,数据资源的查找使用,分析任务的状态跟踪,数据回流业务等等方面所捆绑,而无法集中精力于数据分析业务本身。此时,大数据分析环境就像一头脱缰野马无法控制。

 

成功(或教训)要点

 

针对此场景,本次分享主要把我们在大数据平台构建之路上的心得体会,大数据平台IDE建设的思路及方法论进行讲解讨论,其中IDE构建部分会对可控数据通道、Project式资源管理、权限管理、工作流构建管理、数据集市(有限共享)、数据服务、BI及可视化等方面进行说明,另一方面会对IDE底层集群资源度量分摊、虚拟化、弹性伸缩及降本增效的经验体会进行阐述

 

案例ROI分析

 

正在更新中……

 

案例启示

 

1)了解大数据平台IDE核心设计元素构成
2)了解企业级大数据开发IDE底层技术构成
3)了解Hadoop集群底层计算资源弹性原理及实施方法
4)知悉大数据平台IDE的最新技术和未来发展方向