注册 / 登录

Spark系统在Uber的架构设计及大规模实践

分会场:  爆款架构/数据平台/工程实践

 

案例来源 :

案例讲师

杨波

Uber 资深工程师

曾先后就职于朗讯,微软等公司。目前主要负责Uber Spark系统的大规模性能跟踪和优化工作,给公司Spark用户提供全方位的性能分析工具,帮助公司提升Spark运营效率。在大数据分布式系统拥有比较丰富的实践和积累。

扫描二维码分享案例

 

案例简述

 

Spark在Uber公司广泛地应用于数据处理和机器学习等多种场景,运行在上万台机器上,其系统架构在Uber内部也经历过若干次演进。并且Uber开发了和开源了一个针对Spark应用程序的分布式Profiler。本次分享主要介绍Uber在Spark的大规模应用上的经验和系统设计,同时会深入讨论分布式Profiler的实现,展示如何利用类似工具提高Spark程序的效率。

 

案例目标

 

此案例为了解决Spark大规模应用时遇到的挑战,展示了Uber公司如何设计Spark系统构架来满足全公司各种用户的需求

 

成功(或教训)要点

 

构建基于Spark的生态系统,针对不用种类的用户提供对应的工具。分析并掌握Spark应用程序可能的瓶颈,做好提前规划

 

案例ROI分析

 

即将上线

 

案例启示

 

Spark在公司大规模应用的关键是理解公司内部用户对于大数据处理的需求,并持续改进系统架构,满足数据量的增长和需求的变化

 

案例在团队中的意义

 

案例中对于Spark系统的构建是一个通用的经验,对于大数据行业有普遍借鉴意义