注册 / 登录

链家网大数据平台体系构建历程

分会场:  架构演进/工程实践/大前端

 

案例来源 :

案例讲师

李小龙

链家网产品技术中心

链家网大数据部资深研发架构师,负责大数据工具平台化相关的工作,专注于数据仓库、任务流调度、元数据管理、自助报表等领域。之前在百度从事了四年的数据仓库和工具平台的研发工作。

扫描二维码分享案例

所在软件研发中心介绍

链家网产品技术中心负责

 

建议该分享案例适用范围:

数据支持相关的团队

 

为什么这个案例值得分享?

大数据平台从零起步构建的历程,数据开放平台采用了良好的架构设计,优化了数据整体流程,取得了很好的产品效果

 

 

案例简述

 

链家网大数据部门负责收集加工公司各产品线的数据,并为链家集团各业务部门提供数据支撑。本案例分享链家网大数据部成立后,在发展变革中遇到的一些问题和挑战,架构团队是如何构建一站式的数据平台来解决获取数据的效率问题,如何构建多层次系统来组建大数据架构体系。重点介绍团队早起作为数据报表支持者,向当下数据平台方转变的这一历程,通过对数据处理流程的梳理,构建一体化的数据接入/计算/展示的开放平台,提升数据运转效率,快速满足集团内数据需求。

 

案例目标

 

随着链家O2O战略的全面推进 ,公司线上线下各业务部门对数据的需求越来越多,大数据部面向集团提供数据支撑服务,面临一些问题:数据报表产出的提供时间较长,部分长尾需求难以满足,分析师缺乏有力工具进行数据探索,数据元信息缺乏统一管理维护。为了解决这些问题,通过梳理各种数据用户的使用场景以及数据的全生命周期,决定从数据报表提供者向数据平台进行转变,我们提供统一的大数据开放平台和各种工具,将元数据管理、任务调度、报表展示、数据计算等服务有机融合在一起,用户在平台上面可以方便地自行进行数据指标计算和报表展示。

 

成功(或教训)要点

 

善于使用开源技术,必要时借鉴业界优秀产品结合业务场景自主研发
平台化的产品需要梳理流程,制定标准和约束
Eat Your Own Dogfood
快速迭代,根据各业务线的反馈不断改进
商业智能BI系统的前置依赖的解决办法

 

案例ROI分析

 

数据报表产出时间由2周提升到1天左右
个性化的数据需求得到满足,用户可以自主探索数据
团队整体能力提升,具备平台化/接口化工程思维
数据治理规范化,清晰的图形化数据流
数据延迟、数据错误等问题能及时发现

 

案例启示

 

大数据平台从零起步构建的历程,数据开放平台采用了良好的架构设计,优化了数据整体流程,取得了很好的产品效果。
在项目工作的初始阶段,提供基本的服务满足用户需求,随着用户需求的快速增长,服务会遇到瓶颈,要么堆积人力,要么转变现有工作流程。而平台化思维是解决类似问题的一个方法,通过打造一体化的工具平台,方便用户自主地找到所需,以实现更大的价值。

 

案例在团队中的意义

 

大数据平台从零起步构建的历程,数据开放平台采用了良好的架构设计,优化了数据整体流程,取得了很好的产品效果