阿里巴巴 技术专家

10年工作经验,目前就职于阿里巴巴日志服务可观测平台团队,负责iLogtail开源,主要关注大数据分析、数据采集Agent、海量数据接入治理等领域。曾负责百度统计、百度分析云产品的研发工作。在GOPS、K+ Talk等参与分享,在阿里开发者等公众号发表多篇高质量文章,赞誉极佳。

阿里巴巴
技术专家

10年工作经验,目前就职于阿里巴巴日志服务可观测平台团队,负责iLogtail开源,主要关注大数据分析、数据采集Agent、海量数据接入治理等领域。曾负责百度统计、百度分析云产品的研发工作。在GOPS、K+ Talk等参与分享,在阿里开发者等公众号发表多篇高质量文章,赞誉极佳。

案例简述

数据总线在企业应用中解耦了上下游服务组件,是以数据为中心的流量中枢。在阿里巴巴,每天有百PB级的数据通过阿里云上的日志服务采集、中转、处理、分发,围绕数据总线构建云上的可观测、运维、运营、审计应用。因此,必须有足够的性能和稳定性来保障应用到平稳运行,并且需要提供充分的弹性伸缩能力以适应云上流量动态变化的特点。虽然在数据总线选型上已经有诸多开源方案可供选择,但是当面对数百PB级流量和突如其来流量高峰时,这些方案往往在稳定性、吞吐量、低延迟、弹性伸缩等方面遇到很多挑战。本议题将深入探究日志服务如何应对百PB级数据流量,覆盖了在数据采集、数据分派、生态体系等核心数据场景下稳定性、可靠性、吞吐、延迟方面的思考与实践。

听众收益

日志服务每天都有百PB级的数据输入和数十万客户的使用,大量应用以日志服务为数据总线构建,面对不同的应用场景,日志服务需要在数据采集、数据存储、数据处理和数据分发等多个方面做到稳定、高效、普惠、智能。期望以最低的成本承载海量的流量,以通用的能力赋能多变的应用,用智能的手段提高生产的效率。

成功(或教训)要点

一、对云原生相关技术如K8s深入了解使得构建出的数据采集端具备更强的采集能力和性能。

二、对新硬件、新编码、新架构的及时跟进和组合使用促使了日志存储成本降到最低。

三、通过存算分离、动态扩缩容等技术使得数据总线具备弹性伸缩的计算能力。

四、通过全球部署、多租户隔离、流量控制等手段提高系统整体稳定性。

业务价值或ROI分析

一、iLogtail:统一的端上高性能轻量级可观测数据采集器
二、LogHub:能承载PB级数据的高性能低成本数据管道
三、数据加工:每日平稳进行PB级数据加工处理
四、数据分发:承载阿里云产品可观测数据采集分发,是构建上层可观测应用到基础

适合谁听

一、从客户视角出发考虑问题,提供必要且足够通用的数据总线组件帮助客户成功。

二、对云上数据流量的特点的充分认知是使得数据总线稳定性高和成本低兼得的必要条件。

PPT

请登录并购票后查看PPT

案例简述

数据总线在企业应用中解耦了上下游服务组件,是以数据为中心的流量中枢。在阿里巴巴,每天有百PB级的数据通过阿里云上的日志服务采集、中转、处理、分发,围绕数据总线构建云上的可观测、运维、运营、审计应用。因此,必须有足够的性能和稳定性来保障应用到平稳运行,并且需要提供充分的弹性伸缩能力以适应云上流量动态变化的特点。虽然在数据总线选型上已经有诸多开源方案可供选择,但是当面对数百PB级流量和突如其来流量高峰时,这些方案往往在稳定性、吞吐量、低延迟、弹性伸缩等方面遇到很多挑战。本议题将深入探究日志服务如何应对百PB级数据流量,覆盖了在数据采集、数据分派、生态体系等核心数据场景下稳定性、可靠性、吞吐、延迟方面的思考与实践。

听众收益

日志服务每天都有百PB级的数据输入和数十万客户的使用,大量应用以日志服务为数据总线构建,面对不同的应用场景,日志服务需要在数据采集、数据存储、数据处理和数据分发等多个方面做到稳定、高效、普惠、智能。期望以最低的成本承载海量的流量,以通用的能力赋能多变的应用,用智能的手段提高生产的效率。

成功(或教训)要点

一、对云原生相关技术如K8s深入了解使得构建出的数据采集端具备更强的采集能力和性能。

二、对新硬件、新编码、新架构的及时跟进和组合使用促使了日志存储成本降到最低。

三、通过存算分离、动态扩缩容等技术使得数据总线具备弹性伸缩的计算能力。

四、通过全球部署、多租户隔离、流量控制等手段提高系统整体稳定性。

业务价值或ROI分析

一、iLogtail:统一的端上高性能轻量级可观测数据采集器
二、LogHub:能承载PB级数据的高性能低成本数据管道
三、数据加工:每日平稳进行PB级数据加工处理
四、数据分发:承载阿里云产品可观测数据采集分发,是构建上层可观测应用到基础

适合谁听

一、从客户视角出发考虑问题,提供必要且足够通用的数据总线组件帮助客户成功。

二、对云上数据流量的特点的充分认知是使得数据总线稳定性高和成本低兼得的必要条件。

PPT

请登录并购票后查看PPT

本专场其他相关的专题

Other related topics in this session

基于混元和腾讯云ES的超大规模RAG技术实践
隐私计算结合营销科技的应用
数据工作的敏捷智能之路

购票热线:400-812-8020

赞助合作:sissi 13043218801

票务合作:张东光 15900232589

邮箱:dongguang.zhang@msup.com.cn

@2024 msup,company. 京ICP备09001521号

点击咨询
立即购票
联系顾问,获取大会案例详情
点击咨询
限时优惠,点击抢票
立即购票