您好,欢迎来到Top 100全球软件案例研究峰会
数据总线在企业应用中解耦了上下游服务组件,是以数据为中心的流量中枢。在阿里巴巴,每天有百PB级的数据通过阿里云上的日志服务采集、中转、处理、分发,围绕数据总线构建云上的可观测、运维、运营、审计应用。因此,必须有足够的性能和稳定性来保障应用到平稳运行,并且需要提供充分的弹性伸缩能力以适应云上流量动态变化的特点。虽然在数据总线选型上已经有诸多开源方案可供选择,但是当面对数百PB级流量和突如其来流量高峰时,这些方案往往在稳定性、吞吐量、低延迟、弹性伸缩等方面遇到很多挑战。本议题将深入探究日志服务如何应对百PB级数据流量,覆盖了在数据采集、数据分派、生态体系等核心数据场景下稳定性、可靠性、吞吐、延迟方面的思考与实践。
日志服务每天都有百PB级的数据输入和数十万客户的使用,大量应用以日志服务为数据总线构建,面对不同的应用场景,日志服务需要在数据采集、数据存储、数据处理和数据分发等多个方面做到稳定、高效、普惠、智能。期望以最低的成本承载海量的流量,以通用的能力赋能多变的应用,用智能的手段提高生产的效率。
一、对云原生相关技术如K8s深入了解使得构建出的数据采集端具备更强的采集能力和性能。
二、对新硬件、新编码、新架构的及时跟进和组合使用促使了日志存储成本降到最低。
三、通过存算分离、动态扩缩容等技术使得数据总线具备弹性伸缩的计算能力。
四、通过全球部署、多租户隔离、流量控制等手段提高系统整体稳定性。
一、iLogtail:统一的端上高性能轻量级可观测数据采集器
二、LogHub:能承载PB级数据的高性能低成本数据管道
三、数据加工:每日平稳进行PB级数据加工处理
四、数据分发:承载阿里云产品可观测数据采集分发,是构建上层可观测应用到基础
一、从客户视角出发考虑问题,提供必要且足够通用的数据总线组件帮助客户成功。
二、对云上数据流量的特点的充分认知是使得数据总线稳定性高和成本低兼得的必要条件。
请登录并购票后查看PPT
数据总线在企业应用中解耦了上下游服务组件,是以数据为中心的流量中枢。在阿里巴巴,每天有百PB级的数据通过阿里云上的日志服务采集、中转、处理、分发,围绕数据总线构建云上的可观测、运维、运营、审计应用。因此,必须有足够的性能和稳定性来保障应用到平稳运行,并且需要提供充分的弹性伸缩能力以适应云上流量动态变化的特点。虽然在数据总线选型上已经有诸多开源方案可供选择,但是当面对数百PB级流量和突如其来流量高峰时,这些方案往往在稳定性、吞吐量、低延迟、弹性伸缩等方面遇到很多挑战。本议题将深入探究日志服务如何应对百PB级数据流量,覆盖了在数据采集、数据分派、生态体系等核心数据场景下稳定性、可靠性、吞吐、延迟方面的思考与实践。
日志服务每天都有百PB级的数据输入和数十万客户的使用,大量应用以日志服务为数据总线构建,面对不同的应用场景,日志服务需要在数据采集、数据存储、数据处理和数据分发等多个方面做到稳定、高效、普惠、智能。期望以最低的成本承载海量的流量,以通用的能力赋能多变的应用,用智能的手段提高生产的效率。
一、对云原生相关技术如K8s深入了解使得构建出的数据采集端具备更强的采集能力和性能。
二、对新硬件、新编码、新架构的及时跟进和组合使用促使了日志存储成本降到最低。
三、通过存算分离、动态扩缩容等技术使得数据总线具备弹性伸缩的计算能力。
四、通过全球部署、多租户隔离、流量控制等手段提高系统整体稳定性。
一、iLogtail:统一的端上高性能轻量级可观测数据采集器
二、LogHub:能承载PB级数据的高性能低成本数据管道
三、数据加工:每日平稳进行PB级数据加工处理
四、数据分发:承载阿里云产品可观测数据采集分发,是构建上层可观测应用到基础
一、从客户视角出发考虑问题,提供必要且足够通用的数据总线组件帮助客户成功。
二、对云上数据流量的特点的充分认知是使得数据总线稳定性高和成本低兼得的必要条件。
请登录并购票后查看PPT
Other related topics in this session