登录    / 注册

Kubernetes & Kafka 知乎流式处理平台

分享时间: 2016年12月9日 - 12日

分会场: 架构设计/技术战略

案例讲师

林晓峰

知乎 技术平台负责人

知乎技术平台团队的负责人,负责建设知乎各类基础设施平台、抽象各个基础设施的服务,以及为业务开发提供统一的基础设施平台接入。同时也负责整合公司部署系统、权限系统和监控系统等,构建基础架构的核心框架。高性能 Linux 网络协议栈实现 Fastsocket 作者。

扫描二维码分享案例

 

案例简述

 

知乎已经完成全站业务实例容器化,目前逐步完成基础设施的容器化。本次分享,着重以知乎流式处理平台为例,详细讲述知乎技术平台团队如何利用 Kubernetes 和容器技术打造基于 Kafka 的新一代流式处理平台。新平台在统一的物理集群上支持任意多个物理隔离的逻辑 Kafka 集群的秒级创建。在此基础上,实现了弹性扩展的消息服务和日志服务,平台高度的自动化支撑着集群规模不断扩展下的超低运维成本。

 

案例目标

 

分布式系统的典型困境:理想中部署一套集群似乎可以承接数据中心所有业务,现实是个别业务冲击和变更失误会影响全集群。落地方案往往是按照业务特点和 SLA 要求维护多套集群,直接导致维护成本成倍上升,以及集群使用率不均衡和资源浪费。知乎技术平台借助 Kubernetes 和容器技术,在统一的物理集群上实现任意多个物理隔离的逻辑 Kafka 集群,成功解决上述分布式系统困境。

 

成功(或教训)要点

 

总结技术平台在项目实施中的要点:
a.在生产环境的容器及其集群管理的丰富积累;
b.追求自动化和高效率的工程理念;
c.覆盖 topic、broker、cluder 和 host 的完善监控。

 

案例启示

 

DevOps 思维:以开发方式来解决运维问题。
平台思路:把基础设施功能抽象成服务,从业务对服务的需求出发,自上而下设计平台和自动化。

 

案例在团队中的意义

 

容器和 kubernetes 实践先行