58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密

F -Storm 是 F 官方提供的用于 F 兼容 Storm 程序 beta 工具，并且在 Release 1.8 之后去掉相关代码。本文主要讲述 58 实时计算平台如何优化 F -Storm 以及基于 F -Storm 实现真实场景下大规模 Storm 任务平滑迁移 F 。

背景

58 实时计算平台旨在为集团业务部门提供稳定高效实时计算服务，主要基于 Storm 和 Spark Streaming 构建，但在使用过程中也面临一些问题，主要包括 Storm 在吞吐量不足以及多集群带来运维问题，Spark Streaming 又无法满足低延迟的要求。Apache F 开源之后，其在架构设计、计算性能和稳定性上体现出的优势，使我们决定采用 F 作为新一代实时计算平台的计算引擎。同时