从 Storm 到 Flink，汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

作者：王刚、刘首维

在 2019 年之前，之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎，凭借简单的 Spout 和 Bolt 编程模型以及集群本身的稳定性，俘获了大批用户。下图是实时计算团队 Storm 平台页面：

自 2015 年至今 Storm 在之家已经运行 4 年之久，但随着实时计算的需求日渐增多，数据规模逐步增大，Storm 在开发及维护成本上都凸显了不足，这里列举两个痛点:

1.翻译 SQL

我们一直是 Lambda 架构，会用 T+1 的离线数据修正实时数据，即最终以离线数据为准，所以计算口径实时要和离线完全保持一致，实时数据开发的需求文档就是离线的 SQL，实时开发人员的核心工作就是把离线的 SQL 翻译成 Storm 代码，期间虽然封装了一些通用的 bolt 来简化开发，但把