Flink 靠什么征服饿了么工程师？

平台现状

下面是目前饿了么平台现状架构图：

来源于多个数据源的数据写到kafka里，计算引擎主要是Storm,Spark和F ，计算引擎出来的结果数据再落地到各种存储上。

目前Storm任务大概有100多个，Spark任务有50个左右，F 暂时还比较少。

目前我们集群规模每天数据量有60TB，计算次数有1000000000，节点有400个。这里要提一下，Spark和F 都是on yarn的，其中F onyarn主要是用作任务间jobmanager隔离， Storm是standalone模式。

应用场景

1.一致性语义

在讲述我们应用场景之前，先强调实时计算一个重要概念， 一致性语义：

1) at-most-once：即fire and forget，我们通常写一个java的应用，不去考虑源头的offset管理，也不去考虑