日均处理万亿数据！Flink在快手的应用实践与技术演进之路

作者：董亭亭
整理：蒋晓峰

作者介绍：董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责 F 引擎在快手内的研发、应用以及周边子系统建设。2013 年毕业于大连理工大学，曾就职于奇虎 360、58 集团。主要研究领域包括：分布式计算、调度系统、分布式存储等系统。

本次的分享包括以下三个部分：

1. 介绍 F 在快手的应用场景以及目前规模；
2. 介绍 F 在落地过程的技术演进过程；
3. 讨论 F 在快手的未来计划。

一．F 在快手应用场景与规模

1. F 在快手应用场景

快手计算链路是从 DB/Binlog 以及 WebService Log 实时入到 Kafka 中，然后接入 F 做实时计算，其中包括实时 ETL、实时分析、Interval Join 以及实时训练，最后的结果存到 Druid、ES 或者